社内ナレッジをAIで検索可能にする。RAG導入の実運用

社内ナレッジのAI検索とは、会議の録画・議事録・研修資料など社内に溜まった情報をAIが読める形で集約し、質問すると社内の資料を根拠に答えが返ってくる状態を作ることです。その中核になる仕組みをRAG（AIが答える前に関連資料を検索し、根拠として使う仕組み）と呼びます。

僕はこの仕組みを自作して、自社で毎日回しています。Zoom録画・AIボイスレコーダーの議事録・外部講座の教材が人手ゼロで溜まり続け、「あの会議で何を決めたか」を数秒で引ける状態です。この記事では、その実運用を下敷きに、導入前に決めること、取り込みの全体像、検索精度を上げる運用、導入5ステップまで解説します。

なぜ社内ナレッジはAIで検索できないのか

ChatGPTは自社の情報を何も知らない

生成AIを契約したのに、「先月の定例で何が決まったか」を聞いても答えられない。これは当然で、ChatGPTなどの生成AIが知っているのは学習に使われた公開情報だけで、あなたの会社の会議も議事録も一切知らないからです。

社内の情報をAIに答えさせるには、AIをもっと賢くするのではなく、社内の資料をAIが検索できる場所に置く必要があります。多くの会社は、この順番が逆になっています。

情報は溜まっている。検索できる形になっていないだけ

もう1つの理由は、置き場の分散です。会議の録画はZoomのクラウドに、議事録は書いた人のフォルダに、研修や講座の資料は共有ドライブの奥に。それぞれは存在するのに、横断して探す手段がありません。

その結果、社内で何かを知りたいときの最速の手段は「知っていそうな人に聞く」になります。聞かれる側の時間が奪われ、その人が辞めれば情報ごと消える。検索できないナレッジは、会社にとって存在しないのと同じです。

RAGとは。社内の資料を根拠にAIが答える仕組み

RAG（Retrieval-Augmented Generation）は、1行で言えば「AIが答える前に社内の資料を検索し、見つかった内容を根拠に回答させる仕組み」です。

流れは3段階です。

• 質問を受け取る（例:「A社との契約条件はどうなっていたか」）

• 社内の資料の中から、関連する箇所を検索して取り出す

• 取り出した箇所を根拠に、AIが答えを組み立てる

AIの記憶に頼らず毎回資料を検索するので、答えには根拠があり、資料が増えるほど答えられる範囲が広がります。

経営者にとっての意味。人に聞かずに済む会社になる

技術の説明より大事なのは、これで何が変わるかです。RAGが回っている会社では、「あれどこだっけ」「あの件どうなってたっけ」が、人への質問ではなく検索になります。

新しく入った人は過去の経緯を自分で調べられる。担当者が辞めても、その人が出ていた会議の記録は検索できる形で会社に残る。ナレッジが人に紐づく状態から、会社に紐づく状態に変わる。これがRAG導入の本当の意味です。

導入前に決める3つのこと

ツール選びの前に決めるべきことが3つあります。僕が自作するときに最初に決めたのも、この3つでした。

1. 取り込む情報源をどれにするか

社内ナレッジの候補は無限にありますが、最初から全部を狙うと設計が壊れます。僕の運用では、情報源を3種類に絞っています。

• 会議録画（Zoomのクラウド録画）

• 対面会議の議事録（AIボイスレコーダーの文字起こし）

• 学習コンテンツ（購入している外部講座・教材のアーカイブ）

共通点は「自動で増え続けるもの」です。手作業でしか増えない情報源から始めると、取り込み自体が続きません。

2. 機密の線引きをどこに引くか

会議の中身は、社内でもっとも機密度の高いデータです。僕は設計の時点でこう決めています。

会議内容は高機密。正本は社外に出さないローカル保管。検索対象に入れるのは自社のシステムだけで、外部への共有は明示的に承認した分に限る。

先に線を引いてから仕組みを作る。この順番を守れば、機密を理由に導入が止まることはありません。

3. 検索の入口をどこに置くか

誰が、どの画面から検索するのか。専用の検索画面か、社内チャットか、普段使っているAIツールからか。入口が日常の動線から外れていると、せっかく作っても使われません。僕は自分が毎日使うAI作業環境から直接検索できる形にして、検索を日常動作に組み込んでいます。

実運用の全体像。会議録画・議事録・講座資料を自動で取り込む

ここからは、僕が毎日動かしている実物の話です。CMKillerという社内ナレッジ検索システムを自作して、3種類の情報源を人手ゼロで取り込み続けています。

3つの情報源が人手ゼロで溜まり続ける

• Zoom録画: 新しいクラウド録画を定期的に自動チェックし、会議終了後に文字起こしまで無人で処理。これまで35件のオンライン会議を人手ゼロで取り込みました

• 対面会議の議事録: AIボイスレコーダーの録音・文字起こしを自動で取得し、プロジェクト別に自動分類。2026年7月時点で291件が整理済みです

• 講座アーカイブ: 購入している外部講座や教材を取り込み、67本が検索対象に入っています

ポイントは、どの経路にも「人がファイルをアップロードする」工程がないことです。取り込みが自動でないナレッジ検索は、数週間で更新が止まり、誰にも信用されなくなります。

取り込みの作り方は、議事録の自動化と同じ

録画・録音が人手ゼロで議事録になり、決まった場所に溜まっていく仕組みの作り方は、別記事で5ステップに分けて詳しく書いています。本記事の主題はその先、「溜まったナレッジを検索して使う」工程です。

関連記事議事録作成をAIで自動化する方法。会議を資産に変える仕組み議事録作成をAIで自動化する方法を実運用ベースで解説します。文字起こしツールの導入で終わらせず、録音の取り込みから保管、プロジェクト別の振り分けまで無人化する3段階と構築5ステップ、機密の線引きを紹介します。→

検索精度を上げる運用。検索対象の分離とリランク検索

RAGは導入して終わりではなく、「探したのに出てこない」を潰していく運用が本体です。僕の実運用では、2つの設計で精度を担保しています。

社内会議系と外部教材系で、検索対象を分ける

僕のシステムでは、検索対象を「社内会議系（Zoom録画や議事録など自分たちの会議）」と「外部教材系（講座・記事・PDF）」の2つに分けていて、検索のたびにどちらを見るか、両方見るかを指定できます。

分けている理由は、混ぜると精度が落ちるからです。「先週の定例の決定事項」を探すときに講座教材が候補に混ざると、上位の結果がノイズで汚れます。

実際、指定を間違えた事故もありました。外部講座の内容を社内会議側の対象で検索してしまい、結果は0件。「この講座はまだ取り込まれていない」と誤った報告が上がりましたが、実際には外部側に67本すべて格納済みでした。検索対象の指定ミスは「データがない」という誤解を生む。だから僕の運用ルールは「迷ったら両方を横断検索する」です。

あいまいな質問はリランク検索で拾う

「A社 契約条件」のような具体的な検索は一発で当たります。外れやすいのは「顧客への提案の冒頭で何を言うべきか」のような、あいまいで抽象的な質問です。

そこで使うのがリランク検索（一度多めに検索した結果を、AIがもう一度並べ直して上位の精度を上げる二段階検索）です。僕の運用では通常検索で20件を取り、並べ直して上位5件に絞ります。検索はコンマ数秒遅くなりますが、1位に正解が来る確率が体感で明らかに変わります。

このほか、Anthropicが公開している取り込み時の工夫（資料の断片に文書全体の文脈を書き添えてから検索用に登録する手法）も僕のシステムに入れています。公式のベンチマークでは、この手法で検索の失敗率が約49%減り、リランクとの併用では約67%減ると報告されています。実運用でも、固有名詞やカナ表記の揺れに明らかに強くなりました。

社内ナレッジAI検索の導入5ステップ

同じものをゼロから導入するなら、僕はこの順番で進めます。

順番のポイントは、検索（ステップ4）より取り込み（ステップ3）が先ということです。中身が溜まっていない検索システムは、最初の1週間で見限られます。導入を社内に定着させる進め方はAI導入を90日で定着させる手順でも書いています。

社内ナレッジのAI検索でよくある質問

まとめ。検索できないナレッジは存在しないのと同じ

社内ナレッジのAI検索は、高性能なAIを買うことではなく、「自動で溜まる取り込み」と「探せば出てくる検索」の2つを仕組みとして作ることです。

• ChatGPTは社内を知らない。社内資料をAIが検索できる場所に置くのが先

• 情報源は自動で増え続けるものから。取り込みが手動の仕組みは止まる

• 機密は先に線を引く。正本の置き場と外に出す範囲を文章で決める

• 精度は運用で上がる。検索対象の分離とリランク検索の二段構え

会議記録291件と講座教材67本が数秒で引けるようになってから、僕の会社では「あれどこだっけ」に人の時間を使う場面がほぼ消えました。ナレッジの価値は、溜めた量ではなく引ける速さで決まります。まずは定例会議1本の取り込みから始めてみてください。