【2026年最新版】ローカルLLM×社内RAG実践 API課金ゼロ・機密データを外に出さない完全ローカルAI

本コースにはAIの使用が含まれています。

このコースは、機密データを扱うためにOpenAIやAnthropicなどのクラウドAIを使えない開発者・情報システム担当・PMのための、完全ローカル完結のローカルLLMと社内RAG構築ハンズオンです。Pythonの基礎はあるがローカルLLMは未経験、という方を想定しています。「データを一切外に出さずに、社内文書に答えるAIをどう作るのか」という現場の問いに、最初から最後まで手を動かして答えます。

世に出ているRAGの解説はOpenAI API前提のものが多く、機密データを外に出せない現場ではそのまま使えません。本コースはそこが根本的に違います。文書パースはDocling、埋め込みとLLMはOllama/vLLM、ベクトルDBはQdrantまたはpgvectorで、1本のパイプラインをローカルだけで最後まで通します。さらに、RAG失敗の約8割が起きるインジェスト・チャンキング層を最初に扱い、LLMを大きくする前にパースとチャンク設計とハイブリッド検索を直す、という正しい順序を体で覚えます。

学ぶ内容は大きく四つです。第一に、量子化Q4_K_MとVRAMからの逆算でご自分のGPUに合うモデルを選び、Ollamaでプロトタイプ、vLLMで本番の同時処理をこなす方法。第二に、Doclingで文書を壊さずパースし、意味的チャンキングとメタデータを付け、Qwen3-EmbeddingやBGE-M3で埋め込み、Qdrantやpgvectorに入れ、ハイブリッド検索とリランクの二十件から五件そして三件へという定石でローカルLLMに渡す一気通貫の実装。第三に、RAGASでfaithfulnessやcontext precisionを実測し、ハルシネーションを数値で検知して改善する評価駆動サイクル。第四に、Pipeline・Agentic・GraphRAGをいつ使い分けるかの意思決定です。

受講後には、ご自分のハードウェアで動く最大品質のモデルを選び、社内文書に根拠付きで答えるRAGパイプラインをゼロから組み、その品質を数値で評価して改善できるようになります。情シス・PMの方には、オンプレ自己ホストの稟議根拠やApache 2.0ライセンスの意味まで、開発ハンズオンと同じ講座内で橋渡しします。

コマンドは配布資料でお渡しします。第5章の最後に「手を動かす」という回を置きました。Ollamaのインストールから、最初の社内RAGが動いて質問に答えるまでを、コマンドを一つずつ実行しながら進みます。使うコマンドはテキストファイルにまとめ、そのレクチャーのリソースから配布していますので、そのままコピーして貼り付けられます。WindowsのPowerShellで詰まりやすい箇所にも触れています。

必要な環境は、Pythonが動く1台のマシンと、できれば12GB前後以上のVRAMを持つGPU（gpt-oss-20bやQwen3 8〜14BクラスはコンシューマGPUで実用的に動きます）。GPUがなくても学習の流れは追えるよう配慮しています。

【2027年度からのIPA新試験制度との関係】情報処理推進機構（IPA）が2026年9月30日に公開した基本情報技術者試験の新シラバス案（Ver.0.1・2027年度から適用予定）には、本講座で扱う「検索拡張生成（RAG）」「蒸留」「量子化」「プルーニング（枝刈り）」が用語として挙げられています。本講座はIPA試験の対策講座ではありませんが、新シラバス案に含まれる範囲を、実際に手を動かしながら学べます。なお、シラバスは案の段階であり、正式版で変更される可能性があります。最新の情報はIPAの公式ページでご確認ください。