勘でチューニングしないRAG改善 ― Ragas評価・Hybrid Search・Rerankingを実測で比較する

本コースにはAIの使用が含まれています。

「チャンクサイズを変えてみた。Hybrid Searchも足してみた。前より良くなった気はする」——その「気がする」を、数字に変える講座です。

RAGの精度を上げる手法は、すでに数多く紹介されています。一方で、入れた結果が本当に良くなったのかを測る手順は、あまり語られません。測らずに手を入れると、効いていない改善を積み上げたまま気づけなくなります。

この講座は、先に測ってから上げます。Ragasという評価フレームワークで5つの指標を数値にして、チャンク設計・Hybrid Search・Rerankingを1つずつ足しながら、毎回同じ質問セットで測り直します。

この講座で扱うこと

• Ragasの5指標（Context Recall・Context Precision・Faithfulness・Answer Relevancy・Answer Correctness）で精度を数値にする

• 採点を担う判定役のモデルを、実際の使われ方で確かめてから選ぶ

• 全段階を同じ基準で比べるための、固定の質問セットを用意する

• チャンクサイズとオーバーラップを変えて測り直し、数値を根拠に設計を決める

• ベクトル検索の弱点をBM25で補うHybrid Searchを組み込んで測る

• 検索した候補を並び替え直すRerankingを組み込んで測る

• 文書を6ファイルから86ファイルに増やした条件で測り直し、同じ手法の効き方がどう変わるかを見る

• VRAM・応答時間・測り直しにかかる時間という、精度と引き換えに増えるものを確認する

なぜ「測ってから」なのか

数値が無いと、次に何を試すべきかが決まりません。指標を分けて測ると、問題が検索側にあるのか回答側にあるのかが切り分けられます。この講座では実際に、検索側の指標が満点になっても回答側が上がらない場面や、期待した手法が数字を動かさない場面が出てきます。そこも隠さずそのまま見せます。うまくいった記録だけを並べても、自分のデータで測るときの役に立たないからです。

クラウドAPIでRAGを組んでいる方へ

実演は手元のllama.cppサーバーで行いますが、環境に固有の内容は3本・約13分だけです（「環境を準備する」「並び替えモデルを選ぶ」「Rerankerサーバーを起動する」）。残りの約80分は、ローカルでもクラウドAPIでも同じ内容です。評価コードは接続先を差し替えるだけで動き、チャンク設計もBM25の組み込みもPython側で完結します。どこを変えればクラウドAPIで動くかは、一覧にしてリソースとして配布しています。

ただし1点だけ、先にお断りしておきます。「並び替えモデルを選ぶ」の回は、選定基準そのものが「自分でGGUF形式に変換できるかどうか」です。手順だけでなく、判断の枠組みそのものがクラウドAPIを使う方には当てはまりません。読み替えれば使える、という性質の回ではありません。だからこそ、購入前にお伝えしておきます。

こんな人におすすめ

• RAGの基礎を知っていて、社内でAIの導入・評価を任されている方

• 社内文書に答えさせるRAGを作ったものの、精度が良いのか悪いのか判断できずにいる方

• クラウドAPIでRAGを組んでいて、精度を数値で評価する手順を身につけたい方

• チャンクサイズやHybrid Search・Rerankingの採否を、勘ではなく数値を根拠に決めたい方

• 手元に検証環境が無くても、測り方と改善の考え方を先に理解しておきたい方

受講に必要なもの

画面を見るだけでも最後まで理解できる構成です。手を動かす場合は、Windows PCとNVIDIA製GPU、uv、チャット用と埋め込み用のモデルファイルが必要になります（詳細は要件欄に記載）。

精度は、上げる前に測る。それだけで、次に何を試すべきかが見えるようになります。