RAGの精度向上｜5つの手法と失敗事例から学ぶ改善策

「検索精度や生成精度が期待通りに上がらない」「思ったような回答が得られない」とお悩みではないでしょうか。

RAG（Retrieval-Augmented Generation）は、大規模言語モデル（LLM）の回答の正確性を高める技術として注目されていますが、その実装は一筋縄ではいきません。
多くの企業が「専門情報を反映した情報が得られない」「関連性の低い情報が混ざる」など、様々な課題に直面しています。

この記事では、RAGの精度が上がらない3つの主要な原因を特定し、それぞれの課題に対応する具体的な解決策を解説します。
この記事をお読みいただくことで、RAGの精度を向上し、パフォーマンスを改善するヒントが見つかり、実際の業務やシステム設計に役立てるための知見を得られるでしょう。

RAGについての基本的な情報は以下の記事もご参考ください。

RAGの精度向上はなぜ難しい？3つの主な原因

RAGは、外部の知識を検索し、LLMがその情報をもとに回答を生成する仕組みです。このプロセスにおいて、LLM全体に共通する課題に加え、RAG独自の課題が存在します。ここでは、RAGの精度が上がらない主な原因を、RAGのプロセスに沿って解説します。

①検索の課題：関連文書がうまく取得できない

RAGの精度は、最初のステップである「検索」の結果に大きく依存します。ユーザーの質問に対して、システムが関連性の高いドキュメントを正しく取得できなければ、その後の生成ステップでどれだけ優れたプロンプトを使っても、良い回答は得られません。

この段階での失敗は、主に以下の要因で引き起こされます。

• 質問とドキュメントのミスマッチ
  質問の意図を正しく解釈できず、関連度の低い文書が選ばれてしまうことがあります。
• ドキュメントの構造が複雑
  PDFやHTMLなど構造が複雑な形式は、適切に分割・処理しないと必要な情報を取り出せない場合があります。
• 埋め込みモデルの表現力が不十分
  埋め込みモデル（文章を数値化して意味の近さを判定する仕組み）の精度が低いと、関連文書を正しく見つけられず検索精度が低下します。
• 外部知識の検索とLLMの接続問題
  RAG固有の課題として、検索したドキュメントをLLMに渡す際の接続部分で問題が起こることがあります。例えば、関連性の高い情報を取得しても、プロンプト設計や情報の渡し方が不十分だと、LLMが正しく参照できないことがあります。

②生成の課題：回答が不安定、ハルシネーションを起こす

LLMは、事実に基づかない情報や与えられた情報に忠実でない回答（ハルシネーション）を生成することがあります。

この問題は、特にプロンプトの設計が不十分な場合に顕著になります。例えば、「提供された情報に基づいて回答せよ」という指示が曖昧だと、LLMは自由に情報を補完しようとし、結果的に誤った情報を回答に含めてしまうことがあります。これはLLMの特性上、完全に避けるのは難しい課題です。

③データの課題：データの質が低く、ノイズが多い

RAGシステムはインプットとなるデータの質に影響を受けます。不正確な情報や古い情報、不完全な記述が含まれているデータは、回答精度を低下させます。

また、ドキュメントの形式がバラバラで、適切に分割・ベクトル化ができない場合も、検索の失敗につながります。データの整備や埋め込みモデルの改善が、RAGの精度を大きく左右するため特に重要です。

RAGの精度を向上させる5つの改善策

ここでは、RAGの精度を向上させるための具体的な5つの改善策を紹介します。

これらの対策は、前述の「3つの主な原因」に対応するものです。

データの前処理を徹底する

クリーンなデータは、RAGの性能を高める上で不可欠です。データのクレンジングと前処理を丁寧に行うことで、検索の精度が向上します。

• 不要な情報の削除
  Webページから広告、ヘッダー、フッターなどを削除し、本文のみを抽出します。
• データの正規化
  複数のドキュメントで表記ゆれがある専門用語などを統一します。
• メタデータの付与
  ドキュメントに「作成日」「著者」「カテゴリ」などのメタデータを付与し、検索時にフィルタリングできるようにします。

チャンクサイズとオーバーラップを最適化する

RAGでは、ドキュメントを小さな塊（チャンク）に分割して処理します。このチャンクのサイズがRAGの精度に影響します。また、隣接するチャンク間で内容を重複させることをオーバーラップと呼びます。

チャンクサイズ	オーバー ラップ	メリット	デメリット
小 (例：100-200トークン)	小	特定のキーワードに一致しやすい	文脈が途切れてしまう可能性
中 (例：300-500トークン)	中	文脈を保ちやすい	ノイズが含まれる可能性
大 (例：800トークン以上)	大	多くの情報を含められる	特定の情報が見つけにくい

チャンクサイズは、ドキュメントの特性や用途によって最適なものが異なります。

• 小サイズ：キーワード検索には有効ですが、文脈が分断されやすいという特徴があります。
• 中サイズ：文脈を保ちやすく、精度とノイズのバランスが良い傾向にあります。
• 大サイズ：多くの情報を網羅できますが、ピンポイントで必要な情報を探し出すのには不向きです。

様々なサイズを試し、適切なオーバーラップを組み合わせることで、文脈の連続性を確保しながら検索精度を高めることが可能です。

埋め込みモデルを変更する

埋め込みモデルは、ドキュメントやクエリをAIが理解できる形式に変換する役割を担います。このモデルの性能が、検索の精度を直接左右します。

• 汎用モデル
  text-embedding-ada-002などの汎用モデルは、様々なドメインに対応できますが、特定の分野には最適化されていません。
• ドメイン特化モデル
  法律、医療、ITなどの特定のドメインで学習されたモデルは、その分野の専門用語や文脈をより正確に捉えることができます。

プロンプトエンジニアリングで生成品質を高める

検索結果が正しくても、LLMへの指示（プロンプト）が不十分だと良い回答は得られません。以下の要素を含めることで、生成品質を向上させることができます。

• 役割の指定：「あなたはプロのライターとして、～」のように役割を明確にする。
• 出力形式の指定：「箇条書きで回答してください」「結論から述べてください」のように形式を指示する。
• 注意点：「提供された情報のみに基づいて回答し、憶測で書かないこと」「回答は簡潔にまとめること」と明確に指示する。

ハイブリッド検索を導入する

ベクトル検索は意味的な類似性を捉えるのに優れていますが、固有名詞や特定のキーワードの検索には弱いという欠点があります。この弱点を補うのが、キーワード検索と組み合わせる「ハイブリッド検索」です。

これにより、ベクトル検索で意味的に近いドキュメントを、キーワード検索で特定の用語を含むドキュメントをそれぞれ取得し、両者の結果を組み合わせてLLMに渡すことができます。

RAG精度向上で陥りがちな失敗と対策

ここでは、RAGの精度向上に取り組む際に陥りがちな失敗事例とその対策を紹介します。

失敗事例1：データ前処理を怠る

【よくある失敗】
テスト環境で簡易的な動作確認を優先するあまり、不完全なドキュメントやノイズが多いデータを使ってRAGの PoC（概念実証）を進めてしまうケースです。例えば、Webサイトから取得したHTMLデータに広告やナビゲーションメニューなどの不要な情報が含まれているにもかかわらず、そのままデータベースに格納してしまう、などが挙げられます。

【結果】
不正確な情報やノイズが混ざり込んだままになるため、検索精度が上がりません。結果として、後から大規模な手作業による修正が必要になり、開発コストが増大します。

【対策】
「データの前処理がRAGのパフォーマンスを左右する」と認識し、初期段階で時間をかけて丁寧に行うことが、将来的なやり直しの手間を防ぐ最も重要な対策です。

失敗事例2：チャンクサイズを検証しない

【よくある失敗】
ドキュメントの特性や利用シーンを考慮せず、「一律500文字」「段落ごと」といった安易な基準だけでチャンクサイズを決めてしまうケースです。例えば、法務契約書のように一文が長い資料を細かく分割しすぎると文意が途切れ、逆にFAQのような短文を大きな塊にまとめると無関係な情報が一緒に扱われてしまいます。

【結果】
重要な文脈が分断されたり、無関係な情報が混ざったりすることで、関連性の高い情報がバラバラになり、検索精度が低下します。さらに、チャンク間のオーバーラップを設定しないことで、重要なキーワードが分割され検索から漏れてしまうこともあります。

【対策】
様々なチャンクサイズを試し、どのサイズが最も精度を高めるかを検証することをおすすめします。特に、ドキュメントの内容が多岐にわたる場合は、ドキュメントのセクションや段落ごとにチャンクを分割するなどの工夫も有効です。

RAG精度向上の先にある実務課題を解決するには

本記事では、RAGの精度が上がらない原因と、それを改善するための具体的な5つの手法を解説しました。RAGの精度向上には、データ品質の改善、検索手法の工夫、プロンプト設計など、多面的な取り組みが不可欠です。

RAGの活用は、単なる技術導入だけでなく、データの整理や設計など、企業のDX推進全体に深く関わるものです。しかし、専門的な知識やインフラ基盤の整備、データの整理や設計といった課題が、実務を進める上での障壁になっているケースも少なくありません。

自社のDXの課題がどこにあるのかを整理するうえで、他の企業がどのようにDXやAI活用に取り組んでいるかを知ることは非常に有益です。当社では、企業のDX推進やAI活用の実態に関するアンケート調査を公開しております。DXに関する課題や取り組みの優先度を見つける参考資料としてご活用いただけます。

さらに、トゥモロー・ネットでは、これまでの導入支援で培ったナレッジをもとに、データ整備や検索設計に関するアドバイスも可能です。こうした課題を感じている場合は、ぜひ一度ご相談ください。

企業のDXの実態については以下の資料よりご覧ください。