チャットボットの導入効果をはかる上で、正答率は重要な評価指標の一つです。

正答率とは、チャットボットがユーザーからの質問に「正しく回答できたかどうかの割合」を示すもので、チャットボットの回答精度の高さに大きく影響します。高い正答率を持つチャットボットはユーザーの満足度向上や業務効率化に繋がりますが、正答率を上げるためにはいくつかのポイントがあります。

そこで今回は、正答率の平均や正答率が高いことによって得られるメリット、回答精度を上げるために実施したいことについてご紹介します。チャットボット運用や改善の参考にしていただけたら幸いです。

チャットボットの正答率とは？

チャットボットの正答率とは、チャットボットがユーザーからの質問に「正しく回答できたかどうかの割合」です。この割合が高いほど、チャットボットの回答精度は高いと考えられます。

チャットボットの平均正答率

チャットボットの正答率は平均的に60〜80％と言われており、正答率ごとのイメージは以下のようになります。

正答率	評価
90％以上	業界トップレベル
80～90％未満	上位レベル
70～80％未満	標準レベル
50～70％未満	改善を要するレベル
50％未満	実務には適さないレベル

ただし、AI搭載の有無やデータの量、利用目的などの状況によって異なり、一概には言えない部分もありますので、ひとつの目安として参考にしていただけると良いかと思います。

正答率以外のチャットボット評価指標

チャットボットの導入効果を測るうえで、以下のような数値も参考になります。

• 全体の問い合わせ件数の推移
• 起動数
• 対応件数
• 回答率
• 解決率
• サイト遷移数

全体の問い合わせ件数の推移

オペレーターが直接受ける電話対応も含めた問い合わせ件数の推移から、チャットボットの導入効果を測ることができます。

オペレーターが対応する件数が減っている場合、チャットボットによって解決されている可能性と、問い合わせ件数自体が減っている可能性があります。

問い合わせ件数の減少が見られずオペレーターの対応件数が減っている場合は、チャットボットの導入効果が出ていると考えられます。

起動数

ユーザーの意図でチャットボットが表示された件数を指します。

この起動数からチャットボットが利用された頻度を把握することで、そもそもユーザーに認知されているかを判断することができます。

起動数が少ない場合には、ユーザーの目につきやすい場所に配置したり、キャラクターを採用したりするなど、ユーザーが利用したくなるような工夫が必要です。

対応件数

チャットボットが実際に問い合わせに対応した件数を指しており、対応件数が多いほど、ユーザーがチャットボットを利用しているということになります。

起動数に対して対応件数が少ない場合は、問い合わせる前に離脱した可能性が高まるため、初期メッセージ内容などの見直しが効果的です。

回答率

チャットボットが受けた問い合わせの内、対応できた件数を指します。
注意点として、回答率では回答内容の正確さは問わないため正答率とは異なります。

回答率が低い場合には、シナリオ設計や学習データ量の見直しを行うと良いでしょう。

解決率

正答率と似た評価指数として「解決率」があります。

解決率はチャットボットの回答に満足した人の割合を指し、回答後のユーザーアンケートによって計測される数値であり、算出方法に違いがあります。

解決率が低い場合は、回答の文章がユーザーにとって理解しづらい可能性があります。専門用語を一般用語に置き換えるなど、分かりやすい伝え方にしていくことで、解決率を高めることができます。

サイト遷移数

チャットボットが提供した回答によって、ユーザーが他のページにアクセスした回数を指します。

チャットボットの誘導により、ユーザーが商品やサービスを閲覧しているか、購入や成約に繋がっているかという判断材料になります。

サイト遷移数が多いほど、チャットボットが適切にユーザーを誘導している可能性が高いと考えられます。

正答率が高いことによるメリット

チャットボットの正答率が高いことで、以下の3つのメリットが得られます。

• 利用率の向上
• 顧客満足度の向上
• 業務効率の向上

利用率の向上

正答率の高いチャットボットは、ユーザーにとって利便性が良いため利用率が向上します。

利用率が高ければ、より多くのデータを蓄積することができるため、サービスの質を高めていくことも期待できます。

顧客満足度の向上

チャットボットは、電話やメールでの問い合わせと比較すると、待ち時間が少なく、時間も問わないためユーザーは好きなタイミングで利用できるため、顧客の利便性が高まります。さらに、チャットボットの正答率が高いと、求めている情報を迅速に得られるため顧客満足度の向上につながります。

顧客満足度が高まることで企業イメージアップに繋がり、新規顧客の獲得や顧客の定着にも効果を発揮するでしょう。

業務効率の向上

チャットボットの正答率が高いとチャットボットで解決できる割合が上がり、電話やメールなどによる問い合わせ対応件数を減らすことができます。

FAQなどにチャットボットを導入し適切な回答を提示することができれば、オペレーターが対応しなけらばならないケースが減り、人手不足の解消や業務効率の向上が期待できます。

チャットボットの正答率を上げるために実施したいこと

チャットボットの正答率を向上させるためのポイントは、主に以下の5つです。

• 学習データを増やす
• フィードバックを活用する
• チャットボットの役割を明確にする
• 運用データに基づく継続的な改善を行う
• AIチャットボットを採用する

学習データを増やす

さまざまな情報やサンプル会話データなど、より広範囲の質問に対応できるよう、チャットボットに反映させるデータを増やすことが重要です。

特にAI型チャットボットの場合は、データの内容や量が回答内容に直結するため、正答率を向上させるには押さえておきたいポイントです。

また、一つの問い合わせに対して日本語ではさまざまな言い回しもあるため、表現のゆらぎにも対応できるよう単語のパターンや類似度などを学習させていくことも大切です。

フィードバックを活用する

ユーザーからのフィードバックや行動データを収集し、チャットボットに反映させることで正答率の向上に繋がります。

特に、ユーザーが不満や使いにくいと感じている部分について把握することで、効率的な改善に繋がります。

利用しているユーザーだけではなく、オペレーターなどの社内スタッフにも協力してもらい、問い合わせの多い内容などを分析することも効果的です。

チャットボットの役割を明確にする

チャットボットの役割を明確にすることも正答率を向上させる上で重要です。

チャットボット導入の目的から、チャットボットの役割を決めていきます。

例えば、対応時間を短縮するため、有人対応との組み合わせを前提として事前ヒアリングをチャットボットが行い、担当オペレーターへの振り分けをスムーズに行うためのチャットボット、問い合わせ件数の削減のため、オペレーターが対応しなくても解決できる内容に限定したチャットボット、といった考え方です。

役割を明確に決めることでチャットボットが効果的に機能し、正答率が向上していきます。

有人対応と組み合わせる

チャットボットでの解決が難しい場合に、オペレーターがすぐ対応できるようにしておくことで、正答率を向上させることができます。

チャットボットが回答範囲を超えた質問に対応出来なかった場合、フォロー体制がなければユーザーは解決策を得ることはできません。

チャットボットはあくまでもサポートの役割であり、対応できる範囲に限りがあるため、オペレーターに案内できる仕組みを整えておくことで正答率の向上に繋がります。

運用データに基づく継続的な改善を行う

運用データを分析し、応答やコンテンツを定期的に改善していくことが重要です。

チャットボット導入直後に想定していた効果が得られなかったとしても、PDCAを回していくことで効果が得られることがあります。

チャットボットの正答率を上げるためには、効果検証と改善を継続していくことが非常に大切です。

チャットボットの正答率を上げて導入目的を達成しよう

チャットボットの正答率を高めることは、ユーザーの満足度向上や業務効率化に直結します。

正答率を上げるためには、チャットボットが効果を発揮しやすい環境を作ることやPDCAを回すこと、有人対応と組み合わせること、AIも活用することが効果的です。

導入当初は正答率が低く利用が伸び悩難でいたところから、運用改善を重ね、正答率を大きく改善した事例も多々あります。

当記事で紹介した正答率向上の取り組み方を参考に、運用・改善に役立てていただけたら幸いです。

AI型チャットボットを試すならCAT.AIがおすすめ

トゥモロー・ネットが提供するCAT.AIは、ボイスボット（音声対話AI）とチャットボット（テキスト対話AI）を同時に使用できる最新型の「ナビゲーション型」対話AIです。

ボイスボットの利点とチャットボットの利点を最大限に活かし、初めて使うユーザーにもわかりやすく「ナビゲーション」することで、AI対応の完了率を向上してくれます。

簡単にデモ体験も実施いただけますので、AI型チャットボットの導入を検討の際は是非お問い合わせください。

ボイスボット×チャットボットの簡単デモ体験