チャットボットのチューニングに必要なプロセスについて

チャットボットの運用で効果を出すためには、回答精度を向上させるための調整作業「チューニング」が欠かせません。定期的なチューニングによって、チャットボットの利用率の向上はもちろん、企業の利益率にも好影響を与える可能性があります。

チューニングは自社で行うタイプと、自動で行ってくれるタイプがありますが、今回は前者を想定し、チャットボットのチューニングに必要なプロセスを始め、チューニングで得られる効果、課題と対処策、チューニングしやすいチャットボットの選び方まで解説していきます。

すでにチャットボットを導入されている方はもちろん、これからチャットボットを導入される方にとっても、参考になれば幸いです。

チャットボットのチューニングに必要なプロセス

チャットボットのチューニングとは、質問に対しボットが正しく回答できるように調整する作業です。チューニングによって、チャットボットの回答精度が向上し、ユーザーの意図を理解し的確に回答することで、ユーザーの満足度を高めることにもつながります。

チャットボットのチューニングに必要なプロセスは、主に以下の6つです。

• ログデータを取得・分析する
• 回答の正誤を評価する
• FAQやシナリオの追加や修正を行う
• 学習データを登録する
• 定期的に改善する

それぞれ詳しく解説します。

ログデータを取得・分析する

チャットボットのログデータを取得し、分析を行います。

具体的には、問い合わせ傾向を把握し、よく寄せられる問い合わせに対してFAQやシナリオ、学習データに不足している部分などの改善点を検討します。

回答の正誤を評価する

チャットボットが、正しく回答を提示できているかどうか人間が評価することで、AIチャットボットの応答精度が高まります。

過去データで取得した回答内容の確認や、質問者からの評価をもとに判断するほか、導入前の段階では社内のテスト運用で評価し適切な回答にチューニングすることも効果的です。

FAQやシナリオの追加・修正を行う

分析結果から、FAQやシナリオの追加・修正を行います。

特にシナリオ型チャットボットの場合は、シナリオに基づいて全ての回答を提示するため、ユーザーが迷いなく、正しい回答へたどり着けるようなシナリオ設計が非常に重要です。

以前は想定していなかった問い合わせに対応するための追加や、文章の変更、内容の更新などを行います。

これにより、対応可能な質問数を増やしたり、ユーザーの検索性を高めたりすることで、チャットボットが対応できる範囲を広げていきます。

学習データを登録する

学習データとは、AIが適切な回答をするために必要な情報です。

AIを搭載しているチャットボットでは、シナリオ修正の代わりに、学習データを追加することで、適切な回答を提示できるようにしていきます。

具体的な例としては、話し言葉やFAQに使われている単語の別の言い回しや表記揺れ、類語の登録です。

AI型の場合はユーザーが自由に問いかけてやり取りを行うため、話し言葉にも対応する必要があります。

ログからユーザーがよく使う単語などを把握し、登録しておくことで、回答できる問い合わせが増えていきます。

定期的に改善する

導入直後だけではなく、チャットボットの運用状況を見ながら、継続的に改善を行う必要があります。

定期的にアップデートし続けることで、ユーザーのニーズに応える目的はもちろん、企業に利益をもたらすチャットボットを維持できるでしょう。

チャットボットのチューニング効果

チューニングを行うことで得られる効果には、以下のようなものがあります。

• 回答率、正答率の向上
• ユーザーの離脱防止
• 顧客満足度の向上
• 顧客インサイトの獲得

それぞれ詳しく解説します。

回答率、正答率の向上

チューニングを行うことで、チャットボットの回答率や正答率が向上します。

回答率とは、チャットボットが受けた問い合わせの内、「回答を提示できた割合」であり、正答率とは、ユーザーからの質問に「正しく回答できたかどうかの割合」です。

チャットボットは、導入の時点ではユーザーからの問い合わせを全て想定できないため、運用しながらチューニングを繰り返し、少しずつ精度を高めていきましょう。

ユーザーの離脱防止

チューニングを繰り返し、チャットボットの精度が高まることで、ユーザーの離脱防止に繋がります。

導入直後は、チャットボットの回答率が高くないことも多いため、ユーザーが途中で離脱してしまうことも想定されますが、チューニングを繰り返すことで徐々に精度が上がり、ユーザーの利便性が高まることで使用率が向上します。利用するユーザーが増えることで、導入効果を得られやすくなります。

顧客満足度の向上

問い合わせに対し、チャットボットが適切な回答を即座に提示できれば、ユーザーの成功体験に繋がり、顧客満足度の向上が期待できます。

チャットボットを設置しても回答精度が低いと、顧客にマイナスの印象を与えかねません。利便性の高いチャットボットは、顧客満足度を向上し、企業イメージにも良い影響を与えることが期待できます。

顧客インサイトの獲得

ログデータを分析することで、ユーザーのニーズや行動パターンなどの顧客インサイトを得ることが出来ます。

得たインサイトは、製品・サービスの改善や顧客の嗜好調査に活用でき、企業のマーケティング最適化に繋がります。

チューニングにおける課題と対処法

チャットボットのチューニングには、以下のような課題も存在します。

• データ不足
• オーバーフィット（過学習）

データ不足

チャットボットのチューニングにはログ分析が必要ですが、特に導入直後は利用率の低さから、十分な量のログが集まらない可能性があります。

データが不足すると効果的なチューニングが難しいため、チャットボットの精度を上げることが出来ないという悪循環に陥ってしまいます。

利用率を上げる対処法として、「設置位置・デザインの見直し」など顧客の目に付きやすい場所に設置し周知を広げることや、「選択肢や入力例を提示する」といった使い方のサポートを行い不安を払拭することが有効です。

オーバーフィット（過学習）

オーバーフィットとは、AIの学習機能において、特定のデータの学習が過剰に行われた場合に、その他のケースに対応しにくくなる現象です。

その結果、新しい質問や違う表現が出てきた場合に、誤った回答を提示してしまう可能性が高まります。

そのため、問い合わせ内容や質問形式などに偏りがでないよう、学習データにはバリエーションをもたせることが大切です。

チューニングしやすいチャットボットの見分け方

継続的にチューニングを行うためには、チューニングがしやすいチャットボットを選定することも大切です。

チューニングがしやすいチャットボットを見分けるポイントには、以下のようなものがあります。

• ログが確認しやすい
• 質問と回答データの管理がしやすい
• シナリオ設計がしやすい
• ユーザー辞書が使いやすい

それぞれ詳しく解説します。

ログが確認しやすい

前述のように、チューニングを行うためにはログデータの確認が不可欠のため、担当者がログ確認がしやすいと感じるツールを選ぶことが重要です。

担当者にとってログ確認がしにくいツールは、チューニングを定期的に行うことが負担となり、定着せず、導入が失敗に終わってしまう懸念があります。

ツールによって、使い勝手は異なりますので、導入前のトライアルやデモ体験の際に、ログの確認のしやすさもチェックすることをおすすめします。

質問と回答データの管理がしやすい

質問と回答データが管理しやすいツールを選ぶことで、チューニングの際の手間が省けるため、継続するハードルが下がります。

管理方法は、管理画面で確認できるタイプが多いようですが、Excelで一括管理できるタイプもあるようです。

ログと同様、使い勝手の良いものを選ぶと良いでしょう。

ユーザー辞書登録ができる

ターゲット層により、よく使う表現や単語は異なるため、それぞれの企業に合った単語を登録できる「ユーザー辞書機能」が使えるツールである方が、チューニング作業がしやすいでしょう。

同じ意味合いでも表現の違いや、話し言葉特有の「表現の揺れ」があるため、ログ分析を介して、導入前には想定していなかった表現などに対応できるように、ユーザー辞書を使いやすいツールにすることをおすすめします。

チューニングに不安がある場合

ここまでの解説を聞いて、継続的にチューニングを行うことに不安を感じている方もいるかもしれません。

「AIに関する知識に不安がある」「時間が割けない」「自社だけではログ分析が不安」など、理由は色々あるでしょう。

チューニングに不安がある場合には、以下のような方法もおすすめです。

• チューニングのフォローも対応してもらえるベンダーを選ぶ
• 人材育成の場を設ける

それぞれ詳しく解説します。

チューニングのフォローも対応してもらえるベンダーを選ぶ

ベンダーの中には、標準的なサポートや、オプションでこういったチューニング作業をおこなってくれるところもあります。

自社にリソースや知見がない場合は、サポート体制が整っているか、どのようなサポートをしてくれるか、といった点も検討時に確認することをおすすめします。

人材育成の場を設ける

長期的な目で見た場合、社内にAIスキルを持つ人材を育成することも重要です。

スキルを持った人材の雇用も一つの手段ですが、そもそもの人材不足や、業務の属人化、離職した場合にノウハウが引き継がれない、などの懸念もあります。

外部講師を招いた社内講習や、資格取得の補助制度を設けるなど、可能な範囲でサポート制度を作り、社内の人材育成に力を入れることが大切です。

チャットボットのチューニングで導入効果を上げよう

チャットボットのチューニングでは、ログの取得に始まり、改善部分の検討や修正など、いくつかの工程が必要となります。

チューニングを繰り返すことで、業務効率化や顧客満足度の向上、CVR向上などの効果が期待できますので、導入後すぐに効果を感じなかったとしても、諦めずに繰り返し行うようにしましょう。

また、チューニングは効果が出るまでの作業ではなく、効果を持続させるためにも継続的に行うことが必要ですので、これから導入される方は今回の記事を参考に、チューニングのしやすいチャットボットを選定することがおすすめです。

トゥモロー・ネットではAI型チャットボットを提供しています

トゥモロー・ネットが提供するCAT.AIは、ボイスボット（音声対話AI）とチャットボット（テキスト対話AI）を同時に使用できる最新型の「ナビゲーション型」対話AIです。

ボイスボットの利点とチャットボットの利点を最大限に活かし、初めて使うユーザーにもわかりやすく「ナビゲーション」することで、AI対応の完了率を向上してくれます。

簡単にデモ体験も実施いただけますので、AI型チャットボットの導入を検討の際は是非お問い合わせください。

ボイスボット×チャットボットの簡単デモ体験