サイトのAIアシスタントが間違って答えたら、どうなるのか

サイトにAIアシスタントを置こうと考えている企業の最初の質問は、たいてい同じです。「お客様に間違ったことを言ったらどうするのか」。もっともな質問です。AIモデルは、知らないことについてさえ、滑らかで自信に満ちた文を作れます。チャットアプリならそれは困りごとで済みますが、御社の名前で話すアシスタントでは、間違った料金、存在しないサービス、誤った営業時間を意味します。

よい知らせもあります。このリスクは、アシスタントの作り方によって大きく変わります。以下では、誤った回答がどこから生まれるのか、そして線をどう引くのかを説明します。

誤った回答はどこから生まれるのか

企業のアシスタントの誤った回答は、たいてい三つのところから来ます。

• 情報がそもそも与えられていない。配送にかかる日数を教えておらず、推測も許されているなら、アシスタントは「通常2〜3日」のような、もっともらしいけれど御社にとっては誤りの回答を作ることがあります。
• 情報が古くなっている。営業時間が変わったのに、アシスタントは古い時間を覚えている。モデルは正しく動いていますが、手元の情報が間違っています。
• 質問があいまい。「料金はいくらですか」は、どのサービスについての質問でしょうか。アシスタントが質問を確かめずに金額を言えば、取り違えが起こることがあります。

線を引く：三つのルール

1. 会社の情報だけで話す

アシスタントの知識の源は、御社が提供する情報に限られます。サービス、料金、営業時間、所在地、よくある質問。インターネット上の一般的な情報では答えません。このルール一つで、他社の料金や古いニュースが回答に紛れ込むのを防げます。AIカスタマーアシスタントはこのように動きます。御社から提供された情報だけで答えます。

2. わからないと言う

最も大切なふるまいは、答えを知らない質問でアシスタントが推測しないことです。提供された情報に答えがなければ、アシスタントは「こちらからご連絡します」と伝えてお客様の電話番号を受け取るか、予約を希望するお客様を予約システムへ案内します。お客様にとって、「それはわかりかねます、こちらからお電話します」という答えは、間違った答えよりも常にましです。

3. 会話を記録し、読む

アシスタントが何を言っているかを知らなければ、線引きが機能しているかどうかはわかりません。会話の要約は、定期的に御社に届くべきです。要約は二つの点で役立ちます。誤った回答や不十分な回答に早く気づけること、そしてお客様がいちばん多く尋ねることがわかることです。当社が作るアシスタントでは、要約が御社のメールに届き、情報が変わったときは当社がアシスタントを更新します。

例：同じ質問に、二つのアシスタント

動物病院を考えてみましょう。夜中にお客様が書き込みます。「うちの犬が何かを飲み込みました。どうすればいいですか。それと、避妊・去勢手術の料金はいくらですか」

線引きされていないアシスタントは、どちらの質問にも滑らかな答えを書くかもしれません。一般的な応急処置の助言と、インターネット上の平均的な料金に似た金額です。どちらも危険です。前者は個人向けの健康上の助言で、後者は病院の本当の料金ではありません。

線引きされたアシスタントは、まず病院自身の情報を確認します。病院が提供した緊急用の電話番号と診療時間があれば、それを伝えます。助言はしません。避妊・去勢手術の料金が病院の料金表になければ、金額をでっち上げず、「こちらからご連絡します」と伝えて電話番号を受け取ります。翌朝、病院は会話の要約でこの質問を見て、二つのことを知ります。お客様に電話する必要があること、そして料金表にこの項目を加える必要があることです。

二つ目のアシスタントは「賢さ」で劣るように見えるかもしれません。しかし、御社の名前で話すときに求められるのは、まさにこれです。アシスタントの価値は、どんな質問にも答えることではなく、答えた内容がすべて正しく、わからないことを御社に伝えることにあります。

アシスタントに任せるべきでない話題は

どれほどうまくルールを書いても、人に引き継ぐべき話題があります。

• 相手によって変わる料金や値引き
• 苦情、返品、トラブル
• 健康、法律、安全にかかわる個人向けの助言
• 契約や約束を伴うすべての事柄

こうした話題でのアシスタントの役目は、答えることではなく、お客様の情報を受け取って適切な担当者に伝えることです。

アシスタントの情報を用意する

アシスタントの正確さは、与えられる情報のわかりやすさに直結します。用意するときは、次の点に気をつけると楽になります。

• 一つの情報は一か所に、一つの形式で書く。同じサービスに二つの料金が二つの書類に書かれていたら、アシスタントはどちらを言えばよいかわかりません。
• 「わかりません」と答えるべき話題も書いておく。たとえば「相手によって変わる料金はお電話でご相談します」という一文が、その質問でどうすべきかをアシスタントに伝えます。
• 最初の一週間の会話を丁寧に読む。足りない情報は最初の数日にいちばん多く見つかります。一度補えば、同じ不足は繰り返されません。

導入の前に、自問してください

アシスタントに渡した情報がどこに保存されるのか、AIモデルがその情報を学習するのかどうかは、別の問題です。これについてはAIツールは自社のデータを学習しますかの記事とデータの安全性の項で説明しています。

まとめ

AIアシスタントが誤った回答をするリスクはゼロではありません。しかし、アシスタントが御社の情報だけで話し、わからないことは御社に引き継ぎ、会話が定期的に御社に届くなら、リスクは小さく、目に見える範囲にとどまります。アシスタントがどんな情報を受け取り、どう動くのかはAIカスタマーアシスタントのページで順を追って説明しています。

よくある質問

アシスタントが料金について間違ったことを言ったら、それに拘束されますか？

これは法律の問題で、答えは状況によって変わります。実務上のポイントは、料金、キャンペーン、返品のようなデリケートな話題では、アシスタントが御社から提供された最新の情報だけで答え、情報がなければ御社に引き継ぐことです。

アシスタントはインターネット上の一般的な情報で答えられますか？

御社の名前で話すアシスタントにとって、それは望ましいことではありません。一般的な情報は、他社の料金や古い情報を持ち込むおそれがあります。当社が作るアシスタントは、企業から提供された情報だけで答えます。

アシスタントが何と答えたかは、どうやって追えばよいですか？

会話の要約を定期的に読むことです。どんな質問が来たか、どれが御社に引き継がれたか、どの情報が足りなかったかが、要約に表れます。