あなたのチャットボット、「ちゃんと」動いてますか？

「はず」と「実際」は、別物だ

あなたのチャットボットが「何をするはずか」は、だいたい分かっている。でも「実際に何をしているか」は、正確には分かっていない。この二つを同じものだと扱うから、ユーザーを静かにがっかりさせる返答を、誰も気付かないまま何週間も本番で流し続けることになる。

QAは、感覚で終わっている

多くのチームのチャットボットQAは、誰かがボットを開いて三つか四つ質問して「大丈夫そう」と言うだけだ。それはテストではなく、願望だ。そして願望はスケールしない。手で数本の会話を確認したところで、実ユーザーが歩く何千通りの会話パスのうち、ほぼ何もカバーできていない。

「ユーザーが教えてくれる」では、遅い

本当に問うべきは「動くか」ではなく、「動かなくなった時、どうやって気付くのか」だ。もし答えが「ユーザーが教えてくれる」なら、あなたのチャットボットはもう、あなたが思っているより悪い。ただ、まだ測っていないだけで。

カスタマーサポート

Botが間違った返品ポリシーを案内。顧客が店舗に来る。クレームと壊れた約束の対応が始まる。

EC・通販

Botが在庫切れ商品をレコメンド、存在しないクーポンコードを生成。顧客が購入しようとする。動かない。離脱する。

社内オペレーション

人事Botが休暇規定を間違えて案内。社員がその情報を元に判断。法務が動き出す。