実際のAIチャットボットの精度はどうなの？
前回は、最終候補としてChatGPT系とGemini系の2つに絞ったところまでを書きました。
今回は、あえて自分が開発しているAIチャットと比較するために、大手企業が導入しているAIチャットをいくつか実際に使ってみた体験についてまとめます。
ある大手電機メーカーの公式サイトで「店舗の営業時間を教えて」と質問してみました。
すると返ってきたのは、「こちらのページをご覧ください」というリンク付きの返答のみ。
リンクをタップすると公式サイトのトップページに遷移し、さらにそこから何ページもクリックしないと目的の情報にたどり着けませんでした。
正直、「これならGoogleで“◯◯ 店名 営業時間”って検索した方が早いのでは？」と思ってしまいました。
チャットというインターフェースを使ったはずなのに、むしろ手間が増えてしまったという印象です。
もちろん、企業のチャットボットがそういう設計になっているのには理由があると思います。
正確な情報をFAQに誘導し、ユーザーに自己解決を促すスタイルとしては筋が通っています。
ただ、今回自分が作っているのは採用チャットであり、利用者が欲しいのは「答えそのもの」です。
サイトを回遊させるより、その場で直接答えた方がずっと効率がよく、ストレスもありません。
たとえば「応募に必要な書類は？」という質問に、「履歴書と職務経歴書の2点です」と即答する。
そういった“即答型”のチャットの方が、明らかに使い勝手がいいと感じました。
とはいえ、精度の面ではこちらが一方的に勝っているとも思っていません。
実際、社内で使ってもらったテスターからは「文体がやや硬い」「聞き方を変えると返答がブレる」といった声もありました。
そこでMarkdown形式のプロンプト、JSONベースの定義、日本語／英語混在パターンなどを試行錯誤しながら改善を重ねてきました。
それでも思ったほど精度は安定せず、最終的には「大手でもこのレベルなんだな」と、少しホッとしたのが正直なところです。
次回は、実際に採用チャットとして公開するために行った初期設定や、各種カスタマイズについて（可能な範囲で）紹介します。
とはいえ、あまりに詳細に書くと誰でも真似できてしまうので、雰囲気だけお伝えできればと思います。