ChatGPTを使って採用チャットを設定していた私たち。
最初は「これだけ優秀なAIなら、きっと完璧に応答してくれるだろう」と期待していました。
ところが実際に質問を投げてみると、少しずつ違和感が出てきました。
たとえば「応募後の流れは？」と質問すると、
一部の情報は返ってきますが、後半の説明が抜けていたり、
質問の表現を変えると答え方が変わってしまったり。
“答えは間違っていないけれど、どこか物足りない”──そんな印象でした。
そこで、プロンプトの設計を工夫し始めました。
Markdown形式でルールを書いたり、英語で命令を与えてから日本語で答えさせるようにもしてみました。
それこそ何十通りものパターンを試しました。
一時的に少し良くなったように見えても、安定しない。
違う業種、違う質問になると、またブレが出てしまう。
「もっと精度上げられないかな？」
開発担当の技術者にそう伝えてみたことがあります。
そのとき返ってきたのは、意外な一言でした。
「正直、大手でもここまで精度出すのって難しいですよ。」
その言葉でハッとしました。
「もしかして、自分たちだけが苦労しているんじゃないのかも」と。
それまでは、「うまくいかないのは設定のせい」だと思っていました。
でも、技術者の冷静な視点からすると、“AIチャットに求めすぎていた”のかもしれません。
こうして私たちは、視野を広げることにしました。
他の企業のAIチャットはどうなのか？
本当に採用サイトのチャットのAIが劣っているのか？
それとも、今はまだ「そういう時期」なのか？
次回は、実際に試してみた大手企業のAIチャット体験と、
そこから再浮上した「Gemini」の話に入っていきます。
▶ 第3回：「他社のAIチャットで迷子に。そこから見えた“ちょうどよさ”とは？」