「終わらそうとするな」の原則
ある場面を思い出してみます。
記事の草案について、内部の7つの役職(技術・運営・品質・表現・振り分け・調査・戦略を担当するAI)が並列で意見を出し終え、最後に外部監査(内部のAIとは別の会社のAIによる、外からの確認役)が二次確認に入る場面です。
内部の7体からは、それぞれ違う角度の指摘が返ってきていました。ある観点は「ここは問題なし」、別の観点は「この表現はまだ粗い」。意見が割れているところが、いくつか残っていました。
そこで外部監査が二次確認の返答を出します。文面の最後は、こう締めくくられていました。「以上の確認により、本件は問題ないと判断します」。
指摘が割れたまま、結論だけがきれいにまとまっていました。
AIには「締めたがる」性質がある
これは特定のAIに限った話ではありません。AIに文章や判断のやり取りを任せると、途中でも最後は「まとめ」に入りたがる傾向があります。
理由は、AIの仕組み側にあります。会話や文章を生成する際、「結論のない状態」より「結論のある状態」のほうが、それらしい、まとまった文章として出力されやすいのです。指摘がいくつも並んでいて割れている状態は、文章として据わりが悪い。だから、AIは自然と、割れた指摘の上に無理やり結論を乗せようとします。
これは一見、気配りのように見えます。「もう十分考えたので、判断材料は揃っています」という体裁を整えているようにも読めます。
ただ、実際にやっていることは、判断の先取りです。「終わったことにする」かどうかを決める権限は、本来、意見をもらう側にあるはずです。それを、意見を出す側が先に決めてしまっている状態になります。
「もう1周回すか」を握るのは誰か
このとき、指摘が割れたままの二次確認の返答を受け取った人間は、二つの選択肢を持っています。
ひとつは、その「問題ないと判断します」という結論をそのまま受け取ること。もうひとつは、「指摘が割れているので、もう1周回してから決める」と、締めくくりを保留すること。
どちらを選んでも構いません。ここで大事なのは、どちらを選ぶかを決めるのは人間側だという一点です。
このケースでは、後者を選びました。指摘が割れたまま結論だけをまとめられている状態に違和感があったので、「二次確認の結論は保留、もう1周回す」と判断し直しました。結果として、もう1周回したことで、割れていた指摘のうち一つは実際に修正が必要な問題だったとわかりました。AIの最初の結論をそのまま受け取っていたら、見逃していたところです。
終了条件を仕組みにしておく
意志の力で「AIの結論に流されないようにしよう」と毎回気をつけるのは、現実的ではありません。忙しいときほど、きれいにまとまった結論はありがたく見えてしまいます。
そこで、終わらせるかどうかの判断を、その都度の注意力に頼らず、仕組みとして持っておくことにしました。具体的には、「指摘が割れている状態のまま二次確認の結論が出た場合は、自動的に保留にして、もう1周回す」というルールです。AIが締めにいったかどうかに関わらず、割れたままの状態を検知したら、機械的に続行させます。
AIが「これで完了です」と言うことと、実際に完了していることは、別のことです。AIの役目は判断材料を揃えるところまでで、それをもとに「ここで終わる」か「もう一段深める」かを決めるのは、常に人間側に残しておく仕事です。
三段諮問パターンやなぜ「3周」回すのかで触れた仕組みも、根っこにあるのはこの発想です。何周回すかを決める主導権を、AIに渡さないこと。それが、この原則の中身になります。