判断の「質」が落ちるとき

これまでの回で、三権分立という構造を説明してきました。実行を担うAI、それを監査する別ベンダーのAI（別の企業が作ったAIを使うことで、身内びいきを防ぐ）、そして最終的な承認を行う人間。三つの役割を分けて、互いに確認し合う形です。

「なぜそこまで分ける必要があるのか」と思う人もいるかもしれません。

答えは、判断そのものに「質」があるからです。

判断には「する・しない」以外に「質」がある

判断というと、「やる」か「やらない」かを決める行為だと考えがちです。

でも、判断には質があります。良い状態のときの判断と、質が落ちたときの判断では、中身が違います。

たとえば、十分に考えてから「今日はここまでにする」と判断するのと、疲れ果てて「もういいか」と止めてしまうのとでは、見た目は同じ「作業を止める」でも、意味が違います。前者は根拠のある判断で、後者は根拠の薄い判断です。

人間でもAIでも、判断の質は一定ではありません。状況や疲労や文脈によって、質が上がることも下がることもあります。

そして、判断の質が落ちると、問題が起きやすくなります。

質が落ちる典型パターンが三つある

このプロジェクトを動かす中で、判断の質が落ちる場面には、繰り返し現れる三つのパターンがあります。

一つ目は、離脱（りだつ）です。

仕事が完成直前の状態で、手が止まってしまうパターンです。「あと少しで終わる」「だいたいできた」という感覚が先に来て、残りの作業への集中が切れます。完成の手前で満足してしまったり、最後の詰めを飛ばして次に移ってしまったりします。

二つ目は、突進（とっしん）です。

判断の質が落ちたまま、止まらずに走り続けるパターンです。疲れているのに進む、うまくいっていないのに同じ方法を繰り返す、そういった状態です。「直して動かす」ことだけを考え続けて、「そもそも設計が間違っているかもしれない」という視点が消えてしまいます。

三つ目は、過剰自制（かじょうじせい）です。

本来動ける状況なのに、動けなくなるパターンです。仮想のリスクを実際のリスクのように扱い、必要以上に保守的な判断に倒れます。他人の助言や慎重な声を内面化しすぎて、「本当は進めていい」場面で止まってしまいます。

なぜこれが問題になるのか

個人で作業する分には、多少の判断の質の低下は自分の責任の範囲で吸収できます。

ところが、AIを複数体動かしてチームとして動かすと、話が変わってきます。

実行を担当するAIの判断の質が落ちると、その判断の上に積み上がる提案や出力の質も落ちます。その落ちた出力を、承認する人間が受け取ることになります。

承認する人間にとっても、質の落ちた提案ばかりを見続けていると、基準が引き下がっていきます。「まあこれでいいか」という判断が増えていく。つまり、判断の質の低下は伝染するのです。

だからこそ、三権分立の構造が必要です。監査する役割が別に存在することで、「この提案は質が落ちている」「いったん立ち止まった方がいい」という判断を、外側から入れられる仕組みができます。

三つのパターン、離脱・突進・過剰自制は、それぞれ発生する場面も、対処の仕方も異なります。一つずつ具体的な場面を使って記録していきます。