オードリー・タンが警鐘|AIに「決めさせる」システムを作ってはいけない

オードリー・タンが警鐘|AIに「決めさせる」システムを作ってはいけない

「AIを業務に取り入れよう」

こんな号令が、あなたの会社でもかかっているかもしれません。

  • 見積もりの作成
  • 問い合わせ対応
  • 書類のチェック

しかし、こうした業務をどこまでAIに任せてよいのか、判断の線引きに迷っている担当者は多いのではないでしょうか。

迷いの正体は、効率化したい気持ちと、任せすぎて大丈夫かという不安との間で生じる葛藤です。この葛藤を整理する手がかりになるのが、台湾の初代デジタル担当相オードリー・タン氏の言葉です。同氏はAIを「親友」のように扱う危うさを指摘し、AIが決めて人が従う状態を「逆ケンタウロス」と呼んで警戒を促しています。

この記事では、オードリー・タン氏の発言を手がかりに、AIを業務システムへ組み込む時の3つの設計原則と、それを発注・要件定義の言葉へ落とす方法を解説します。読み終える頃には、あなたの会社でのAI導入について「人間の決定権をどこに残すか」を要件として書き出せるはずです。

【本記事の要点】

  • AIに「乗る」ことと「決定を任せきる」ことは別物で、後者が続くと組織の判断力が枯れてくる
  • 逆ケンタウロスを避ける設計原則は「たたき台に留める」「理由を追える」「止められる」の3つ
  • 発注時は要件書に「人間の承認ゲート」「ログ保持」「停止手段」を書くと、後の運用が楽になる

目次

  1. AIに「乗る」のと「任せきる」のは違う:逆ケンタウロスとは
  2. 機械に力を借りる「ケンタウロス」
  3. 機械が決めて人が従う「逆ケンタウロス」
  4. なぜこれが開発と発注の話になるのか
  5. なぜ社内のAIは「決めるAI」に寄っていくのか
  6. 肯定してくるAIが議論を省かせる
  7. 「とりあえずAIに聞く」が既定値になる
  8. 自律エージェントは人が見ていない時間を増やす
  9. 逆ケンタウロスを避ける3つの設計原則
  10. 原則1:AIの出力は「決定」ではなく「たたき台」として位置付ける
  11. 原則2:判断の理由が後から追える状態にする
  12. 原則3:「止められる設計」にする
  13. 発注と要件定義にどう落とすか
  14. 内製で進める場合
  15. 外注する場合
  16. 導入したあとに続ける2つのこと
  17. AIの判断を定期的に振り返る
  18. 撤退ラインと承認レベルを見直す
  19. まとめ:AIに乗る。ただし行き先は自社で決める

AIに「乗る」のと「任せきる」のは違う:逆ケンタウロスとは

左の「ケンタウロス」は人の上半身と馬の下半身で「人が決める」「AIが支える」関係を表す。右の「逆ケンタウロス」は機械の頭部と人の身体で「AIが決める」「人が従う」関係を表し、判断主体の違いを比較している。

AI導入を検討する時、最初に押さえておきたい区別があります。それは、「『AIの力を借りる』ことと『AIに判断を委ねる』ことは、似ているようで別物だ」ということです。ここを曖昧にしたまま設計を進めると、AIが出した結論を誰も確認しないまま、そのまま会社の決定事項になる仕組みができあがりかねません。まず2つの言葉を整理します。

機械に力を借りる「ケンタウロス」

オードリー・タン氏は、人とAIの望ましい関係を「馬と競う必要はなく、馬に乗ればいい」と表現しています。馬に乗れば速く移動できます。ただし、どこへ向かうか、その旅にどんな意味を持たせるかを決めるのは、乗り手である人間です。

この状態をタン氏は「ケンタウロス」と表現しました。ケンタウロスとは、古代ギリシャ神話に登場する上半身が人間、下半身が馬の姿をした半人半馬ですが、上半身の人間が方向を決め、下半身の馬が速さを担う役割を示しています。AIが下調べや草案づくりを引き受け、人間が最終的な判断を握る。多くの会社が目指しているのは、この形です。

機械が決めて人が従う「逆ケンタウロス」

問題は、この関係が逆転した時に起こります。タン氏はこれを「逆ケンタウロス」と呼んでいます。もとはSF作家のコリイ・ドクトロウが提唱した言葉で、機械が意思決定を行い、人間はその指示に従って動くだけの状態を指します。頭がAIに、手足が人間に入れ替わった姿だと考えると分かりやすいかもしれません。

同氏は示唆的な例を挙げています。あるAIが「侵入するにはCAPTCHA(ロボットでないことを確認する画像認証)の突破が必要だ」と判断し、オンラインで人を雇ってそれを解かせた場合、雇われた人は、なぜその認証を解いているのか分からないまま作業し、知らないうちに不正なふるまいへ加担しているかもしれない、というものです。この例でも、目的を握っているのはAIで、人間は理由を知らされないまま部品として動いています。

極端な話に聞こえるかもしれませんが、構造は社内業務でも変わりません。AIが出した値引き額や与信の評価について、根拠を知らないまま担当者が承認ボタンを押すだけになれば、同じ状態です。

なぜこれが開発と発注の話になるのか

こうした話は、少し前まで思考実験に近いものでした。状況を変えたのが、生成AIと自律的に手順を組み立てて動くAIエージェントの普及です。

AIエージェントに任せれば、提案文をつくり、金額に応じて承認ルートを振り分け、条件を満たせば自動で承認扱いにし、外部システムへ発注データを送るところまで一続きで作業してくれます。

しかし、こうした一連の動きは、便利さの裏で、設計を一歩間違えれば、人間が中身を確認しないまま結果だけを受け取る流れができあがってしまいます。つまり、逆ケンタウロスは遠い未来の話ではなく、業務システムの設計次第では、すでに現実の問題として生じる可能性があるのです。

なぜ社内のAIは「決めるAI」に寄っていくのか

「肯定的な返答」「検証せず採用」「人が見ない連続処理」という独立した要因を上から並べ、それぞれが「人の確認が抜ける」状態につながり得る関係を点線で示す。

とはいっても、意図して逆ケンタウロスとなる会社はないでしょう。それでも、放っておくとAIが「補助するもの」から「決めるもの」へと意図せず変化していくことは考えられます。その理由は次の3つです。

肯定してくるAIが議論を省かせる

タン氏が「AIを親友にするな」と言う時、念頭にあるのがAIの応答の傾向です。多くの生成AIは、利用者の考えに対して「そのとおりです」「よい着眼点です」と肯定的な返答をします。人間の同僚であれば、反論したり、判断を保留したりすることもありますが、AIからはそうした応答が出にくい傾向があります。

肯定的な返答が続くと、人は自分の判断が妥当だと確認できたように感じてしまいます。本来なら上司や現場の担当者に相談していた案件を、AIとのやり取りだけで決めてしまいがちになると、判断の質を支えていた「他人との突き合わせ」が抜け落ちてくるのです。

「とりあえずAIに聞く」が既定値になる

AIの回答は速く、それらしい体裁も整っているため、AIを使い慣れた人ほど、迷ったらまずAIへ相談することが習慣化しやすくなります。

AIに聞くという習慣そのものは悪くありません。問題は、聞いた結果をどこまで自分で検証するかに個人差が出る点です。業務に追い込まれている時ほど、出てきた答えをそのまま採用する誘惑は強くなってくるでしょう。そうした状況下で十分な検証を行わなければ、AIの回答がそのまま業務上の決定事項として採用されてしまうかもしれないのです。

自律エージェントは人が見ていない時間を増やす

AIエージェントは、指示を与えると複数の手順を一気通貫に実行してくれます。しかも、夜間や休日も休まず働いてくれます。

人が休んでいる間に処理が進むのは確かに効率的ですが、その一方で、人の確認を挟まずにAIの処理が進む時間が生まれることにも注意が必要です。後から結果を見て「なぜこう処理したのか」が追えなければ、AIエージェントの判断は検証されないまま業務へ反映されてしまうでしょう。

逆ケンタウロスを避ける3つの設計原則

左から「たたき台に留める」は案の文書と承認、「理由を追える」は記録と虫眼鏡、「止められる」は処理を止めるスイッチで表現し、対等な設計原則として並べている。

本章では、AIを業務システムに組み込む時、逆ケンタウロス状態を避け、人間の決定権を守るために押さえておきたい3つの設計原則を解説します。

原則1:AIの出力は「決定」ではなく「たたき台」として位置付ける

1つ目は、AIが出したものを最終結果として扱わない設計です。

AIの出力は「案」として提示し、人間が確定する操作を1つ挟みます。見積書であれば、AIが金額を計算しても、担当者が内容を確認して「確定」の操作をするまでは下書き扱いとします。画面上でも「AIの提案」と「確定済み」を見た目で区別し、現状がどちらの状態かをひと目で分かるようにします。

すべての操作に同じ重さの確認を求める必要はありません。影響が小さく、後から取り消せる作業はAIで自動で進めてよいでしょう。そのうえで、金額の確定、社外への送信、契約に関わる操作など、取り返しがつきにくいものだけを必ず人間の承認を通す設計にします。リスクの大きさと取り消しやすさで承認のレベルを分ける、という考え方です。

原則2:判断の理由が後から追える状態にする

2つ目は、AIが関わった判断の記録を残す設計です。

  • 誰が
  • いつ
  • どの操作を行い
  • AIにどんな入力を与え
  • AIが何を出力し
  • 最終的にどう決まったか

こうした、一連の流れを残します。あわせて、AIエージェントが複数の手順を実行した場合は、その手順の連なりも記録します。

たとえば取引先の与信を判断する場面でAIを使うなら、「この申込みに対してAIが出した評価はどの水準だったか、担当者はそれを承認したのか差し戻したのか」まで残す、ということです。

記録があれば、問題が起きた時に原因の箇所をたどれますが、記録がなければ、「AIがそう言ったから」で説明が止まってしまいます。結果、責任の所在も曖昧になってしまうでしょう。

とはいえ、AIがどのような過程を経てその結果に至ったのかを、人間に分かる言葉ですべて説明させるのは難しいかもしれません。それでも、最低限判断の入口と出口、使った材料は追える形にしておきましょう。

原則3:「止められる設計」にする

3つ目は、AIの動きをいつでも止められるようにする設計です。

まず、AIやエージェントに与える権限を必要最低限にします。閲覧だけで足りるなら書き込みの権限は渡さない。特定の業務にしか使わないなら、その範囲の外へは手が届かないように設定します。

次に、人が見ていない状態で動ける範囲と時間を区切ります。無制限に連続実行させず、一定の処理量や時間で一度止まり、人間の確認を待つ区切りを入れます。

そして、どうなったら止めるかという撤退ラインを先に決めておきます。エラーの割合がある水準を超えたら停止する、想定外の相手にデータを送ろうとしたら遮断する、といった条件です。言わば、安全弁を設けておくという発想です。AIがすべてを終えてから考えるのでは手遅れなのです。

発注と要件定義にどう落とすか

中央の「要件書」に、「決定権」「承認フロー」「ログ保持」「権限スコープ」「停止手段」を線で結び、開発前に要件として明記する項目を示している。

ここまでの3つの設計原則は、要件定義の言葉に翻訳して初めて開発へ反映されます。内製でも外注でも、確認すべき観点は共通です。表で整理してみましょう。

観点内製で確認すること外注の要件書に書くこと
決定権の所在どの判断を人間が握るかを業務側で決めているか「最終確定は利用者の操作を必須とする」と明記
承認フローリスクの高い操作に承認ステップがあるか承認が必要な操作の一覧と、承認者の指定
ログ保持誰が・いつ・何を、AIの入出力を記録しているか記録する項目、保持期間、検索と出力の方法
権限スコープAIに渡す権限が業務範囲に収まっているかAIが読み書きできる範囲を機能単位で指定
停止手段動作を止める操作と条件が用意されているか停止操作、自動停止の条件、連続実行の上限

内製で進める場合

内製の強みは、業務を知る人が設計に加われることです。だからこそ、AIに任せる範囲を情報システム部門だけで決めず、実際にその業務を回している担当者と一緒に、AIに任せる業務と人が判断する業務の範囲を決めます。「この判断は現場が握る」という合意を、開発に入る前に取っておくことは必須です。

外注する場合

外注では、要件書に書かれていないことは基本的に実装されません。「人間の承認ゲートを入れる」「操作ログを残す」といった項目を、機能要件としてはっきり書いておきましょう。口頭で「よしなに」と伝えるだけでは、効率を優先した自動化に偏ってしまう傾向があります。

特に、判断で損害が出た時や責任をどう分けるかは、契約の段階で話し合っておかなければならない最重要事項です。たとえば、「AIの提案を人間が承認した後の結果については発注側、指定した停止条件が機能しなかった場合は開発側」のように、システムの不具合と業務上の判断の境界線を決めておく考え方があります。トラブルが起こらないに越したことはありませんが、万が一の保険は必要でしょう。

あわせて確認したいのが、運用開始後にログの提供を受けられるか、障害時の調査に協力してもらえるかという点です。ここを詰めておくと、トラブル対応の初動が変わります。

導入したあとに続ける2つのこと

「判断記録を振り返る」と「承認レベル・撤退ラインを見直す」を循環する矢印で結び、稼働後も記録の確認と運用条件の調整を繰り返す関係を示している。

AIを組み込んだシステムは、稼働させて終わりではありません。運用時には、次の2点をポイントとしてチェックするようにしましょう。

AIの判断を定期的に振り返る

月に1回など区切りを決めて、AIが関わった判断の記録から数件を選び、AIの出力と最終的な決定内容を照らし合わせて確認します。この時は、主に人間がそのまま承認しているだけになっていないか、AIの提案の精度が落ちていないかを見ます。前者であれば、承認までの所要時間が極端に短くないか、修正や差し戻しが一度も発生していないか、といった点が手がかりになります。

もう一方の精度を見るのは、使っているデータやAIのモデルが変われば、出力の傾向も変わるためであり、方向性をチェックするためでもあります。

撤退ラインと承認レベルを見直す

運用してみると、想定より安全に運用できる操作もあれば、思ったよりリスクが高い操作も見えてくるでしょう。最初に決めた承認レベルや撤退ラインが、実際の結果を見て調整が必要となるケースも少なくありません。

慣れてきたからと承認を簡略化する方向だけで考えるのではなく、リスクの片鱗が見えたら新たな承認ポイントを足すなど、人の手間をあえて増やす判断が必要な場合もあります。

まとめ:AIに乗る。ただし行き先は自社で決める

オードリー・タン氏の警鐘は、AIそのものを危険視するものではありません。速く走れる馬に乗るのは合理的な選択です。危惧しなければならないのは、手綱を手放し、馬が向かう先に付いていくだけになることです。

逆ケンタウロスを避ける設計は、3つの原則に整理できます。

  • AIの出力はたたき台として位置付ける
  • AIの判断の理由を後から追えるようにする
  • AIの動きをいつでも止められるようにする

この3つを発注や要件定義の言葉へ残しておけば、AIの便利さを取り入れながら、決定権を自社に残せるでしょう。

AIを入れるかどうかではなく、どう乗りこなすか。その問いに答えを出せるのは、業務を知るあなたの会社です。

株式会社MUは、AIを組み込む業務システムについて、要件定義から設計、開発、そして導入後の運用設計までを支援しています。どこまでAIに任せるべきか、要件にどう書けばよいかでお悩みでしたら、お気軽に株式会社MUにご相談ください。

筆者プロフィール

MU編集部

MU編集部

株式会社MU / 編集部
「お客様と共に前進するデジタルパートナー」をキーメッセージに掲げ日々、DX推進企業としてデジタルトランスフォーメーションを推進。
お問い合わせは下記お問い合わせボタンからお願いします。

弊社にご関心をお持ちいただき、
ありがとうございます。
DX推進をはじめ、Web制作等の
お見積り、サービスに関する
ご相談など、お気軽にお問い合わせください。
お問い合わせ内容の確認後、
担当者よりご連絡致します。

*は入力必須項目です。