release:
update:
release:
「AIを業務に取り入れよう」
こんな号令が、あなたの会社でもかかっているかもしれません。
しかし、こうした業務をどこまでAIに任せてよいのか、判断の線引きに迷っている担当者は多いのではないでしょうか。
迷いの正体は、効率化したい気持ちと、任せすぎて大丈夫かという不安との間で生じる葛藤です。この葛藤を整理する手がかりになるのが、台湾の初代デジタル担当相オードリー・タン氏の言葉です。同氏はAIを「親友」のように扱う危うさを指摘し、AIが決めて人が従う状態を「逆ケンタウロス」と呼んで警戒を促しています。
この記事では、オードリー・タン氏の発言を手がかりに、AIを業務システムへ組み込む時の3つの設計原則と、それを発注・要件定義の言葉へ落とす方法を解説します。読み終える頃には、あなたの会社でのAI導入について「人間の決定権をどこに残すか」を要件として書き出せるはずです。
【本記事の要点】
AI導入を検討する時、最初に押さえておきたい区別があります。それは、「『AIの力を借りる』ことと『AIに判断を委ねる』ことは、似ているようで別物だ」ということです。ここを曖昧にしたまま設計を進めると、AIが出した結論を誰も確認しないまま、そのまま会社の決定事項になる仕組みができあがりかねません。まず2つの言葉を整理します。
オードリー・タン氏は、人とAIの望ましい関係を「馬と競う必要はなく、馬に乗ればいい」と表現しています。馬に乗れば速く移動できます。ただし、どこへ向かうか、その旅にどんな意味を持たせるかを決めるのは、乗り手である人間です。
この状態をタン氏は「ケンタウロス」と表現しました。ケンタウロスとは、古代ギリシャ神話に登場する上半身が人間、下半身が馬の姿をした半人半馬ですが、上半身の人間が方向を決め、下半身の馬が速さを担う役割を示しています。AIが下調べや草案づくりを引き受け、人間が最終的な判断を握る。多くの会社が目指しているのは、この形です。
問題は、この関係が逆転した時に起こります。タン氏はこれを「逆ケンタウロス」と呼んでいます。もとはSF作家のコリイ・ドクトロウが提唱した言葉で、機械が意思決定を行い、人間はその指示に従って動くだけの状態を指します。頭がAIに、手足が人間に入れ替わった姿だと考えると分かりやすいかもしれません。
同氏は示唆的な例を挙げています。あるAIが「侵入するにはCAPTCHA(ロボットでないことを確認する画像認証)の突破が必要だ」と判断し、オンラインで人を雇ってそれを解かせた場合、雇われた人は、なぜその認証を解いているのか分からないまま作業し、知らないうちに不正なふるまいへ加担しているかもしれない、というものです。この例でも、目的を握っているのはAIで、人間は理由を知らされないまま部品として動いています。
極端な話に聞こえるかもしれませんが、構造は社内業務でも変わりません。AIが出した値引き額や与信の評価について、根拠を知らないまま担当者が承認ボタンを押すだけになれば、同じ状態です。
こうした話は、少し前まで思考実験に近いものでした。状況を変えたのが、生成AIと自律的に手順を組み立てて動くAIエージェントの普及です。
AIエージェントに任せれば、提案文をつくり、金額に応じて承認ルートを振り分け、条件を満たせば自動で承認扱いにし、外部システムへ発注データを送るところまで一続きで作業してくれます。
しかし、こうした一連の動きは、便利さの裏で、設計を一歩間違えれば、人間が中身を確認しないまま結果だけを受け取る流れができあがってしまいます。つまり、逆ケンタウロスは遠い未来の話ではなく、業務システムの設計次第では、すでに現実の問題として生じる可能性があるのです。
とはいっても、意図して逆ケンタウロスとなる会社はないでしょう。それでも、放っておくとAIが「補助するもの」から「決めるもの」へと意図せず変化していくことは考えられます。その理由は次の3つです。
タン氏が「AIを親友にするな」と言う時、念頭にあるのがAIの応答の傾向です。多くの生成AIは、利用者の考えに対して「そのとおりです」「よい着眼点です」と肯定的な返答をします。人間の同僚であれば、反論したり、判断を保留したりすることもありますが、AIからはそうした応答が出にくい傾向があります。
肯定的な返答が続くと、人は自分の判断が妥当だと確認できたように感じてしまいます。本来なら上司や現場の担当者に相談していた案件を、AIとのやり取りだけで決めてしまいがちになると、判断の質を支えていた「他人との突き合わせ」が抜け落ちてくるのです。
AIの回答は速く、それらしい体裁も整っているため、AIを使い慣れた人ほど、迷ったらまずAIへ相談することが習慣化しやすくなります。
AIに聞くという習慣そのものは悪くありません。問題は、聞いた結果をどこまで自分で検証するかに個人差が出る点です。業務に追い込まれている時ほど、出てきた答えをそのまま採用する誘惑は強くなってくるでしょう。そうした状況下で十分な検証を行わなければ、AIの回答がそのまま業務上の決定事項として採用されてしまうかもしれないのです。
AIエージェントは、指示を与えると複数の手順を一気通貫に実行してくれます。しかも、夜間や休日も休まず働いてくれます。
人が休んでいる間に処理が進むのは確かに効率的ですが、その一方で、人の確認を挟まずにAIの処理が進む時間が生まれることにも注意が必要です。後から結果を見て「なぜこう処理したのか」が追えなければ、AIエージェントの判断は検証されないまま業務へ反映されてしまうでしょう。
本章では、AIを業務システムに組み込む時、逆ケンタウロス状態を避け、人間の決定権を守るために押さえておきたい3つの設計原則を解説します。
1つ目は、AIが出したものを最終結果として扱わない設計です。
AIの出力は「案」として提示し、人間が確定する操作を1つ挟みます。見積書であれば、AIが金額を計算しても、担当者が内容を確認して「確定」の操作をするまでは下書き扱いとします。画面上でも「AIの提案」と「確定済み」を見た目で区別し、現状がどちらの状態かをひと目で分かるようにします。
すべての操作に同じ重さの確認を求める必要はありません。影響が小さく、後から取り消せる作業はAIで自動で進めてよいでしょう。そのうえで、金額の確定、社外への送信、契約に関わる操作など、取り返しがつきにくいものだけを必ず人間の承認を通す設計にします。リスクの大きさと取り消しやすさで承認のレベルを分ける、という考え方です。
2つ目は、AIが関わった判断の記録を残す設計です。
こうした、一連の流れを残します。あわせて、AIエージェントが複数の手順を実行した場合は、その手順の連なりも記録します。
たとえば取引先の与信を判断する場面でAIを使うなら、「この申込みに対してAIが出した評価はどの水準だったか、担当者はそれを承認したのか差し戻したのか」まで残す、ということです。
記録があれば、問題が起きた時に原因の箇所をたどれますが、記録がなければ、「AIがそう言ったから」で説明が止まってしまいます。結果、責任の所在も曖昧になってしまうでしょう。
とはいえ、AIがどのような過程を経てその結果に至ったのかを、人間に分かる言葉ですべて説明させるのは難しいかもしれません。それでも、最低限判断の入口と出口、使った材料は追える形にしておきましょう。
3つ目は、AIの動きをいつでも止められるようにする設計です。
まず、AIやエージェントに与える権限を必要最低限にします。閲覧だけで足りるなら書き込みの権限は渡さない。特定の業務にしか使わないなら、その範囲の外へは手が届かないように設定します。
次に、人が見ていない状態で動ける範囲と時間を区切ります。無制限に連続実行させず、一定の処理量や時間で一度止まり、人間の確認を待つ区切りを入れます。
そして、どうなったら止めるかという撤退ラインを先に決めておきます。エラーの割合がある水準を超えたら停止する、想定外の相手にデータを送ろうとしたら遮断する、といった条件です。言わば、安全弁を設けておくという発想です。AIがすべてを終えてから考えるのでは手遅れなのです。
ここまでの3つの設計原則は、要件定義の言葉に翻訳して初めて開発へ反映されます。内製でも外注でも、確認すべき観点は共通です。表で整理してみましょう。
| 観点 | 内製で確認すること | 外注の要件書に書くこと |
| 決定権の所在 | どの判断を人間が握るかを業務側で決めているか | 「最終確定は利用者の操作を必須とする」と明記 |
| 承認フロー | リスクの高い操作に承認ステップがあるか | 承認が必要な操作の一覧と、承認者の指定 |
| ログ保持 | 誰が・いつ・何を、AIの入出力を記録しているか | 記録する項目、保持期間、検索と出力の方法 |
| 権限スコープ | AIに渡す権限が業務範囲に収まっているか | AIが読み書きできる範囲を機能単位で指定 |
| 停止手段 | 動作を止める操作と条件が用意されているか | 停止操作、自動停止の条件、連続実行の上限 |
内製の強みは、業務を知る人が設計に加われることです。だからこそ、AIに任せる範囲を情報システム部門だけで決めず、実際にその業務を回している担当者と一緒に、AIに任せる業務と人が判断する業務の範囲を決めます。「この判断は現場が握る」という合意を、開発に入る前に取っておくことは必須です。
外注では、要件書に書かれていないことは基本的に実装されません。「人間の承認ゲートを入れる」「操作ログを残す」といった項目を、機能要件としてはっきり書いておきましょう。口頭で「よしなに」と伝えるだけでは、効率を優先した自動化に偏ってしまう傾向があります。
特に、判断で損害が出た時や責任をどう分けるかは、契約の段階で話し合っておかなければならない最重要事項です。たとえば、「AIの提案を人間が承認した後の結果については発注側、指定した停止条件が機能しなかった場合は開発側」のように、システムの不具合と業務上の判断の境界線を決めておく考え方があります。トラブルが起こらないに越したことはありませんが、万が一の保険は必要でしょう。
あわせて確認したいのが、運用開始後にログの提供を受けられるか、障害時の調査に協力してもらえるかという点です。ここを詰めておくと、トラブル対応の初動が変わります。
AIを組み込んだシステムは、稼働させて終わりではありません。運用時には、次の2点をポイントとしてチェックするようにしましょう。
月に1回など区切りを決めて、AIが関わった判断の記録から数件を選び、AIの出力と最終的な決定内容を照らし合わせて確認します。この時は、主に人間がそのまま承認しているだけになっていないか、AIの提案の精度が落ちていないかを見ます。前者であれば、承認までの所要時間が極端に短くないか、修正や差し戻しが一度も発生していないか、といった点が手がかりになります。
もう一方の精度を見るのは、使っているデータやAIのモデルが変われば、出力の傾向も変わるためであり、方向性をチェックするためでもあります。
運用してみると、想定より安全に運用できる操作もあれば、思ったよりリスクが高い操作も見えてくるでしょう。最初に決めた承認レベルや撤退ラインが、実際の結果を見て調整が必要となるケースも少なくありません。
慣れてきたからと承認を簡略化する方向だけで考えるのではなく、リスクの片鱗が見えたら新たな承認ポイントを足すなど、人の手間をあえて増やす判断が必要な場合もあります。
オードリー・タン氏の警鐘は、AIそのものを危険視するものではありません。速く走れる馬に乗るのは合理的な選択です。危惧しなければならないのは、手綱を手放し、馬が向かう先に付いていくだけになることです。
逆ケンタウロスを避ける設計は、3つの原則に整理できます。
この3つを発注や要件定義の言葉へ残しておけば、AIの便利さを取り入れながら、決定権を自社に残せるでしょう。
AIを入れるかどうかではなく、どう乗りこなすか。その問いに答えを出せるのは、業務を知るあなたの会社です。
株式会社MUは、AIを組み込む業務システムについて、要件定義から設計、開発、そして導入後の運用設計までを支援しています。どこまでAIに任せるべきか、要件にどう書けばよいかでお悩みでしたら、お気軽に株式会社MUにご相談ください。
弊社にご関心をお持ちいただき、
ありがとうございます。
DX推進をはじめ、Web制作等の
お見積り、サービスに関する
ご相談など、お気軽にお問い合わせください。
お問い合わせ内容の確認後、
担当者よりご連絡致します。
release:
update:
release:
update:
release:
update:
release:
update:
release:
update:
release: