AIには監視が必要--しかし人はアルゴリズムを信じすぎる

　人工知能（AI）は便利ではあるが、人間による監督が必要だ。政府の報告書も世界中の専門家も、AIを使う際は人間の意思決定者が常に情報を把握することが重要だと強調している。

　「Human agency and oversight（人間による主体性と監視）」は、2月上旬に欧州連合（EU）の欧州委員会が公開したAI規制に関する白書に記された最初の重要な要件だ。また、英国政府の諮問機関Committee on standards in public lifeも「AIプロセス全体」の監視を確立するよう勧告した。つい先日、ロンドン警視庁のCressida Dick警視総監は、新技術が警察官の権限を覆すのではなく、治安維持における最終決定は常に人間が行うというコミットメントを繰り返した。

　米国では国防総省が2019年、軍事目的でのAI使用に関する倫理ガイドラインを公開した。この文書では、自律システムを展開する場合は常に「適切な」レベルの人間の判断が必要だとしている。

　AIシステムが下す決定を人間が常に監視するよう推奨するのは、戦争や治安維持などの重要な分野に影響を与える場合であれば特に、正しいことだ。だが、現実問題として、人間はAIシステムの欠陥をまともに把握できるだろうか？

　十分には把握できないだろうと、ロンドン大学の都市数学准教授、Hannah Fry氏は語る。英IT企業のFractalがロンドンで開催したカンファレンスに登壇したFry氏は、人間がAIシステムを監督することで問題が完全に解決できるわけではないと説明した。なぜなら人間の生来の欠点を克服するのにはほとんど役に立たないからだ。Fry氏によると、人間はAIシステムに過度な信頼を置いており、それが重大な結果に繋がる場合もあるという。

　「確実に言えるのは、人間は信用できないということだ。われわれ人間は怠惰で、認知のショートカットをたどりがちだ。人間は皆、うっかり機械を信用してしまう可能性を持っている」（Fry氏）

　例えば数年前のことだが、オーストラリアを旅行していた3人の日本人が、車でノースストラドブローク島を目指した際、海岸沖の太平洋に乗り入れてしまった。GPSシステムが島と本土の間に9マイルの海があることを示さなかったからだ。

　これは笑い話のようなものだが、われわれは皆、自分で思っているよりもずっとこの日本人観光客に似ているとFry氏は語った。このケースでは、GPSを過度に信頼したことによる主な損害はレンタカーの損傷だが、例えば自動運転車に依存すれば、技術への過信ははるかに高くつくことになる。

　人間は運転中、注意を払ったり、周囲を意識したり、プレッシャーの下で行動することが苦手だとFry氏は説明した。それなのに、自動運転車の基本的な考え方は、人間がシステムを監視し、最も危険な最後の瞬間にシステムに介入し、最高のパフォーマンスで動作するというものだと同氏は指摘した。

　人間が自動運転車の意思決定を覆す？　「そんなことはなかなか起こらない」とFry氏は警告した。

　同氏はアルゴリズムを完全に否定しているわけではない。むしろその反対だ。Fry氏は自称AI擁護者で、AIは医療などの分野に大きな利益をもたらす可能性があると考えている。だが同氏によると、すべてのAIシステムに適用すべき1つの簡単なルールがあるという。それは、必要なときに人間が無効にできる場合のみ、アルゴリズムを使用するということだ。

　シンクタンクのPew Research Centerは2018年に公開した調査報告で、約1000人の技術専門家を調査し、AI時代の人間の未来に関する洞察をまとめた。主なポイントの1つは、Fry氏の懸念と同じものだった。人間のアルゴリズムへの依存が高まるにつれ、最終的には人間は自分で考える能力を損なうことになるというものだ。

　Fry氏の示す解決策は、新たなテクノロジーを開発する際に「人間中心」のアプローチを採ることにある。つまり、人間の欠陥を前提としたアプローチだ。Fry氏は、人間と機械のそれぞれの長所を合わせる「パートナーシップ」と、人間がアルゴリズムの決定に疑問を投げ掛けられる余地を常に確保することを提唱した。

　こうしたパートナーシップが有望な分野の1つは医療だ。たとえばがんの診断では、医師はがんの兆候を見逃さないよう敏感であると同時に、過剰診断を避けるための判断力を持つ必要がある。

　人間の感度は「くず」でアルゴリズムのそれは「超敏感」だが、特異度（患者が病気にかかっていない場合に検査結果が正しく陰性になる確率）に関しては人間が大きな力を持っているとFry氏は語った。両者のスキルを組み合わせることで、医療に多大な成果をもたらす可能性があると同氏は結論付けた。

　「これは私が望む未来だ」と同氏は述べた。つまり、新しいテクノロジーを展開する際、欠陥は機械だけでなく人間にもあることが認識されている未来ということだ。