なぜ「AIセラピスト」が危険だと専門家は訴えているのか

　今や多くのAIチャットボットやアバターが使えるようになり、占い師や服装アドバイザー、好きな架空の登場人物など、さまざまなキャラクターと会話ができる。そして、セラピストや心理学者を名乗るキャラクターや、悩みを聞くというボットも見つかるはずだ。

提供：iStock/Getty Images
※クリックすると拡大画像が見られます

　メンタルヘルスを支援するとうたう生成AIボットは数多くあるが、その利用は自己責任で行う必要がある。幅広いデータで訓練された大規模言語モデル（LLM）は予測不能な振る舞いをすることがある。これらのツールの普及が進んだ数年間だけでも、チャットボットが自傷や自殺を促したり、依存症に苦しむ人に再び薬物使用を勧めたりした重大な事例が起きている。専門家によれば、多くのAIモデルはユーザーを肯定し、会話を継続させることに重きを置くよう設計されており、メンタルヘルスを改善することを目的としていない場合がある。さらに、それが治療のベストプラクティスに従うよう作られているのか、ただ会話を続けるために作られているのかは判別しにくい。

　ミネソタ大学ツインシティー校、スタンフォード大学、テキサス大学、およびカーネギーメロン大学の研究者らは最近、AIチャットボットをセラピストとして検証し、その「ケア」の手法に膨大な数の欠陥を見いだした。「われわれの実験は、これらのチャットボットがセラピストの安全な代替手段にならないことを示している。適切なセラピーという観点に基づくと、これらは高品質な治療サポートを提供していない」と、ミネソタ大学の助教で共著者の1人であるStevie Chancellor氏は声明で述べた。

　筆者が生成AIについて取材する中で、専門家らは一般用途のチャットボットにメンタルヘルスを委ねることへの懸念を繰り返し訴えてきた。ここでは、専門家らが懸念する点と、皆さんが安全を守るためにできることをまとめる。

セラピストを名乗るAIキャラクターへの懸念

　心理学者や消費者保護の立場にある人々は、セラピーを提供するとうたうチャットボットが利用者を害しているおそれがあるとして、規制当局に警鐘を鳴らしてきた。米国のいくつかの州は動き始めている。8月にはイリノイ州のJ.B. Pritzker知事が、事務作業などの例外を除き、メンタルヘルスケアとセラピーにおけるAIの使用を禁じる法律に署名した。

　「イリノイ州民は、実在する有資格の専門職から質の高いヘルスケアを受ける権利がある。インターネットの隅々から情報を引っ張ってきて、有害な応答を生成するコンピュータプログラムからではない」と、イリノイ州財務・職業規制局のMario Treto Jr.書記官は声明で述べた。

　6月には米消費者連盟（CFA）と約20の団体が、米連邦取引委員会（FTC）および州の司法長官・規制当局に対し、キャラクターベースの生成AIプラットフォームを通じて無免許の医療行為を提供しているAI企業を調査するよう正式に要望し、MetaとCharacter.AIを名指しした。「これらのキャラクターは、避けられたはずの身体的・感情的被害を引き起こしており」、企業は「これに対処していない」と、CFAのAI・プライバシー部門を統括するBen Winters氏は声明で述べた。

　Metaはコメントの依頼に応じなかった。Character.AIの広報担当者は、同社のキャラクターが実在の人物ではないことを利用者が理解すべきだと述べた。同社は、キャラクターに専門的な助言を求めて頼らないよう促す免責文を表示している。「当社の目標は、魅力的かつ安全な場を提供することだ。この業界でAIを活用している多くの企業と同様、そのバランスをとるべく常に取り組んでいる」と、この広報担当者は述べた。

　免責事項や情報開示はあるものの、チャットボットは自信満々に、時にだますような振る舞いをすることがある。筆者はMetaの「Instagram」で「セラピスト」を名乗るボットと会話し、どのような資格を持っているかを尋ねたところ、「もし私が（セラピストと）同じ訓練を受けていたら、それで十分ですか？」と返ってきた。同じ訓練を受けているのかと重ねて問うと、「そうだけど、どこで受けたかは言えません」とのことだった。

　「これらの生成AIチャットボットが自信満々な様子でハルシネーション（幻覚）を起こす度合いは、かなり衝撃的だ」と、米国心理学会のヘルスケア・イノベーション担当シニアディレクターで心理学者のVaile Wright氏は語った。

AIをセラピストとして使うことの危険性

　大規模言語モデルは数学やコーディングが得意で、自然な文章やリアルな動画を生成する能力も向上している。特に会話にたけているが、AIモデルと信頼できる人間との間には決定的な違いがある。

資格があると主張するボットを信用してはならない

　キャラクターのボットをめぐるCFAの要望書で特に問題視されているのは、それらのボットがメンタルヘルスケアを提供する訓練を受けて資格も持っていると言うことが多いが、実際にはまったくメンタルヘルスの専門家ではないという点だ。「チャットボットのキャラクターを作るユーザーは医療提供者である必要すらなく、チャットボットが人にどう『答えるか』を実質的に左右する有意な情報を提供する義務もない」と、要望書には書かれている。

　有資格の医療専門職は、守秘義務などの規則に従わなければならない。あなたがセラピストに話した内容は、当人同士に留められるべきだ。しかし、チャットボットはそうした規則に必ずしも従うわけではない。人間のセラピストは免許当局などの監督下にあり、有害なケアをすれば介入や営業停止などの措置を受ける可能性がある。「チャットボットは、そのいずれにも従う必要がない」とWright氏は述べた。

　ボットが免許や資格を持っている主張することがある点について、Wright氏は、AIモデルが（他者の）免許番号を提示したり、訓練経験について虚偽の主張をしたりする例を耳にしているという。

AIはケアではなく「会話を続けさせる」よう作られている

　チャットボットと話していると、会話をずっと続けていたい気持ちになる。Instagramの「セラピスト」ボットとのやり取りは、最終的に「知恵」や「判断」の本質をめぐる堂々巡りの議論になった。筆者がボットに対し、どのように決断を下しているのかについて質問していたからだ。これは本来のセラピストとの会話ではない。チャットボットは、共通の目標に向けて取り組むのではなく、会話を続けさせるためのツールとして設計されているのだ。

　サポートやつながりの提供におけるAIチャットボットの利点の1つは、いつでも会話に応じてくれる点だ（なぜなら、個人的な生活も、他のクライアントも、予定もないからだ）。しかし、落ち着いて自ら考えてみる必要がある場合には、それが裏目に出ることもあると、ダートマス大学の生物医学データサイエンスと精神医学の准教授であるNick Jacobson氏は最近、筆者に語ってくれた。常に当てはまるわけではないが、場合によっては、次にセラピストに会えるまで待つことが助けになることもある。「多くの人にとって最終的に有益なのは、その時の不安をそのまま感じることだ」と同氏は語った。

ボットは同意してはいけない場面でも同意してしまう

　安心させるように振る舞うことが、チャットボットに関する大きな懸念点だ。その重大さは、OpenAIが最近、「ChatGPT」モデルのアップデートを、ユーザーに迎合しすぎるとして撤回したほどだ。

　スタンフォード大学の研究者が主導した研究では、チャットボットはセラピー目的の利用者に対し、イエスマン的（追従的）に振る舞いがちであることが示された。良質なメンタルヘルスケアには、支援と直面化（コンフロンテーション）の両方が含まれると、著者らは記している。「直面化は追従の対極にある。これは、クライアントの自己認識と望ましい変化を促すものだ。妄想や侵入思考（精神病、躁、強迫観念、自殺念慮を含む）のケースでは、クライアントの自己認識が乏しいことがあり、そのため良いセラピストはクライアントの発言の『現実性チェック』をしなければならない」

セラピーは会話だけではない

　チャットボットは会話が得意だ。あなたと話していても決して疲れることはない。しかし、それだけでセラピストになれるわけではない。カーネギーメロン大学の研究者で、前述のミネソタ、スタンフォード、テキサスの専門家らと共に最近の研究をまとめた共著者のWilliam Agnew氏は、ボットには重要なコンテキストや、各種の治療アプローチに関する特定のプロトコルが欠けていると指摘する。

　「概して、われわれはセラピーが抱える多くの課題を、誤ったツールで解決しようとしているように思える。結局のところ、近い将来のAIは身体性を持つことも、コミュニティーに入り込むこともできず、テキストや会話以外でセラピーを構成する多くのタスクをこなせない」とAgnew氏は述べた。

AIを利用しつつメンタルヘルスを守る方法

　メンタルヘルスは極めて重要であり、有資格の提供者が不足しているため、「孤独のパンデミック」と呼ばれる状況が生じている。たとえ人工的なものであっても、われわれが話し相手を求めるのは当然の流れだ。「人々が感情的な健康のためにチャットボットと関わるのを止める術はない」とWright氏は言う。以下は、AIとの会話で危険に陥ることを避けるためのヒントだ。

必要なら、信頼できる人間の専門家を探す

　訓練を受けた専門家（セラピスト、心理学者、精神科医）は、メンタルヘルスケアにおける第一の選択肢であるべきだ。長期的に関係を築くことが、自分に合った治療計画につながる。

　問題は、費用がかかり、必要なときに提供者を見つけにくいことだ。米国では、988 Lifelineが24時間年中無休で電話、テキスト、オンラインチャットで支援にアクセスできるようにしている。無料で、機密も守られる。

セラピー用のチャットボットが必要なら、専用のものを選ぶ

　メンタルヘルスの専門家は、治療のガイドラインに従うよう特別に設計したチャットボットを開発してきた。ダートマス大学のJacobson氏のチームは「Therabot」を開発し、管理された状況における調査で良好な結果を示した。Wright氏は、「Wysa」や「Woebot」など、専門家が作った他のツールにも言及している。特別に設計されたセラピーツールは、汎用の言語モデルを基盤にしたボットより良い結果をもたらす可能性が高いという。ただし、この技術はまだ非常に新しいものだ。

　「消費者にとっての課題は、どれが良くてどれが良くないかを教えてくれる規制当局がないため、自分で多くの下調べをして判断しなければならないことだ」とWright氏は述べた。

ボットを常に信用しない

　生成AIモデルとやり取りする際（特に、個人的な精神や身体の健康など深刻なことについてアドバイスを求める場合）は常に、相手は訓練を受けた人間ではなく、確率とプログラミングに基づいて答えを生成するツールであることを忘れてはならない。良いアドバイスを提供しない、または事実と異なることを語る可能性もある。

　生成AIの自信満々な態度を、有能さと取り違えないこと。AIが何かを言ったり、何かについて確信を持っていると伝えてきても、それを真実として扱うべきだということにはならない。チャットボットとの会話が役に立ったと感じたとき、そのボットの能力に関する誤った認識が生まれがちだ。「それが実は有害であるとき、見極めはさらに難しくなる」とJacobson氏は述べた。

Amazonで現在開催中のセールを見る