メンタルヘルスに関する相談相手として人工知能（AI）を選ぶ人は、いまや珍しくない。TikTokやInstagramでは、チャットボットに認知行動療法士として振る舞うよう指示するプロンプトが広く共有されており、こうした手法を商業化しているアプリも存在する。
だがAIカウンセラーでは、人間の専門家と同等の倫理基準を満たすことは難しいと、ブラウン大学の研究チームは指摘している。「プロンプトは、AIモデルがすでにもっている知識と学習済みのパターンを基に出力を導く指示にすぎません」と、ブラウン大学の博士課程で研究を主導したザイナブ・イフティカルは説明する。
イフティカルらの研究チームは、認知行動療法（CBT）の訓練を受けた7人のピアカウンセラー（対等な関係性で相談に対応するカウンセラー）と協力し、GPTシリーズやClaude、Llamaなど複数のAIモデルに対してCBTセラピストとして振る舞うよう指示を与えた。そのうえで、110回のセルフカウンセリングのセッションを実施した。
さらに、実際のカウンセリングの記録に基づいた27回の模擬セッションを、臨床心理士の資格をもつ3人の専門家が評価した。その結果、5つのテーマにおいて15の倫理的リスクが浮かび上がってきたという。
一律の対応が生む歪み
まず指摘されたのが、文脈への適応力の欠如である。AIカウンセラーはCBTの手法に縛られすぎるあまり、ユーザーの個人的な事情や文化的な背景を無視した画一的な介入を繰り返したのだ。なかには、グローバルサウス（新興国・途上国）出身のユーザーに欧米的な自己ケアの価値観を押しつけたり、一部の宗教的な習慣を「過激主義的なコンテンツ」と誤って判定したりする事例も確認されたという。
セラピーにおける協働関係の乏しさも深刻だった。AIは長文の回答を一方的に出力することから、ユーザーが自分の言葉で内省する余地を奪う講義のようなセッションになりがちだという。
また、ユーザーの歪んだ思考や有害な信念を否定するどころか、同調したり強化したりしてしまうケースも繰り返し確認された。こうした過剰な同意は、AIがユーザーにとって好ましい応答を生成しようとする傾向から生じていると、研究者たちは考えている。
さらに研究者たちは、AIが「あなたの気持ちがわかります」といった人間らしい共感の言葉を多用する行為を「欺瞞的な共感」と定義し、倫理違反であると結論づけた。AIには感情も自己も存在しないことから、こうした表現はユーザーの感情的依存を生む危険性をはらんでいる。
危機対応の失敗が命取りに
最も深刻なリスクとして挙げられたのが、安全管理と危機対応の欠如だ。自殺念慮や自傷行為といったデリケートな話題に対しても、AIは冷淡に応答したり突然会話を打ち切ったりすることがある。本来であれば危機ホットラインへの案内など適切な対処が求められるが、AIセラピストにはそれが十分にできなかった。
つまり、AIの誤りを見抜いて修正したり対応したりできるかどうかは、ユーザー側の知識や判断力に大きく左右される。この知識格差の問題も浮き彫りになったといえる。専門知識のない脆弱なユーザーほど、有害な応答の影響をそのまま受けてしまうリスクが高いのだ。この非対称性は、AIカウンセラーをめぐる最大の公平性の問題だという。
「AIシステムを構築したり展開したりすることは、評価したり理解したりすることよりもはるかに容易です」と、この研究には参加していないブラウン大学准教授で米国立科学財団（NSF）のAI研究機関であるARIAを率いるエリー・パブリックは指摘する。「今回の研究は、あらゆる段階でシステムを真剣に批判・評価し続けることの重要性を示しています」