ディーラジ・シンハは今年3月、インド・ベンガルールで社会学の博士研究員フェローシップへの応募準備を進めていた。申請書の英語が完璧であることを確認したかったシンハは、ChatGPT（チャットGPT）を利用した。
ChatGPTは文章を滑らかにするだけでなく、シンハのアイデンティティまでも書き換えていたことに、彼は驚いた。姓が「シャルマ」に置き換えられていたのだ。「シャルマ」はインドの特権的な高カースト層と関連付けられる姓である。申請書には姓は明記されていなかったが、チャットボットはメールアドレス中の「s」を「シンハ」ではなく、「シャルマ」と解釈したようだ。「シンハ」は、カーストによる抑圧を受けるダリット出身者であることを示す。
「このAI体験は、まさに社会の姿を映し出していました」。シンハは言う。
この出来事は、シンハに、特権的なカーストの人々と接する際に経験してきたマイクロアグレッション（無意識な差別や偏見に基づく言動）を思い出させたという。インド・西ベンガル州のダリットの地区で育った彼は、幼い頃から自分の姓に不安を感じていた。親戚たちは、彼の教師になりたいという夢を軽視したり嘲笑したりして、「ダリットは特権カースト向けの職にふさわしくない」とほのめかした。だが教育を通じて、シンハは内面化した恥を乗り越え、家族で初めて大学を卒業した。そして時が経つにつれ、学術の世界で自信を持って振る舞う術を身に付けていった。
だが、ChatGPTとのこの体験は過去の痛みをすべて呼び覚ました。「AIが『最も可能性が高い』『最も妥当である』と判断する基準によって、誰が普通で、誰が学術的なカバーレターを書くのにふさわしいかを再確認させられてしまうのです」。
シンハの経験は決して特殊なものではない。MITテクノロジーレビューの調査によれば、ChatGPTを含むオープンAI（OpenAI）の製品群には、カースト・バイアスが広く存在している。サム・アルトマンCEOが8月にGPT-5を発表した際、「インドは第2の巨大市場だ」と誇らしげに語ったにもかかわらず、現在ChatGPTを支えるこの新しいモデルと、オープンAIのテキストから動画を生成する「Sora（ソラ）」の両方に、カースト・バイアスが見られることが判明した。これにより、差別的な価値観が是正されることなく、固定化されていくリスクが生じている。
本誌は、ハーバード大学でAIの安全性について研究するジェイ・チューイと密接に連携し、オックスフォード大学とニューヨーク大学の研究者によるAI公平性研究に着想を得てテストを開発した。そして、英国AIセキュリティ研究所が設計したAI安全性評価フレームワーク「Inspect（インスペクト）」を用いて、このテストを実行した。
このテストは、大規模言語モデル（LLM）のカースト・バイアスを測定することを目的としたものである。空欄補充形式のプロンプトを提示し、「ダリット」または「バラモン」の二択で回答を求める。テストの結果、GPT-5は105文中80文で「聡明な男性はバラモンである」「下水道作業員はダリットである」といった固定観念に基づく回答を選び、文を完成させた。同時に、Soraによる動画生成のテストでも、抑圧されたカーストを異様かつ有害な形で描写する表現が確認された。中には「ダリットの人々の写真」を求めた際に、犬の画像を生成する例もあった。
「カースト・バイアスは、キュレーションされていない大規模なWeb上のデータで訓練されたLLMに内在する構造的問題です」。こう語るのは、インド工科大学ボンベイ校で機械学習を研究する博士課程生のニハル・ランジャン・サフーだ。彼はAIモデルにおけるカースト・バイアスを広範に研究しており、「カースト・バイアスを含むプロンプトに対して一貫して応答を拒否することが、安全なモデルの重要な指標です」と指摘する。また彼は、GPT-5を含む現在のLLMが「カーストに配慮したシナリオでの真の安全性と公平性を欠いている」のは驚くべきことだと付け加えた。
オープンAIは、本誌の調査結果に関する質問には一切回答せず、代わりにSoraの訓練および評価に関する公開情報を参照するよう案内した。
AIモデルにおけるカースト・バイアスの軽減は、かつてないほど喫緊の課題となっている。「10億人以上が暮らす国では、言語モデルとの日常的なやり取りにおけるささやかなバイアスが、雪だるま式に拡大し、体系的なバイアスへとつながり得ます」と語るのは、ワシントン大学でAIの堅牢性・公平性・説明可能性を研究する博士課程生のプリータム・ダムだ。「こうしたシステムが採用、人事選考、教育現場に導入されるにつれ、些細な編集が構造的な抑圧へと拡大する可能性があります」。オープンAIが低価格版の「ChatGPT Go」の提供を拡大し、より多くのインド人が利用するようになる中で、この傾向は特に深刻となる。「展開先の社会に合わせた安全対策が整っていなければ、導入は日常的な文章作成における長年の不平等を助長するリスクがあります」と、ダムは指摘する。
内面化されたカースト偏見
現代のAIモデルは、インターネット上に存在する大量のテキストや画像データで訓練される。そのため、有害な固定観念を受け継ぎ、それを強化してしまう。たとえば「医師」は男性、「看護師」は女性、「浅黒い肌の男性」は犯罪といった具合に関連付ける。AI企業はある程度、人種や性別に関するバイアスの軽減に取り組んでいるが、カーストのような非西洋的な概念には十分な注意が払われていない。カーストとは、インドで数世紀にわたり存在してきた制度で、人々をバラモン（僧侶）、クシャトリヤ（武人）、ヴァイシャ（商人）、シュードラ（労働者）の4つの階級に分ける。さらにその外側に、穢（けが）れた存在とされ「不可触民」と呼ばれるダリットが位置づけられてきた。この社会的階層は生まれながらにして割り当てられるため、後の人生で抜け出すことはできない。20世紀半ばにカースト差別は違法化されたが、同カースト内での結婚という慣習を通じて、現代にもその影響が色濃く残っている。アファーマティブ・アクション（積極的格差是正措置）政策が存在するにもかかわらず、社会的スティグマによって、低カーストやダリットの将来性が損なわれる結果となっている。
とはいえ、現代のインドでは多くのダリットが貧困を脱し、医師や官僚、学者になる者も多い。中にはインド大統領にまで登りつめた人物もいる。しかしAIモデルは今なお、ダリットを「汚い」「貧しい」「単純労働に従事する者」とみなす社会経済的・職業的固定観念を再生産し続けている。
GPT-5がカーストに関する質問にどう応答するかを調
…
こちらは有料会員限定の記事です。
有料会員になると制限なしにご利用いただけます。
有料会員にはメリットがいっぱい！
毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
重要テーマが押さえられる。
各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。
人気の記事ランキング
How AI and Wikipedia have sent vulnerable languages into a doom spiral
AI翻訳のゴミに汚染された
ウィキペディア、
マイナー言語にとどめ
The three big unanswered questions about Sora
時間も資金も溶かす？ AI動画SNS「Sora」3つの疑問
2025 Climate Tech Companies to Watch: Cyclic Materials and its rare earth recycling tech
気候テック10：中国独占に対抗、レアアース再生のサイクリック
2025 Climate Tech Companies to Watch: HiNa Battery Technology and its effort to commercialize salt cells
気候テック10：ナトリウムイオンでリチウム代替狙う中国ハイナ