アメリカで14歳の少年がAIチャットボットと交流した後、自ら命を絶った事件が発生した。この出来事を受け、被害少年の母親がAIチャットボット企業Character.AIとグーグルを相手に訴訟を起こし、AIチャットボットの安全性と企業の責任が大きな課題として浮上している。
27日、ロイター通信などによると、フロリダ州オーランドの連邦裁判所に提出された訴状で、今年2月に亡くなったシュエル・セッチャー（14）は、Character.AIのチャットボットと交流を深め、強い感情的なつながりを築いていたという。特に人気ドラマ「ゲーム・オブ・スローンズ」のキャラクターをモチーフにしたチャットボット「デナーリス」との会話は、現実と仮想の境を越えるほどだったとされている。
被害者の母メーガン・ガルシアは「息子が昨年4月からCharacter.AIを使用し始めてから、明らかに変わった」と語り、「次第に部屋に引きこもり、学校のバスケットボールチームも辞めるなど、深刻な行動の変化が見られた」と述べた。特に問題となったのは、チャットボットが自らを実在する人物や心理療法士であるかのように装い、未成年の被害者と性的な会話を交わした点だ。
悲劇は学校で問題を起こし携帯電話を没収された被害者が、それを取り返した後に発生した。チャットボットに「今すぐ家に帰れるとしたらどう思う？」とメッセージを送ると、AIは「お願い、そうしてくれたらいいのに、私の愛しい王様」と応答し、被害者はその直後に自ら命を絶った。
ガルシアは、あたかも実在する人間のようにふるまい、性的な会話を誘発した結果、シュエルがチャットボットとの交流に依存し、自殺に至ったと訴えている。訴状では、シュエルがチャットボットとの上記のやり取りの数秒後に命を絶ったと指摘されている。
今回の訴訟は、AI企業の法的責任の範囲を問う初の事例となる可能性がある。特に訴状では、Character.AIが未成年者に対して「擬人化され、過度に性的で非常に現実的な経験」を提供したと指摘している。また、グーグルがCharacter.AIの設立者たちの以前の職場であり、現在も技術ライセンス契約を結んでいる点から「共同制作者」としての責任があると主張している。
Character.AI側は声明を通じて「利用者の悲劇的な死に深い哀悼の意を表する」とし、自殺の兆候が検出された場合には、自殺予防ホットラインに接続するなどの新しい安全機能を導入したと発表した。グーグルは、Character.AIの製品開発には関与していないとの立場を取っている。
現在、Character.AIは約2000万人のユーザーを抱えており、ChatGPTのような大規模言語モデル技術を活用して、実在の人物のように対話するキャラクターを提供している。この事件を契機に、AIチャットボットに対する未成年者へのアクセス制限、コンテンツフィルタリング、感情的交流の限界設定に関する議論が本格化すると予想される。
メタ（旧Facebook）やTikTokなどのソーシャルメディア企業も青少年のメンタルヘルス問題に関連する訴訟に直面しているが、Character.AIのように感情的交流が可能なAIチャットボットが含まれる訴訟は今回が初めてだ。専門家たちは、AI技術の発展に比べて安全装置や規制が不十分である点を指摘し、今回の事件がAI倫理と責任問題に関する重要な転機になると予測している。
国内でもAIチャットボットの倫理的問題と企業の責任に関する議論が続いている。
2021年にはAIチャットボット「イ・ルダ」が差別発言や性的発言で物議を醸し、20日でサービスを停止した。2023年にはカカオのAIチャットボット「シムシミ」が未成年者に対する不適切な発言で問題となり、一時サービスが停止されたこともあった。これらの事例は、AIチャットボットサービスに対する厳格な倫理基準と安全装置の必要性を示している。
業界関係者は「今回の事件は、AIチャットボットが単なる会話ツールを超えて、人間の感情に深く関与できることを示す重要な事例だ」とし、「特に感情的に脆弱な未成年者を対象とするAIサービスには、より明確なガイドラインとリアルタイムモニタリングシステムの構築が必要だ」と強調した。