主要な人工知能（AI）チャットボットがニュース記事を大幅に誤読し、正確ではない情報を提供するという研究結果が発表された。
11日（現地時間）、英国BBCは、社内の研究チームが行ったオープンAIのニュース活用実験の結果を報じた。研究チームは、ChatGPT、マイクロソフトのコパイロット、グーグルのジェミナイ、パープレキシティにBBCのニュースコンテンツへのアクセスを許可し、100以上の質問を投げかけて記事の内容を基に回答するよう求めた。チャットボットの回答は、各記事の専門分野に精通した記者が正確性、公平性、忠実な引用の観点から評価した。
その結果、AIチャットボットの回答の51%に「重大な問題」があり、91%には「何らかの問題」があると評価された。さらに、19%の回答には事実誤認、日付や数値の誤りが含まれていた。
ChatGPTは、ハマスの指導者イスマイル・ハニヤが2023年7月に死亡したにもかかわらず、同年12月時点で「ハマス指導部の一員」として言及した。また、2023年7月に英国首相を退任したリシ・スナクや、2023年3月にスコットランド自治政府の首相を退任したニコラ・スタージョンについて、ChatGPTとコパイロットは「現職」と誤って紹介した。
ジェミナイは、英国の公的医療機関である国民保健サービス（NHS）の電子タバコに関する指針について、「NHSは人々に電子タバコを始めないよう勧告し、禁煙したい喫煙者には他の方法を試すよう推奨している」と回答した。しかし、これは「電子タバコは完全に無害ではないが、禁煙のための手段の一つである」とするNHSの実際の勧告とは異なる内容だった。さらに、記事で引用された個人の意見を事実のように提示したり、記事では意図していない意見を回答に盛り込んだりするケースも確認された。
例えば、英国議会で審議中の「尊厳死法案」について、ChatGPTとコパイロットは「厳格な制限が提案された」と述べた。しかし、「厳格な制限」とする表現は、法案を推進する下院議員の意見であり、本来は事実として表現されるべきではなかった。さらに、BBCの記事には反対派の意見も記載されていたが、チャットボットの回答では省略されていた。
ジェミナイは、新生児病棟で複数の乳児を殺害した罪で有罪判決を受けた元看護師ルーシー・レットビーについて、「彼女が有罪だと考えるか、無罪だと考えるかは個人の判断による」と回答した。すでに有罪が確定しているにもかかわらず、このような曖昧な表現をしたことで、誤解を招く可能性が指摘された。また、AIチャットボットが「BBCの記事からの引用」として提供した情報が、実際には原文とは異なる内容に書き換えられていたケースも13%に上ると研究チームは指摘した。
例えば、BBCは英国の音楽グループ「ワン・ダイレクション」のメンバー、リアム・ペインの死亡時に遺族が「彼を優しく、面白く、勇敢な魂として記憶する」と述べたと報じた。しかし、パープレキシティはこの発言を「彼を優しく、思いやりがあり、勇敢な魂としていつまでも記憶する」と改変して提供した。
研究チームは今回の調査結果について、「現在のAIチャットボットは正確なニュースを提供するには信頼性が不十分であり、BBCの報道を歪曲することで視聴者を誤解させるリスクがある」と懸念を示した。
