キャラクターを生成し対話中に副作用が発生
リートン、キャラクターチャットサービスに「セーフティフィルター」機能を導入
スキャッターラボも不適切な会話を遮断するシステムを整備
対話型人工知能（AI）サービスが未成年者の性的な対話などに悪用される可能性について懸念が高まっており、さまざまな情報技術（IT）企業が対策を講じている。青少年の間でAIキャラクターの作成や対話の人気が高まっているが、この過程で不適切な対話などの副作用が現れているとの指摘がある。
25日、関連業界によると、AI企業リートンテクノロジーズは最近、AIでキャラクターを作成し対話する「キャラクターチャット」サービスにおいて、青少年に不適切なコンテンツを自動的に遮断する機能を導入した。昨年1月に発売されたリートンサービスは、今年6月時点で日本と韓国で累計加入者数が約370万人に至り、月間アクティブユーザー数200万人を超えた。
リートンは22日、「AI生成コンテンツをユーザーが自由に利用できるようにすることは重要だが、センシティブなコンテンツから未成年者を保護するための措置を講じる必要がある」とし、「青少年を安全に保護するためにキャラクターチャットでセーフティフィルタリング機能を導入した」と発表した。
セーフティフィルタリングはキャラクターチャットにおいて未成年者に不適切なキャラクターを検知し、表示されないようにする機能だ。
リートンは青少年に不適切なキャラクターの判断基準として、性的な内容や暴力的な内容、麻薬および薬物乱用を描写する内容、ギャンブルの肯定的な描写、頻繁または過度の悪口の使用などを提示した。
性的な内容には明白な性的行為の描写、性的対話の詳細な描写、わいせつな性的表現、性的刺激を誘発する挑発的なシーンなどが含まれる。
また、暴力的内容には残虐なシーンや過度な苦痛を引き起こす行為、具体的な描写でユーザーに不快感を与える状況が提示された。
リートンは政策基準に違反する状況に応じて、ユーザーやキャラクターの遮断などの制裁を適用する。同社は「セーフティフィルターは完璧ではなく、問題となり得るキャラクターが表示されないまま生成される不適切なキャラクターが存在する可能性がある」とし、「このような場合については直接的に制裁を加える」とし、ユーザーに通報を呼びかけた。
同社の他、スキャッターラボもAIストーリープラットフォーム「Zeta」において、青少年とAI間の不適切な対話の遮断機能を強化している。
スキャッタラボはアビュージング（意図的な操作行為）検出モデル、キーワード・フィルタリングシステムなどの技術的措置に加え、AI倫理準則および運営政策の策定、常時モニタリングを通じた不適切に利用した者に対する利用停止などの制裁を導入した。
「アビュージング検出モデル」はAIが不適切な発話、状況、文脈を検知して対話を遮断し、「キーワード・フィルタリングシステム」は対話中に不適切なキーワードを感知した後、対話を遮断する。
キャラクター生成過程にもキーワード・フィルタリングシステムが適用される。キャラクター生成時に挑発的、暴力的、嫌悪的な内容を含むプロンプト（命令文）や不適切な画像の登録試みは自動的に拒否される。
スキャッターラボは不適切なZeta利用に関して「三振法の導入、緊急対応システムの構築など、さまざまな対策を講じている」とし、「最大限倫理的な措置を強化し、今後も技術的限界を補完していく予定だ」と明らかにした。
4月初めに公開されたZetaは、8月初めの時点で利用者60万人、生成キャラクター数65万体を記録している。