HeadlinesBriefing favicon HeadlinesBriefing.com

データセットにおけるAI生成テキストの検出

Towards Data Science •
×

彼らの2024年のICML論文において、Weixin Liang、Zachary Izzoおよび共同著者らは、大規模なコレクションにおけるAI変更テキストを推定する方法を開発し、ChatGPTリリース後の4つの主要AI会議のピアレビューに適用した。その結果、レビューテキストの6.5%から16.9%に実質的なAI変更の兆候が見られた。これはピアレビューのような重要な設定でのリスクを示し、AI生成コンテンツが評価を歪める可能性があることを示唆している。関連する2024年のNature研究では、Ilia Shumailovおよび共同著者らは、再帰的に生成されたデータでモデルを訓練するとモデル崩壊が発生し、レアなデータパターンが失われ、出力が狭まることを示した。著者は、Mendeley(2019)の映画レビューデータセットで、 perplexity、近似重複類似度、および埋め込み密度という3つの低コストチェックをテストし、AI生成テキストの検出を試みた。80%のAI生成レビューを検出する設定では、埋め込み密度が人間によって書かれたソースレビューの47%をフラグ付けした。すべての3つのチェックの総合スコアを使用したフィルタリングにより、保持セットでの感情分類器の精度が67.5%から57.5%に低下した。人間によって書かれたラベルは、ソース(IMDb)およびChatGPT以前の出版日から推定された。これは、コレクションが個々の著者性を検証していないためである。これらの結果は、現在のテキストベースのチェックが人間のコンテンツを過剰にフラグ付けし、ナイーブにフィルタリングに使用した場合、ダウンストリームモデルのパフォーマンスを害する可能性があることを示唆している。