HeadlinesBriefing favicon HeadlinesBriefing.com

在数据集中识别AI生成的文本

Towards Data Science •
×

在他们的2024年ICML论文中,Weixin Liang,Zachary Izzo和合作者开发了一种方法来估计大型文本集合中AI修改的文本,将其应用于ChatGPT发布后四大AI会议的同行评审。他们发现6.5%到16.9%的评审文本显示出显著AI修改的迹象。这凸显了在诸如同行评审这样的重要场景中的风险,其中AI生成的内容可能扭曲评估。一项相关的2024年Nature研究由Ilia Shumailov和合作者完成,表明在递归生成的数据上训练模型会导致模型崩溃,丢失罕见数据模式并缩小输出范围。作者在Mendeley(2019)上的电影评论数据集上测试了三种低成本检查——困惑度、近似重复相似度和嵌入密度——以检测AI生成的文本。在捕获80% AI生成评论的设置下,嵌入密度标记了47%的人类撰写源评论。使用所有三种检查的综合得分进行过滤,使情感分类器在保留集上的准确率从67.5%降至57.5%。人类撰写标签是根据来源(IMDb)和预-ChatGPT出版日期推断出来的,因为该收藏不验证个别作者身份。这些结果表明,当前基于文本的检查可能过度标记人类内容,并且在天真用于过滤时可能损害下游模型性能。