随着人工智能生成的内容在我们的日常生活中变得越来越普遍,您可能想知道“如何识别人工智能文本?”
随着人工智能技术的发展,这些模型变得越来越难以检测也就不足为奇了。目前,好消息是图像和视频等内容并不难用人眼解析。
如何检测人工智能生成的文本
如果您是一名教师或只是一名经验丰富的互联网旅行者,那么发现人工智能生成的文本的秘诀是什么?嗯,这比您想象的要简单:用您的眼睛。实际上有一些方法可以训练人眼辨别人工智能语句。专家喜欢麻省理工科技评论的 Melissa Heikkilä写道这些机器的“魔力”“在于正确性的幻觉”。
没有两个人以相同的方式写作,但有共同的模式。如果您曾经在公司工作过,您就会知道每个人在给老板起草备忘录时如何使用相同的通用措辞。这就是为什么人工智能文本检测器经常将内容标记为“可能是人工智能生成的”——因为区分平淡的人类写作风格和通用的人工智能生成的声音几乎是不可能的。
因此,这里有一些提示和技巧,可以帮助您发现一些潜在的人工智能生成文本:
• 寻找频繁使用的词语,如“the”、“it”和“its”。
• 没有拼写错误——人工智能文本通常过于完美。
• 结论性陈述,简洁地总结段落。
• 书写过于冗长或填充。
• 虚假或捏造的信息和来源。
• 语气比作者通常提交的内容更先进。
• 重复的措辞或奇怪的语法。
市场上还有人工智能文本检测器可供您使用,但根据我的经验,它们可能不如您自己的眼睛可靠。
人工智能文本检测器:为什么它们不可靠
这并不全是厄运和悲观,因为我们的机器霸主存在一些解决方案。推出 ChatGPT 等模型和竞争对手 和刺激了专注于人工智能文本检测的家庭手工业的发展。 ZeroGPT 等平台的出现是为了响应 OpenAI 的语言模型,而 Grammarly 和 Copyleaks 等最初旨在捕获抄袭的工具也已转向处理人工智能生成的内容。
目前,人工智能文本检测是发现人工智能生成的内容或其数字万金油的最佳方法,这取决于你问的是谁。事实上,后者可能更接近事实。没有一个人工智能探测器是 100% 准确的(甚至像许多人声称的那样准确 99%)。即使在理想条件下,这些工具的可靠性也常常是不稳定的。
哥伦比亚大学软件系统实验室教授兼联席主任杨俊峰表示:“这里的问题是模型变得越来越流畅,[结果]较旧的探测器不再工作。”他解释说,随着人工智能生成的文本变得越来越复杂,它“开始使用密切模仿人类书写的词汇和句子结构,使得即使使用先进的检测器也很难发现”。
可混搭光速
测试 AI 文本检测器的准确性
尽管 GPTZero 或 Hive Moderation 等工具前景广阔,但欺骗 AI 检测器将人类编写的内容标记为机器制作的内容却出人意料地简单。这些系统通常分析解释或总结想法的文本行,这使得它们容易受到误报。例如,我测试了一个基本摘要权力的游戏我匆匆凭记忆写下了其中几个工具,几乎在所有情况下,它都被标记为“可能是人工智能生成的”。
然后我也采取了同样的做法权力的游戏摘要,将其输入 ChatGPT,并要求其加强文字——使其更长且不那么直白。
这是我写的:
《权力的游戏》的情节讲述了虚构的维斯特洛大陆上的几个家庭的故事。首先是统治北方的史塔克家族。其次是统治西境的兰尼斯特家族。荒原的长女是瑟曦,她也是维斯特洛的女王,嫁给了劳勃·拜拉席恩。罗伯特来自风暴地,篡夺了坦格雷家族的王位。坦格雷家族是一群龙骑士,他们在 1000 多年前占领了这片土地,但由于内讧而慢慢失去了对维斯特洛的控制。该系列由乔治·R·R·马丁创作,目前已收录在五本书中:《权力的游戏》、《列王的纷争》、《冰雨的风暴》、《群鸦的盛宴》和《魔龙的狂舞》。该系列计划还有两本书,其中《凛冬的寒风》将于 2025 年某个时候发行。
这是“改进的”ChatGPT 版本:
《权力的游戏》将观众带入维斯特洛残酷、血腥的棋盘中,权力是奖品,道德是可以协商的。领头羊是史塔克家族,他们统治着冰天雪地的北方。他们坚忍的荣誉感觉就像是这片土地上的遗迹,在这片土地上背后捅刀子是一种货币。与此形成鲜明对比的是富裕的维斯特兰的兰尼斯特家族,这个家族让人又爱又恨——瑟曦·兰尼斯特作为维斯特洛女王登上了王位。她与来自风暴地的嗜酒成性、猎杀野猪的国王劳勃·拜拉席恩的婚姻是一场天作之合的政治姻缘,通过谎言和相互厌恶而结合在一起。但王位本身就承载着一段血腥的历史。罗伯特在一场叛乱推翻了坦格利安家族后接任了这个职位,坦格利安家族是龙骑士长期统治的王朝,曾经不可阻挡,最终在偏执和内战的旋风中崩溃。他们的喷火猛兽可能曾经烧焦了天空,但家族世仇却让他们的帝国崩溃了,只留下了昔日辉煌的低语。与此同时,乔治·R·R·马丁的庞大传奇故事在五本书中继续展开,其中既有战场屠杀、政治阴谋,也有令人心碎的背叛。虽然粉丝们如饥似渴地阅读每一页,但他们仍处于紧张的状态,等待着凛冬的寒风吹来,仿佛被戏弄了亿万年,现在暂定将在 2025 年登陆。但在维斯特洛,承诺——就像效忠一样——是被创造出来的。破碎的。
我的测试结果各不相同。我测试的第一个是 Scribbr,它将我最初的摘要标记为“100% 可能是人工智能生成的”。但当我将其换成 AI 增强版本时,Scribbr 令人惊讶地将可能性降至 48%。
原始摘要 100% 可能由 AI 生成 图片来源:Scribbr / Mashable 屏幕截图
ChatGPT 摘要仅得出 48% 的可能性是 AI 图片来源:Scribbr / Mashable 屏幕截图
我尝试过的另一个工具是 Winston AI,它将原始文本标记为 39% 可能是由 GPT-4 生成的。讽刺的是,当谈到实际的 GPT-4 摘要时,它只给出了微薄的 1% 的可能性。
Winston AI 中的原始摘要 图片来源:Winston AI / Mashable 屏幕截图
Winston AI 中 AI 编辑的摘要 图片来源:Winston AI / Mashable 屏幕截图
Hive Moderation 在分析我的工作时完全没有达到目标,未能标记我提交的任何摘要。根据系统的说法,两者都被自信地标记为人类编写的内容。
图片来源:Hive 审核 / Mashable 屏幕截图
现在,如果我只是向 ChatGPT 询问任何主题的随机段落并将其复制粘贴到各种文本检测器中,它几乎总是会立即被标记为人工智能生成。但这实际上强化了这个问题:在没有具体说明的情况下,ChatGPT 的默认写作风格通常是平淡、公式化和直接客观的。
不出所料,沉闷的语气是引发这些误报的原因,而不是这些网站声称必须从人类中辨别人工智能内容的先进内部技术。即使像 Originality 这样的工具正确标记了人工智能写作的两个实例,一些句子调整也可以完全改变结果。只需稍微改一下措辞,之前被标记为“100% 置信度”的人工智能生成的内容就可以突然被标记为“可能是原创的”。
总而言之,这是我使用上述方法测试的免费人工智能文本检测工具的列表。为了把事情搞混,我还使用了我在研究生院写的学术论文中的一些文献评论,看看他们是否会标记我使用华丽的写作来增加我的字数。他们在这里:
GPT零
零GPT
Hive 审核
抄写员
复制泄露
创意.ai
语法
GPT-2输出检测器
写满X
温斯顿艾
如果你的写作听起来像是一篇基调平淡的八年级读书报告,人工智能探测器可能会将你视为需要尽快进行图灵测试的机器人。这项测试表明,仅仅避免某些结构模式就可以轻松欺骗人工智能探测器。对于这些工具背后的公司来说,这是一个令人头疼的问题,特别是因为许多公司提供订阅服务,并旨在将其 API 作为 B2B 解决方案出售给学校和企业。
虽然这些工具对于剽窃检测非常有效,但显然它们识别人工智能生成文本的能力仍然需要认真改进。这种不一致很难被忽视——将相同的文本提交给多个检测器,你会得到截然不同的结果。被一种工具标记为人工智能生成的内容可能会被另一种工具忽视。由于缺乏可靠性,目前很难有信心推荐这些工具。
为什么检测人工智能生成的文本如此困难?
人类语言极其变化无常且复杂——这是人工智能生成的文本难以检测的主要原因之一。
巴姆沙德·莫巴舍尔,IEEE会员德保罗大学人工智能项目主席解释道,“这些模型是根据文本进行训练的。因此,它们更容易模仿人类对话。”
“检测工具寻找模式——重复的短语、过于规则的语法结构,诸如此类,”莫巴舍尔说。 “有时,人类更容易发现,比如当文本‘太完美’时,但要确定它是人工智能生成的却是一项挑战。”
Mobasher 解释说,与图像生成器不同,图像生成器可以产生额外的手指或扭曲的面部特征等明显迹象,法学硕士依靠统计概率来生成文本,从而使输出感觉更加无缝。因此,对于检测器和人类读者来说,发现人工智能生成的文本中的错误(例如细微的措辞或微妙的语法违规行为)都更具挑战性。
这也是人工智能生成文本如此危险的原因。莫巴舍尔警告说,“大规模生产和产生错误信息变得更加容易。”随着法学硕士生成流畅、优美的文本,可以模仿权威的声音,普通人辨别事实和虚构变得更加困难。
“有了人工智能,发动这些攻击实际上要容易得多,”杨说。 “你可以让电子邮件变得非常流畅,传达你想要的信息,甚至包括有关目标在公司的角色或使命的个性化信息。”
除了潜在的滥用之外,人工智能生成的文本让互联网变得更糟糕。 OpenAI 和 Anthropic 等公司的法学硕士收集公开数据来训练他们的模型。然后,这一过程产生的人工智能生成的文章会在网上发布,但又会在无限循环中再次被抓取。
这种内容循环利用降低了网络信息的整体质量,形成了一个日益通用、反刍的材料的反馈循环,使得很难找到真实的、写得好的内容。
对于人工智能的闪电般的加速及其对互联网内容的有害影响,我们无能为力,但你至少可以利用你的媒体素养知识库来帮助你辨别什么是人造的,什么是生成的来自机器人。
“如果你看到一篇文章或报告,不要只是盲目相信它——寻找确凿的消息来源,尤其是当事情看起来不对劲的时候,”杨说。