图片来源:Jaque Silva/NurPhoto 来自 Getty Images
已经六个月了开始添加- 默认情况下,生成的文本位于许多 Google 搜索查询的顶部,并且此实验 -谷歌向 Mashable 承认,每篇人工智能概述底部的免责声明都是这样说的——并没有完全取得巨大成功。
谷歌搜索产品管理高级总监赫马·布达拉朱 (Hema Budaraju) 表示,虽然“总的来说,人工智能概述是非常引人注目的,对用户很有帮助,但我们在质量方面还有很多工作要做,是一个不断增长的需求。”
人工智能概述以某种口号推出:“让 Google 为您进行搜索,“ 但 经过一开始的一些争议之后——特别是几周来不断有关于——该公司似乎有所回撤。发布时,AI 概览出现在约 15% 的 Google 搜索结果页面中,但到 6 月底,这一数字已减少至 7% 左右。根据搜索引擎土地。
那么过去六个月质量有提高吗?
人工智能概述变得更好了吗?
很难直截了当地说质量有了显着提高。概述出现的频率较低,错误仍然猖獗,但我确实发现了一些非常有限的改进证据:我在本文中向 Google 强调的查询的人工智能概述在我工作时都得到了改进。
布达拉朱说,无论什么类型的查询,从日常的到奇怪的,人工智能概述都有效,“尤其是当没有单一答案并且存在多个视角时”。 Budaraju 说,或者至少这是谷歌根据有关质量的内部数据所认为的,这些数据来自 AB 测试,而不是焦点小组。
根据我的经验,日常搜索往往会得到可接受的人工智能概述。例如,“杏仁的味道如何”可能会产生一个合理的人工智能概述,就像我得到的那样:“杏仁的味道可以是甜的、微苦的或苦的,这取决于它们的化学成分。”美好的。
但如果您是一名信息迷,更广泛地使用 Google 搜索,那么您仍然很有可能会遇到奇怪的错误。这个来自 BlueSky 用户 @coopercooperco 的 11 月示例很好地总结了 Google Gemini 时不时地把真相放入搅拌机中的不幸挥之不去的倾向。
当查询到双峰在科尔亲吻雪莉的那一集中,人工智能概述相当自信地错误地脱口而出,认为不存在这样的场景。在不确定到底出了什么问题的情况下,我们只能假设模型的训练数据至少包含短暂的提及(如果不是完整的脚本)著名的双峰场景关于(大卫·林奇喊叫的声音)“两个成年人共享温柔的时刻!”其中 科尔和雪莉 似乎被鲍比·布里格斯打断,但随后清晰明确地接吻了。该模型很可能不是从任何错误的博客或伪造的脚本中提取的,这些脚本说科尔从不亲吻雪莉(有人会出于什么目的写这样的东西?)。它只是编造了这个并将其粘贴在谷歌搜索结果页面的最顶部。
上面的 Bluesky 用户显然正在做 Google 的事情经常打电话一个“不常见的查询”。布达拉朱说,当询问不常见时,“往往会出现”幻觉。 “尽管这些系统试图提供帮助,但仍然存在一些误解,网络上固有地缺乏高质量信息,”她在接受 Mashable 采访时解释道,总体而言,AI 概述并非如此。众多杰出人物,网上高质量信息证实科尔和雪莉接吻,所以对鲍比·布里格斯不成功的打断的“误解”作为一种解释更有意义。
如果您根据错误信息进行搜索,人工智能概述可能会让事情变得更糟
根据 Budaraju 的说法,改进 AI 概述涉及“情绪调查”,而这并不完全是 AB 测试。 “我们只是给人们一个选择,让他们在其中一种和另一种之间进行选择,并让他们表达满意,”她说。
可混搭光速
但对于人工智能概述来说,一个噩梦般的场景是,搜索者一开始的信息并不完美,而人工智能概述则让它变得更加不完美。
如果搜索的基础是错误的或有缺陷的,并且人工智能概述没有发现问题,那么用户也不会注意到它。结果将是一个满意的用户现在比以前更加无知。诚然,使用谷歌搜索查找错误信息的问题比人工智能概述要古老得多,但人工智能概述可能是增强这一过程的一个公式。
对于我的意思的一个生动但相当良性的例子,这里是查询“如何使用小苏打使汤变稠”的结果。有人可能只有最模糊的概念,认为柜子里的一种粉末可以让他们的杂烩汤口感更浓郁,但他们可能猜错了。根据人工智能概述,“小苏打可以用来使汤变得更浓稠,使其更丝滑。”
图片来源:通过 Google 进行 Mashable 屏幕截图
这是行不通的,而且有可能让你的汤味道很奇怪。
当我向谷歌代表展示这个例子时,他们告诉我谷歌将用它来改进他们的产品。
但如果你正在寻找超自然现象,区分好信息和坏信息就会变得更加混乱。例如,我尝试搜索“如何教狗进行心灵感应交流”,人工智能概述以标题“这里有一些与你的狗进行心灵感应交流的技巧”开头,然后提供了一个由作者的著作拼凑而成的项目符号列表。超自然现象的信徒,比如“动物沟通者”皮亚·霍斯利。
图片来源:通过 Google 进行 Mashable 屏幕截图
如果您愿意阅读它们,Google 搜索的工作就是引导您阅读像霍斯利这样的人的著作——事实上,我推荐它们。他们很有趣。但是,当谷歌搜索结果页面顶部的人工智能概述中写着“这里有一些与你的狗进行心灵感应交流的技巧”时,它给用户的印象是这些信息是权威且值得信赖的,而不是“仅供娱乐目的”。
谷歌代表指出,人工智能概述是动态的。他们向我展示了相同搜索的人工智能概述,它没有说“这里有一些与你的狗进行心灵感应交流的技巧”,而是提到没有科学证据表明狗在转变为另一个豌豆霍斯利之前可以进行心灵感应交流- 受影响的指令列表。如果我今天尝试此搜索,我会得到类似的改进结果。
最后,如果用户注意到牛肉被称为“牛肉”,猪肉被称为“猪肉”,并且想知道海豚肉被称为什么,该怎么办?更奇怪的事情发生了。当我使用 Google 搜索寻找答案时,AI 概述似乎泄露了有关 mahi-mahi 的黑暗真相:
图片来源:通过 Google 进行 Mashable 屏幕截图
AI 概述以“海豚肉的名称取决于海豚的地区和类型”开头,然后提供了项目符号列表。列表中的第一项是“Mahi-mahi”。
如果用户继续阅读,他们会发现鲯鱼也被称为“海豚鱼”(因为,需要明确的是,鲯鳅不是海豚。它是一种鱼)。但至少可以说,结果令人困惑。当我向谷歌代表展示它时,他们告诉我这是对搜索的合理解释 - 换句话说,搜索“海豚肉名称”的用户实际上可能正在寻找被称为“海豚鱼”的鱼。
点击来源是个好主意
正如我上面提到的,由于我在这里介绍的每一个产生有问题的人工智能概述的搜索都在某种程度上得到了改善,我怀疑谷歌在我进行的过程中正在清理它们,但 Budaraju 声称并非如此。 “我们不会一一修复查询。这不是我们的运作方式。我们实际上将其视为我们所看到的问题的模式是什么?我们如何真正大规模地解决这些问题?”
但她也告诉我,谷歌仍然专注于引导用户寻找人工智能概述的来源——你知道,谷歌搜索结果页面上的老式链接吗? “在某种程度上,”她说,“我认为我们也希望我们的用户拥有正确的链接,供他们也追求的链接。”她想知道,作为对人工智能概述的回应,用户是否会“实际上遵循该路径并查看导致您创建的概述的链接”。
如果人工智能概述永远不会消失,那么在它们永远不会产生幻觉之前,接受 Budaraju 的这个建议可能是个好主意,并养成一种习惯,只要看到人工智能概述旁边的链接,就点击它们。