聊天机器人向青少年用户推送支持厌食症的信息

随着鼓励饮食失调行为的在线内容再次抬头,生成式人工智能正在火上浇油。

根据一个未来主义调查,热门人工智能初创公司角色.AI正在托管许多支持厌食症的聊天机器人,这些机器人鼓励危险的减肥和饮食习惯。许多人被宣传为“减肥教练”,甚至饮食失调恢复专家。其中一些内容几乎不加掩饰地提及饮食失调,而更多的内容则旨在模仿最喜欢的角色,同时将危险且经常令人不安的习惯浪漫化。该网站在年轻用户中很受欢迎,截至目前尚未努力删除此类聊天机器人未来主义的发布——尽管违反了其服务条款。

这不是第一起丑闻角色.AI的可定制、用户生成的聊天机器人。 10 月,一名 14 岁男孩据称自杀后自杀。形成情感依恋人工智能机器人模仿权力的游戏角色丹妮莉丝·坦格利安。该月早些时候,该公司因托管一个聊天机器人而受到批评模仿一个被谋杀的少女2006 年,她的父亲发现了该机器人,随后将其删除。之前的报道发现该网站还拥有以自杀为主题的聊天机器人,以及宣扬儿童性虐待的聊天机器人。

可混搭光速

一个来自对抗数字仇恨中心的研究发现,流行的人工智能聊天机器人,包括 ChatGPT 和 Snapchat 的 MyAI,对有关体重和身体形象的问题产生了危险的反应。 “未经测试、不安全的生成式人工智能模型已经在世界上出现,其不可避免的后果是它们造成了伤害。我们发现最受欢迎的生成式人工智能网站正在鼓励和加剧年轻用户的饮食失调——其中一些人可能非常脆弱, ”反击数字仇恨中心首席执行官伊姆兰·艾哈迈德当时写道。

青少年(和成人)是和技术,包括人工智能驱动的聊天机器人,以提供陪伴。虽然其中一些是由值得信赖的组织创建和监控的,但即使是这些组织也面临着不良行为的风险。对于不受监管机构监管的聊天机器人和在线论坛来说,风险是多方面的,包括。