开放人工智能正在限制对真人的描绘,并采取其他严格的安全措施来防止滥用。
该视频生成器于周一作为 12 天 OpenAI 活动的一部分宣布,具有各种编辑功能,供用户创建和自定义 AI 生成的视频。但作为用户,有些事情你不能对 Sora 做发现。
推文可能已被删除
根据其系统卡,“上传人物图像的能力将提供给部分用户”,这意味着大多数用户无法根据上传的图像创建人物视频。这些用户是 OpenAI 正在对少数用户进行测试的“相似度试点”的一部分。 OpenAI 发言人表示,人工智能生成的人物视频受到限制,以“解决有关盗用肖像和深度伪造的担忧”。该发言人继续说道,OpenAI“将积极监控滥用模式,当我们发现滥用模式时,我们将删除内容,与用户采取适当的行动,并利用这些早期经验来迭代我们的安全方法。”
可混搭光速
从责任的角度来看,限制 Sora 视频中的人物描述是有意义的。该工具可能会以多种方式被滥用:未经同意的深度伪造、对未成年人的描述、诈骗和错误信息等等。为了解决这个问题,Sora 经过训练可以拒绝来自文本提示或图像上传的某些请求。
它将拒绝 NSFW(工作不安全)和 NCII(非自愿亲密图像)内容的提示以及现实儿童的生成,但允许虚构图像。 OpenAI 已将 C2PA 元数据添加到所有 Sora 视频中,并将可见水印设置为默认值(尽管可以将其删除),并实施内部反向图像搜索来评估视频的出处。
尽管已经设置了许多护栏来防止滥用,但 Sora 将如何应对大规模压力测试的问题仍然存在。目前,由于以下原因,无法访问 Sora高需求。