如果你正在短视频平台刷着奥运冠军全红婵的视频,听着她推荐某款土鸡蛋,声音亲切又真实。 你毫不犹豫地下单支持,心想这可是全红婵推荐的产品。
但你可能不知道,这个声音根本不是全红婵本人的而是AI克隆出来的仿冒品。
那是AI声音,全平台一大堆这样的切片,我现在告都告不过来,一个一个都在告。 ”
已有超过4.7万件商品通过这种方式被售出,而这仅仅是一个账号的销量。 这些利用AI技术伪造名人声音和形象进行带货的视频,正成为一些自媒体博主的“流量密码”。
从“一听就假”到“真假难辨”,AI克隆技术的滥用已经形成了一条灰色产业链。
只需要一部手机、几个软件,普通人就能轻松生成文字、图片、音频、视频等各类内容。 技术的普及带来了AI的滥用,从人脸和声音被合成冒用,到各类低俗猎奇视频的传播,AI都成了核心“推手”。
依托成熟的语音大模型技术,仅需十几秒就能“克隆”任何人的声音。 网络安全专家潘季明介绍,基于开源的语音大模型,只需一段清晰的语音样本,任何人的声音都可能在极短时间内被克隆,并能被操纵说出攻击者设定的任意内容。
全红婵并非唯一的受害者。 奥运冠军孙颖莎和王楚钦也遭遇了同样的仿冒。 在网名为“小兔真可爱”的账号中,两位奥运冠军的AI克隆声音同样在为土鸡蛋带货。
AI仿冒名人的乱象远不止带货。 还有部分自媒体博主克隆名人的声音后进行24小时语音直播,演员🎭️靳东是被仿冒最多的对象。 这种看似匪夷所思的操作背后,隐藏着另一个灰色产业链。
通过仿冒名人进行直播这种方式不仅可以诱骗粉丝打赏获利,还可以将一个小白账号迅速打造成上万粉丝的账号,从而为后续牟利铺路。
今年4月,就已经出现了多个账号使用全红婵接受采访和其家人直播画面,用AI合成相应的声音,用于带货蜂蜜等商品。 名为“婵宝小助理”“全妹福利号”等多个账号,以“全红婵家建别墅”“全红婵为观众送上福利”等话题吸引观众,博取流量。
全红婵父亲告诉记者,有人用AI伪造一家人声音卖蜂蜜,他们也没有办法。 “帮我辟谣一下,我没有卖这东西,什么蜂蜜才十几块钱一斤,拿糖来搞都搞不到。 ”
还有多个账号使用AI合成的全红婵爸爸、哥哥声音,用完全相同的文案介绍家里要盖新房,以此来博取流量。 在AI合成视频中携带有骆驼奶粉、土鸡蛋、洗衣液等多种商品链接。
流量较好的仿冒作品评论区中,不乏有人被骗下单购买。 评论区显示,大量粉丝误以为这就是全红婵本人,纷纷下单购买链接中的鸡蛋。
全红婵作为具有广泛社会影响力的体育明星️,其商业价值与公众信誉使其成为仿冒者的重点目标。 从蜂蜜推销到土鸡蛋销售,仿冒视频的大规模传播已形成产业化趋势。
技术的恶意使用正在挑战法律与道德的双重底线。 当技术沦为牟利工具,其破坏力远超想象。
对于正处于职业生涯关键期的全红婵而言,这些无端的仿冒带货事件带来的负面影响不容小觑。 作为一名优秀的跳水运动员,全红婵长期在高强度的训练与比赛中度过,其身心压力巨大。
此次AI仿冒带货事件爆发后,她不仅要承受舆论的无端猜测与质疑,还要分心应对侵权纠纷,这无疑对她的训练与竞技状态产生了冲击。
我国民法典将人格权独立成编,首次以立法形式将保护“声音”写入其中。 在第1023条中明确,对自然人声音的保护,参照适用肖像权保护的有关规定。
北京航空航天大学法学院副教授赵精武指出,若AI合成声音能让公众凭音色、风格关联到特定自然人,即具法律可识别性,可构成侵权。
任何自然人声音均应受法律保护,录音制品授权不等同于声音AI克隆授权,未经许可使用或授权他人使用权利人的声音均属侵权。
北京互联网法院也审结一起案件,被告擅自使用大学教师李女士的肖像和AI合成声音进行图书宣传,最终法院判定,该行为侵犯了李女士的肖像权和声音权益。
法院认为,往往这种案件的受侵害的一方都是有一定社会知名度的名人,因为会带来相应的社会认可度、认知度,他的声音和他的肖像有一定的商业利用价值。
更重要的是如果带货的内容是伪劣产品或者是虚假宣传的内容,有可能极大的消解这位名人他的社会认知度、认可度和信任度。
今年3月,国家网信办等四部门联合发布的《人工智能生成合成内容标识办法》,将于2025年9月1日起施行。 其中明确了服务提供者应当对文本、音频、图片、视频、虚拟场景等生成合成内容添加显式标识等。
中央网信办近日在全国范围内部署开展“清朗·整治AI技术滥用”专项行动,将强化AI技术源头治理,清理整治违规AI应用程序,推动网站平台提升检测鉴伪能力等。
专家建议,针对滥用AI克隆声音的乱象,平台层面要切实履行监管责任,建立健全对AI声音的审核和侵权举报机制,及时发现和拦截侵权、虚假、违法等不良内容。
根据民法典1197条的相关规定,平台与平台用户承担连带责任有一个前提,也就是平台知道或者应当知道用户利用了它的网络信息服务,实施了侵害他人合法权益的行为,并且没有采取必要措施。
平台“知道或者应当知道”的判断标准,主要考虑到平台对网络信息内容的管控能力,所提供的服务性质、方式,以及引发侵权可能性的大小,平台有没有采取预防侵权措施的技术的可能,并且有没有相应的合理的措施。
微信平台今年1月的公告显示,一个月内,就处置了1.2万条利用AI仿冒名人进行违规拼接、不当营销和恶意博取流量的内容,关闭了3281个相关账号。
抖音平台最近一周处置的AI虚假违规内容量,相比2025年第一周,增长了62%。 尽管一些平台设置了相应“谣言库”,通过设置热点关键词来屏蔽谣言,但一些机构利用AI模型针对性地进行对抗训练,使用近义词或类似表达,就可以绕过筛查。
今年4月以来,中央网信办开展了为期三个月的“清朗·整治AI技术滥用”专项行动,AI换脸拟声、AI内容标识缺失等乱象,都是整治重点。 6月,网信办公布专项行动第一阶段成果,累计处置违规小程序、应用程序、智能体等AI产品3500余款,清理违法违规信息96万余条,处置账号3700余个。
技术的便利不应成为突破道德底线的借口,构建数字文明的伦理防线已刻不容缓。 AI克隆技术的滥用不仅严重侵犯了当事者的权益,而且还涉嫌违法违规。
耳听为虚,眼见为实,这句古话正面临巨大挑战。 AI换脸、声音克隆等合成技术的滥用,让“耳听眼见”都未必为实。