党报头条官网>>财经科创
生成式AI或致虚假信息野蛮生长
    来源:科技日报 作者:刘霞 发布时间:2023-06-13 16:55
生成海报

党报头条是中国报业协会所属融媒矩阵平台

  所谓“深度造假”技术,是一种利用AI将现有图像、音频或视频中的人物替换成他人的技术。一些经过操纵的图像、视频和音频等“深度造假”内容,曾经需要专业人士才能完成,但在生成式AI的加持下,现在很多人都能更容易地创建出来。


  生成式人工智能(AI)横空出世,可能给人类带来巨大的影响。美国高盛集团今年早些时候警告称,超过3亿个全职工作岗位可能会受到波及。美国国会研究服务局5月发布的一份报告指出,AI的最新创新也提出了新的版权问题,即如何界定AI创建或使用的内容属于侵权还是合理使用等。


  美国《福布斯》网站在6月9日的报道中指出,另一个令人担忧的问题已经浮出水面:生成式AI能被用于社交媒体上的虚假信息活动。虚假信息活动指蓄意制造和传播带有政治目的的谎言,这与一个人犯错误或说谎不同。虚假信息活动可使用各种策略,还可利用各种新技术、新媒体以及传统媒体来扩大分歧和煽动动乱。


  美国塔尔萨大学网络安全教授约翰·希尔表示,众所周知,脸书、推特、TikTok等平台现在是信息战的前线,生成式AI“染指”这一领域既造成了新的危险,也放大了现有的危险。


  “深度造假”:假作真时真亦假


  2017年,当名为“深度造假”(Deepfake)的用户在互联网上首次发布合成视频时,也许不曾想到,他已经打开了“潘多拉魔盒”。随着“深度造假”技术在缺少监管的状态下野蛮生长,已逐渐危害经济和社会的稳定。


  所谓“深度造假”技术,是一种利用AI将现有图像、音频或视频中的人物替换成他人的技术。一些经过操纵的图像、视频和音频等“深度造假”内容,曾经需要专业人士才能完成,但在生成式AI的加持下,现在很多人都能更容易地创建出来。


  希尔指出,“深度造假”使别有用心之人可窃取或盗用他人的声音,将其嵌入图像或视频中,或者以无法检测的方式操纵或更改数字内容。这一切才刚刚开始,随着技术的不断进步,“深度造假”技术制作的内容与真实事物之间的差距会越来越小。而且,随着制作出“深度造假”内容变得越来越简单,社交媒体会随时向大众传播此类内容。


  希尔强调称,随着这些“深度造假”内容在社交媒体平台上不受限制、不受管理地传播,将导致一场虚假信息运动,以影响、说服和误导他人或特定受众。随着相关技术的不断发展,未来可能会发生什么令人非常担忧。


  侵蚀对政治选举的信任


  《福布斯》杂志指出,生成式AI再加上“深度造假”,可能会给2024年美国总统选举带来真正可怕的后果。


  美国公共广播服务网站在5月份的报道中指出,生成式AI不仅可快速生成有针对性的竞选电子邮件、文本或视频,还可能被用来误导选民、冒充候选人并以前所未有的规模和速度破坏选举,诽谤候选人,甚至煽动暴力。


  中佛罗里达大学研究生院教授兼副院长提摩太·塞尔诺博士表示,AI制造出的“深度造假”内容看起来非常真实,即使对专家来说,确定它们的真实性也是一个挑战。


  与此同时,选民们被AI捏造的视频淹没,如果社交媒体平台故意或错误地允许AI修改或生成的信息在其网络上逗留并肆意传播,选民对其信任度可能会进一步降低。美国网络安全公司预测,试图干预美国选举的团体将利用AI和合成媒体作为侵蚀信任的一种方式。


  “内容认证”标准尚在制订


  《福布斯》网站在报道中指出,生成式AI相关行业正在制订“内容认证”标准,使用户验证数字内容的来源,但开发和采纳这些标准还需要一些时间。


  希尔指出,这是数字媒体发展的必经阶段,尽管如此,用户在浏览或使用社交媒体平台上的内容时,必须更加谨慎。此外,社交媒体网站应更积极地监管AI操纵的帖子。


  AI提供了颠覆性进步的强大能力,但这种能力也必须被谨慎使用,以便更大程度发挥科技向善的力量。


  记者 刘 霞

责任编辑:陈钇彤审核:金春妮
微信

扫描关注微信公众号

返回顶部
生成式AI或致虚假信息野蛮生长
来源:科技日报 2023-06-13 16:55:15
      所谓“深度造假”技术,是一种利用AI将现有图像、音频或视频中的人物替换成他人的技术。一些经过操纵的图像、视频和音频等“深度造假”内容,曾经需要专业人士才能完成,但在生成式AI的加持下,现在很多人都能更容易地创建出来。生成式人工智能(AI)横空出世,可能给人类带来巨大的影响。美国高盛集团今年早些时候警告称,超过3亿个全职工作岗位可能会受到波及。美国国会研究服务局5月发布的一份报告指出,AI的最新创新也提出了新的版权问题,即如何界定AI创建或使用的内容属于侵权还是合理使用等。美国《福布斯》网站在6月9日的报道中指出,另一个令人担忧的问题已经浮出水面:生成式AI能被用于社交媒体上的虚假信息活动。虚假信息活动指蓄意制造和传播带有政治目的的谎言,这与一个人犯错误或说谎不同。虚假信息活动可使用各种策略,还可利用各种新技术、新媒体以及传统媒体来扩大分歧和煽动动乱。美国塔尔萨大学网络安全教授约翰·希尔表示,众所周知,脸书、推特、TikTok等平台现在是信息战的前线,生成式AI“染指”这一领域既造成了新的危险,也放大了现有的危险。“深度造假”:假作真时真亦假2017年,当名为“深度造假”(Deepfake)的用户在互联网上首次发布合成视频时,也许不曾想到,他已经打开了“潘多拉魔盒”。随着“深度造假”技术在缺少监管的状态下野蛮生长,已逐渐危害经济和社会的稳定。所谓“深度造假”技术,是一种利用AI将现有图像、音频或视频中的人物替换成他人的技术。一些经过操纵的图像、视频和音频等“深度造假”内容,曾经需要专业人士才能完成,但在生成式AI的加持下,现在很多人都能更容易地创建出来。希尔指出,“深度造假”使别有用心之人可窃取或盗用他人的声音,将其嵌入图像或视频中,或者以无法检测的方式操纵或更改数字内容。这一切才刚刚开始,随着技术的不断进步,“深度造假”技术制作的内容与真实事物之间的差距会越来越小。而且,随着制作出“深度造假”内容变得越来越简单,社交媒体会随时向大众传播此类内容。希尔强调称,随着这些“深度造假”内容在社交媒体平台上不受限制、不受管理地传播,将导致一场虚假信息运动,以影响、说服和误导他人或特定受众。随着相关技术的不断发展,未来可能会发生什么令人非常担忧。侵蚀对政治选举的信任《福布斯》杂志指出,生成式AI再加上“深度造假”,可能会给2024年美国总统选举带来真正可怕的后果。美国公共广播服务网站在5月份的报道中指出,生成式AI不仅可快速生成有针对性的竞选电子邮件、文本或视频,还可能被用来误导选民、冒充候选人并以前所未有的规模和速度破坏选举,诽谤候选人,甚至煽动暴力。中佛罗里达大学研究生院教授兼副院长提摩太·塞尔诺博士表示,AI制造出的“深度造假”内容看起来非常真实,即使对专家来说,确定它们的真实性也是一个挑战。与此同时,选民们被AI捏造的视频淹没,如果社交媒体平台故意或错误地允许AI修改或生成的信息在其网络上逗留并肆意传播,选民对其信任度可能会进一步降低。美国网络安全公司预测,试图干预美国选举的团体将利用AI和合成媒体作为侵蚀信任的一种方式。“内容认证”标准尚在制订《福布斯》网站在报道中指出,生成式AI相关行业正在制订“内容认证”标准,使用户验证数字内容的来源,但开发和采纳这些标准还需要一些时间。希尔指出,这是数字媒体发展的必经阶段,尽管如此,用户在浏览或使用社交媒体平台上的内容时,必须更加谨慎。此外,社交媒体网站应更积极地监管AI操纵的帖子。AI提供了颠覆性进步的强大能力,但这种能力也必须被谨慎使用,以便更大程度发挥科技向善的力量。记者刘霞