近期多个基于真人形象训练而成的AI模型在互联网上流传，可快速生成大量虚假图片；南方都市报调查发现，已有人在闲鱼平台兜售相关模型及其训练服务，小红书上甚至已有账号利用AI生成图像假扮真人（相关报道）。

针对其带来的安全风险，国内其实早已布局相关法规。中央网信办网络管理技术局局长于永河近日在撰文中强调，使用深度合成服务的组织和个人应主动承担起信息安全义务，不得利用深度合成服务从事侵犯个人隐私、制作传播虚假信息等违法违规活动。

监管：

已针对AI技术出台管理法规

以Stable Diffusion为代表的AI绘画模型近期在互联网上走红，AI绘画教程在网上传播。但伴随该技术一同扩散的，还有多个基于真人形象训练而成的模型，以及大量虚假图片。

南都大数据研究院发现，闲鱼平台上已有卖家公开兜售Stable Diffusion模型，并提供真人模型代训练服务；利用AI生成图像假扮真人的账号混入小红书等社交平台，网友难分真假。

这并非AI技术首次引发公众担忧。2019年，名为“DeepFake”的AI换脸技术及其生成视频在国内互联网广泛传播，随即引起公众对AI诈骗的恐慌。

事实上，国内早已布局针对AI技术的监管法规。

2019年11月，国内首个针对“AI造假”的监管措施出台：国家网信办、文旅部和广电总局等三部门联合发布《网络音视频信息服务管理规定》，明确“利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播非真实音视频信息的，应当以显著方式予以标识”“不得利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播虚假新闻信息”。

2021年起正式施行的《民法典》也明确规定“任何组织或者个人不得以丑化、污损，或者利用信息技术手段伪造等方式侵害他人的肖像权。未经肖像权人同意，不得制作、使用公开肖像权人的肖像，但是法律另有规定的除外”。

2023年1月10日起，国家网信办、工信部、公安部联合出台的《互联网信息服务深度合成管理规定》正式施行，明确“任何组织和个人不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息，不得利用深度合成服务从事危害国家安全和利益、损害国家形象、侵害社会公共利益、扰乱经济和社会秩序、侵犯他人合法权益等法律、行政法规禁止的活动”。

案例：

企业AI伪造人脸被罚

南都研究员检索发现，国内已有针对滥用AI技术违法犯罪的相关案例。

2021年，江苏常州警方破获一起利用AI技术伪造人脸识别认证的犯罪团伙案件。据介绍，当地警方发现一家非法从事证书挂靠行业的公司利用AI换脸技术“伪造人脸”，帮助想要挂靠的专业人员在相关政务网站上进行识别认证。经过侦查，警方在江苏、河南等地抓获嫌疑人8名，查获各类非法注册认证的建筑业资质1000多组，涉案金额120多万元。

2022年底，杭州互联网法院审理一起因“AI换脸”APP利用深度合成算法侵害他人肖像权的案件：被告上海某公司运营一款“AI换脸”APP，并在其中使用了原告楼某某拍摄的视频模板。杭州互联网法院经审理认为，被告未经原告同意，利用深度合成技术使用其肖像制作了伪造视频，依法应认定构成对原告肖像权的侵害，判决APP开发者赔礼道歉并赔偿损失共计5000元。

观点：

多层推进深度合成技术治理

近日，中央网信办网络管理技术局局长于永河在《中国网信》杂志上撰文谈及深度合成技术的现实危害与潜在风险。他指出：“利用深度合成技术生成的虚假信息日益增多，滋生谣言、混淆视听，大幅削弱社会信任度。一些不法分子利用深度合成技术恶意制作违法有害信息，并通过社交网络发布、传播，诋毁他人名誉、侵犯个人隐私，或利用深度合成技术仿冒他人身份实施诈骗，严重扰乱网络传播秩序和社会秩序，危害公众利益、国家安全和社会稳定。”

在问题治理方面，于永河提出要压实各方主体责任，多层推进深度合成技术治理。一是立足源头管理：技术支持者要从技术源头上加强数据和算法管理，确保训练数据客观公正、合成模型安全可控，特别要防范在建模过程中引入歧视性观点或规则，带来安全隐患。二是体现过程管理：服务提供者要在用户注册、信息发布、应急处置、技术保障等多环节中，全面落实全流程管理责任。三是聚焦结果管理：使用深度合成服务的组织和个人应主动承担起信息安全义务，不得利用深度合成服务从事侵犯个人隐私、制作传播虚假信息等违法违规活动。四是突出渠道管理：互联网应用商店等应用程序分发平台应落实平台主体责任，主动核验应用程序的安全评估、备案等情况，发挥对深度合成应用的上线把关作用。

未来：

将AI技术用在正道上

2023年3月以来，陆续有多个AI模型更新或上线绘画功能：3月16日，百度“文心一言”对外发布，并展示包括图片生成在内的多模态生成能力；3月19日，AI绘画模型Midjourney推出V5版本，同时公开多张可媲美真实照片的AI作品；3月21日，微软Bing上线基于DALL-E模型的在线AI绘图功能；3月22日，Adobe公司发布名为Firefly的图像生成AI模型。不难看出，AI绘画正在成长为下一个风口，多家企业正尝试在AI绘画领域打造下一个“ChatGPT”。

装好保险，用于正道，AI技术也将驱动我们的新旅途。

出品：南都大数据研究院 数据安全治理与发展研究课题组

采写：南都研究员李伟锋 实习生 陈嘉宝 余欣贤