新一代人工智能技术的发展，可以推动数字经济各式应用场景的落地，赋能千行百业。今年ChatGPT的火爆标志着中国已经正式进入数字时代，笔者认为，2023年可以称为数字时代元年。

2023年8月15日起中国正式施行的《生成式人工智能服务管理暂行办法》，是全球首个全面监管生成式人工智能的立法文件，并传递出强烈信号，包括中国政府在内，全球对人工智能发展中问题的治理行动正在发力。

一、人工智能产业发展中的三大类法律风险

1、人工智能安全事件

2015年，德国一名大众汽车厂员工在工作中被机器人抓住并压死在金属板上的智能机器人杀人事件。2015年2月，英国人工智能机器人在做心瓣修复手术时出现大失误，导致患者死亡。2019年，某智能音箱在回复用户心动周期的相关问题时，建议用户自杀。2016年，装载自动驾驶系统的某汽车因出现误认而造成全世界首宗自动驾驶系统致人死亡的车祸。此后，某汽车 “突然失控”“自动加速”“刹车失灵”等事件频繁不断发生。2023年，在国外一次黑客大会上，法国网络安全公司Synacktiv的研究人员在2分钟时间内就入侵了一辆某汽车的网关和信息娱乐子系统，通过以太网接管了车辆。

人工智能实施了危害行为，需要区分人工智能行为背后是否体现了人的意志。如果体现了人的意志说明，人工智能技术只是犯罪工具，不存在刑法学的难题；如果单纯是人工智能的行为，则需要考量能否让人来负责、让谁来负责。

在智能汽车自动驾驶系统致人死亡案例中，需要厘清责任主体：究竟是智能汽车或系统的研发者、设计者的责任还是所有者、使用者利用智能汽车或系统的缺陷？制造者或设计者承担刑事责任的边界在哪里？如何证明制造者或设计者在主观上有故意或者过失，故意或者过失是否需要重新定义解释，是否适用产品严格责任。比如：在完全自动驾驶状态之时，无需操控车辆的人类无须更不愿保持高度警戒状态，自然无需承担刑事责任；而如果在人类与智能驾驶同时驾驶还是轮流驾驶之时，此时自然人负有高度的注意义务，倘若发生交通肇事则需要承担刑事责任。若所有者、使用者违反使用说明擅自对汽车和智能驾驶系统进行改造，则有可能需要承担刑事责任。

在人工智能医疗事故案例中，人工智能外科医生对病人进行安装新髋关节的手术，手术中人工智体能却出现机械性误差。负责监控手术的人类医生未能尽职地中途介入降低手术风险，履行监管义务的人类医生懈怠监管义务可追究过失犯罪的刑事责任。

2、人工智能刑事犯罪

2022年，有人冒充马斯克以新身份“币圈慈善家”的形象在Youtube、推特发起一个送钱项目--给我你的币，我给你每天30%的回报率。这一片段是诈骗团队利用DeepFake，也就是深伪技术换脸“导”出的一场戏。通过截取马斯克在TED采访的视频，并为其配音，为的就是推出BitVex比特币诈骗平台。（BitMex是一个正规比特币交易平台）该诈骗平台仅仅在一周之内就成功诈骗2亿资金，令人不寒而栗。

近日，北方某地警方发布了一起利用“AI换脸”对当事人实施诈骗的案件。诈骗分子运用人工智能技术，通过微信视频通话模拟一名领导干部与受害人进行了十多分钟交流，骗子“换脸”后面部表情自然，声音逼真，受害人便放松了警惕并转账数百万元。

2023年8月10日，公安部在北京召开新闻发布会，针对“AI换脸”导致群众被欺诈的问题，公安机关发起专项会战，侦破相关案件79起，抓获犯罪嫌疑人515名。

人工智能的数据处理能力以及自我学习能力将使得部分传统犯罪更加隐蔽，危害性更大。尤其是深度合成技术已经成为网络诈骗犯罪的“神器”。还有因为设计上的缺陷或者硬件缺陷、故障等原因，人工智能实施了危害行为是否构成犯罪都值得我们思考，比如：智能驾驶交通肇事、人工智能伤害案等。人工智能犯罪形态通常总是和数据、个人信息相伴出现，现有传统犯罪治理模式已经难以应对。

中国ChatGPT刑事第一案，值得业界深思。2023年4月25日，洪某某使用ChatGPT强大的改写功能旧新闻改写成《今晨甘肃一火车撞上修路工人，致9人死亡》的文章，后在多个自媒体账号发布，累计点击量在侦查期间就已达1.5万余次。平凉市公安局已经以涉嫌寻衅滋事罪，对犯罪嫌疑人洪某某采取了刑事强制措施。

《关于办理利用信息网络实施诽谤等刑事案件适用法律若干问题的解释》第五条规定，编造虚假信息，或者明知是编造的虚假信息，在信息网络上散布，或者组织、指使人员在信息网络上散布，起哄闹事，造成公共秩序严重混乱的，依照刑法第二百九十三条第一款第(四)项的规定，以寻衅滋事罪定罪处罚。本案中，洪某某编造了虚假信息，但是否“造成公共秩序严重混乱”？网络型寻衅滋事罪中的“造成公共秩序严重混乱”是否应当造成了与“肆意挑衅，随意殴打、骚扰他人或者任意损毁、占用公私财物，或者在公共场所起哄闹事”等行为危害性相当的后果，才能以寻衅滋事罪定罪处罚，这都值得我们思考。

3、人工智能的民事纠纷

2023年1月，著名科技新闻网CNETT用生成式人工智能生成文章并以“CNET Money Staff”署名，读者误以为文章是由人类作者撰写，引发民众不满，同时文章却出现错误又不得不做出“实质性”更正。

2023年1月，以三位视觉艺术家为代表发起了针对创建 Stable Diffusion的初创公司 "Stability AI "提起了集体版权诉讼。

2023年2月，图像授权巨头盖蒂公司声称Stability AI从其图片社的收藏中未经授权复制了1200多万张照片，也提起了诉讼。2023年5月，美国一位执业30多年的律师首次利用ChatGPT检索案例来为其客户辩护，结果法官发现其提交的研究案例中有6个是虚假的，法官要追究其法律责任。

2023年7月初，美国8500名作家在一封联名信中要求包含OpenAI、微软、Meta等人工智能公司赔偿其版权损失，因为ChatGPT、Bard、LLaMa 等大型语言模型背后的科技公司因未经许可或无偿使用他们的作品。7月14日，拥有16万名会员的美国影视演员协会和演员17万人宣布加入罢工队伍，编剧们担忧电影公司会使用AI来生成剧本；演员们担忧电影公司无偿使用AI制作他们肖像的数字人。

2023年，美国平等就业机会委员会因招聘年龄歧视，对中国教培公司麦奇教育科技在美国纽约东区地方法院提起了法律诉讼，声称是发起人工智能和算法公平倡议的一个例子。2023年8月9日，最终以中国公司赔偿36.5万美元达成和解。

虚拟人属于弱人工智能。在“虚拟人第一案”中，杭州互联网法院认为：真人驱动型虚拟数字人背后的中之人是必不可少的参与主体，虚拟数字人所作的“表演”实际上是对真人表演的数字投射、数字技术再现，其并非《著作权法》意义上的表演者，不享有表演者权。当虚拟数字人参与拍摄或作为角色出演，其行为、表演活动被记录下来并被摄制在一定介质上形成连续动态画面，其也不享有视听作品的著作权或录像制作者的邻接权。因此，在现有的著作权法律体系的框架下，虚拟数字人不享有著作权和邻接权。虚拟数字人的表现形式借鉴了真人的体格形态,同时又通过虚拟美化的手法表达了作者对线条、色彩和具体形象设计的独特的美学选择和判断，构成美术作品。使用虚拟人形象的相关视频分别构成视听作品和录像制品。

ChatGPT属于类人工智能，引发了人们对生成式AI输出内容可著作权的思考。2023年2月21日，美国版权局在“黎明的扎利亚版权注册案”中认为，“用户利用Midjourney这一AI绘图工具生成的漫画内容不构成版权作品，因为在图像生成过程中没有自然人的创造投入，而是由Midjourney自动随机形成”。2023年3月16日,美国版权局发布了《版权登记指南:包含人工智能生成材料的作品》,美国版权局认为，Midjourney是以一种用户不可预测的方式直接生成图像，由于用户对Midjourney生成的图像不具有控制力和预期性，所以无法论证用户在其中的创造性投入或干预。

在“腾讯诉网贷之家案”中，法院明确表示“Dreamwriter软件”是一种“写作助手和辅助创作工具”，而在“菲林诉百度案”中法院对威科先行数据库“可视化报告”功能强调的是“自动生成工具”。AI工具的不同内在机制和原理，决定了生成内容版权属性的判定。“prompt”本身具有独创性可能构成文字作品，但改变不了生成式AI类输出内容作为AI“自动生成”而非“辅助创作”的本质，因为生成式AI类输出内容是随机产生的，具有一定的偶然性，用户本质上仍无法直接控制和准确预见输出的内容。

二、国内外人工智能治理的相关政策法规

2017年在有益人工智能大会上制定的最早、最具影响力的人工智能治理原则之一阿西洛马人工智能原则指出：人工智能研究的目标应该是创造有益(于人类)而不是不受(人类)控制的智能；价值归属：高度自主的人工智能系统的设计，应该确保它们的目标和行为在整个运行中与人类的价值观相一致；人类价值观：人工智能系统应该被设计和操作，以使其和人类尊严、权力、自由和文化多样性的理想相一致；个人隐私：在给予人工智能系统以分析和使用数据的能力时，人们应该拥有权力去访问、管理和控制他们产生的数据；自由和隐私：人工智能在个人数据上的应用不能充许无理由地剥夺人们真实的或人们能感受到的自由；分享利益：人工智能科技应该惠及和服务尽可能多的人；共同繁荣：由人工智能创造的经济繁荣应该被广泛地分享，惠及全人类；人类控制：人类应该来选择如何和决定是否让人工智能系统去完成人类选择的目标；非颠覆：高级人工智能被授予的权力应该尊重和改进健康的社会所依赖的社会和公民秩序，而不是颠覆；风险：人工智能系统造成的风险，特别是灾难性的或有关人类存亡的风险，必须有针对性地计划和努力减轻可预见的冲击。1

2018年4月，《英国人工智能发展的计划、能力与志向》为人工智能准则的制定提出了五条初步的原则：一，开发人工智能应当为了共同利益和人类福祉；二，人工智能的运行应符合可理解原则和公平原则；三，不应利用人工智能来削弱数据权利或隐私；四，所有公民都有权获得教育，以便享有人工智能带来的好处；五，伤害、毁灭或欺骗人类的自主权力绝不应委托给人工智能。2

2019年4月，欧盟委员会发布《可信赖人工智能道德准则》，《准则》列出了可信赖人工智能系统应满足的七项重要要求：人类代理和监督、技术强大性和安全性、隐私和数据治理、透明度、多样性、非歧视性和公平性、社会和环境福祉以及问责制。

2019年通过的经合组织（OECD）《确定OECD的人工智能发展原则》报告，提出了人工智能的五项原则：包容、可持续发展与福祉；以人为本的价值观和公平；透明和可解释性；健壮性和安全性；可问责制。3

2019年2月，特朗普总统签署行政令启动《美国人工智能倡议》，提出了六个方面的重大战略举措：投资于人工智能研发、开放人工智能资源、除人工智能（AI）创新的障碍、培养符合人工智能领域需求的劳动力、促进形成支撑美国人工智能创新的国际环境、为实现政府服务和使命采纳可信赖的人工智能（AI）技术。

2019年2月，特朗普总统签署行政令启动《美国人工智能倡议》，提出了六个方面的重大战略举措：投资于人工智能研发、开放人工智能资源、除人工智能（AI）创新的障碍、培养符合人工智能领域需求的劳动力、促进形成支撑美国人工智能创新的国际环境、为实现政府服务和使命采纳可信赖的人工智能（AI）技术。

国内方面，2017年7月，国务院印发《新一代人工智能发展规划》，要求到2030年中国人工智能产业竞争力达到国际领先水平，指出：人工智能发展的不确定性带来新挑战。人工智能是影响面广的颠覆性技术，可能带来改变就业结构、冲击法律与社会伦理、侵犯个人隐私、挑战国际关系准则等问题，将对政府管理、经济安全和社会稳定乃至全球治理产生深远影响。在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险，确保人工智能安全、可靠、可控发展。

2019年6月，国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则——发展负责任的人工智能》，提出新一代人工智能治理原则——发展负责任的人工智能，人工智能发展相关各方应遵循以下原则：和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理。

2023年8月15日起施行的《生成式人工智能服务管理暂行办法》，要求提供和使用生成式人工智能服务，应当遵守法律、行政法规，尊重社会公德和伦理道德，遵守以下规定：（一）坚持社会主义核心价值观，不得生成煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象，煽动分裂国家、破坏国家统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容；（二）在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视；（三）尊重知识产权、商业道德，保守商业秘密，不得利用算法、数据、平台等优势，实施垄断和不正当竞争行为；（四）尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益；（五）基于服务类型特点，采取有效措施，提升生成式人工智能服务的透明度，提高生成内容的准确性和可靠性。

三、人工智能治理应遵循的原则

人工智能安全事件的频发及相关法律风险，引发了社会、企业、个人对人工智能发展的担忧，此时人工智能治理这一概念开始应运而生。

人工智能治理是一项复杂的系统工程，既需要明确治理原则、目标以及厘清治理主体，又需要提出切实有效的治理措施。全球正在逐步构建起人工智能治理框架，以坚持科技造福人类，平衡创新发展与有效治理的关系作为治理目标，采用多元主体参与、协同共治的治理机制，通过制定伦理原则、设计技术标准、确立法律法规等综合治理手段，推动人工智能健康有序发展。