郑 曦（北京外国语大学法学院教授）
摘 要 科技企业参与人工智能司法应用，是在法院沉重的案件数量压力和企业追求商业利益本能这两方面驱动力作用下的必然现象。在人工智能司法应用中，科技企业除了扮演产品研发者、系统维护者、平台运营者等技术角色外，还实质上担任数据处理者、程序控制者和裁判参与者等角色。这可能与审判基本原理发生冲突，导致诉讼模式改变，并带来其他外部政策性风险。针对这些风险，应当合理区分科技企业参与人工智能司法应用中的公私界限，明确“有限参与”的基本要求，并对其参与过程进行必要监管。据此，可以通过调适法院与科技企业的关系、确立相应的技术标准、科以数据安全保护义务等措施，合理规制科技企业在人工智能司法应用中的参与程度，使其参与符合法治的基本要求。
关键词 科技企业 人工智能 审判权 数据安全
一、问题的提出
在数字时代，人类生活的改变既是主观需要，又是客观事实。在司法领域，为适应此种社会变革，数字司法建设成为重要主题，其中尤以法院对人工智能司法应用之热忱为典型。例如，上海的“206系统”、北京的“睿法官”、江苏的“法务云”、河北的“智审”、重庆的“法治云”等办案辅助系统，均是人工智能司法应用的重要产品。2022年11月，随着ChatGPT等生成式人工智能的问世，“司法+人工智能”得到了进一步深化和应用。例如，广东省珠海市香洲区人民法院在全流程无纸化办案的基础上，深耕“人工智能＋场景运用”，于2024年9月29日正式启用“香法AI·云上智审”平台。该平台所使用的人工智能大模型是全国首个由基层人民法院研发训练的人工智能司法大模型，能够完成“法律你问我答”“提纲生成”“裁判文书书写”等司法任务。再如，上海市第二中级人民法院所使用的“小至数字助手”辅助办案系统，在法律领域大语言模型应用的基础上，通过学习法官智能辅助办案系统（C2J）积累的法律法规库、裁判文书库、企业信息库、案例库等9大数据库实现了知识增强，能够对原审文书、案涉合同、起诉状、答辩状等进行智能解析和归纳，实现笔录规整归纳、案件事实比对确认、诉辩争议内容归纳等功能。
由于法律人与人工智能技术之间存在疏离，法院无法独立完成人工智能司法应用工作，因此向科技企业借力成为最佳的、几乎也是唯一的选择。对于科技企业参与人工智能司法应用的做法，中央从“推动大数据、人工智能等科技创新成果同司法工作深度融合”的要求出发予以肯认。然而，在人工智能司法应用中开展“公私合作”，属“私”的科技企业以技术为接口进入司法领域，必然会对属“公”的审判制度带来一定影响。就此问题，已有学者敏锐地察觉并进行了分析和反思。例如，马长山教授发现科技企业在参与包括人工智能司法应用在内的公共服务平台建设过程中缺少民众参与和对社会诉求的吸纳，公民始终“不在场”；左卫民教授认为科技企业对于法律人工智能等技术的投入仍有限、技术水平也不高；刘艳红教授提出在将人工智能技术运用于司法时，应限定法院与科技企业的合作限度；张凌寒教授指出科技企业的参与可能导致法院对企业的技术依赖；王禄生教授发现人工智能司法应用中存在技术话语与司法话语的冲突；笔者也曾对科技企业参与人工智能司法应用可能削弱法院的审判权并带来腐败风险表达过担忧。但当前这些分析和反思尚显零散，缺少系统性研究。事实上，针对科技企业参与人工智能司法应用，有必要思考以下问题：科技企业参与人工智能司法应用的驱动力何在？科技企业在其中扮演何种角色、发挥什么作用？此种参与会带来哪些问题和风险？此种参与应遵循何种思路？有无对此种参与进行有效规制的制度或手段？只有对这些问题予以认真关注、充分考虑，才能有效发挥科技企业在人工智能司法应用中的积极作用，并尽量降低其负面影响，实现良性的“公”“私”互动与合作。
二、科技企业参与人工智能司法应用的驱动力及角色
人工智能司法应用中借力科技企业的技术已然常见，但科技企业如此积极参与的动力何在？因何而成？其在人工智能司法应用过程及后续的运作中究竟扮演何种角色？这些问题都值得思考。若不回答这些问题，则对科技企业参与所带来的问题或风险进而如何对其进行规制等后续问题的研究都将难以为继。
（一）
科技企业参与人工智能司法应用的驱动力
科技企业对人工智能司法应用的参与，是在整个社会数字化浪潮的推动下展开的。人工智能技术的普遍运用塑造了社会生活的新形态，推进或裹挟着社会生活的数字化、智能化转型。在我国，“数字中国”建设甚至成为国民经济和社会发展的重要主题，被政府发展规划反复强调。这样的外部环境促成了作为人类社会生活不可分割部分的司法领域的智能化变革，科技企业参与人工智能司法应用的外在驱动力由此而来。相较于此种宏观的、显见的外部驱动力，源自法院系统和科技企业这两方主体的内在需求对科技企业积极投身于人工智能司法建设起到了更为显著的激励作用。这两方面的内在需求促使法院与科技企业的视线交汇，并驱动人工智能司法应用的进程以公私合作的样态向前推进。
从法院的视角看，允许、要求科技企业参与人工智能司法应用的最大内在驱动力源自沉重的案件数量压力。现代社会正处于诉讼爆炸的时代，法院面临着案件数量过多的巨大压力。2023年我国各级人民法院收案4 557.4万件，结案4 526.8万件，同比分别增长15.6%、13.4%。面对如此重压，法院增加办案人员数量的空间又十分有限，于是只剩下两个选择：一是适当压缩甚至部分放弃对程序公正的追求，将案件进行分流处理，如认罪协商制度；二是寄希望于现代技术，期冀通过人工智能等新技术的运用提高司法效率。基于此种提高司法效率的价值追求，法院将人工智能司法应用的产品研发、系统维护、平台运营等技术性工作外包给科技企业，既不必大幅增加相应的人力资源和技术成本投入，又能在较短时间内取得明显可见的成效。因此，从法院的角度看，在人工智能司法应用中向科技企业“引援”，无疑是最符合其利益的选择，法院自然愿意将此种技术性工作转交给科技企业处理。在这个意义上，案件数量压力客观上成为促使法院开展人工智能司法应用并将其中的技术性工作外包给科技企业的内在驱动力。
从科技企业的视角看，其积极参与人工智能司法应用的根本内在驱动力来自追求经济利益的商业本能。以获取经济利益为根本目标，对于科技企业而言乃是天经地义之事，至于其社会责任、良善信念等则是获得经济利益以保证企业生存和发展前提之下的副产品，这一点无可厚非。就科技企业而言，开展技术研发亦需要首先考虑经济利益，其中最主要的是两方面的问题：一是技术研发需要投入多少资金成本，二是研发出的产品是否能够“变现”并覆盖成本，获得尽可能高的回报率。人工智能司法应用恰好在成本和利润两方面均为科技企业提供了较好的选择：一方面，人工智能司法应用作为“数字中国”建设宏观规划图景的重要组成部分，国家通过财政拨款、设立科研招标项目的方式为其提供了巨额资金。科技企业通过与法院合作申请此类课题项目，可以有效解决相关研发中的资金投入难题。另一方面，科技企业参与人工智能司法应用最终确实也能够获得较为丰厚的利润回报。以科大讯飞公司为例，2023年其智慧政法行业应用的营业收入达7.28亿元。如此一来，科技企业投身于人工智能司法应用项目建设，既可以从国家财政获得研发经费支持，又可以在后续运营过程中获得巨大的利润回报，这自然使得科技企业的积极参与具有了强大的内在驱动力。
（二）
科技企业在人工智能司法应用中的角色
在前述因素的驱动下，科技企业积极参与人工智能司法应用，其内容主要包括实现司法行政管理智能化、开发智能化审判辅助工具等，承担着由法院外包的人工智能司法应用中的技术性司法辅助工作。针对这些工作内容，从表面看，这些科技企业的角色是一目了然、显而易见的，即它们主要扮演着产品研发者、系统维护者、平台运营者等技术角色。然而，由于司法辅助工作与司法工作之间并不存在“楚河汉界”般清晰的边界，因此参与人工智能司法应用的科技企业可能超越这些表面意义上的角色和职能而实际扮演以下3种实质性角色。
第一，数据处理者。数据是人工智能的基础性原料。参与人工智能司法应用的科技企业在产品研发、系统维护或平台运营的过程中，必然会对海量数据进行收集、存储、使用、加工、传输、提供和公开，因而具有数据处理者的身份。例如，北京华宇信息技术有限公司为全国法院建设了5 000余个科技法庭，每天处理的庭审音视频时长超过2万小时，成为人工智能司法应用中的重要数据处理者。需要注意的是，人工智能司法应用中所使用的数据有相当部分来源于法院以往的司法行政和案件审理工作。从数据分级的角度看，这些数据既包括一般数据，也涵盖《中华人民共和国数据安全法》（以下简称《数据安全法》）第21条所指的重要数据，甚至还包含关系国家安全、国民经济命脉、重要民生以及重大公共利益的国家核心数据；从数据分类的角度看，既有政府数据，也有个人数据，其中个人数据又分为一般数据与敏感个人数据。科技企业参与人工智能司法应用需以数据为底料，除收集使用一般数据外，极有可能处理各类重要数据，如合议庭秘密评议的相关数据、案件分配相关数据、公民指纹或脱氧核糖核酸（DNA）等生物识别数据等，甚至可能接触到某些特殊案件中包含的国家核心数据。作为数据处理者，无论出于故意还是过失，科技企业一旦因非法获取或非法使用这些数据而导致数据被篡改或泄露等，则都可能给国家利益、公共利益和公民个人的合法利益造成严重损失。因此，对于科技企业在人工智能司法应用中所扮演的数据处理者角色，应当予以充分重视。
第二，程序控制者。智能化司法要求将一部分司法行政工作交由人工智能工具来处理。在欧盟，绝大多数国家的法院均有企业资源规划（ERP）一类的案件管理系统，负责案件分配、过程管理等工作。在我国，对于法官的案件审理工作，也可通过人工智能工具予以督促、评估和考核。如此一来，这些人工智能工具对于案件分配、繁简分流、审理时长、执行流程等程序性事项就掌握了相当强的控制权，在一定程度上能够影响案件的进程。而在这些对程序具有控制力的人工智能工具背后，是参与人工智能司法应用的科技企业。例如，安徽省合肥高新技术产业开发区人民法院与科大讯飞公司合作成立了司法辅助事务集约中心，设置电子送达专员、排期专员、速录员等多个岗位，使原来分散进行的各案件节点程序性事项实现集约化运行。从这个意义上看，科技企业参与人工智能司法应用在某种程度上扮演了程序控制者的角色。
第三，裁判参与者。当前法院使用的人工智能工具虽然仍处于“弱人工智能”阶段，在中短期内仍难以全面、深刻地推行AI法官，但人工智能应用已对司法裁判产生实质影响。这些人工智能工具通过类案推送、证据审查、社会危险性评估等方式参与法官心证过程，从而影响案件的事实认定与法律适用。例如，哥伦比亚有法官参考ChatGPT的意见做出判决，并在裁判文书中引用其与ChatGPT的对话作为裁判依据；印度亦有法官依据ChatGPT的意见对是否给予被告人保释做出决定。在我国，人工智能工具参与裁判的情形亦不鲜见，法院虽然将人工智能定位为司法辅助工具，并不要求法官必然遵循其所提出的意见，但由于人工智能工具具有科学化外观及形式理性品格，因此法官在做出相反裁判时也难免承受巨大压力，不得不再三考虑，甚至屈从于人工智能工具之结论。因此，人工智能工具实质地对案件裁判工作产生影响，其即便对于案件的裁判结果不具有完全、最终的决定权，也至少参与并深刻作用于法官的裁判过程。由此，研发此种人工智能工具的科技企业也扮演了裁判参与者的角色。
三、科技企业参与人工智能司法应用可能带来的风险
参与人工智能司法应用的科技企业不但在形式上发挥产品研发者、系统维护者与平台运营者的作用，而且在实质上扮演数据处理者、程序控制者、裁判参与者等角色。这可能与传统诉讼理念产生冲突，带来诉讼结构的改变，甚至产生外部政策性风险，对此应有充分认识。
（一）
理念性风险：与审判原理的冲突
科技企业所扮演的数据处理者、程序控制者和裁判参与者角色，是传统诉讼中所未见的。其固然源自法院数字化转型的必然需求，但也可能与传统的审判原理不合，甚至发生冲突与抵触，具体体现在以下两个方面。
一方面，对法院而言，科技企业参与人工智能司法应用可能会干预法官的审判权。法院行使审判权的核心要义在于，审判权由法院独占行使，其他任何人不得分享此种权力。这是审判权独立运行的基本要求，是国家权力配置原理的体现，对于保证审判公正、维护司法权威均具有重要意义。因而，联合国《公民权利和政治权利国际公约》第14条第1款要求审判由“依法设立的合格的、独立的和无偏倚的法庭”负责，《中华人民共和国刑事诉讼法》（以下简称《刑事诉讼法》）第3条、《中华人民共和国民事诉讼法》第6条、《中华人民共和国行政诉讼法》第4条亦要求审判权由人民法院行使，其他任何机关、团体和个人均无权行使审判权。然而，科技企业所扮演的角色，尤其是其对程序的控制和对裁判的参与，都实际地从法院审判权中“分一杯羹”，可能干预法院在案件分配、程序分流、对“裁判时机”的把握等方面的程序性权力，以及在证据审查判断、事实认定、量刑适用等方面的实体性权力，甚至可能出现从“法官的审判”变成“机器的审判”或“技术人员的审判”的现象。此种风险已非想象，司法实践中已经出现机器审判带来公正价值严重偏差的案例。
另一方面，对公民而言，科技企业参与人工智能司法应用可能侵犯公民的诉讼权利。诉讼权利保障是现代法治的产物和要求，直接影响到公民享有公平正义的机会，同时也是建设法治社会的重要体现，既符合诉讼中人权保障的基本价值追求，也有利于对公权力的运行进行监督制约。然而，科技企业以数据处理者、程序控制者、裁判参与者等身份介入诉讼，可能对公民诉讼权利特别是被告人质证权的保障造成障碍。被告人质证权的核心是围绕不利于己的证据进行辩论、质疑和反驳，其基本前提是有明确的质证对象以及有出庭的、可与之进行质证的对手。而科技企业在人工智能司法应用中扮演的角色，特别是其对裁判结果的实质影响，则可能削弱了这两方面的前提。科技企业对案件裁判结果的影响，是以一种“隐身”的方式借由其开发的人工智能产品而实现的。而人工智能产品提出意见或做出结论所依据的算法、数据均不公开，于是被告人即便对其意见或结论有异议，也无法就其依据进行质证，也不知该与何人质证，从而阻碍了质证权的行使。此外，科技企业作为数据处理者亦可能对公民的数据权利造成损害。公民因参与诉讼而主动或被动地向法院呈交数据，并期待这些数据只为法院等公权力机构所掌握，且仅被用于诉讼目的，并在法定条件成就时被封存或删除。然而，科技企业在人工智能司法应用中充当实际的数据处理者，使得掌握公民数据的主体数量增加，其作为商业机构的逐利性本能也增大了数据被不当处理的可能性，进而增加了数据失控的风险和公民数据权利保护的难度。
（二）
结构性风险：对诉讼模式的改变
科技企业参与人工智能司法应用而处理数据、控制程序并参与审判，改变了原有的诉讼模式，给已然稳定的诉讼结构带来了新的冲击，从而可能产生以下风险。
首先，审判结构因科技企业的参与而可能发生变化。所谓结构，即为各方之间的关系。审判通常应当呈现出两造具备、法官居中的正三角结构，以使得控辩审三方的关系稳定，进而保证平等对抗和审判中立，以维护审判的权威性。此种三角审判结构存在的必要性已成为共识。然而，科技企业以裁判参与者的身份加入，可能干预甚至分享法官的审判权力，改变原有三角审判结构。如此一来，原本控辩审三方关系中又增加了科技企业这一隐性的裁判参与者，使得控辩审三方关系中又增加了更多不稳定的因素。三角审判结构的改变虽然可能提升诉讼便利性和效率，但对于其可能带来的司法公正风险，也需保持足够的警惕。一是依据排除价值判断的人工智能工具之意见做出的裁判，是否符合人类基于价值判断而形成的一般社会公正观念的要求，从而能否为公众所接受？二是是否存在科技企业出于逐利之本能或技术人员基于其某种固有观念，而在人工智能工具中“夹带私货”之可能？如企业在研发相关产品时，可能会设计有利于己之算法；持有歧视观念的技术人员亦可能将对某少数群体的敌对情绪注入相关程序。
其次，科技企业参与人工智能司法应用可能导致审判对技术的过度依赖。审判本应由法官“本着诚实之良心去寻找针对被告人提出的证据以及被告人提出的辩护理由在他们理智上产生的印象”，但是在人工智能司法应用中，人工智能技术以科学之名介入审判，导致法官的权威降低，进而可能形成审判的技术依赖。例如，许多法院运用的人工智能系统不但能向法官进行类案推送，促使法官对类似案件做出近似判决，还会在法官的裁判结果与其预测性判断发生重大偏离时自动预警，触发法院领导对该案的关注。这使得法官在做出与人工智能系统不一致的裁判时必然背负巨大压力，技术中性无偏的理念迫使法官依赖于其提出的意见或结论。长此以往，在强势的人工智能技术面前，法官的自信心和判断力都会受到冲击。为逃避压力和责任，法官可能倾向于采纳人工智能工具的裁判意见而放弃独立判断，于是技术依赖不但会侵蚀法官在审判中的决策权力，也将削弱法官的裁判能力。需要注意的是，人工智能司法应用中法官对技术的依赖，实质是对研发和运营相应人工智能技术的科技企业的依赖。此种依赖一旦形成，倘若不予以严格监管，那么其后果将极为严重。
最后，对科技企业在诉讼中的实质参与进行监管和追责极为困难。对审判活动的监督管理，包括案件程序和流程监控、案件质量评查与司法绩效评估乃至个案监督等，是保证审判活动依法进行的必要措施。科技企业参与人工智能司法应用而处理数据、控制程序、参与裁判，同样应受此种监管。然而，此种监管却难以实施。原因在于：（1）参与人工智能司法应用的科技企业具有技术垄断优势，这使得来自外部的监管存在技术障碍。法院及其他监管机构对于技术的疏离，导致其在面对科技企业时往往如同“技术盲”一般存在专业知识的鸿沟。加之出于保护商业秘密和知识产权的需要，科技企业的技术具有高度保密性、算法不公开等已经引起普遍关注的问题，使得对科技企业的监管亦难以进行。（2）来自外部的监管缺少明确的标准和规范，使得由外部机构进行监管缺乏制度依据。由于人工智能技术的变革异常迅速，而技术本身以一定的容错率为发展前提，因此很难制定一套明确的标准来判断某项技术的科学性。目前，此种监管规范的缺失使得由外部机构对参与人工智能司法应用的科技企业实施监管的工作难以落实。（3）科技企业的自我监管既缺乏动力又无足够可信度，使得自我监管容易流于形式。科技企业进行严格的自我监管需要付出大量的金钱、人力和技术成本，这与其追求经济利益的商业目标不符。加之自我监管本身存在缺陷，此种监管的实际效果值得怀疑。监管难以施行，通过监管去发现并追究科技企业因主观故意或技术缺陷而造成的不当行为责任也就无从谈起。在如此缺乏监管和追责机制的现状下，仅依靠科技企业自身的道德观念和企业责任的约束就保证其依法、合理地参与人工智能司法应用，不免风险过高。
（三）
外部政策性风险：在审判之外的影响
科技企业对人工智能司法应用的参与，不但可能带来前述的理念性风险和结构性风险，而且在实践操作中也可能存在一些其他风险。这些风险不像前两者那样直接指向审判本身，而是会对审判之外的其他价值追求造成影响。借用美国法学家威格摩尔在对证据规则进行分类时所使用的概念，可将此种风险暂称为“外部政策性风险”。
1.数据滥用风险。如前所述，科技企业在人工智能司法应用中扮演数据处理者的角色，一旦非法处理数据就可能带来严重危害。然而，此种可能性却是现实存在的。尽管已有预防数据滥用的法律法规，企业通常也有数据合规制度，但出于获取经济利益的商业本能，此种数据滥用风险依然存在。更重要的是，相较于作为企业行为的数据滥用，因企业中某一或若干员工的不当行为而导致的数据滥用则更为常见。由“内鬼”所导致的数据泄露是数据滥用的重要原因。科技企业因参与人工智能司法应用所处理的数据可能包括重要数据甚至国家核心数据，这些数据一旦被泄露、篡改等非法处理，后果将不堪设想。
2.“以次充好”风险。此种风险是指科技企业因觊觎参与人工智能司法应用的巨大经济利益或其他原因，在技术水平尚不成熟时为降低成本，利用前述法律人与技术的疏离关系，以低水平的人工智能产品甚至“伪”人工智能产品滥竽充数。该现象可能带来两方面的严重后果：一是致使国帑枉费。一些企业在获得国家立项和拨款之后，在项目的研究过程中马马虎虎，最终以质量极低的成果交差了事；在与基层法官们的交流中，也有许多法官抱怨法院的智慧系统智能化程度低、使用体验差，以致法官们不愿甚至拒绝使用。如此，国家对于人工智能司法应用所投入的经费就无法获得与其预期相匹配的产出。二是低技术含量特别是安全技术水平较低的人工智能产品接入法院系统后，其所存在的潜在安全漏洞可能给针对法院系统的外部攻击提供路径和机会，从而带来网络和数据安全隐患。
3.腐败风险。法院在选择科技企业参与人工智能司法应用开发时需要考虑众多因素，如技术能力、实践经验等，并经过招投标等程序。国家投资项目的招投标环节容易出现腐败风险，企业与公职人员在此环节易发生利益勾结、捆绑现象，而此现象在科技企业参与人工智能司法应用中同样可能发生。此外，在人工智能司法应用的系统维护、平台运营、软硬件采购等过程中亦有滋生腐败的空间。科技企业参与人工智能司法应用可能导致的腐败风险，与其他领域的腐败风险在本质上并无区别，可能导致民众对法院丧失信任、破坏社会伦理道德基础等严重后果，因此应当给予高度重视。对此，最高人民法院网络安全和信息化领导小组会议要求坚持不懈抓好信息化建设领域党风廉政建设，严格落实廉政风险防控制度，确保建设廉洁工程。一些法院也已有深刻认识，如江苏省常州市钟楼区人民法院曾召开信息化建设领域集体廉政谈话会，强调在信息化建设中应规范采购流程、严守廉洁底线。
四、规制科技企业参与人工智能司法应用的基本思路
针对上述风险，应对科技企业参与人工智能司法应用予以必要规制。可以从合理区分公私界限、明确要求科技企业“有限参与”并对其参与过程进行必要监管着手，提出规制科技企业参与人工智能司法应用的基本思路。
（一）
公私界限的合理区分
人工智能司法应用中的科技企业参与、公私合作确有现实必要性，但应以明确公私界限为前提，划分各自的“势力范围”，防止相互间权责越界。为此，应当再次明确并强调科技企业在人工智能司法应用中作为技术提供者的这一辅助性身份。引入科技企业参与人工智能司法应用的初衷是弥补法院在智能技术方面的短板。然而，科技企业在实践中逐步形成的程序控制者和审判参与者等角色，实际上不符合人工智能司法应用的最初设定。为正本清源，应在人工智能司法应用中强调对法院审判权的维护，明确案件的审判工作，无论程序之推进、证据之审查、事实之认定还是法律之适用，都属于审判权之内容，应由法官行使。科技企业研发运营的人工智能工具原则上只能提供提醒、建议、参考等服务，不应越界而实质地影响甚至干预审判。对于这一点，2022年《最高人民法院关于规范和加强人工智能司法应用的意见》第5条已经作出明确规定。
基于审判权由法院行使的理念和科技企业作为技术提供者的辅助性职责定位，法官独立行使审判权并承担责任的原则在人工智能司法应用中仍应严格适用，即法官独立行使审判权，不受“其他任何机关、团体和个人”等外来力量的干预。在人工智能司法应用的背景下，还应当排除运用于数字法院建设的人工智能技术及其背后科技企业的影响，确保法官不受干扰地、超越工具理性地独立行使审判权，如此方能满足“让审理者裁判”的前提，进而要求“由裁判者负责”，让法官承担错案裁判的司法责任。若非如此，法官的裁判既然是在人工智能技术及其背后的科技企业的影响甚至干预下做出的，那么在追究责任时不免出现各方互相推诿、“甩锅”的现象，司法责任的追究也就失去了实际操作的合理性根据。
为确保审判权独立行使，在人工智能司法应用背景下，对法官心理认知方面的引导、调适亦值得重视。如前所述，法院在人工智能工具面前容易形成技术依赖，此种依赖亦影响法官的心理认知。尤其当此种身着“科学”外衣的人工智能工具给出某种信息或指出某种方向时，法官会不自觉地接受此种信息并沿着其方向做出决策，这就是心理学上的“锚定效应”。为防止法官的决策即案件的裁判结果向最初“锚定值”方向偏移而导致认识偏差，应对法官做心理认知方面的教育和培训，帮助其准确理解人工智能工具所提供的信息在审判工作中的价值和意义，正视“锚定效应”的存在，并分析人工智能工具的表面权威性及其固有缺陷，从而为突破此种“锚定效应”提供心理认知上的准备和宽松的裁判环境。
（二）
“有限参与”的明确要求
科技企业在人工智能司法应用中的参与应当受到必要限制，这是因为其参与的原初目的仅仅是给法院提供技术方面的支持，而非对诉讼程序和法官裁判形成制约。基于此种有限目的，科技企业参与人工智能司法应用的内容、行为方式等也应当受限，以保证与其参与目的相一致。
一方面，科技企业在人工智能司法应用中的参与事项应有限。原则上，科技企业的参与工作应当限定于技术层面，如应法院之需求研发符合要求的人工智能产品，在产品使用的过程中开展人工智能系统维护、故障排除工作，在发生网络安全或数据泄露事件时采取相应的应急措施等。明确法院工作中的某些关键事项只能由法院完成，并将其排除在科技企业的参与范围之外。这些事项包括：（1）法官创制规则的过程应当排除科技企业的参与。即便在我国这样的成文法国家，也存在通过裁判创制规则的空间，这些规则具有多样性特征，又可能升格为较高位阶的规则，甚至面临“究竟是依照法律抑或是参酌情理来裁判”的抉择。这需要法官协调情理与法理、做出价值判断，该过程需要极高的法理专业技能，不宜有外力的干预。（2）审判中的一些最重要事项应当排除科技企业的参与。例如，刑事案件审判中的定罪问题、行政案件中行政行为的合法性判断问题，不但事关重大，而且是判断是否出现错案、明确司法责任承担的关键问题，因此应由法官独立做出裁判。
另一方面，科技企业在人工智能司法应用中对数据的处理应有限度。科技企业在人工智能司法应用中处理数据，是法院将部分公权力外包的结果。根据比例原则的要求，其数据处理行为不得超出为人工智能司法应用提供技术支持的目的，并以最小侵害的方式进行。这一要求也符合数据安全保护领域的“数据最小化原则”，即数据的处理应充分、相关，并以数据处理目的之必要为限度。具体而言，应当根据数据分类分级的规则，分别设置科技企业的处理权限。（1）对于国家核心数据，由于其关系“国家安全、国民经济命脉、重要民生、重大公共利益”，因此不应由作为私主体的科技企业处理。（2）对于重要数据，虽然可以允许科技企业基于人工智能司法应用之目的而处理，但需要有相关的严格监督制约，如制定数据处理的合规计划、在数据处理前进行安全评估、建立数据处理过程中的监测预警机制等。（3）对司法数据和个人数据设置不同的处理方案。针对司法数据的处理，其重点应聚焦于相关数据的安全保障问题；针对个人数据的处理，特别是在处理其中经作为数据主体的公民个人同意而取得的数据时，应当注重对公民个人数据权利的必要保护。限制科技企业的数据处理权限，有助于防止科技企业参与人工智能司法应用时的“越轨”行为。
（三）
参与过程的必要监管
尽管存在前述种种困境，但科技企业参与人工智能司法应用所涉法益重大，若不加以监管则可能带来严重后果。为对其在人工智能司法应用中的参与过程进行监管，有以下3个方面问题需要解决。
第一，监管途径。对于科技企业在人工智能司法应用中的参与过程，可以有两方面的监管路径。（1）来自公权力机构的监管。我国已有较为完备的监督系统，纪检监察部门对于人工智能司法应用中科技企业的参与可能带来的贪腐、渎职等违法犯罪行为有调查监督的权责，检察机关作为法定的法律监督机关亦有监督审判权行使合法性的职责，此外，与科技企业进行人工智能司法应用方面合作的法院应对科技企业的参与依法进行监管。（2）来自公民的监督。公民通过行使权利可以实现对科技企业依法行事的制约，如因科技企业控制程序、参与裁判而受到权利侵害的诉讼参与人，可以根据《刑事诉讼法》第49、117条等条文的规定提出申诉、控告；若科技企业在人工智能司法应用的目的之外非法处理数据，导致公民个人数据被滥用、受到其他权利侵害或遭受损失的，相关公民可以向数据监管机构投诉或举报。
第二，技术公开。出于保护商业秘密和知识产权等的考虑，科技企业不公开其技术特别是核心技术固然有其合理性，但此种技术的封闭性和秘密性加大了对参与人工智能司法应用的科技企业的监管难度。例如，算法不公开扩大了算法歧视的空间、带来了算法黑箱的忧虑，因此有学者主张增加算法披露环节，以满足公开公正的监管需求。为兼顾监管需求与合理的商业利益，科技企业的技术公开应有限度：一方面，公开的技术内容应与其所涉法益平衡，只有当其对司法公正、公民核心权利保障产生重大影响时才应当公开；另一方面，技术公开可以仅在有限范围内进行，如可以采取在法院、科技企业与受其影响的公民个人之间签署保密协议的方式，规范被公开技术的使用方式及其违约后果，同时限制技术公开的范围。
第三，保障机制。（1）竞争机制。独家经营往往会妨碍数据产品的多样化，可能导致不当提高数据产品的定价。因此，为防止科技企业用低技术水平的产品“以次充好”，应当引入竞争机制，避免在人工智能司法应用中对某一家科技企业的排他性授权。（2）退出机制。规定科技企业在人工智能司法应用中的权利和义务，对于未能提供合格人工智能产品、存在不当行为或自身经营出现困难的科技企业，设置主动或被动退出人工智能司法应用工作的相应机制，以防止人工智能司法应用的公私合作协议变成“铁券丹书”，从而保证国家财政经费得到合理使用。（3）追责机制。当科技企业不当行为导致严重后果或者涉及违法犯罪时，应当有相应的追责机制。例如，科技企业在运营平台、处理数据中因疏忽大意导致发生网络安全和数据泄露事件的，应当按照《中华人民共和国网络安全法》《数据安全法》《中华人民共和国个人信息保护法》等相关法律法规承担责任。
五、规制科技企业参与人工智能司法应用的制度展开
在上述讨论的基础上，从制度层面规制科技企业在人工智能司法应用中的参与，应当从调适法院与科技企业的关系、确立技术标准、科以数据安全保护义务、保障审判权独立运行、保护公民诉讼权利等方面展开。其中，法院与科技企业关系的调整是规范科技企业参与人工智能司法应用的基本前提，确立技术标准与科以数据安全保护义务是实现对科技企业参与行为有效规制的具体手段，而保障审判权独立运行和保护公民诉讼权利则是科技企业参与人工智能司法应用是否符合法治之要求的重要判断标准。
（一）
法院与科技企业关系的具体调适
在人工智能司法应用中，妥善处理法院与科技企业的关系，是缓解或避免科技企业参与所带来的理念性和结构性风险，实现对科技企业的有效监管、防止腐败发生的必要前提。此种调适符合前文所述的公私权限划分及科技企业“有限参与”的基本理念。为处理好二者的关系，应设置以下两方面的具体要求。
1.公私合作下的各司其职。人工智能司法应用中法院与科技企业的公私合作以技术为接口，此种在技术层面展开的合作并不影响二者各司其职。科技企业本质上是技术的提供者和维护者，其对数据的处理、程序的控制和裁判的参与，只不过是其通过技术参与人工智能司法应用后的客观的甚至是不得已的结果，应当予以限制乃至避免。而法院应当依法独立行使审判权，在审判过程中发现其在技术方面的需要后，向参与人工智能司法应用的科技企业提出需求，由科技企业提出解决方案。在此过程中，法院既是需求的提出者，又是人工智能技术的运用者，其主导者的地位十分明确。法院的核心权力即审判权不应受到科技企业的干预，同时法院在人工智能司法应用中还应对科技企业的技术提供行为进行指导和监管。而科技企业在通过提供技术承担“司法辅助职能”时，其明显超越界限的行为应当得到有效制止。
2.双方交往的适度隔离。法院与科技企业、法院工作人员与科技企业工作人员“过从甚密”不但可能带来职司混淆的风险，还为腐败的发生提供了空间和机会。因此，在双方的交往中进行适度的隔离，无论从保证双方职司分离还是从预防贪腐的角度看都有重要价值。此种适度隔离尤其应在招投标和技术运用两个环节得到充分重视。（1）在招投标环节，评标专家需要与作为投标人的科技企业保持足够距离，从而保证中立客观立场，防止其间发生经济利益的勾连而导致腐败。目前实践中通常以随机性评审的方式来保证评审专家的中立性。以上海市为例，人工智能司法应用的招投标是政府采购部门从既有的专家库中随机抽取评标专家进行评审的。这种做法虽然能够奠定招投标公正性的基石，但仍应注意两方面的问题：一是要保证专家库数量足够、轮换及时，二是要防止法院作为委托方在招投标环节以倾向性意见影响专家评审。（2）在技术运用环节，法官们在使用人工智能技术产品时难免遇到技术障碍，需要向参与人工智能司法应用的科技企业寻求技术支持。在此种情形下，为避免因二者直接接触而导致科技企业及其技术人员对案件审理产生影响，法官的相关技术需求宜通过法院的行政装备管理、技术管理等部门提出，并由这些部门与科技企业联系而统一协调安排，从而在审理案件的法官与科技企业之间设置屏障以限制其直接交往。
（二）
技术标准之确立
人工智能司法应用中技术标准的缺失不但令针对参与人工智能司法应用的科技企业的监管缺少依据，而且存在前述“以次充好”、侵吞国帑、贪污腐败等风险。此外，人工智能司法应用“基础设施技术标准的空白使各系统和平台缺乏整体性规划、互操作性受限，诉讼服务数据标准、资源分类标准、开放式继承模型与集成标准的缺失致使标准化、规范化、集约化受限，司法审判场景下算法可解释性标准的缺失可能引发决策偏误和正当性隐忧”，从人工智能司法应用整体发展的角度看，确立技术标准亦有基础性意义，符合加强监督的基本理念要求。
1.人工智能司法应用的技术标准应有科学性。尽管目前人工智能、大数据等技术都处在快速变革、迅猛发展的阶段，制定完全统一、规范的技术标准的难度极大，但业界对某些基本原理和核心原则已达成共识。这些共识为构建人工智能司法应用技术标准的科学基础提供了可靠支撑。例如，目前科学界的共识是人工智能技术仍处在低智能水平阶段，因而将其运用于司法领域就应更为审慎，特别是在其技术水平仍不足以满足案件审理的正当化要求时，不应将其用于证据审查判断、案件事实认定等审判的核心事项。又如，人工智能技术的研发需要允许一定的容错率，这是科学研究的基本常识。相关容错率标准的制定只要符合技术发展的客观现状，就可以作为科技企业参与人工智能司法应用的免责理由。
2.人工智能司法应用的技术标准还应有一定的灵活性。根据《中华人民共和国标准化法》第2条的规定，标准按照制定主体可以分为国家标准、行业标准、地方标准和团体标准、企业标准，按照强制效力可以分为强制性标准与推荐性标准。从目前人工智能司法应用相关技术发展的现实情况看，制定统一的强制性国家标准的难度较大，可以考虑在企业标准的基础上逐步制定行业的推荐性标准，以此作为判断科技企业提供的人工智能产品技术水平的依据。此外，可以在企业技术研发的不同阶段，针对响应需求、复制需求和创造需求等不同目的，制定多元技术标准，以促进科技企业对法院技术需求的响应。
3.人工智能司法应用技术标准的制定要有充分的协商性，并体现各方利益。我国目前在制定人工智能技术标准时，常通过全国信息技术标准化技术委员会网站、电子信息技术标准化平台等网站公示以及纸质文件和电子邮件的定向分发等方式征询意见，参与面过于狭窄。作为公共产品，人工智能司法应用中的技术标准制定应当充分听取法院、科技企业、社会公众等各方意见，并在协商的基础上体现各方利益。尤其此种技术标准将用于对参与人工智能司法应用的科技企业的评价，因而对于其提出的意见应当给予足够重视，以保证其合法利益。
（三）
数据安全保护义务之履行
科技企业在人工智能司法应用中扮演数据处理者的角色，应以数据处理者的身份，根据《数据安全法》等相关法律承担数据安全保护之义务。根据前文所述，必要监管之基本理念中亦有监管科技企业履行数据安全保护义务的内容。具体而言，在数据处理前、数据处理中、数据处理后以及发生数据安全事件时这四种场景下，分别需要承担以下义务。
1.数据处理前的审查评估义务。处理数据之前应根据数据分类分级方式，审查不同类型数据的属性和处理后果，以针对不同类型的数据做好相应的安全风险防范。需要注意的是，此种数据处理前的审查评估工作究竟应由法院来做还是科技企业来做，值得思考。根据数据分级的要求，科技企业本就不应“染指”国家核心数据，因此法院有筛除国家核心数据的初步义务，以尽量避免科技企业接触此类数据。完成此种初步义务后，评估审查工作可以交由科技企业完成，由其根据重要数据与一般数据的不同分级以及不同数据的内容和属性，采取不同的处理方式。
2.数据处理中的安全控制义务。科技企业在数据处理中的安全控制义务主要体现在3个方面：（1）建立数据处理的安全监测规范和制度，如设置加密、记录处理日志、开展安全巡查等，以保证数据处理常规化地符合数据安全保护的要求；（2）针对数据安全风险应有预警机制，对系统中存在的安全漏洞、补丁后门、病毒木马等，设置警报装置，以便及时发现和处理；（3）按照数据本地化原则，要求科技企业将人工智能司法应用中所处理的数据存储于国内，并根据《数据安全法》第36条之“封阻”规定，严格限制数据出境，即非经有权之主管机关批准，不得向境外提供相关数据。
3.数据处理后的封存删除义务。科技企业参与人工智能司法应用而处理数据，应适用国家机关处理数据的相关规定，不得超出处理目的所必需的范围和限度。在目的达成之后，科技企业应立即停止对相关数据的处理行为，并在法定的情形下，根据法院的指令封存或删除相关数据，以消除相关数据被泄露或滥用的风险。目前《刑事诉讼法》和相关法律法规对于未成年人的犯罪记录封存已有相关规定，可以以此为基础，再结合数据安全保护相关法律关于删除权的规定，明确科技企业在数据处理完成后的封存删除义务。
4.发生数据安全事件时的应急处置义务。即便采取严格的数据安全保护手段，数据安全事件仍不可能杜绝。在发生数据安全事件时，作为数据处理者的科技企业应采取紧急措施，尽可能减少损失、降低危害。一方面，科技企业应在数据安全事件发生后的第一时间，依照规定向数据安全监管机构报告，在必要时亦需要根据法律规定向作为数据主体的公民通报，以避免因该事件给其带来人身安全等方面的重大威胁；另一方面，科技企业应根据应急流程立即采取措施，如关闭系统权限、更换硬件设备、查杀病毒木马、隔离感染数据等，通过实施相关危机处理机制以控制损害后果。
六、结 语
人工智能技术的迅猛发展使得“现在已是未来”。在数字时代的浪潮中，原本“各行其是、分为两枝”的科技企业与法院进行公私合作，已然成为人工智能司法应用的常规模式。科技企业通过以技术为接口的参与，塑造了数字法院的基本样态，极大提升了法院数字化的速度和水平，但也必然带来挑战。在客观看待科技企业参与人工智能司法应用必要性的前提下，直面其引发的问题，非但不会导致对科技企业参与的排斥，反而有助于以“相对合理”的思路趋利避害，实现此种参与在法治化的框架内良性运行。面对科技企业在人工智能司法应用中日益重要的作用，通过制定与实施具体规则，厘清公私之间的界限，限定科技企业参与的范围和方式，并对其参与予以适当监管，人工智能的司法应用仍然能够遵循诉讼中审判权独立运行、公民权利保障等维护司法公正的基本原理，也能够应对数据安全、技术依赖、职务廉洁性等方面的新挑战，从而使得科技企业的参与和人工智能司法应用朝着“服务人民群众、服务法官办案”的最初目的同向而行。
（原文来源于《法商研究》）
《数字法治》专题由上海市法学会数字法学研究会特约供稿，专题统筹：秦前松。
