【转】大模型安全治理的现状与展望
背景：由同济大学和上海市杨浦区人民政府联合主办的2025年世界人工智能大会智能社会论坛7月27日在上海举办。中国工程院院士吴世忠在会上做了题为《大模型安全治理的现状与展望》的主旨演讲。
非常高兴参加“2025世界人工智能大会智能社会论坛”。当前，人工智能治理已成为全球高度关注的热门话题。一年多来，我们跟踪、研究人工智能发展和治理动态，今天借此机会将部分观察和体会与大家分享，涉及三方面内容：一是技术发展与安全态势；二是全球政策和监管动向，三是未来挑战和发展建议。
一、技术发展和安全态势
生成式人工智能技术凭借强大的多语言理解和生成能力，已广泛应用于科学、教育、医疗、金融等行业，并向多模态、具身方向快速演进。可谓技术创新日新月异，应用推广势不可挡。尤其是近一年内，人工智能技术迭代更加迅速，大模型发展应用走深走实。有四点观察与大家分享。
一是模型思考，由快到慢。ChatGPT刚普及时，反应快但容易出错。随着思维链以及长上下文技术的发展，模型开始从勤学好答转变为深思熟虑，快回答正在转向慢推理。
二是技术应用，由点到面。大模型从能说会道，发展到能说会动，再到能跑会跳。多语言、多模态带来多场景的广阔应用，并更加深入、彻底、全面的渗透改造经济、文化等人类社会的方方面面。
三是中美差距，由大到小。一年来，DeepSeek、通义千问等国内系列模型，在算法上积极创新，已成为全球开源社区顶流，越来越多的国产模型正在向世界展示中国技术与中国方案。
四是科学影响，由广到深。人工智能已经成为一门重要的基础学科，开启了科学研究的新范式。去年，诺贝尔物理学奖和化学奖都授予了人工智能领域的学者，这在科技发展史上都是空前的。
从应用推广上看，人工智能技术和社会的互动也表现出显著的特点。不断发展的技术创新激发了更多应用场景，而应用反馈也在不断驱动算法优化创新。治理约束则贯穿其中，保障技术创新与应用推广的健康可持续发展。
讲到大模型的发展，必然要提到安全。安全问题在这十年来不断深入、聚焦，目前看主要涉及四个方面。
一是内在的模型安全风险。这主要是模型不可解释性、鲁棒性、幻觉干扰和不可控的风险。这是技术与生俱来的。
二是新型的伦理挑战风险。尤其是对价值观、意识形态、个人隐私的保护、歧视偏见以及就业带来的影响。这是过去信息技术时代较少涉及的。
三是衍生的应用安全风险。深度伪造、浅度伪造、欺诈等给社会治理、数据安全、文化安全带来严峻挑战。
四是潜在的国家安全风险。主要是信息干扰、操纵以及智能武器、军事化方面的风险。
二、全球政策和监管动向
在上述背景下，世界各国都高度关注人工智能的风险隐患，推动监管需求不断走高。尽管目前美国等西方国家的主论调是放松监管，但从长远趋势来讲，监管呼声和需求将会越来越高。特别是近一年多来，国际AI企业、大咖纷纷表示，通用AI奇点将至。时间从几十年到十几年，众说纷纭，甚至有学者认为几年内就将实现通用智能。在这种快速发展情况下，安全问题引发更多人的担忧。主要动向有：
一是AI领军人物纷纷呼吁重视安全风险。此次大会嘉宾诺奖得主杰弗里·辛顿教授，几年来持续呼吁高度关注安全问题。图灵奖得主本吉奥一直致力于推进人工智能安全方面的研究和治理。杨立昆尽管相对乐观，但依然提出要在设计中间就把安全考虑好。前谷歌CEO施密特在最近的访谈中也多次强调，人工智能的发展潜能被严重低估，必须高度关注安全风险。
二是全球主要国家和组织积极应对安全挑战。非常典型就是欧盟，欧盟主要把自己定位为人工智能的应用方，制定《人工智能法案》，采取强监管的策略，针对10的25次方flops运算大模型设定严格监管要求。美国特朗普政府持续放松监管，主要是为了保持技术领先地位。另外，国际组织，无论是联合国还是G7等，都在广泛推进治理策略的制定。还有学术团体，包括产业界，也纷纷提出政策建议，希望能够把发展和安全统筹好。
三是先发国家纷纷成立专门机构研究安全对策，抢占治理话语权和领导权。在美、英牵头下，全球近十个国家成立了AI安全研究机构，开展安全风险、安全测评和安全治理的技术和对策研究。特别值得关注的是，西方多国发起了全球AI安全峰会，组建了安全研究机构网络，开展了大模型跨国间安全测评，着手国际治理的谋划和实践。从前年的伦敦峰会，到去年的首尔峰会，再到今年初的巴黎峰会，治理方向和主题也出现一些新的变化。前两次是安全优先，巴黎峰会主题则更加宽泛，强调开放、包容，促进发展。多方和区域的作用得到不断强化，科技界、产业界等多方机构从技术、应用、标准等方面积极发声，推动更加灵活的治理。再者，就是地缘政治更加极化。过去，欧洲、中国、美国治理方面各成体系。到今年，全球治理基本聚焦美国和中国。几天前，美国发布了“人工智能行动计划”，明确提出通过“加速AI创新，建设AI基础设施，引领国际AI外交和安全”这三大核心支柱，赢得全球AI竞赛。昨天，我国也公布了人工智能全球治理行动计划。针对人工智能治理的竞争，日益激烈。此外，国外人工智能安全研究所的最新变化也值得关注：美国将安全研究所改名为标准和创新研究中心；英国把研究所名称中的安全由safety改成security。一个名称改变、一个名词之差，表明了人工智能安全关切的内在变化，即更加关注安全隐患与社会发展的深度关联。
四是我国在AI治理方面系统布局、稳步推进。我们坚持统筹发展与安全，发布了推进人工智能技术发展，安全监管和伦理规范的系列文件；秉承“以人为本，智能向善”，公布了人工智能治理全球倡议。我们坚持边发展边治理的基本原则，希望探索出一条具有中国特色和中国智慧的治理路径。我们有战略规划和政策方面的引导，牵头组织相应技术攻坚和产业布局，在社会治理方面，网信办在加强大模型伦理对齐和合规备案的同时，与多部委齐心协力，在全国推进人工智能社会应用和治理实践。上海杨浦区就是其中一个典型实践。
在探索安全治理过程中，测评技术成为衡量大模型智能水平、安全性能等指标的重要手段。近年来，国内人工智能测评大致分为四个方面，第一类是合规性测评，支撑模型备案，这方面工作越做越细，效果越来越好；第二类是商业发展的评比，在促进技术迭代，激发应用创新等方面积极作为；第三类是基准测试，主要是学术领域对模型算法、数据集、软件栈等各种功能组件的性能评判，有效促进技术发展和安全提升；第四类是系统评估，维护国家安全，主要是对大模型应用从硬件、软件、模型、数据、应用等多个层面、多个维度的测试评估，促进技术自主可控、科技自立自强，也取得了显著成效。
三、未来挑战和发展建议
展望未来，大模型的推广应用是大势所趋、人心所向。大模型治理依然挑战严峻、任重道远。从宏观上讲，治理面临的困难主要是以下四大方面。
一是技术本身的复杂性。模型不透明导致权责划分、伦理规范的制定十分困难。
二是技术创新与监管面临两难。简单而言，就是“一管就死，一放就乱”。如何求得创新发展和安全监管的平衡是全球性的治理难题。
三是商业利益和社会责任的平衡。在人工智能发展过程中，产业界特别是科技界发挥着原创、基础和关键性作用。OpenAI的管理层“宫斗”就是例证。商业利益和社会责任难以平衡是AI产业发展的难题。
四是大国之间的信任缺失。因为文化传统、政治体制、价值观、道德观以及发展阶段的不同，大国之间在AI发展治理方面很难达成一致，给全球治理又新增了一个难题。
在这种情况下，全球将希望的目光投向走进世界舞台中心的中国，时代也给我们提供一个主动作为，体现担当的机会。我国经过十年谋划和布局，已经探索出一套体现中国智慧的治理路径，包括技术自立、应用引领、安全为本、国际合作和伦理规范。只要我们保持战略定力，坚持久久为功，继续突破核心技术的瓶颈、提升安全测评的能力、完善法治伦理的规范以及增强全球治理的主动，我们就一定能为世界奉献具有中国特色的AI治理方案。
为此，我提出四点发展建议。
一是要加强创新驱动，以新型举国体制推动技术发展和应用赋能，重点在于突破关键技术点，打造核心产业链，形成垂域应用面。这需要我们充分发挥体制优势、组织优势和政策的优势，始终把发展作为第一要务。
二是要加强安全研究，推进安全测评。确保大模型在关键行业、重要部门、重点单位和敏感部位的应用做到安全稳妥，有效防控安全风险。
三是要加强伦理规范，以中华传统文化为根基，赓续大模型文明血脉。未来，全球模型掌握的知识将会趋同，唯一不同的就是文化底色。这是区分各国模型间根本的区别。将中国的伦理道德和传统文化融进大模型，不仅需要细化伦理准则，构建法规体系，还要强化技术保障，使伦理和法规能够落实落地。
四是要落实全球倡议，加强国际合作。主要是细化实化人类命运共同体理念，推进国际治理框架的互认互信，包括推动线上线下国际合作与交流。世界人工智能大会就是很好的平台。昨天，我们正式公布将成立世界人工智能合作组织。这更是体现我国大国担当的务实举措，必将为人工智能的全球治理注入新的活力和智慧。
各位嘉宾、同志们、朋友们，最后我想基于我们的观察，给学术研究界的同行们提三点倡议。
一是总结近15年人工智能方面的科学研究发现，安全研究相对技术发展已经严重滞后，需要安全兜底、及时跟上。
二是十年树木百年树人。模型学习人类的知识已经快到只需几个月，但要学会人类的伦理道德，不是一年半载就能成的事情，需要技术赋能、及时跟进。
三是科学和工程领域人工智能研究突飞猛进，但人文社会科学方面的研究略微显得不足，社会发展需要技术创新的锐度，技术创新更需要社会人文的温度。大模型乃至人工智能的发展、安全与治理，迫切需要人文滋养、及时跟随。这样，才能更好推动智能向善，才能最终实现同球共济。