生成式人工智能展望报告-欧盟-06-深度调研-医疗、教育、网络安全

原文地址

摘要

本章介绍了具体的深入探讨，说明了GenAI在各个领域的变革性影响。它从医疗保健开始，研究如果AI开发人员，临床医生，研究人员和监管机构能够平衡GenAI的许多可能性与其陷阱和风险，GenAI如何在整个领域提供许多积极的社会经济影响。探索教育部门，以及GenAI在科学，网络安全和公共部门的影响，展示其多样化的应用和每个领域面临的独特挑战。主要考虑因素包括负责和有效地整合GenAI技术，以最大限度地提高其社会效益。

6.1医疗保健

关键信息：

• GenAI可以在健康方面产生许多积极的社会经济影响，例如通过创建和利用电子健康记录（EHR），加速药物开发，加强个性化医疗，促进疾病的预防和早期诊断，提高医疗效率，解决健康不平等问题并赋予患者权力。
• 影响将在多大程度上实现将取决于AI开发人员、临床医生、研究人员和监管机构是否能够平衡GenAI的许多可能性与风险。其中包括数据偏差、健康不公平的传播、临床医生的技能下降以及自动化偏见和过度依赖导致的护理人性化程度的恶化。
• 解决这一紧张关系不仅是一个监管问题356，也是一个在医疗保健工作流程中负责任地使用的问题。357此外，在卫生系统中广泛推广将需要对分散的IT基础设施进行大量投资，这与长期资金不足的状况相冲突。

在健康和护理领域负责任地开发和使用GenAI将需要有针对性的逐步吸收，公开辩论，358多学科合作，以及务实的法律和道德准则。

生成性人工智能：应对全球医疗挑战的可能性

在医疗保健领域，传统的判别式AI专注于学习一个函数，将数字输入（如患者数据或医学图像特征）映射到特定的输出，以完成预测疾病等任务（例如，癌症）或对医学图像进行分类（例如，在X射线中识别骨折）。它擅长分析现有数据进行预测或分类，例如，通过识别电子健康记录中的模式来预测特定条件下的患者风险。

相比之下，医疗保健领域的GenAI学习健康数据本身的潜在概率分布和结构。这使得它能够生成新的、统计上相似的数据点。例如，创建用于训练目的的合成医学图像（如MRI或X射线），特别是针对罕见疾病，生成逼真的医学报告或文献摘要，通过产生新的化学结构设计新的候选药物，或合成用于研究的组学数据。多模态GenAI（见第2.3节）通过处理不同的输入（如患者的病史（文本），实验室结果（数字）和成像扫描（图像））来扩展这一点，以生成不同的输出，如综合诊断报告或个性化治疗计划，甚至可以在这些数据类型之间进行转换，例如，通过直接从X射线图像生成文本放射学报告。

GenAI正处于医疗保健的关键时刻：全球卫生系统面临着人口老龄化带来的前所未有的人口压力360和非传染性疾病负担的日益加重。361劳动力短缺危及现有的护理模式。362据估计，到2030年，欧盟国家将短缺约410万名医疗保健专业人员。363这与医疗保健不公平现象相吻合，364在下文中，我们将详细介绍GenAI用于健康和护理的潜在益处、风险和挑战，如图18所示。

生成式AI在医疗保健中的应用

GenAI与医疗保健的整合涉及多个应用。我们将其分为四个领域：知识综合和面向患者的应用，临床实践，个性化医疗和健康研究。

• 知识综合和面向患者的应用程序：GenAI系统可以减少医疗保健专业人员的认知过载365，他们经常在压力下工作，经常诉诸启发式决策。366 GenAI可以支持鉴别诊断，建议诊断测试或治疗方案。367多模式GenAI可以同时高速处理和合成大量医疗信息，产生新的医疗见解。368 369 370 371 372 373因此，GenAI可以减少医疗保健专业人员的认知负荷，通过基于数百万患者记录和数十亿文献数据点汇编见解来增强人类判断。374 GenAI系统可以高速处理和合成大量医疗信息，潜在地减少诊断延误和治疗错误。375 LLM还可以通过从零散的医疗信息中创建连贯的叙述、提高治疗依从性和促进知情同意来增强患者的能力。376 GenAI应用包括对话代理（“聊天机器人”），帮助初步评估，健康教育，准备和快速响应公共卫生威胁，377和病人的支持。378 GenAI可以通过提供医疗摘要，使全球南部农村地区的当地医疗保健专业人员能够进行一线干预，从而改善医疗保健的可及性。379临床医生在日常任务上花费大量时间，例如行政文件、临床文件、医疗编码、账单、患者调度和通信或工作流程管理。自动化这些将降低运营成本，并使临床医生有时间专注于患者互动。当与检索增强生成（RAG）等检索技术配合使用时，GenAI可以在大多数知识合成健康任务中实现良好的准确性和可重复性。
• 临床实践-诊断、诊断和决策支持：GenAI在临床实践中有许多应用：用于诊断和诊断的医学成像分析381，临床决策支持系统和机器人手术系统。GenAI可以创建各种类型的合成但解剖学上合理的医学图像，383 384这可能有助于解决对大型专业注释医学图像数据集的有限访问以及相关成本高的问题。例如，在罕见疾病的情况下，通过重新平衡数据集或补充稀缺的数据集。386 GenAI可以提高图像质量和分析，以促进诊断387，并产生“反事实扫描”，说明在不同假设情况下的结果388，包括替代治疗。最后，由GenAI 389增强的机器人手术系统可能会作为手术团队的成员，390增强人类的代理，391特别是在疲劳的条件下。例如，“AI for Public Good”计划正在推动一项用于乳腺和前列腺诊断的创新癌症成像项目，展示如何在不共享敏感数据的情况下在不同环境中调整AI模型-保护隐私，同时改善访问，特别是在低收入国家。
• 个性化医疗（PM）：PM旨在克服传统的“一刀切”方法，通过为特定人群或单个患者量身定制的风险评估、预防和治疗策略来推进个性化医疗保健。PM利用包括多组学、临床病史和生活方式因素在内的多种数据的整合，并将其汇编在患者档案中。392虚拟人双胞胎（VHT）393可以通过基于整合不同数据（包括来自基因组学、成像、临床记录和可穿戴传感器的数据）复制个体患者的复杂生理学和病理学来支持PM。394 GenAI及其多模式生成功能将加速VHT的开发和使用。395最后，VHT的合成群体可以在计算机模拟试验的背景下用于健康研究。
• 健康研究：GenAI可以支持健康研究的各个方面。我们区分两个主要方面：
• • a.药物发现、再利用、开发：制药行业已采用GenAI来解决冗长且成本高昂的药物开发过程。396 GenAI用于设计针对特定治疗靶点优化的新型分子结构，397从而提高疗效并减少副作用。它可以在计算机上生成和筛选数百万个候选分子，加速早期药物发现。GenAI可以预测药物间的相互作用，并识别潜在的再利用机会。398通过生成补充真实世界证据的合成临床试验数据，GenAI可以促进临床试验，同时降低患者的风险。
• • b.计算机模拟试验：计算机模拟试验使用合成人群模型来模拟临床试验。GenAI可以生成具有特定人口统计学和临床特征的虚拟患者队列，从而在启动人体试验之前，能够在各种情况下测试药物的疗效、毒性和最佳剂量，399从而解决人体临床试验的伦理挑战。GenAI可以模拟治疗效果、预测不良事件、通过识别理想的患者亚组优化试验设计，甚至生成反事实场景以帮助理解治疗机制。GenAI和VHT之间的相互作用为治疗开发和精准医疗提供了更个性化、更高效的途径。400模型验证、预测准确性和计算要求等挑战仍有待解决。

人工智能在医疗保健领域的挑战和风险

健康和护理领域中生成AI的特定风险

显然，适用于AI系统的伦理、科学和监管挑战和风险401一般也适用于GenAI。这些包括患者安全、问责制、透明度和模型的可理解性，以确保故障透明度、可追溯性和知情患者同意。我们按照沿着三条线来构建这些内容：403偏见和公平、不正确的内容（幻觉）和随机回音室。

• 偏见和公平：GenAI可能会传播隐藏在训练数据中的不足之处。这些包括历史偏见（种族，性别，社会地位）或过时的医学概念，封装在科学和临床出版物。这可能导致诊断错误、不公平的治疗建议和进一步的健康差距。解决偏见需要在数据收集、算法设计、模型审计以及在整个GenAI生命周期中部署公平感知机器学习技术方面有意识的努力。在这些情况下，1.3节中讨论的开放权重和开源模型之间的区别可能具有积极和相关的作用。仔细测量模型与训练数据的固有偏差程度需要数据公开。尽管这种风险并非GenAI独有，但GenAI未来在许多健康方面的潜在作用构成了一种特殊的风险。值得注意的是，大多数模型目前要么在过于狭窄的数据集上进行训练，要么在现在允许衡量其对卫生系统的真实世界有用性的任务上进行评估。EHDS旨在将来自医院等各种来源的欧盟公民健康数据整合到分布式基础设施中。该系统旨在促进主要用途（医疗保健点之间）和次要用途的数据共享，包括人工智能模型的研究和训练。通过解决数据碎片化和互操作性问题，EHDS可以提供更广泛和更有代表性的数据集，这是训练偏差较小的GenAI模型的必要步骤-尽管本身还不够。此外，该框架还有助于解决与GDPR相关的关于健康数据二次使用的复杂性（见第5.5节）。
• 错误内容：GenAI可以生成表面上看起来似乎可信的内容，但仔细检查，这些内容是无意义的或不是植根于真实的认知数据406-所谓的“幻觉”或“虚构”。407预测的事实相关性可以通过各种方法来改进，包括“检索增强生成“408和强化学习。在医学和医疗保健中使用FM时需要谨慎，对医疗保健专业人员进行适当的培训，包括GenAI的局限性和风险，这将是至关重要的。
• 概率过程的回声室：GenAI创建的内容最终植根于数据表示的概率过程，并学习嵌入训练数据中的“语义上下文”，并将其纳入人工神经网络中的数十亿个参数中。存在的风险是，输出在某种程度上只是用于训练模型的数据的复杂的“回声室”，以及它们在机器学习期间形成的随机连接。再加上自动化偏见和自满，这可能会贬低人类的医疗专业知识和创造力，导致基于特定数据和算法的护理模式的传播。在卫生应用中应常规使用能够量化不确定性输出的方法。

GenAI的开发和部署面临的挑战包括数据和隐私、基础设施、互操作性和网络安全方面：

• 数据和隐私：GenAI模型的性能和可靠性都依赖于大规模、高质量和多样化的多模态数据集，然而，由于医疗数据往往支离破碎且缺乏标准化，因此其可用性构成了一个重大挑战。虽然GenAI生成的合成数据（见第1.3节）可以增强数据集，但关于保真度、偏差放大和过拟合的问题仍然存在。数据的重新识别仍然是一个持续存在的问题。因此，需要对隐私保护技术进行更多的研究。
• 基础设施、互操作性和网络安全：许多医疗机构目前缺乏实施GenAI所需的IT基础设施。GenAI模型需要大量的计算资源、数据存储和高带宽网络，需要在硬件和云计算平台上进行本地投资。欧洲层面的一些基础设施正在建设中，例如EuroHPC和人工智能工厂计划。由于各种原因，基础设施集中化的势头与使用联邦/分布式学习来保护数据隐私的需求之间仍然存在紧张关系。互操作性带来了巨大的挑战：健康数据驻留在多个断开连接的系统中，如电子健康记录（EHR）、图片存档和通信系统（PACS）或实验室信息系统（LIS）。这些通常使用专有格式或过时的标准，阻碍了模型训练的数据聚合，并使不同环境和/或临床工作流程中的GenAI开发复杂化。与其他数字技术一样，GenAI也不能幸免于网络安全问题。此外，它在医疗领域的应用带来了与敏感的患者健康信息相关的额外挑战，加剧了安全问题的复杂性。GenAI可能会引入新的漏洞，攻击者可能会利用这些漏洞来破坏系统、传播不准确的信息、影响用户行为或持有提取的个人数据进行勒索。威胁行为者可能会对GenAI实施各种网络安全攻击，包括模型反转攻击、损害用户隐私、以及数据中毒攻击。415即时注入攻击可能会破坏模型的正常功能，并可能导致安全风险。最终，实施先进的检测系统和主动缓解措施对于检测和遏制网络威胁至关重要。

在临床医生、患者和医疗机构之间建立信任对于应对这些挑战和促进吸收至关重要。这涉及解决临床医生对准确性，可靠性，工作流程集成，去技能化和责任的担忧，以及患者对数据隐私，有偏见的建议和非人性化护理的担忧。克服这些挑战需要强大的技术验证，强有力的道德原则，监管清晰度，以用户为中心的设计，透明的沟通，并向所有利益相关者展示GenAI的价值。

6.2对学与教的影响

关键信息：

• GenAI与教育系统的整合正在改变学习、教学和评估的格局。这一技术创新有可能塑造甚至破坏教育和培训，各种利益攸关方都感受到了其影响。
• 为了确保GenAI得到有效和负责任的使用，政策制定者，教育工作者和学生必须共同努力，发展支持其融入教育系统所需的能力和政策。

GENAI在教育和培训方面的影响

GenAI越来越多地被用于教育环境，导致教学和学习的重大变化，对利益攸关方，包括政策制定者，教育机构领导，教育工作者和学生产生深远的影响。最初，对潜在滥用的担忧导致各机构对GenAI的限制;然而，讨论很快转向探索其提高学习和教学成果的潜力。随着GenAI系统的能力越来越强，教育系统显然需要重新评估未来几年所需的能力。尽管它的影响力越来越大，有一个严格的实证证据，以进一步了解GenAI对教育实践的影响，特别是关于它是否可以有效地改善教学和learning419及其对评估的影响的迫切需要在本节中，我们检查了一些JRC研究的结果，这些研究着眼于GenAI在教育中的整合的新兴趋势和后果，以及不同的教育利益相关者对GenAI的使用和看法，以及教育工作者在其教学实践中有效利用这项技术的不同方法。420不同的研究发现，GenAI被视为提高教学和学习的机会，但它需要认真实施，持续的专业发展，以及人工智能素养的发展，以确保它被有效和负责任地使用。

《教育工作者在教与学中使用人工智能和数据的道德准则》421（2022）提供了指导，以根据实例和实际问题整合道德考虑和要求。它们针对教师和教育工作者，主要是中小学教师和教育工作者，对更广泛的教育界和参与数字教育的利益攸关方很有用。目前正在对这些标准进行修订，以考虑新的技术发展，例如用于教学实践的Gen AI，并确保增强实用方法。此外，2025年伊拉斯谟+前瞻性项目call422寻找大型项目，促进在教育和培训中道德和有效地使用GenAI系统。

2030年数字教育和技能未来路线图将促进人工智能在教育中的战略和道德吸收，包括通过对教师和教育机构的支持和能力建设，并将促进中小学教育中人工智能素养的发展。

AI素养框架

欧盟委员会和经合组织在Code.org和一批国际领先专家的支持下，目前正在制定一个人工智能扫盲框架。该框架将概述使学生为接受初等和中等教育做好充分准备的知识、技能和态度。该框架将描述如何加深对人工智能工具使用的学习，如何与它们共同创造，以及如何在对人工智能素养至关重要的学科中反思负责任和道德的使用，如统计，社会科学和计算机科学。该框架将在广泛的利益相关者咨询后于2026年初完成。基于这一框架，将开发经合组织国际学生评估计划（比萨）中的第一个人工智能素养评估。这将支持欧盟促进高质量和包容性数字教育和技能的目标。

教育领域的新趋势和新逻辑

联合研究中心对包括GenAI在内的新兴技术进行了前瞻性研究，这些技术具有通过重新定义教育实践、流程和组织来塑造教育未来的巨大潜力。这些应用程序可以从现有内容生成视频或文本学习材料，使教师能够为学生创建个性化的学习体验。此外，人工智能系统可以作为合作伙伴，共同设计师和苏格拉底的对手或激励者，帮助思想发展。然而，纯语言模型以生成令人信服但不正确的文本而闻名。尽管可扩展性存在不确定性，但将语言模型与现有知识源联系起来可以提高可信度，这对教育和学习至关重要。将人工智能与人类学习过程相结合，使代理成为教育的核心。人工智能可以在教育中实现新的代理分配形式，让学生，教师和家长参与人工智能。这就需要扩大关于机构和能力的个人观点，以包括支持机构行动的社会和技术资源。

GenAI在教育中的应用不仅限于教学和学习，它还具有改变教育管理和政策的潜力。技术在教育中的作用越来越大，数字平台的广泛使用越来越依赖全球参与者，引发了对数据隐私和数字主权的担忧。在系统层面上，继续讨论商业利益相关者和教育工作者的潜在利益冲突，了解教育工作者和学习者的利益和需求仍然至关重要。

总之，将新兴技术，特别是生成式人工智能，整合到教育实践中，具有重新定义学习和教学格局的变革潜力。这种演变要求对技术进步和教育政策之间的相互作用有细致入微的理解，确保利用创新来可持续和公平地提高学习成果。随着人工智能系统成为教育环境中不可或缺的一部分，它们为个性化学习、高效管理和教育资源民主化提供了机会。然而，这种转变也需要解决道德问题，治理问题以及人工智能与教育价值观的一致性。通过促进政策制定者、教育工作者和技术人员之间的合作，教育部门可以应对这些挑战，利用人工智能来支持教育对所有学习者来说更容易获得、更包容和更有效的未来。

JRC关于Genai对教育和培训的影响的研究

430审查分析了283份出版物，并确定了当前研究的主要特点和差距。结果表明：

• GenAI在教育领域的研究主要集中在西方、教育、工业化、富裕和民主（WEIRD）国家，缺乏拉丁美洲和非洲的代表。
• 大多数研究集中在高等教育，需要对其他教育部门进行更多的研究。
• GenAI在测试和任务中的评估及其在教育中的一般应用是最突出的研究领域。
• 需要进行更多的验证性研究，以巩固现有的知识和假设。
• 道德问题，如负责任地使用GenAI及其对学术诚信的潜在影响，以及技术问题，虽然存在，但受到的关注相对较少。

基于这些发现，作者建议，未来的研究不仅应该扩大其范围，以包括更多样化的人口样本，教育部门和有争议的话题，如道德，而且教育实践应该集中在为教师和教育工作者提供必要的技能来导航GenAI，并考虑将教育与AI相结合的课程。

• 教育政策应支持GenAI在教育领域的研究，确保个人的权利和主权，并应对技术决定论和道德标准之间的紧张关系。
• 应制定政策以确保学术和教育的完整性，并应修订课程，以系统地整合有关人工智能的教育。

Genai在教育中的新兴用途和认知

联合研究中心在五个会员国（爱尔兰、芬兰、德国、卢森堡和西班牙）开展了一项研究，以探讨GenAI在教育中的新用途和看法。研究结果表明，GenAI被视为一项具有塑造教育潜力的技术创新，但其整合需要仔细实施，持续的专业发展和人工智能素养的发展。
对每个利益攸关方群体的主要调查结果和影响包括：

• 1.教师教育工作者需要对GenAI进行全面的培训和指导，初始教师教育计划应包括GenAI的技术技能和道德影响。
• 2.教育工作者将GenAI视为加强教学的工具，但担心它可能会阻碍学习。他们需要全面的培训和指导，以有效地使用GenAI。
• 3.学生们更关注GenAI的好处，比如个性化学习。他们已经在使用工具进行头脑风暴、语言技能开发和生成学习资源等任务，但需要指导来了解潜在风险。他们需要公平地获得GenAI工具，以防止学习机会的不平等。
• 4.学校领导在整合GenAI方面面临挑战，包括缺乏时间、资源和指导方针。他们需要制定内部政策和标准，以道德和有效地使用GenAI。
• 5.政策制定者认识到需要制定明确的政策和标准，以指导学校使用GenAI。他们应该鼓励教育工作者和学生发展人工智能素养，以促进知情和负责任地使用GenAI技术。

总的来说，该研究强调需要仔细考虑和规划，以确保GenAI在教育中的有效和负责任的整合，包括人工智能素养的发展，全面的培训和教育工作者的指导方针，以及所有学生公平获得GenAI工具。

教育工作者的专业技能

教育工作者在促进学习者的数字能力方面发挥着至关重要的作用，包括人工智能素养，并支持他们从数字技术机遇中受益，同时利用挑战和风险。不断变化的技术格局，特别是GenAI，需要公民发展更复杂的能力和技能。这可以通过以下方式实现：

• 1.教师培训：确保他们得到有效的培训，将人工智能融入他们的教学实践。
• 2.课程更新：人工智能技术，包括其伦理、社会和社会层面，应纳入教育课程。
• 3.教育专用AI模型：应该开发像EdGPT这样的系统来支持学习和教学。
• 4.解决人工智能特有的挑战：教育工作者需要能够解决数据使用、数据隐私、信息偏见和平等访问等问题。

职业教育和培训中的人工智能

职业教育和培训（VET）系统在促进人工智能素养方面也发挥着至关重要的作用。VET系统具有独特的定位，以适应技术变革，并提供符合行业需求的实用，动手学习经验。人工智能在职业教育与培训中的整合是由提高教育质量、个性化学习和为学生就业做好准备的动机驱动的。研究“职业教育与培训的新兴技术和趋势“强调了战略政策干预的必要性（例如，对师资教育和设备/基础设施的投资;以及进一步研究，以更好地了解技术对职业教育与培训学习过程的影响），并应对这些技术给职业教育与培训系统带来的挑战和机遇。

6.3人工智能对科学的影响

关键信息：

• GenAI正在重塑科学过程。它提供了前所未有的效率和创造力，但需要仔细监督，以保持科学的完整性。
• 虽然GenAI通过民主化获取和促进合作来促进科学进步，但它也带来了挑战，例如潜在的偏见和强化主导叙事的风险，需要将人工智能与人类专业知识平衡整合。

本节概述了GenAI对科学的影响。具体地说，它讨论了它如何影响科学过程的所有步骤，并有效地修改了研究方法。科学过程（图19），通常被称为科学方法，是一种形成科学理解基础的系统化方法。它帮助研究人员提出问题，计划实验，并就他们对世界的观察得出结论。

• 提出一个问题（或进行观察）。这个过程从提出问题或进行观察开始，指导实证探索。这些模型综合文献以突出模式和差距，帮助制定创造性的问题。人工智能可以自主生成研究目标或假设，有效地“观察”现象，加速问题制定，然而，它可能会无意中加强占主导地位的叙述，限制对新思想的探索。
• 文献综述。GenAI工具和系统（如Elicit、Scite和Scopus AI）通过整合文献搜索、检索和总结来改变这一步骤。尽管仍存在问题，但GenAI可促进跨学科理论基础的广泛获取。此外，如以下沟通要点所述，快速生成复杂研究论文的摘要或以对话方式回答问题的可能性可以帮助研究人员消化比过去更多的信息量。然而，研究人员必须面对可能的不准确和幻觉。
• 建立一个假设。提出一个假设可以将一个研究问题转化为一个可检验的命题。GenAI通过识别数据和文献中的模式来支持这一点，使合理的假设建立在证据的基础上。凭借分步逻辑等功能，GenAI支持假设构建，但可能会错过需要人类专业知识的见解。
• 通过实验来验证你的假设。这一步验证了科学主张。GenAI自动化实验设计、代码生成和执行，确保从假设到分析的无缝过渡。457 458 459 AI有助于控制变量和识别模式，提高实验结果的准确性。人工智能系统的实验比较揭示了GenAI的。
• 分析您的数据。数据分析将结果转化为见解，GenAI可以通过处理数据集，应用统计方法和生成可视化来加速这一过程。像PROTEUS和Agent Laboratory这样的工具使用LLM推理自动化工作流程。461 AI有助于跨领域的编码，建模和模式发现。GenAI提高了解释的清晰度和速度，但透明度和可靠性是关键。
• 根据假设的接受或拒绝得出结论。这包括确定结果是否支持假设，以及将发现与先验知识相结合。GenAI工具可帮助总结结果并将其与假设保持一致。GenAI可帮助解释输出、起草结论和识别不一致之处。由于偏倚和过度自信等风险需要人工验证，因此需要谨慎。当负责任地整合时，GenAI支持对发现的反思，并鼓励改进假设。
• 传达您的结果。这一步骤确保了科学知识的共享和评估。GenAI支持手稿起草、格式化、编辑和翻译，提高清晰度和覆盖范围。463 GenAI协助撰写资助文件和演示文稿，重塑文件。464效率、透明度和监督对于维护诚信至关重要。最近的研究强调了GenAI在科学传播中日益重要的作用-将科学研究和信息传达给非专家。其中包括帮助创建可访问的摘要、交互式问答、自动创建数据可视化和洞察力生成（起草简短的数据驱动故事）。然而，错误信息和公众不信任的风险需要人为监督，以确保准确性和维护可信度。
• 建立你的科学社区。科学界塑造研究实践并促进合作。468 GenAI工具弥合了语言和专业知识的差距，使参与民主化，并促进共同规范。虽然支持能力建设和研究诚信，但过度强调GenAI可能会掩盖文化观点。

6.4 GenAI在网络安全领域

关键信息：

• GenAI正在重塑科学过程。它提供了前所未有的效率和创造力，但需要仔细监督，以保持科学的完整性。
• 虽然GenAI通过民主化获取和促进合作来促进科学进步，但它也带来了挑战，例如潜在的偏见和强化主导叙事的风险，需要将人工智能与人类专业知识平衡整合。

人工智能技术的快速发展对网络安全领域产生了重大影响。在第2.2节讨论了与GenAI相关的网络安全问题后，我们在这里深入研究了最突出的研究方向和潜在的现实应用。防御社会工程。人类是网络安全中的一个常见攻击点，GenAI系统可以识别、转移和报告针对人类载体的不同攻击尝试。社会工程攻击（如垃圾邮件和网络钓鱼）旨在影响和操纵个人，使其不情愿或在不知不觉中将系统访问权限让给网络犯罪分子。为了打击这种恶意尝试，GenAI代理可以用于审查电子邮件和聊天消息以及社交媒体帖子中的传入文本，语音和视频内容。除了攻击管理之外，GenAI还可以解释为什么某些内容具有潜在的掠夺性，加强个人的网络安全知识。470 GenAI对传入内容的监控还可以识别、通知和处理有针对性的错误信息和欺骗性叙述，即使在组织层面也是如此

自动威胁检测和响应。自然语言是与GenAI模型交互时流行的输入方法。然而，这些系统可以对其他数据格式进行操作，使其成为分析网络流量和系统日志等格式的引人注目的工具。这种分析可能导致网络威胁的检测、关联、理解和缓解。虽然更传统的深度学习方法已经用于这种情况，但GenAI依靠其更广泛的知识范围来执行这些任务，同时还为网络安全专家提供见解和建议。

安全性测试。核实安全措施到位是建立安全系统的关键一步。渗透测试是验证安全控制和识别系统漏洞的一种广泛采用的方法。如今，渗透测试需要高度的人工专家工作，使得该过程耗时且昂贵。GenAI可以通过多种方式做出贡献，使渗透测试更快、更自动化，并带来更准确、更全面的验证过程。目前的趋势是将GenAI用于威胁规划，其中LLM的任务是为给定的组织或基础设施推荐攻击模板;代理行为，其中GenAI系统执行网络攻击;以及用于渗透测试的环境、数据和场景生成。虽然显示出了这种潜力，但当前的GenAI方法能够自动渗透不太复杂的目标，但更复杂的攻击仍需要人工操作。

程式码安全性。除了专家和最终用户之外，软件开发人员在网络安全生命周期中还扮演着重要角色。他们编写的代码的安全性取决于他们的安全知识水平和意图。这会导致意外地，甚至是恶意地引入代码漏洞。GenAI方法显示出了帮助识别以前生成的代码中的此类漏洞的潜力，甚至可以作为编程伴侣，在编写代码时对其进行筛选。基于当前GenAI方法的最先进方法可以正确识别更基本的漏洞并提供建议。然而，与安全测试类似，当处理更复杂的问题（需要更广泛的上下文和更复杂的推理来评估更大的代码库）时，它们的准确性会下降。

教育和意识。GenAI可以支持任何专业水平的个人安全培训。它可以为组织安全意识培训提供量身定制的干预措施和更具吸引力的材料，475以及作为任何正式教育计划的一部分自动生成网络安全场景和练习476。这些能力也可以用来提高公众的网络安全素养，加强集体的复原力。更一般地说，GenAI可以促进安全和隐私信息的通信。在这一领域，研究表明，人工智能可用于简化数字服务的隐私政策，这些政策往往冗长、混乱，而且语言复杂度不适合所有公民。这可以通过汇总来实现，允许对隐私保证进行交互式分析，并提供有关个人数据如何使用和共享的直观可视化。

挑战和考虑。GenAI通过使人工智能的访问民主化来改变网络安全领域。这增强了恶意行为者和安全专业人员的能力，以更低的技术摩擦发起和防御更复杂的大规模攻击。主要的干扰因素来自自然语言界面，它允许人类与人工智能系统交谈，指导他们，提出问题，一起推理，并根据这种互动做出或委托决策。虽然保护GenAI的重要工作集中在改善机器学习管道和增加技术护栏上，但在人机交互方面需要研究和政策干预。用户对人工智能助手的拟人化，加上GenAI产生雄辩、令人信服的输出的能力，以及现有部署的增加，增加了针对人类认知和感知漏洞的风险。必须探索以人为本的保障措施和交互设计，以促进批判性思维，并根据上下文调整自主权水平，特别是在涉及高风险网络安全场景时。这种基础可以支持人类和代理人有效协作的技术未来，提高网络安全实践的整体性能。不仅专家会受益。GenAI可以通过支持不同用户群体的技能提升和技能再培训计划，成为更广泛的网络安全知识的催化剂。降低获取和理解的障碍有助于扩大对网络安全的参与，加强我们面对不断变化的威胁的社会复原力。

6.5在公共部门使用生成式AI

关键信息：

• GenAI有潜力改变公共部门的管理和服务提供，但它的采用带来了复杂的挑战和机遇，需要仔细考虑和战略关注。
• 有效的治理和监管方法对于确保公共部门安全、道德和合法地使用GenAI技术，以及解决与其采用相关的风险和收益至关重要。

作为人工智能主导的社会转型的一部分，公共部门组织越来越多地使用基于人工智能的解决方案来满足内部运营需求并提供公共服务。JRC一直密切关注公共部门（包括GenAI）对AI的吸收和使用，以收集科学证据并提供政策建议。JRC的工作对于确保公共部门使用人工智能的政策得到事实和独立的知识至关重要，因为它认识到，由于对公民和企业的潜在影响，该部门的风险很高。

设置场景：公共部门中的人工智能

最新的公共部门技术观察报告479全面介绍了欧洲公共行政部门如何使用人工智能和其他新兴技术。基于1,600多个记录在案的案例，该报告显示，人工智能被广泛采用，以改善公共服务（53%的案例）和提高内部行政效率（47%）。国家政府通常专注于简化内部流程，而地方当局则优先考虑以公民为中心的应用程序。该报告还强调了对GenAI的兴趣日益增长，许多试点项目出现在不同的公共部门背景下。这一日益增长的趋势凸显了有关治理、问责制、透明度和公共价值的新问题，强调了持续研究以指导该领域未来决策的必要性。

JRC进行的一项涉及七个成员国公共管理人员的大规模调查同样显示，人工智能现在得到了广泛实施，特别是在服务提供和内部运营方面，尽管其在决策中的使用仍然有限。该研究强调，采用是由技术能力，领导力，创新友好型文化和内部专业知识以及公民的期望驱动的。确保人工智能的平衡和可靠整合将取决于持续加强内部能力，道德意识和以公民为导向的战略。

然而，在公共组织中成功实施人工智能（包括GenAI）仍然是一项复杂的任务，取决于的不仅仅是技术。研究确定了五组相互关联的挑战：社会期望、伦理问题、法律的和监管问题、技术实施和组织变革。后者需要与日常实践、能力建设保持一致，并清楚地了解员工如何看待和管理变革，这就要求对人工智能的采用有更广泛的认识，包括机构学习和适应性治理。强调技能建设和善治是相辅相成的。加强这两个方面不仅对于有效采用人工智能至关重要，而且对于确保其使用符合公共价值观和机构目标也至关重要。

在公共部门使用GENAI

到目前为止，公共部门技术观察483已经确定了大约100个使用GenAI的案例，公共行政部门正在探索在不同应用领域采用一系列GenAI技术。拥抱GenAI的这一新兴趋势要求我们专注于探索其好处，并了解与其采用相关的独特挑战。

在确定的用例中，主要应用是公共服务和参与（51）和提高内部行政效率（31），其次是分析，监控和监管研究（16）。越来越多的案例揭示了处于不同成熟阶段（计划中、开发中、试点或完全实施）的项目，并表明未来将有显著的扩展（见图20）。

联合研究中心最近的一项研究表明，GenAI不仅在正式的公共部门项目中进行试点，而且越来越多地被欧盟各个层面的公共管理人员非正式地使用。大约30%的受访者已经在日常工作中使用GenAI，另有44%的人打算很快采用它，而26%的人表示目前没有兴趣使用这些工具。这种吸收跨越了各个部门和年龄组，突出了GenAI工具-通常可以在网上免费获得-如何进入工作场所，通常在正式战略或指导之前。然而，随着这些趋势的增加，公共行政部门已经开始建立框架和指导方针，以明确解决在公共部门环境中安全，道德和合法使用GenAI技术的问题。

整个欧盟的GENAI指南和政策

目前来自欧盟各地的证据表明，公共行政部门正在积极制定政策，指导方针和程序框架，以管理GenAI的使用，同时考虑到AI法案。对国家、地区和地方当局发布的33份此类文件和指南的审查显示，大多数文件和指南是在2023年和2024年发布的，并特别关注GenAI。这些文件回应了人们对透明度、人为监督、数据保护和问责制日益增长的担忧。

共同的主题包括公共雇员需要对GenAI工具生成的内容负责，避免披露敏感或非公开信息，并严格评估AI生成的输出的准确性和适当性。一些准则还提供了实用的资源，例如关于快速工程的技术附件、安全使用的内部协议以及披露GenAI参与文件创建的模板。这些框架的发展反映了在公共行政中实施值得信赖的人工智能的更广泛转变，重点是确保与道德原则保持一致，例如公平，预防伤害和尊重自主权。在公共部门使用人工智能的可能性-公共行政部门，以及许多不同的公私合作伙伴关系-最近通过并早期实施了互操作欧洲法案。它还为可互操作的监管沙盒设定了框架，支持数字共享（主要是开源解决方案），并通过促进新兴技术的更新来激励中小型解决方案提供商（GovTech）进行创新。作为对这些努力的补充，即将推出的应用人工智能战略486旨在通过改善对值得信赖的人工智能模型的访问，增强公共部门试验和采购人工智能的能力，以及支持跨境合作和基础设施，加快人工智能在关键部门（包括公共服务）的应用。总之，这些举措反映了欧盟层面以符合公共价值观和社会目标的方式加强人工智能（包括GenAI）的战略和主权部署的增长势头。

展望/未来前景

随着GenAI越来越多地嵌入公共管理，新的问题正在出现，需要进一步研究和战略关注。这些问题跨越多个层面（见图21）-国家，组织和个人-并反映了政府，机构和公务员在塑造如何开发，应用和管理GenAI方面不断变化的作用。然而，随着这些趋势的增加，公共行政部门已经开始建立框架和指导方针，以明确解决在公共部门安全，道德和合法使用GenAI技术的问题。

在国家层面，一些欧盟成员国正在投资开源的、特定语言的GenAI模型，这些模型有可能帮助保护语言多样性，改善文化一致性，并有助于提高国家竞争力，同时还能提供更好的数据保护和维护国家安全利益。然而，这一趋势也引发了有关可持续性、治理和协作的问题。监管格局也在不断变化，一些国家迅速采取行动，为潜在风险的用例制定规则，而另一些国家则选择了更轻松的方法。公共行政部门正开始将GenAI纳入具体程序，通常是通过试点项目或向工作人员发布内部指导。然而，执行情况仍然不平衡，需要进一步调查什么组织条件才能实现负责任和有意义的采用。

在个人层面，GenAI工具的使用正在迅速增长，通常在正式战略之外。公务员越来越多地依靠这些广泛可用的工具来探索新的想法或起草案文和摘要。这些非正式做法可能会引起监督、一致性、准确性、数据保护和公平性等方面的问题。随着GenAI支持更多的认知功能，它挑战了工具和协作者之间的传统界限。有必要探讨这如何影响公共部门的政策制定、问题解决和创新。GenAI在公共管理中的影响可能是分散的，依赖于上下文，并且不容易通过标准度量来捕获。

CONCLUSIONS

正如本展望报告开头所阐明的那样，生成性人工智能是指人工智能技术的一个子集，它使机器能够生成新的内容，如图像、视频、文本和音乐，这些内容通常与人类创建的内容无法区分。这是一项革命性的技术，具有巨大的颠覆性潜力，需要更好地理解，并需要欧盟层面在许多方面采取政策应对措施。

正如所强调的，GenAI本身就是一个经济部门，并带来了自己的一系列挑战和机遇。尽管欧洲经常被视为落后于美国和中国等其他全球领导者，但我们对全球GenAI格局的分析揭示了一个更加微妙的画面。我们特别强调欧盟在研究方面的强大地位。为了保持竞争力，欧盟必须培养一个充满活力和活力的生态系统，其中包括初创企业和老牌公司的强大存在。这将需要解决投资、人才和创新等问题，并创造一个促进人工智能解决方案开发和部署的环境，以符合最近通过的人工智能大陆行动计划487和欧盟竞争力指南提出的雄心勃勃的议程。

除了GenAI在竞争力方面的作用外，我们还必须承认这项技术可能产生的深远社会影响。GenAI不仅仅是一个部门问题，而是一种通用技术，将渗透到我们生活的各个方面，从医疗保健和教育到交通和就业。其影响将涉及多个行业和应用领域，我们必须制定一个考虑到其深远影响的整体政策方法。在这种背景下，很明显，虽然生成性人工智能为欧盟的创新和经济增长提供了众多机会，但它也带来了重大挑战，需要全面应对，以有效地应对其社会和竞争影响。

最后，还必须强调，科学证据对于指导与GenAI相关的政策至关重要，以确保这些政策有效且基于事实。随着新技术的迅速出现，本报告提供了重要方面的广泛概述，以更好地理解GenAI的技术社会经济影响。即使随着技术的发展，考虑到这些方面，也将有助于出现与我们的社会价值观和法律的框架相一致的合理的GenAI倡议。

以上内容全部使用机器翻译，如果存在错误，请在评论区留言。欢迎一起学习交流！

郑重声明：

• 本文内容为个人对相关文献的分析和解读，难免存在疏漏或偏差，欢迎批评指正；
• 本人尊重并致敬论文作者、编辑和审稿人的所有劳动成果，若感兴趣，请阅读原文并以原文信息为准；
• 本文仅供学术探讨和学习交流使用，不适也不宜作为任何权威结论的依据。
• 如有侵权，请联系我删除。xingyezn@163.com