当前位置: 首页 > news >正文

凸问题-非凸问题-非凸模型

  • 凸问题:目标函数(如损失函数)是 “凸函数” 的优化问题,凸函数特征是局部最优解 = 全局最优解,训练更易收敛(类比碗状函数,小球滚动必落底部 );

  • 非凸问题(如深度神经网络)则有大量局部最优,训练难度更高。

  • 非凸模型:深度神经网络(如 Transformer、ResNet )的损失函数是 “非凸” 的,存在大量局部最优(类比山地地形,小球可能卡在山坡凹处,而非全局最低山谷 );研究非凸模型的收敛性,是 FL 落地复杂任务(如大模型训练)的关键。

  • 数据异构性(非 IID,Independent and Identically Distributed ):客户端数据分布不同(如 A 医院数据多是老年病,B 医院多是儿科病 );

  • IID 指数据同分布(理想假设,实际 FL 中难满足 ),

  • 非 IID 会导致 “客户端漂移”(本地训练后参数过度适配本地数据,全局聚合后模型效果差 )。

http://www.lryc.cn/news/626807.html

相关文章:

  • 第十四届“中国软件杯”大赛晋级现场总决赛名单公布
  • PyTorch API 6
  • 单片机通信协议核心关系梳理笔记(UART/USART/232/485/SPI/12C/LIN/BLE/WIFI)
  • Spring Boot 3.4.x 性能优化实战:用 Undertow 替换 Tomcat 全指南​
  • JavaScript 性能优化实战:从原理到落地的完整指南
  • 【OneAI】使用Rust构建的轻量AI网关
  • 【Axure高保真原型】拖拉拽画圆
  • JavaScript 性能优化实战(易懂版)
  • 实验8.20
  • LeetCode 刷题【47. 全排列 II】
  • 一种融合AI与OCR的施工许可证识别技术,提升工程监管效率,实现自动化、精准化处理。
  • 【解决方案】powershell自动连接夜神adb端口
  • 深入解析RAGFlow六阶段架构
  • 结合SAT-3D,运动+饮食双重养腰新方式
  • 十二,数据结构-链表
  • Linux用30秒部署Nginx+Tomcat+Mysql+Jdk1.8环境
  • 学习嵌入式的第二十二天——数据结构——双向链表
  • 为6G和超快光谱铺路,《Nature Communications》发布新型太赫兹光芯片,实现多通道信号操纵
  • AI 效应: GPT-6,“用户真正想要的是记忆”
  • 书籍推荐|《Computational Methods for Rational Drug Design》574页
  • React响应式链路
  • CAMEL-Task1-CAMEL环境配置及你的第一个Agent
  • uniapp学习【上手篇】
  • CF每日4题(1500-1700)
  • 基于单片机水质检测系统/污水监测系统/水情监测
  • HTTP的协议
  • Git Commit 提交信息标准格式
  • GIT总结一键式命令清单(顺序执行)
  • 分布式唯一 ID 生成方案
  • C++高频知识点(三十)