当前位置: 首页 > news >正文

张 关于大语言模型(LLM)置信度研究的经典与前沿论文 :温度缩放;语义熵;自一致性;事实与反思;检索增强;黑盒引导;

关于大语言模型(LLM)置信度研究的经典与前沿论文 :温度缩放;语义熵;自一致性;事实与反思;检索增强;黑盒引导;

目录

    • 关于大语言模型(LLM)置信度研究的经典与前沿论文 :温度缩放;语义熵;自一致性;事实与反思;检索增强;黑盒引导;
      • 一、校准方法:让模型概率更贴近真实正确性
        • 1. **温度缩放(Temperature Scaling)**
        • 2. **多校准(Multicalibration)**
      • 二、不确定性估计:量化模型“不知道”的能力
        • 1. **语义熵(Semantic Entropy)**
        • 2. **图不确定性(Graph Uncertainty)**
      • 三、推理优化:通过过程增强置信度
        • 1. **自一致性(Self-Consistency)**
        • 2. **事实与反思(Fact-and-Reflection, FaR)**
      • 四、检索增强:引入外部知识校准
        • 1. **检索增强生成(RAG)与置信度对齐**
      • 五、黑盒引导:无需模型内部信息的置信度估计
        • 1. **引导置信度(SteerConf)**
      • 六、后验校准:基于反馈修正置信度
        • 1. **证据深度学习(EDL)与信息瓶颈**
      • 总结:置信度研究的三大趋势

一、校准方法:让模型概率更贴近真实正确性

1. 温度缩放(Temperature Scaling)
  • 论文:《On Calibration of Modern Neural Networks》(Guo et al., 2017)
    原理:LLM输出的概率分布常因模型过参数化而“过于尖锐”(高概率答案实际正确率低)。温度缩放通过调整Softmax函数的温度参数 T T T),软化概率分布,使概率值更符合实际正确性。公式为:
http://www.lryc.cn/news/593423.html

相关文章:

  • [MySQL基础3] 数据控制语言DCL和MySQL中的常用函数
  • 一个基于阿里云的C端Java服务的整体项目架构
  • 阿里云ssl证书自动安装及续订(acme)
  • NX二次开发常用函数——从一个坐标系到另一个坐标系的转换(UF_MTX4_csys_to_csys )相同体坐标转化
  • LRU算法及优化
  • SpringBoot五分钟快速入门指南
  • Java行为型模式---访问者模式
  • Nestjs框架: 理解 RxJS响应式编程的核心概念与实践
  • 如何构建未来的人-AI-环境智能教育生态系统
  • OpenCV 官翻 3 - 特征检测 Feature Detection
  • Vue 3 中导出 Excel 文件
  • 【Web APIs】JavaScript 自定义属性操作 ② ( H5 自定义属性 )
  • 光纤收发器上的指示灯各代表的含义
  • 【ChatOpenAI】常用方法详解
  • 如何设计一个软件项目管理系统:架构设计合集(六)
  • min_25筛学习笔记+牛客多校02E
  • AWS Partner: Sales Accreditation (Business)
  • C++命名空间深度解析:避免命名冲突的终极解决方案
  • Kafka、RabbitMQ 与 RocketMQ 高可靠消息保障方案对比分析
  • 【数据结构初阶】--双向链表(二)
  • 明细列表,明细grid中的默认按钮失效,配置按钮失效
  • windows wsl2-06-docker hello world
  • windows wsl ubuntu 如何安装 open-jdk8
  • rustdesk客户端编译
  • NX二次开发常用函数坐标转化UF_MTX4_csys_to_csys和UF_MTX4_vec3_multipl
  • 【REACT18.x】creat-react-app在添加eslint时报错Environment key “jest/globals“ is unknown
  • 【橘子分布式】gRPC(编程篇-中)
  • Vue3生命周期函数
  • SQL基础操作指南:约束、表设计与复杂查询
  • Oracle RU19.28补丁发布,一键升级稳