当前位置: 首页 > news >正文

表征工程与置信度增强:表征工程是提取隐藏层状态表征,LLM的置信度增强是优化的logist数值

表征工程是提取隐藏层状态表征,LLM的置信度增强是优化的logist数值

表征工程的核心是对模型的“中间隐藏层状态”进行提取、改造或优化,目的是让表征(隐藏状态)更贴合任务需求;

而LLM的置信度增强则主要针对“输出层的logits”或由logits转化的概率分布进行调整,目的是让模型对正确输出的“置信度”更合理(比如减少犹豫、降低错误答案的虚假高置信)

一、表征工程:聚焦“隐藏层状态”的优化

表征(Representation)指模型通过多层计算后,对输入文本的“抽象特征编码”(即隐藏层状态)。表征工程的目标是让这些编码更“有用”——可能是更易区分、更贴合下游任务,或更稳定

核心逻辑:

不直接干预输出结果,而是优化“特征提取过程”。通过改造隐藏层状态,让模型学到的特征更符合任务需求(比如情感分析中,让表征更突出“褒义/贬义”相关特征,弱化无关的语法特征)。

举例1:情感分析中的表征增强(对应你的代码思路)

假设用LLM做电影评论情感分析(和你的任务一致):

  • 原始隐藏层状态:模型最后几层的隐藏状态可能混合了“情感倾向”“评论主题(如剧情/演员)”“句子结构”等多种特征,但情感相关特征的权重可能不够突出。
  • 表征工程操作:像你代码中
http://www.lryc.cn/news/597649.html

相关文章:

  • VRRP技术(虚拟路由器冗余协议)
  • uni-app动态获取屏幕边界到安全区域距离的完整教程
  • Elasticsearch(ES)介绍和安装
  • Elasticsearch(ES)安装
  • 西门子 S7-1500分布式 I/O通信 :PROFINET IO 与 PROFIBUS DP详解(下)
  • PL/SQL Developer查看物化视图的方法
  • android15 wifi信号格数DB值对应关系及wifi回连时间
  • 使用Imgui和SDL2做的一个弹球小游戏-Bounze
  • 状压Dp和记忆化搜索
  • 服务器对kaggle比赛的数据集下载
  • 【计算机网络】正/反向代理服务器,有状态/无状态应用
  • 力扣MySQL(1)
  • gig-gitignore工具实战开发(一):项目愿景与蓝图规划
  • 宜搜科技与绿地金创考察香港数码港 共探数字科技与RWA领域战略机遇
  • (绕过最新360、火绒)shellcode分离加载实现CS免杀上线
  • JDBC学习
  • AI赋能DBA:数据库管理与运维的智能化工具全景解析
  • 【Linux系统编程】基础指令
  • 如何通过内网穿透,访问公司内部服务器?
  • dfaews
  • React中的antd的表格使用方法
  • docker安装minio及配置禁止列出目录文件
  • 【前沿技术动态】【AI总结】RustFS:从 0 到 1 打造下一代分布式对象存储
  • 《WebGL打造高性能3D粒子特效系统:从0到1的技术探秘》
  • La Création du C++ : Une Épopée dans l‘Évolution de la Programmation
  • 5.综合案例 案例演示
  • Java面试宝典:Spring专题一
  • 背包DP之0/1背包
  • OpenLayers 快速入门(六)Interaction 对象
  • 嵌入式学习-(李宏毅)机器学习(1)-day28