当前位置： 首页 > news >正文

排序中常见的一些指标

news 2025/8/4 11:19:24

1、错误率与精度

错误率与精度是分类任务中最常用的两种性能度量，错误率是指分类错误的样本占样本总数的比例，精度则是分类正确的样本数占样本总数的比例。

错误率：

E(f,D)=\frac{1}{m}\sum_{i=1}^{m}I(f(x_{i})\neq y_{i})

精度：

Acc(f,D)=\frac{1}{m}\sum_{i=1}^{m}I(f(x_{i}=y_{i}))=1-E(f,D)

2、准确率/召回率/FScore

True Positive(真正例, TP)：将正类预测为正类数.

True Negative(真负例, TN)：将负类预测为负类数.

 False Positive(假正例, FP)：将负类预测为正类数 → 误报 (Type I error).

 False Negative(假负例, FN)：将正类预测为负类数 → 漏报 (Type II error).

查准率：

precision=\frac{TP}{TP+FP}

查全率/召回率：

recall=\frac{TP}{TP+FN}

准确率：

Acc=\frac{TP+TN}{TP+TN+FP+FN}

F-Score:

F=2PR/(P+R)

F是准确率和召回率的结合，更加符合实际应用需求

3、ROC曲线/AUC

当样本不平衡时，ACC难以评估样本的准确性，因而通过AUC进行评估；AUC 通过对 ROC 曲线下各部分的面积求和而得

TPR=\frac{TP}{TP+FN}

FPR=\frac{FP}{TN+FP}

4、Precision@K

precision@k=topk中相关文档数/k

5、AP 和 MAP

AP（Average Precision） = Average Precision@K

MAP (Mean average precision) ：不同请求/query AP的平均值

6、MRR(Mean reciprocal rank)

Mean reciprocal rank(MRR) 是另一种对排序列表进行评价的指标，MRR 定义为

MRR=\frac{1}{|Q|}\sum_{I=1}^{|Q|}\frac{1}{rank_{i}}

rank_{i}表示第i个查询第一个相关结果在列表中的位置。

7、DCG@K (Discounted cumulative gain)

Discounted cumulative gain 简写为 DCG，是搜索引擎常用的评价指标。DCG 的出发点可以理解为：在搜索引擎的结果中，相关结果比弱相关和不相关的结果更为重要，因而要更注重对相关结果的排序结果。

DCG@K=\sum_{I=1}^{K}\frac{rel_{i}}{log_{2}(i+1)}

DCG@K的一个变形为

DCG@K=\sum_{I=1}^{K}\frac{ 2^{rel_{i}}-1}{log_{2}(i+1)}

Normalized DCG

NDCG@K=\frac{DCG@K}{IDCG@K}

IDCG@K=\sum_{i=1}^{|REL_{k}|}\frac{2^{rel_{i}-1}}{log_{2}(i+1)}

可以看到 IDCG 是一个理想情况，即按照真实标签排序的情况。 目前在我所在的搜索场景在离线评测时还是会考虑 NDCG 的情况，而具体的 K 值选择则要根据业务场景自行调整。

参考文献

排序学习(LTR)杂谈 (上) - 知乎

1、排序学习(LTR)杂谈 (上) - 知乎

2、Learning to Rank： pointwise 、 pairwise 、 listwise - 知乎

3、排序评估指标——NDCG和MAP_comli_cn的博客-CSDN博客（ndcg详例）

4、排序评价指标 - 知乎

http://www.lryc.cn/news/28752.html

相关文章：

  • 51单片机入门————数码管显示
  • Spring事务未生效场景
  • servlet注解开发
  • mysql一联合主键
  • openpnp - 判断吸嘴是否指定了正确的旋转轴
  • 【办公类-19-03】办公中的思考——Python批量统一文件名的序号（保教主任整理打印文件）
  • MySQL约束
  • x86 平台利用 qemu-user-static 实现 arm64 平台 docker 镜像的运行和构建
  • 找工作经验分享
  • C语言学习之路--操作符篇，从知识到实战
  • 【华为OD机试2023】端口合并 C++ Java Python
  • C++常用头文件整理
  • Linux内核4.14版本——drm框架分析(2)——connector分析
  • dev GridControl 按条件纵向合并单元格
  • aws eks 集群初始化过程中pause容器的启动逻辑
  • Numpy专栏目录(长期更新)
  • English Learning - L2 第1次小组纠音 [ɑː] [ɔː] [uː] 2023.2.25 周六
  • 博客系统程序(页面设计)
  • 【死锁的排查工具有哪些？】
  • JUC包：CyclicBarrier源码+实例讲解
  • Trace、Metrics、Logging 选型
  • Java验证码
  • 5天带你读完《Effective Java》（四）
  • 探索密码学的未来：SM1、SM2、SM3、SM4、同态加密、密态计算、隐私计算和安全多方计算
  • 【教程】去水印开源工具Lama Cleaner在Windows的安装和使用
  • 驾考笔记_2023
  • 【架构师】跟我一起学架构——调用链
  • [神经网络]Swin Transformer网络
  • 【分布式】什么是分布式，分布式和集群的区别又是什么？答案在正文。
  • MyBatis框架的入门案例