当前位置: 首页 > news >正文

Repetition Improves Language Model Embeddings论文阅读笔记

在这里插入图片描述

  • 文章提出了一种提高decoder-only LLM的embedding能力的方法,叫echo embeddings
  • last-token pooling(即直接选最后一个token作为句子的embedding)和直接mean pooling都不如文章提出的echo embedding,做法是把句子重复两次,然后取第二次的token是的mean pooling。mean pooling的缺点是太强调句子的前面部分,last-token pooling是太强调句子的后面部分,而重复两次后,第二次的句子的起始token也包含了完整句子的语义,从而不会出现直接mean pooling的问题。
  • 另外一点是,输入要添加一些instruction以鼓励第二次的句子编码包含完整句子信息,如下:
    在这里插入图片描述
http://www.lryc.cn/news/375890.html

相关文章:

  • 工具清单 - Bug追踪管理
  • 企业内网是如何禁用U盘的?电脑禁用U盘有哪些方法?
  • 怎样打印微信文档文件?
  • 【讲解下Pip换源】
  • 分享:2024年(第12届)“泰迪杯”数据挖掘挑战赛省级奖项获奖名单公示
  • 后端开发中缓存的作用以及基于Spring框架演示实现缓存
  • Redis原理篇——分布式锁
  • css3多列布局
  • Java开发的构建神器:Maven以及如何安装部署Maven
  • echarts学习:使用dataset管理数据
  • MyBatis逆向工程和MyBatisX插件的使用
  • 探索C嘎嘎的奇妙世界:第十四关---STL(string的模拟实现)
  • 【JavaScript脚本宇宙】玩转图像处理:从基础到高级,这些库你不能错过!
  • python+unity手势控制地球大小
  • CSS【实战】抽屉动画
  • 【Linux Vim的保姆级教程】
  • 力扣668.乘法表中第k小的数
  • css伪类和伪元素选择器
  • 第壹章第15节 C#和TS语言对比-泛型
  • 苹果电脑下载vite包错
  • 自动化测试git的使用
  • MyBatis系列四: 动态SQL
  • Jenkins构建 Maven项目(微服务)并自动发布
  • 简单易用的多功能图床Picsur
  • 数据库-查询语句习题
  • 进程间通信以及线程的同步互斥机制
  • 优思学院|做车企的质量工程师转行跳槽能干嘛?
  • ctfshow-web入门-命令执行(web53-web55)
  • 【INTEL(ALTERA)】make: nios2-swexample-create:未找到命令
  • 一周刷爆leetcode!(b站视频)