当前位置: 首页 > news >正文

自然语言处理阅读第二弹

HuggingFace

  • 镜像网站
  • 模型库

HuggingFace中bert实现

  • 下游任务介绍
  • 重要源码解读

NLP中的自回归模型和自编码模型

  • 自回归:根据上文内容预测下一个可能的单词,或者根据下文预测上一个可能的单词。只能利用上文或者下文的信息,不能同时利用上文和下文的信息。
  • 自编码:对输入的句子随机Mask其中的单词,然后预训练过程的主要任务之一是根据上下文单词来预测这些被Mask掉的单词。同时根据上下文预测单词。
  • Sequence-to-Sequence:是encoder和decoder的结合。
    在这里插入图片描述

安装环境

在这里插入图片描述

视频

BERT架构

  • 输入的修改 在这里插入图片描述
  • 预训练任务1
    在这里插入图片描述
  • 预测任务2
    在这里插入图片描述
  • 总结
    在这里插入图片描述

李沐课程

http://www.lryc.cn/news/263247.html

相关文章:

  • 利用canvas封装录像时间轴拖动(uniapp),封装上传uniapp插件市场
  • PDF转为图片
  • 隐私计算介绍
  • HTML有哪些列表以及具体的使用!!!
  • DriveWorks Solo捕获参数(二)
  • 基于开源的JAVA mongodb jdbc 驱动 使用教程
  • [RK-Linux] RK3399使用RK开源SPL,修改U-Boot为FIT打包方式,裁剪trust分区
  • 【网络安全】-Linux操作系统—VMWare软件
  • 关于chatgpt一点肤浅认识
  • Redis结合SpringBoot 基本使用
  • JAVA主流日志框架梳理学习及使用
  • java多个设计模式解决大量if-else堆积
  • js DOM的一些小操作 获取节点集合Node( getElementsByClassName等)
  • Arcgis导出为tiff
  • nginx中的root and alias命令的区别
  • python提取图片型pdf中的文字(提取pdf扫描件文字)
  • 08‐Mysql全局优化与Mysql 8.0新特详解
  • 【LeetCode刷题笔记】155.最小栈
  • 我的4096创作纪念日
  • Java Web 01_HTML4HTML5基础标签语法
  • Androidstudio加载编译时kotlin-compiler-embeddable一直下载中
  • 案例073:基于微信小程序的智慧旅游平台开发
  • Flink系列之:Flink 1.8.0 中的状态 TTL:如何在 Apache Flink 中自动清理应用程序状态
  • 2023 亚马逊云科技 re:Invent 大会探秘:Aurora 无限数据库的突破性应用
  • IDEA添加Apifox插件后,返回参数不详细解决办法
  • js多图合成一张图
  • 利用原始套接字解决mac地址错误问题【南瑞SysKeeper-2000】
  • JVM- 为什么G1垃圾回收器需要有大对象区
  • 操作系统的界面
  • User 怎么在anaconda的虚拟环境中安装下载好的jieba.tar.gz包呢