当前位置： 首页 > news >正文

5 BERT预训练模型

news 2025/6/29 6:36:17

最近科大讯飞比赛又开始了。目前我参加了基于文本的违禁词分类挑战赛，这是一个文本分类比赛2025 iFLYTEK AI开发者大赛。

目前的分数在0.67左右，但是后续使用好几个策略都没提高分数！

  1. 数据处理，文本按照128长度进行切分+然后使用BERT+全连接进行预测！
  2. 数据处理，文本按照128长度进行切分+然后使用roBERT+全连接进行预测！
  3. 数据处理，剔除停用词，然后128长度进行切分+然后使用roBERT+全连接进行预测！
  4. 数据处理，文本按照128长度进行切分+然后使用roBERT+LSTM+全连接进行预测！
  5. 数据处理，文本按照128长度进行切分+然后使用Erain+全连接进行预测！

但是分数都没上去！所以我又想着对Robert使用训练集进行预训练，然后再尝试进行预测吧！

http://www.lryc.cn/news/576300.html

相关文章：

  • Vue基础(18)_收集表单数据
  • 理解图像的随机噪声
  • RGB+EVS视觉融合相机：事件相机的革命性突破​
  • 华为云镜像仓库下载 selenium/standalone-chrome 镜像
  • 《红黑树实现》
  • Vue3——组件传值
  • 【音视频】H.264详细介绍及测试代码
  • Excel限制编辑：保护表格的实用功能
  • 道路交通标志检测数据集-智能地图与导航 交通监控与执法 智慧城市交通管理-2,000 张图像
  • Qt：QCustomPlot库简介
  • HarmonyOS NEXT仓颉开发语言实战案例：图片预览器
  • linux面试常考
  • Go开发工程师-Golang基础知识篇
  • pycharm Windows 版快捷键大全
  • 大数据在UI前端的应用创新研究：用户偏好的动态调整与优化
  • 前端进阶之路-从传统前端到VUE-JS（第一期-VUE-JS环境配置）（Node-JS环境配置）（Node-JS/npm换源）
  • C++ STL深度剖析：Stack、queue、deque容器适配器核心接口
  • PCL 生成任意椭球点云
  • 关于庐山派多视频层(layer)和bind_layer的应用
  • 【SpringSecurity鉴权】
  • ChatboxAI 搭载 GPT 与 DeepSeek，引领科研与知识库管理变革
  • 视觉的基石：卷积神经网络与LeNet的破晓之光
  • 从【人工智能】到【计算机视觉】。深度学习引领的未来科技创新与变革
  • Note2.2 机器学习训练技巧：Batch and Momentum(Machine Learning by Hung-yi Lee)
  • Note2.1 处理critical point(Machine Learning by Hung-yi Lee)
  • 安卓中静态和动态添加子 View 到容器
  • 【C/C++】单元测试实战：Stub与Mock框架解析
  • 【RAG面试题】LLMs已经具备了较强能力,存在哪些不足点?
  • Windows11系统上安装WM虚拟机及Ubuntu 22.04系统
  • clion与keil分别配置项目宏定义