当前位置: 首页 > news >正文

swift qwen2-vl推理及加载lora使用案例

参考:
https://swift.readthedocs.io/zh-cn/latest/Instruction/LLM%E5%BE%AE%E8%B0%83%E6%96%87%E6%A1%A3.html#%E5%BE%AE%E8%B0%83%E5%90%8E%E6%A8%A1%E5%9E%8B
https://blog.csdn.net/weixin_42357472/article/details/142150209

SWIFT支持300+ LLM和50+ MLLM(多模态大模型)的训练(预训练、微调、对齐)、推理、评测和部署。
在这里插入图片描述

使用中遇到问题:
1、包环境安装依赖容器冲突出错
2、swift训练加载推理速度慢
3、接口训练模型不大好和第三方平滑过渡,比如和transformers

正常推理使用

model_id_or_path 指定本地模型路径

import os
os.environ
http://www.lryc.cn/news/436631.html

相关文章:

  • 如何使用 Choreographer 进行帧率优化
  • 稳定驱动之选SiLM5350系列SiLM5350MDBCA-DG单通道隔离栅极驱动器(带内部钳位):工业自动化的可靠伙伴
  • 鸿蒙OpenHarmony【轻量系统芯片移植】内核移植
  • 多字节字符和宽字符
  • C++缺省参数
  • 深度学习中的常用线性代数知识汇总——第一篇:基础概念、秩、奇异值
  • MATLAB | R2024b更新了哪些好玩的东西?
  • 嵌入式硬件基础知识
  • keepalived和lvs高可用集群
  • 在VMware部署银河麒麟系统
  • git删除本地分支报错:error: the branch ‘xxx‘ is not fully merged
  • Tensorflow 兼容性测试-opencloudos
  • Windows主机上安装CUPS服务端共享USB打印机实践心得
  • socket通讯原理及例程(详解)
  • vue3使用provide和inject传递异步请求数据子组件接收不到
  • 对称矩阵的压缩存储
  • 高阶数据结构之哈希表基础讲解与模拟实现
  • 基于STM32设计的智能货架(华为云IOT)(225)
  • JDBC API详解一
  • 工厂安灯系统在设备管理中的重要性
  • 【LabVIEW学习篇 - 23】:简单状态机
  • 【CSS】 Grid布局:现代网页设计的基石
  • jQuery UI API 文档
  • 盘点2024年大家都在用的录屏工具
  • 【大数据】探索怎么从一段话中解析关键信息(寄件人相关信息)
  • 初学者指南:MyBatis 入门教程
  • reader-lm:小模型 html转markdown
  • 进击J6:ResNeXt-50实战
  • 新代机床采集数据
  • 景联文科技:专业数据标注公司,推动AI技术革新