当前位置: 首页 > news >正文

大模型学习与实践笔记(十三)

将训练好的模型权重上传到 OpenXLab

方式1: 先将Adapter 模型权重通过scp 传到本地,然后网页上传
步骤1. scp 到本地

命令为:

scp -o StrictHostKeyChecking=no -r -P ***  root@ssh.intern-ai.org.cn:/root/data/ e/opencv/ 
步骤2:openxlab平台创建模型入口并填写仓库相关信息

其中仓库相关信息包括:

序号填写项填写项说明
1仓库名称指仓库地址,对用户侧来说,主要是使用CLI工具时,需要使用该字段进行指向
2中文别称仓库的描述类名称,由于仓库是以算法为维度,因此一般来说填写算法名称,或描述类信息+算法名称
3开源协议可以从下拉框选择一个,另下拉框中提供了unknown 和 other 选项
4GitHub填入GitHub训练代码仓库的地址
5公开/私有选择仓库的访问状态等,只有公开后,其他用户才能看到该模型仓库

步骤3.逐个模型文件信息填写与上传

目前网页端仅支持单个模型上传

方式2:在云服务器中通过openxlab直接上传
步骤1:获取账号的Access key ID 和 Secret Access Key

步骤2:安装openxlab 库,并进行认证

安装命令为:

python -m pip install -U openxlab

认证方法:

编写python代码,并填写自己的access key 和 secret key.

import openxlab
openxlab.login(ak=<Access Key>, sk=<Secrete Key>)

运行验证登陆代码。

步骤3:在模型存放路径编写模型源文件

此处参考 OpenXLab平台上传下载笔记 - 知乎 中源文件快速生成方法

先在模型中心获取internlm-chat-7b 的源文件,链接为OpenXLab浦源 - 模型中心

将获取的模型源文件放到模型路径的同一级目录下,通过快速weight 字段填充代码进行填充weight 字段。代码如下:
 

import sys
import ruamel.yamlyaml = ruamel.yaml.YAML()
yaml.preserve_quotes = True
yaml.default_flow_style = False
file_path = 'metafile.yml'
# 读取YAML文件内容
with open(file_path, 'r') as file:data = yaml.load(file)
# 遍历模型列表
for model in data.get('Models', []):# 为每个模型添加Weights键值对,确保名称被正确引用model['Weights'] = model['Name']# 将修改后的数据写回文件
with open(file_path, 'w') as file:yaml.dump(data, file)print("Modifications saved to the file.")

生成后源文件”metafile.yml“ 将更新每一个文件的文件名到weight 字段中。

步骤4:上传模型文件

命令为:

openxlab model create --model-repo='用户名/模型仓库名'  -s  ./metafile.yml

部分文件如下:

http://www.lryc.cn/news/288130.html

相关文章:

  • 计算机网络——网络层(1)
  • 解释LoRA参数
  • 直播核心岗位基础内容
  • 安全防御第三次作业
  • WordPress反垃圾评论插件Akismet有什么用?如何使用Akismet插件?
  • 力扣80、删除有序数组中的重复项Ⅱ(中等)
  • 探索HTMLx:强大的HTML工具
  • NC65中间件能启动,前端客户端启动失败,加载异常,卡住(org.owasp.esapi)
  • 【大数据】YARN调度器及调度策略
  • 如何快速入门Python指南
  • vue3 页面长时间不使用,再次点击页面切换路由 操作无效报错
  • 【算法练习】leetcode算法题合集之动态规划篇
  • 青少年人工智能实验基地解决方案
  • 10个让你的明星网红推广事半功倍的技巧-华媒舍
  • k8s集群异常恢复
  • NOC总线(2)
  • 2401llvm,clang的libtooling
  • 数据结构—基础知识(13):树的存储结构
  • 【Python爬虫入门到精通】小白也能看懂的知识要点与学习路线
  • 服务器数据恢复—EVA存储raid5硬盘离线的数据恢复案例
  • MAMBA论文疑被拒收,计算机科学顶会评审遭质疑
  • EHS管理系统为何需要物联网的加持?
  • 记事本(父页面与iframe子页面的联通,vue3+ts展示fbx模型,与tga贴图)
  • 【好书推荐-第五期】《互联网大厂推荐算法实战》(异步图书出品)
  • C++ Qt day2
  • Mac上如何设置映射某个网站站点域名的IP
  • 智能分析网关V4智慧冶金工厂视频智能监管方案
  • WebSocket实现HTML+SpringBoot聊天功能,小程序+SpringBoot聊天功能
  • SpringMVC-RESTFul
  • Spring Boot3整合knife4j(swagger3)