当前位置: 首页 > news >正文

华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版(三)

文章目录

      • 前言
      • 纯模型推理
      • 启动服务
      • 后面干什么?
      • 这可咋整啊?愁死了!
      • 总结


前言

这是咱这个系列的第三个文章了。
毕竟,这是我好几天摸索出的经验,能帮助各位在几个小时内领会,我觉得也算是我的功劳一件了。

所以,一是希望大家耐心看下去,耐心操作下去;而是恳请各位多多关注,多多点赞,多多评论,多多转发。

制作不易,多谢大家了。

前序文章:

华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版(一)
华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版(二)

纯模型推理

继续打开官方文档,我们一起踩坑哈。

mindie官方文档

经过我们上次的努力,已经到了“进入容器”这一步。

所以下一步,要做“纯模型推理”
~了吗?

我建议这一步跳过。因为它跟后续关联不大。😂😂😂
在这里插入图片描述

启动服务

在这里插入图片描述
看到官网的介绍,是不是感觉胜利就在眼前?有手就会?

想多了~

执行:

cd $MIES_INSTALL_PATH

在这里插入图片描述
不出意外,没有问题。

继续执行:

./bin/mindieservice_daemon

报错了

root@xxx:/usr/local/Ascend/mindie/latest/mindie-service# ./bin/mindieservice_daemon
Get realpath parsing failed.
Failed to get model config path real file path.
ERR: Failed to init endpoint! Please check the service log or console output.
Killed

修改一个文件,
把大模型权重路径改一下就好。

vi conf/config.json

在这里插入图片描述
改这里(xxx要按你的来改)。

                    "modelName" : "qwen2_5","modelWeightPath" : "/xxx/Qwen2.5",

小提示,可以先看看文章最后。通义千问2.5的0.5B的模型目前还不支持,最好直接上14B模型。

继续报错:

root@xxx:/usr/local/Ascend/mindie/latest/mindie-service# ./bin/mindieservice_daemon
Check path: config.json faile
http://www.lryc.cn/news/497090.html

相关文章:

  • 详解Java数据库编程之JDBC
  • 基于MFC实现的人机对战五子棋游戏
  • AIGC 时代的文学:变革与坚守
  • InfluxDB 集成 Grafana
  • 笔记本电脑usb接口没反应怎么办?原因及解决方法
  • 【开源】A060-基于Spring Boot的游戏交易系统的设计与实现
  • static关键字在嵌入式C编程中的应用
  • 集合框架(1)
  • Java 基础之泛型:类型安全的保障与灵活运用
  • 开发者如何使用GCC提升开发效率Opencv操作
  • 矩阵加法        ‌‍‎‏
  • yarn : 无法加载文件 E:\node\node_global\yarn.ps1,因为在此系统上禁止运行脚本
  • 详解C++类与对象(四)
  • Pandas处理和分析嵌套JSON数据:从字符串到结构化DataFrame
  • 【强化学习入门笔记】1.5 贝尔曼最优公式
  • 编码问题技术探讨:IDE全局GBK与项目UTF-8引发的中文乱码
  • SpringBoot两天
  • 自动化立体仓库项目任务调度系统中任务流程可视化实现
  • 计算机毕业设计hadoop+spark民宿推荐系统 民宿数据分析可视化大屏 民宿爬虫 民宿大数据 知识图谱 机器学习 大数据毕业设计
  • Java中OGNL表达式语言的使用
  • [HCTF 2018]WarmUp-滑稽
  • JAVAWeb——maven、SpringBoot、HTTP、Tomcat
  • 【C++】—— set 与 multiset
  • 蓝桥杯-扫雷
  • 黑马JavaWeb-day06、07、08(SQL部分) _
  • 三十五:Wireshark的捕获过滤器
  • 第9章 大模型的有害性(上)
  • 遗传算法与深度学习实战(26)——编码卷积神经网络架构
  • Linux无线网络配置工具:iwconfig vs iw
  • RabbitMQ介绍及安装