当前位置: 首页 > article >正文

在Windows下编译出llama_cpp_python的DLL后,在虚拟环境中使用方法

定位编译生成的文件

在VS2022编译完成后,在构建目录(如build/Release或build/Debug)中寻找以下关键文件:

ggml.dll、ggml_base.dll、ggml_cpu.dll、ggml_cuda.dll、llama.dll(核心动态链接库)
在这里插入图片描述

llama_cpp.py(Python接口文件)
在这里插入图片描述

其他依赖的DLL(如ggml.dll、CUDA相关DLL等)

部署编译文件

在虚拟环境中创建包目录:

cmd

mkdir myenv\Lib\site-packages\llama_cpp

复制所有编译生成的文件:
在这里插入图片描述
将上述编译出来的动态库复制到myenv\Lib\site-packages\llama_cpp\lib目录下
将llama_cpp_python\llama_cpp*.py复制到myenv\Lib\site-packages\llama_cpp目录下

copy path\to\build\Release\*.pyd myenv\Lib\site-packages\llama_cpp
copy path\to\llama_cpp_python\llama_cpp\*.py myenv\Lib\site-packages\llama_cpp

复制CUDA DLL(如需要,我这测试是不需要的):

cmd
copy “C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2\bin\cudart64_*.dll” myenv\Lib\site-packages\llama_cpp

http://www.lryc.cn/news/2404547.html

相关文章:

  • CSS radial-gradient函数详解
  • n8n 自动化平台 Docker 部署教程(附 PostgreSQL 与更新指南)
  • 关于datetime获取时间的问题
  • 前端面试五之vue2基础
  • 使用python实现奔跑的线条效果
  • Oracle 审计参数:AUDIT_TRAIL 和 AUDIT_SYS_OPERATIONS
  • Android LinearLayout、FrameLayout、RelativeLayout、ConstraintLayout大混战
  • Unity版本使用情况统计(更新至2025年5月)
  • GPUCUDA 发展编年史:从 3D 渲染到 AI 大模型时代(上)
  • 人机融合智能 | 可穿戴计算设备的多模态交互
  • Impromptu VLA:用于驾驶视觉-语言-动作模型的开放权重和开放数据
  • AI智能体,为美业后端供应链注入“智慧因子”(4/6)
  • 跨平台资源下载工具:res-downloader 的使用体验
  • ps蒙版介绍
  • 数据湖是什么?数据湖和数据仓库的区别是什么?
  • 用Ai学习wxWidgets笔记——在 VS Code 中使用 CMake 搭建 wxWidgets 开发工程
  • 【深度学习新浪潮】如何入门三维重建?
  • Android实现点击Notification通知栏,跳转指定activity页面
  • Codeforces Round 1025 (Div. 2) B. Slice to Survive
  • ubuntu中使用docker
  • 复制与图片文件同名的标签文件到目标路径
  • 【深度学习-Day 24】过拟合与欠拟合:深入解析模型泛化能力的核心挑战
  • [ElasticSearch] DSL查询
  • iview中的table组件点击一行中的任意一点选中本行
  • 《探秘跨网段局域网IP广播:解锁网络通信的新姿势》
  • Kafka 单机部署启动教程(适用于 Spark + Hadoop 环境)
  • maven微服务${revision}依赖打包无法识别
  • 2025年06月07日Github流行趋势
  • WPS中将在线链接转为图片
  • 实战二:开发网页端界面完成黑白视频转为彩色视频