当前位置: 首页 > news >正文

【Linux】环境ChatGLM-4-9B 模型之 openai API 服务

一、摘要

最近看到 Function Call 比较感兴趣,它的核心是赋予大模型能够调用外部API的能力,能够解决大模型功能扩展性问题,允许模型调用外部数据库或API,提供特定领域的详细信息;解决信息实时性问题,模型可以实时获取最新数据;解决数据局限性问题,大模型训练数据虽多但有限,无法覆盖所有领域,Function Call允许模型调用外部工具进行复杂计算、数据分析等。它能够满足大模型私有化部署的个性定制,就感觉特别好,因此记录在Linux环境下搭建GLM4的openai服务。

二、部署ChatGLM-4-9B

由于我之前的文章已经部署成功,因此如果大家还没部署可以参考以下这篇文章。

【Linux】环境ChatGLM-4-9B 模型部署_chatglm4-9b gguf模型-CSDN博客

三、搭建 openai api 服务

前提:ChatGLM-4-9B的代码、模型及环境依赖已经准备好。

1.环境说明

目前结构如下:

 glm4:下载好的依赖环境

openai_api_server.py:启动openai api的脚本(会调用glm_server.py)

glm_ser

http://www.lryc.cn/news/498756.html

相关文章:

  • Too many open files 问题处理
  • CentOS 7 环境下常见的操作和配置
  • HTTP(超文本传输协议)
  • etcd-v3.5release-(3)-readIndexRead
  • IPv6 NA RTR/SOL/OVR标志位,单播多播选择,ndppd代理和kernel配置
  • C语言程序设计P5-4【应用函数进行程序设计 | 第四节】——知识要点:数组作函数参数
  • PostgreSQL数据库连接:psqlODBC驱动安装与配置实战指南
  • 【NLP 8、normalization归一化函数:sigmoid、softmax】
  • 鸿蒙ArkTS 与安卓Android-底层逻辑对比
  • 第八节、Bresenham直线插补【51单片机-TB6600驱动器-步进电机教程】
  • 唇形同步视频生成工具:Wav2Lip
  • 旅游管理系统的设计与实现
  • burp常用机漏洞测试理论
  • TCP/IP 和 UDP
  • FastAPI解决跨域报错net::ERR_FAILED 200 (OK)
  • git如何新建分支并提交?
  • 使用 LlamaFactory 结合开源大语言模型实现文本分类:从数据集构建到 LoRA 微调与推理评估
  • Python基础学习总结篇
  • 8. Debian系统中显示屏免密码自动登录
  • ubuntu安装nginx并设置开机自启动
  • SQLServer中使用ISNULL替换为指定的替换值
  • 深入浅出:PHP函数的定义与使用
  • C++知识整理day4内存管理——new和delete详解
  • 部署项目报错
  • 专业140+总分420+上海交通大学819考研经验上交电子信息与通信工程,真题,大纲,参考书。博睿泽信息通信考研论坛,信息通信考研Jenny
  • 电子信息工程自动化 单片机自动门控制系统设计
  • T C P
  • PDF与PDF/A的区别及如何使用Python实现它们之间的相互转换
  • 【Linux课程学习】: 进程地址空间,小故事理解虚拟地址,野指针
  • 解决el-select数据量过大的3种方法