当前位置: 首页 > news >正文

langchain 入门指南(二)- 如何跟大模型对话

前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。

本文中,我们会通过一个简单的例子来展示如何使用 langchain 来调用大模型的 chat API(使用 Chat Model)。
这个例子前面也有使用过,但是前面还没有针对里面的内容进行详细的说明。

配置 key 的文档请看 langchain 入门指南(一)- 准备 API KEY

依赖安装

pip install -U langchain-openai

示例

下面的 ChatOpenAI 表示我们要使用的是 Chat Model,顾名思义,这个模型是用来进行对话的,这也是我们最常用的一种模型。

from langchain_openai import ChatOpenAI
from langchain_core.messages import HumanMessage, SystemMessagechat = ChatOpenAI(model="yi-large",temperature=0.3,max_tokens=200,api_key='your key',base_url="https://api.lingyiwanwu.com/v1"
)messages = [SystemMessage(content="你是一名精通了 golang 的专家"),HumanMessage(content="写一个  golang 的 hello world 程序"),
]response = chat.invoke(messages)print(response.content)

ChatOpenAI 说明

使用 ChatOpenAI 类,我们可以调用 chat API。ChatOpenAI 类的构造函数有以下参数:

ChatOpenAI 参数

  • model:模型名称,例如 yi-large(零一万物),gpt-3.5-turbo(OpenAI HK)等。
  • temperature:用于控制生成文本的多样性,值越大,生成的文本越多样化。
  • max_tokens:生成文本的最大长度。(我们的输入和 LLM 的输出都需要消耗 token,所以如果只是测试,可以控制一下输出的 token 数量)
  • api_key:API 密钥(支持多种,不只是 OpenAI 的)。不填写的话,会从环境变量中读取(对应的环境变量是 OPENAI_API_KEY)。
  • base_url:API 的接口地址。不填写的话,会从环境变量中读取(对应的环境变量是 OPENAI_BASE_URL)。
  • timeout:超时时间,单位是秒。
  • max_retries: 最大重试次数。

invoke 方法的参数说明

我们可以看到上面的例子传递了一个 messages 参数,这个参数是一个列表,里面包含了 HumanMessageSystemMessage

在其他地方,我们可能会看到其他形式的参数,它实际上也支持很多种形式,例如:

元组列表
from langchain_openai import ChatOpenAIchat = ChatOpenAI(model="yi-large",temperature=0.3,max_tokens=200,api_key='your key',base_url="https://api.lingyiwanwu.com/v1",
)messages = [('system', '你是一名精通了 golang 的专家'),('human', '写一个  golang 的 hello world 程序')
]response = chat.invoke(messages)print(response.content)
BaseMessage 列表
from langchain_openai import ChatOpenAI
from langchain_core.messages import HumanMessage, SystemMessagechat = ChatOpenAI(model="yi-large",temperature=0.3,max_tokens=200,api_key='your key',base_url="https://api.lingyiwanwu.com/v1",
)messages = [SystemMessage(content="你是一名精通了 golang 的专家"),HumanMessage(content="写一个  golang 的 hello world 程序"),
]response = chat.invoke(messages)print(response.content)
字符串
from langchain_openai import ChatOpenAIchat = ChatOpenAI(model="yi-large",temperature=0.3,max_tokens=200,api_key='your key',base_url="https://api.lingyiwanwu.com/v1",
)# 这个字符串参数会被转换为 HumanMessage
response = chat.invoke('使用 golang 写一个 hello world 程序')print(response.content)
字符串列表
from langchain_openai import ChatOpenAIchat = ChatOpenAI(model="yi-large",temperature=0.3,max_tokens=200,api_key='your key',base_url="https://api.lingyiwanwu.com/v1",
)messages = ["你是一名精通了 golang 的专家","写一个  golang 的 hello world 程序",
]response = chat.invoke(messages)print(response.content)

invoke 方法的返回值

上面是直接打印了返回值的 content 属性,实际上返回值中包含了其他一些有用的信息:

{"lc": 1,"type": "constructor","id": ["langchain","schema","messages","AIMessage"],"kwargs": {"content": "<...省略...>","response_metadata": {"token_usage": {"completion_tokens": 200,"prompt_tokens": 35,"total_tokens": 235},"model_name": "yi-large","system_fingerprint": null,"finish_reason": "length","logprobs": null},"type": "ai","id": "run-29131a4f-e792-4c9e-8cf5-490afed94176-0","usage_metadata": {"input_tokens": 35,"output_tokens": 200,"total_tokens": 235},"tool_calls": [],"invalid_tool_calls": []}
}

一些字段说明:

  • completion_tokens/output_tokens 是生成的文本的 token 数量。
  • prompt_tokens/input_tokens 是输入的 token 数量。
  • total_tokens 是单次请求总的 token 数量。

在实际的应用中,我们需要注意使用的 token 的数量,防止消耗太多的 token,因为 token 是要花钱来购买的。
如果我们是为其他人提供服务,可能就需要针对不同的用户来统计 token 的使用情况,以便计费。

http://www.lryc.cn/news/401397.html

相关文章:

  • [集成学习]基于python的Stacking分类模型的客户购买意愿分类预测
  • FastApi地理坐标数据存取实践
  • Docker容器——初识Docker,安装以及了解操作命令
  • JavaSE从零开始到精通
  • 求解答word图标变白
  • Jenkins 离线升级
  • Unty 崩溃问题(Burst 1.8.2)
  • 【大型实战】企业网络实验(华为核心交换、ESXI7.0vmware虚拟机、DHCP中继、服务端网络及用户端网络配置)
  • vue2路由跳转是异步的
  • 第一阶段面试题总结
  • 设计模式(工厂模式,模板方法模式,单例模式)
  • ES6 对象的新增方法(十四)
  • Spring Boot 学习总结(34)—— spring-boot-starter-xxx 和 xxx-spring-boot-starter 区别?
  • 昇思训练营打卡第二十五天(RNN实现情感分类)
  • 昇思25天学习打卡营第02天|张量 Tensor
  • 权威认可 | 海云安开发者安全助手系统通过信通院支撑产品功能认证并荣获信通院2024年数据安全体系建设优秀案例
  • 24.7.10|暑假-数组题目:实现整数的数字反转【学习记录】
  • 【ceph】ceph集群-添加/删除mon
  • Django ORM中的Q对象
  • 相控阵雷达原理详解
  • 算法项目报告:物流中的最短路径问题
  • linux中 crontab 定时器用法
  • java算法day16
  • 华为HCIP Datacom H12-821 卷41
  • 【React Hooks原理 - forwardRef、useImperativeHandle】
  • 用于可穿戴传感器的人类活动识别、健康监测和行为建模的大型语言模型
  • react事件绑定
  • spring框架之AOP注解方式(java代码实例)
  • windows下gcc编译C、C++程序 MinGW编译器
  • uniapp启动图延时效果,启动图的配置