百度千帆平台构建AI APP的基础概念梳理
百度千帆平台构建AI APP的基础概念梳理
如果想制作大语言模型(LLM)相关的APP, 将利用百度的千帆平台在国内可能是最便捷的途径,因为百度开发了成熟的工作流,前些年还有些不稳定,现在固定下来了,但是对于刚了解的人还是有些眼花缭乱,在这里总结自己学习的一点心得。
appbuilder平台是入口(使用LLM,构建聊天机器人)
因为我们的目的是制作APP,所以appbuilder是入口,还有一个modelbuilder平台是训练模型用的,和我们暂时没大关系,进去以后按照流程一步一步走,大概率能构建出一个聊天的机器人,默认发布为网页模式,还可以发布到微信小程序模式等,支持openAPI调用,可以用gradio和streamlit调用openAPI构建聊天机器人应用。这时候的应用就仅仅是聊天,文字输入和输出。
关键词:聊天机器人,openAPI,LLM
调用组件,让LLM使用工具
在以上界面中会看到调用组件的选项,选择组件后,构建的APP就支持上传图片和文件,通过组件的功能来识别文字等,来把APP变成一个Agent,即一个可以使用工具的APP,比如一个看图说话的APP,就是通过组件识别图中的内容,然后用LLM对图中的内容进行加工实现的。构建好APP之后,用百度的提供的方式进行发布都是没有问题的,但是如果想外地调用的话openAPI就不灵了,这时候要选择SDK方式在gradio和streamlit等界面进行调用。SDK调用官方示例
比较典型的多模态输入例子(来自官方教程)
import os
import appbuilder# 注意以下示例正确运行依赖的条件包括:
# 1. 在百度智能云千帆AppBuilder官网使用AppBuilderClient创建应用且应用已发布
# 2. 密钥正确有效
# 3. 密钥需要与发布的应用正确对应,即需要使用发布应用的账户下的密钥# 配置密钥与应用ID
os.environ["APPBUILDER_TOKEN"] ="..."
app_id = "7016e0d3-451b-4a47-a818-dc0a16d4b496" # 初始化Agent实例
builder = appbuilder.AppBuilderClient(app_id)# 创建会话ID
conversation_id = builder.create_conversation()# 上传植物图片
file_id = builder.upload_local_file(conversation_id, "./app_builder_resources/tree.png" )# 植物识别
msg = builder.run(conversation_id, "请识别图中的植物类别", file_ids=[file_id])
print("植物识别助理回答内容:", msg.content.answer)
组件也可以单独使用,那就是百度的另外一个平台,智能云平台管理的,需要是可以参考相关的文档。
关键词:组件、SDK、agent
知识库,LLM问答的来源
知识库的意思是自定义的信息,就是把自己的知识作为APP问答的一个来源,百度把它归在modelbuilder平台里面。
关键词:知识库
总结
个人认为让LLM作为agent使用工具是比较有前景的一个方向,而使用百度千帆平台可以很快速地体验这个过程,了解了这些基础概念之后,就很容易上手了。