当前位置: 首页 > news >正文

在MindSearch中使用SiliconCloud:全面指南**

随着硅基流动(SiliconFlow)提供的InternLM2.5-7B-Chat服务的免费开放,我们迎来了MindSearch部署的全新篇章。这一服务的免费提供,不仅极大地降低了部署门槛,还为MindSearch的使用者带来了纯CPU版本的便利。本文将为您详细介绍如何利用硅基流动的API来部署MindSearch。

快速开始

首先,您需要访问硅基流动的官方网站并注册一个账号。如果您已经注册过,直接登录即可。

  1. 注册/登录硅基流动账号

    访问 硅基流动云平台 进行注册或登录。

  2. 获取API Key

    完成注册后,前往 API密钥管理 页面。在这里,您需要创建一个新的API密钥并复制它,以便后续使用。

    API密钥创建

配置MindSearch

硅基流动的API接口与OpenAI的API接口完全一致,这使得配置过程变得异常简单。首先,您需要克隆MindSearch到本地,并安装所需的依赖项。具体的安装指南可以参考 MindSearch的GitHub仓库。

接下来,您需要修改MindSearch的配置文件,以便接入硅基流动的API。

  1. 修改配置文件

    打开/path/to/MindSearch/mindsearch/models.py文件,并添加以下配置:

    internlm_silicon = dict(type=GPTAPI,model_type='internlm/internlm2_5-7b-chat',key=os.environ.get('SILICON_API_KEY', 'YOUR SILICON API KEY'),openai_api_base='https://api.siliconflow.cn/v1/chat/completions',meta_template=[dict(role='system', api_role='system'),dict(role='user', api_role='user'),dict(role='assistant', api_role='assistant'),dict(role='environment', api_role='system')],top_p=0.8,top_k=1,temperature=0,max_new_tokens=8192,repetition_penalty=1.02,stop_words=['<|im_end|>'])
    

启动MindSearch

配置完成后,您可以开始启动MindSearch。

  1. 启动后端

    设置硅基流动的API Key,并启动MindSearch的后端服务:

    # 设置API Key
    export SILICON_API_KEY=您复制的密钥
    # 启动服务
    python -m mindsearch.app --lang en --model_format internlm_silicon --search_engine DuckDuckGoSearch
    
  2. 启动前端

    使用Gradio前端启动MindSearch。如果您使用的是其他前端,请参考MindSearch的README文档。

    python frontend/mindsearch_gradio.py
    

体验效果

启动完成后,您可以开始体验MindSearch的强大功能。响应速度非常快,用户体验极佳。

响应速度

部署到HuggingFace Space

您还可以选择将MindSearch部署到HuggingFace的Space中。

  1. 创建Space

    访问 HuggingFace Space 创建一个新的Space。

    创建Space

  2. 设置API Key

    创建成功后,进入Space的设置页面,配置API Key。

    设置API Key

  3. 上传文件

    将MindSearch目录、requirements.txtapp.py文件上传到Space中。

    上传文件

    app.py的具体内容请访问 HuggingFace Space上的MindSearch_X_SiliconFlow 查看。


http://www.lryc.cn/news/439217.html

相关文章:

  • C++(2)之Linux多线程服务端编程总结
  • 【AI视频】复刻抖音爆款AI数字人作品初体验
  • Mysql 面试题总结
  • stack - queue
  • 微软九月补丁星期二发现了 79 个漏洞
  • 研1日记12
  • Rocky Linux 9安装mysqlclient库报错的解决方法
  • Spring Boot母婴商城:安全、便捷、高效
  • php实现kafka
  • YOLOv10改进系列,YOLOv10损失函数更换为Powerful-IoU(2024年最新IOU),助力高效涨点
  • 工具知识 | Linux 常用命令参考手册
  • mysql 常用知识点总结
  • conda常用指令
  • 前后端分离项目--下载功能
  • PMP--一模--解题--81-90
  • 计算机网络 --- 【2】计算机网络的组成、功能
  • 『功能项目』切换职业技能面板【49】
  • 寻找排名好的自闭症学校?这些关键因素不可忽视
  • Git常用命令(记录)
  • STM32+ESP8266 WiFi连接机智云平台APP远程控制教程
  • 学懂C++(六十):C++ 11、C++ 14、C++ 17、C++ 20新特性大总结(万字详解大全)
  • 杭电1008电梯
  • 【Python小知识 - 2】:在VSCode中切换Python解释器版本
  • ubuntu meson安装
  • 记者协会评审系统-需求分析
  • python 检索与该查询最相似的句子 使用库hflayers和sentence_transformers来实现遇到的问题
  • 计算机毕业设计 在线新闻聚合平台的设计与实现 Java+SpringBoot+Vue 前后端分离 文档报告 代码讲解 安装调试
  • 【机器学习随笔】概率论与实际问题的对应
  • C++初阶学习——探索STL奥秘——模拟实现list类
  • 生命之光不灭:帕金森综合征晚期,如何携手共度温暖岁月