当前位置: 首页 > news >正文

GPT-Crawler一键爬虫构建GPTs知识库

GPT-Crawler一键爬虫构建GPTs知识库

  • 写在最前面
  • 安装node.js
  • 安装GPT-Crawler
  • 启动爬虫
  • 结合 OpenAI
    • 自定义 assistant
    • 自定义 GPTs(笔者用的这个)
  • 总结

写在最前面

GPT-Crawler一键爬虫构建GPTs知识库
能够爬取网站数据,构建GPTs的知识库,项目依赖node.js环境,接下来我们按步骤来安装,非常简单

参考:https://zhuanlan.zhihu.com/p/668700619

安装node.js

Node.js下载地址:https://nodejs.org/en
下载20.10.0版本即可,下载后一路默认安装

在这里插入图片描述

安装完成后在命令行输入node -v,显示版本则安装成功

在这里插入图片描述

安装GPT-Crawler

项目地址:https://github.com/BuilderIO/gpt-crawler
这个项目能爬取网站数据,生成用于创建GPTs的知识库文件
打开项目地址后,点击【Code】,下载压缩文件,保存到电脑本地解压

VSCode官网下载:https://code.visualstudio.com/Download

用VSCode编码工具打开,
或者点开VSCode,左上角文件,点击打开文件夹,地址选择解压的地址

切换到项目目录(例如我的是C:\Users\Yu\Desktop\gpt-crawler-main\gpt-crawler-main>),右键,选择在集成终端中打开
输入npm install,把项目依赖包进行安装

在这里插入图片描述

启动爬虫

npm start

日志输出下面这些为正常:

在这里插入图片描述

最后程序会在项目根目录输出文件output.json,这就是我们需要的文件。
输出的文件就在该目录下
点开看一下,很完美

在这里插入图片描述

结合 OpenAI

这步需要一个 OpenAI 账户,我们需要将生成的文件上传给 OpenAI。

自定义 assistant

选择 assistant 的优势是,我们可以使用 OpenAI 提供的 assistant API,集成到自己的系统中。

操作步骤:
1、进入自定义 Assistants 页面https://platform.openai.com/assistants
2、创建一个 Assistant
3、添加上面生成的output.json文件
4、配置其他选项

上传配置完点击保存,然后开始测试:

自定义 GPTs(笔者用的这个)

自定义 GPTs 和上面的操作类似,大家自行体验。GPTs 需要大家付费 Plus,并且官方似乎还没有提供 GPTs 的 API 可用。

总结

GPT Crawler 项目能让我们只做简单的配置,即可自定义自己的知识库。结合 OpenAI 的 API,能够做很多的事情。大家自行体验。

http://www.lryc.cn/news/253655.html

相关文章:

  • 在微信小程序中如何改变默认打开的页面
  • Ardupilot开源飞控之VTOL之旅:配件试装
  • STM32-GPIO
  • MySQL的事务
  • go-carbon v2.2.14 发布,轻量级、语义化、对开发者友好的 Golang 时间处理库
  • 解决 IIS HTTP 403 错误问题
  • 字符设备驱动基础—并发控制
  • 5-Tornado入门、程序的原理图、tornado不能使用同步代码的演示
  • mysql原理--InnoDB记录结构
  • ES6基础语法
  • java8 常用code
  • docker 镜像管理
  • Jira 中如何修改时间为绝对时间
  • 班级查分软件制作教程:老师必备技能!
  • Linux 的性能调优的思路
  • 如何通过webdriver禁用浏览器定位功能
  • 网卡bonding绑定
  • flink运行报Exception in thread “main“ java.lang.IllegalStateException
  • 易点易动设备管理系统--提升设备备品备件管理效率的工具
  • 第二十一章——网络通信
  • Siemens-NXUG二次开发-打开与关闭prt文件[Python UF][20231206]
  • 2015年五一杯数学建模C题生态文明建设评价问题解题全过程文档及程序
  • java:slf4j、log4j、log4j2、logback日志框架的区别与示例
  • Mysql学习查缺补漏----02 mysql之DCL 数据控制语言
  • 【Flink基础】-- 延迟数据的处理
  • 通过keepalived+nginx实现 k8s apiserver节点高可用
  • JavaScript 数组
  • 【数据结构】二叉树的实现
  • 振弦采集仪在土体与岩体监测中的可靠性与精度分析
  • C语言进阶之路-指针、数组等混合小boss篇