人工智能_普通服务器CPU_安装清华开源人工智能AI大模型ChatGlm-6B_001---人工智能工作笔记0096

使用centos安装,注意安装之前,保证系统可以联网,然后执行yum update

先去更新一下系统,可以省掉很多麻烦 20240219_150031

这里我们使用centos系统吧,使用习惯了.

ChatGlm首先需要一台个人计算机,或者服务器,

要的算力,训练最多,微调次之,推理需要算力最少

其实很多都支持CPU,但为什么要用GPU,因为CPU,占用内存要32G以上,然后,

CPU回答问题,需要十几分钟或者半个小时才有结果.

ChatGPT的训练一次要1200万美元...成本很高.

   如果你想用8G内存,普通电脑安装就算了,装不上的,至少32G内存,才能安装最小的,并且,安装不会顺利可能出现,多次安装不成功的情况,需要多次尝试,所以最好用AI服务器吧,或者租用在线的AI服务器,AI服务器安装版,那个博文里有推荐AI服务器租用.

   使用普通CPU,32G安装有个问题,以后回答问题会很慢,大概10到25分钟才能给出回答结果.

   使用算力

1.首先说明:GitHub的官网是:

https://github.com/THUDM/ChatGLM-6B

从这里可以下载:

这样下载就可以了,这个是算法,代码,并不大,大小只有不到7MB