本地运行AI大模型简单示例
一、引言
大模型LLM英文全称是Large Language Model，是指包含超大规模参数（通常在十亿个以上）的神经网络模型。2022年11月底，人工智能对话聊天机器人ChatGPT一经推出，人们利用ChatGPT这样的大模型帮助解决很多事情，提高人们的工作效率。
利用大模型，多模态，RAG等具体技术，各种AI应用在各行各业落地。这些技术往往需要很高GPU算力等服务器资源，那么如何在本地运行大模型呢，发现了一个帮助在本地电脑运行大模型的工具 ollama。
二、简介
本文会介绍一下ollama如何安装以及运行大模型并和大模型进行交互对话，帮助我们回答问题，进行问答交互。
三、实践
- 下载安装ollama环境，访问ollama官网 就可以看到可爱的羊驼了，（Meta AI Meta AI 发布的预训练大语言基础模型（Large Language Model Meta AI）也就是LLaMA翻译过来就是羊驼的意思）。
根据自己电脑操作系统下载即可，ollama支持macOS, Linux, and Windows (preview)。
ollama 官网有模型库，选择自己感兴趣的大模型，敲命令就可以运行了，首次运行会先下载大模型包，大家要注意自己的磁盘大小。
- 使用命令运行大模型
ollama run llama2
- 这样就可以直接通过命令行和大模型进行问答交互了。
这样，通过命令行就可以和 llama2 大模型进行基本的问答了。