6G内存运行Llama2-Chinese-7B-chat模型

Llama2-Chinese中文社区

第一步：

从huggingface下载 Llama2-Chinese-7b-Chat-GGML模型放到本地的某一目录。

第二步：

执行python程序

git clone  https://github.com/Rayrtfr/llama2-webui.gitcd llama2-webui && pip install -r requirements.txt# 注意这里的/path/ggml-model-q4_0.bin换成你本地下载的模型路径
python app_4bit_ggml.py \
--model_path /path/ggml-model-q4_0.bin

本地浏览器打开: http://127.0.0.1:8090