Docker部署Meta-Llama-3.1-70B-Instruct API openai格式，vLLM速度对比

下载模型

modelscope环境，国内下载更快：

conda create -n modelscope python=3.10
conda activate modelscope

pip install modelscope

命令行下载：
https://modelscope.cn/models/LLM-Research/Meta-Llama-3.1-70B-Instruct

modelscope download --model 'LLM-Research/Meta-Llama-3.1-70B-Instruct' --local_dir '/data/xiedong/LLM-Research/Meta-Llama-3.1-70B-Instruct'</