Chinese-LLaMA-AIpaca

文章目录

• • 关于 Chinese-LLaMA-Alpaca
  • 一、LLaMA模型 --> HF格式
  • 二、合并LoRA权重，生成全量模型权重
  • • 方式1：单LoRA权重合并
    • 方式2：多LoRA权重合并（适用于Chinese-Alpaca-Plus ）
  • 三、使用 Transformers 进行推理
  • 四、使用 webui 搭建界面
  • • 1、克隆text-generation-webui并安装必要的依赖
    • 2、将下载后的lora权重放到loras文件夹下
    • 3、将 HuggingFace 格式的 llama-7B 模型文件放到 models 文件夹下
    • 4、复制 lora 权重的 tokenizer 到 mode