使用LLaMA-Factory微调时的问题与解决方案记录
文章目录
- 如何指定微调使用的显卡
- 如何解决显卡通信导致的报错
- 模型微调的实际epoch和step如何计算
- 如何实现多卡全量微调
- 模型微调后的结果如何查看
- 模型测试后的指标如何理解
如何指定微调使用的显卡
启动网页时使用这种执行命令
CUDA_VISIBLE_DEVICES=5,6,7 llamafactory-cli webui
如何解决显卡通信导致的报错
训练时碰到了这种错误
NotImplementedError: Using RTX 4000 series doesn't support faster communication broadband via P2P or IB. Please set `NCCL_P2P_DISABLE="1"` and `NCCL_IB_DISABLE="1" or use `accelerate launch` which will do this automatically.
启动