无脑——010 复现yolov8 使用yolov8和rt detr 对比，并训练自己的数据集
1.配置环境
1.
首先去官网下载yolov8的zip
https://github.com/ultralytics/ultralytics
存放在我的目录下G:\bsh\yolov8
然后使用conda创建新的环境
conda create -n yolov8 python=3.8
#然后激活环境
conda activate yolov8
然后安装pytorch，注意 ，pytorch1.10.1以后的版本才支持rtdetr.pt的两个权重文件。
conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=10.2 -c pytorch安装 ultralytics
pip install ultralytics
（然后我需要降低pillow的版本来适配我的pytorch，因为报错ImportError: DLL load failed while importing _imaging: 找不到指定的模块。：解决方法参考附录1，如果你们不需要请略过）
然后下载官网的权重文件：
https://github.com/ultralytics/assets/releases
这里我下载了一堆进行测试：
然后照一张图片进行测试，
可以参考官方文档
https://docs.ultralytics.com/modes/predict/#inference-arguments
自己照一张图片，放在G:\bsh\yolov8\datademo\bug.jpg里边
yolo detect predict model=weights/yolov8n.pt source=datademo\bus.jpg
运行结果如下图：
再拿一张自己随便拍的做测试，只能说种类越来越多了，之前yolov5那好像没有鼠标垫？
ps：
检测目录设置成文件夹就行。遍历文件夹里的所有文件进行检测。
yolo detect predict model=weights/yolov8n.pt source=datademo
顺便附上yolov8支持的检测参数
Usage - sources:$ yolo mode=predict model=yolov8n.pt source=0 # webcamimg.jpg # imagevid.mp4 # videoscreen # screenshotpath/ # directorylist.txt # list of imageslist.streams # list of streams'path/*.jpg' # glob'https://youtu.be/Zgi9g1ksQHc' # YouTube'rtsp://example.com/media.mp4' # RTSP, RTMP, HTTP streamUsage - formats:$ yolo mode=predict model=yolov8n.pt # PyTorchyolov8n.torchscript # TorchScriptyolov8n.onnx # ONNX Runtime or OpenCV DNN with dnn=Trueyolov8n_openvino_model # OpenVINOyolov8n.engine # TensorRTyolov8n.mlpackage # CoreML (macOS-only)yolov8n_saved_model # TensorFlow SavedModelyolov8n.pb # TensorFlow GraphDefyolov8n.tflite # TensorFlow Liteyolov8n_edgetpu.tflite # TensorFlow Edge TPUyolov8n_paddle_model # PaddlePaddle
测了刚才一圈，这些模型，除了yolov_nas的三个模型，都可以正常使用，据作者说暂时不打算加入yolo-NAS，那不知道为什么会有推理的模型，好奇怪
我还意外发现，yolov8s可以检测到键盘，其他的不行
2.训练自己的数据集
正在更新ing
2023年8月11日
还是使用yolov5准备的数据集，准备方法可以看我之前的文章
http://t.csdn.cn/MhxVF
然后运行代码：
yolo task=detect mode=train model=weights/yolov8s.pt data=./data/datazaoj1.yaml batch=4 epochs=50 imgsz=640 workers=4 device=0 close_mosaic=50
这里要把batch和worker调小，因为我的GTX 1060的显卡只有6G的显存，不然 就会电脑死机，记得，训练的过程中，不要打开谷歌浏览器，这玩意占用内存太多了，很容易导致训练失败。最后马赛克增强去掉，不然显存也不够
训练结果比yolov5效果好多了
Validating runs\detect\train16\weights\best.pt...
Ultralytics YOLOv8.0.150 Python-3.8.17 torch-1.10.1 CUDA:0 (NVIDIA GeForce GTX 1060, 6144MiB)
Model summary (fused): 168 layers, 11127906 parameters, 0 gradientsClass Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 2/2 [00:00<00:00, 7.51it/s]all 11 45 0.89 0.915 0.982 0.818yuanguojia 11 14 0.774 1 0.986 0.893naiguojia 11 6 0.866 1 0.995 0.879huanhuogai 11 7 0.848 1 0.995 0.795dianchi 11 6 0.883 1 0.995 0.829shuomingshu 11 6 0.966 1 0.995 0.851paomoban 11 6 1 0.491 0.924 0.662
Speed: 0.6ms preprocess, 14.5ms inference, 0.0ms loss, 1.5ms postprocess per image
Results saved to runs\detect\train16
| 名称 | 默认值 | 描述 |
|---|---|---|
| batch | 16 | 训练的批量大小 |
| model | null | 训练模型权重，可指定具体位置，如yolov8n.pt，yolov8n.yaml等 |
| epochs | 100 | 训练的轮次 |
| imgsz | 640 | 输入图像压缩后的尺寸 |
| device | null | 用于训练的设备，可选0或1或cpu等 |
| workers | 8 | 多线程数据加载，默认8 |
| data | null | 数据路径，使用自定义的yaml文件或者官方yaml |
| lr0 | float | 初始学习率 |
| lrf | float | 最终学习率（lr0 * lrf） |
| patience | 50 | 早期训练时，准确率如果没有显著上升则停止的轮次 |
| save | True | 是否需要保存训练的模型和预测结果 |
| cache | False | 使用缓存进行数据加载，可选True/ram, disk 或者 False |
| project | null | 项目名称 |
| name | null | 实验的名称 |
| exist_ok | False | 是否覆盖现有实验 |
| pretrained | False | 是否使用预训练模型 |
| optimizer | ‘SGD’ | 优化器，可选[‘SGD’, ‘Adam’, ‘AdamW’, ‘RMSProp’] |
| verbose | False | 是否打印详细输出 |
| seed | 0 | 重复性实验的随机种子 |
| deterministic | True | 是否启用确定性模式 |
| single_cls | False | 是否将多类数据训练为单类 |
| image_weights | False | 是否使用加权图像选择进行训练 |
| rect | False | 是否支持矩形训练 |
| cos_lr | False | 是否使用余弦学习率调度器 |
| close_mosaic | 10 | 禁用最后 10 个 epoch 的马赛克增强 |
| resume | False | 是否从上一个检查点恢复训练 |
| lr0 | 0.01 | 初始学习率(SGD=1E-2, Adam=1E-3) |
| lrf | 0.01 | 余弦退火超参数 (lr0 * lrf) |
| momentum | 0.937 | 学习率动量 |
| weight_decay | 0.0005 | 权重衰减系数 |
| warmup_epochs | 3.0 | 预热学习轮次 |
| warmup_momentum | 0.8 | 预热学习率动量 |
| warmup_bias_lr | 0.1 | 预热学习率 |
| box | 7.5 | giou损失的系数 |
| cls | 0.5 | 分类损失的系数 |
| dfl | 1.5 | dfl损失的系数 |
| fl_gamma | 0.0 | 焦点损失的gamma系数 (efficientDet默认gamma=1.5) |
| label_smoothing | 0.0 | 标签平滑 |
| nbs | 64 | 名义批次,比如实际批次为16,那么64/16=4,每4 次迭代，才进行一次反向传播更新权重，可以节约显存 |
| overlap_mask | True | 训练期间掩码是否重叠（仅限分割训练） |
| mask_ratio | 4 | 掩码下采样率 (仅限分割训练) |
| dropout | 0.0 | 使用 dropout 正则化 (仅限分类训练） |
然后如果有验证机可以试一下效果：
yolo task=detect mode=val model=runs/detect/train3/weights/best.pt data=data/fall.yaml device=0有这么多参数可以选择
| 名称 | 默认值 | 描述 |
|---|---|---|
| val | True | 在训练期间验证/测试 |
| save_json | False | 将结果保存到 JSON 文件 |
| save_hybrid | False | 保存标签的混合版本（标签+附加预测） |
| conf | 0.001 | 用于检测的对象置信度阈值（预测时默认 0.25 ，验证时默认0.001） |
| iou | 0.6 | NMS 的交并比 (IoU) 阈值 |
| max_det | 300 | 每张图像的最大检测数 |
| half | True | 使用半精度 (FP16) |
| dnn | False | 使用 OpenCV DNN 进行 ONNX 推理 |
| plots | False | 在训练期间显示图片 |
其实如果正常训练完成，会自动进行验证评估的，就是最后显示的那一些精准度
然后推理测试（模型预测）
yolo task=detect mode=predict model=runs/detect/train3/weights/best.pt source=data/images device=0| 名称 | 默认值 | 描述 |
|---|---|---|
| source | ‘ultralytics/assets’ | 图片或视频的源目录 |
| save | False | 是否保存结果 |
| show | False | 是否显示结果 |
| save_txt | False | 将结果保存为 .txt 文件 |
| save_conf | False | 保存带有置信度分数的结果 |
| save_crop | Fasle | 保存裁剪后的图像和结果 |
| conf | 0.3 | 置信度阈值 |
| hide_labels | False | 隐藏标签 |
| hide_conf | False | 隐藏置信度分数 |
| vid_stride | False | 视频帧率步幅 |
| line_thickness | 3 | 边界框厚度（像素） |
| visualize | False | 可视化模型特征 |
| augment | False | 将图像增强应用于预测源 |
| agnostic_nms | False | 类别不可知的 NMS |
| retina_masks | False | 使用高分辨率分割蒙版 |
| classes | null | 只显示某几类结果，如class=0, 或者 class=[0,2,3] |
结果比较满意
然后用rtdetr-x.pt试试，进行对比
同样的训练代码，worker=4训练不起来，改成了=2也不行，
然后就用rtdetr-l.pt测试了
yolo task=detect mode=train model=weights/rtdetr-l.pt data=./data/datazaoj1.yaml batch=2 epochs=50 imgsz=640 workers=1 device=0 close_mosaic=50
这是我的参数
然后结果：
Validating runs\detect\train20\weights\best.pt...
Ultralytics YOLOv8.0.150 Python-3.8.17 torch-1.10.1 CUDA:0 (NVIDIA GeForce GTX 1060, 6144MiB)
rt-detr-l summary: 498 layers, 31996070 parameters, 0 gradientsClass Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 3/3 [00:00<00:00, 3.91it/s]all 11 45 0.687 0.941 0.951 0.738yuanguojia 11 14 0.699 1 0.885 0.79naiguojia 11 6 0.552 1 0.927 0.868huanhuogai 11 7 0.719 1 0.995 0.729dianchi 11 6 0.475 1 0.995 0.79shuomingshu 11 6 0.676 1 0.995 0.787paomoban 11 6 1 0.644 0.909 0.466
Speed: 1.0ms preprocess, 60.0ms inference, 0.0ms loss, 1.3ms postprocess per image
Results saved to runs\detect\train20
就到这里，然后去重新装个pytorch。
1.10.1 + 10.2cuda的torch官方配的是0.11.2的torchvision，即使版本对的，也是会出现这个问题。
后来给降到了1.10.0torch + 0.11.0torchvision，
正在配置ing
conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=10.2 -c pytorch
附录1
1.pillow库报错
ImportError: DLL load failed while importing _imaging: 找不到指定的模块。
(yolov8) PS G:\bsh\yolov8> pip show pillow
Name: Pillow
Version: 9.3.0
看出，报错是因为pillow版本过高，直接安装8.0版本即可
pip install pillow==8.0
2.yolo_nas测试问题
安装pip install super_gradients之后还是报错LooseVersion = distutils.version.LooseVersion
AttributeError: module ‘distutils’ has no attribute ‘version’
然后又安装的pip install setuptools==59.5.0