RTDETRv2

[lyuwenyu]

https://arxiv.org/abs/2407.17140

---

I will release the rtdetrv2 soon, which will provide a better deployment experience and higher accuracy.

You can start this repo to follow news

---

The AP of rtdetrv2_r18vd on the COCO-val2017 dataset is increased by 1.4 and maintains the same inference speed compared with RTDETRv1. In addition, in order to make rtdetr everywhere, we provide rtdetrv2_r18vd_dsp that utilizes discrete deformable attention instead of deformable attention with negligible differences on AP₅₀^val compared with rtdetrv2_r18vd.

Figure

[CatfishW]

v2有哪些结构上的变化呀ovo

[huihui308]

Do you have smaller model which can be trained on 3080ti?

[Ryanshuai]

求大佬更新pytorch v2！

[leoxxxxxD]

@lyuwenyu 大佬 v2年前可能开源吗

[BUG1989]

@lyuwenyu 大佬，来催更了。之前的预训练模型里面的 add op 有 infinity 数据。模型量化会有问题

[BUG1989]

我的问题我们已经解决了，在我司的芯片上运行效果挺好。

• https://zhuanlan.zhihu.com/p/683445595

[SoulProficiency]

RTDETR可以转rknn吗？

[SoulProficiency]

我的问题我们已经解决了，在我司的芯片上运行效果挺好。

老哥，你们的芯片是rk的吗？

[BUG1989]

我的问题我们已经解决了，在我司的芯片上运行效果挺好。

老哥，你们的芯片是rk的吗？

爱芯元智，AX650N

[zhouzq-thu]

waiting

[Peterande]

您好，请问v2有投稿意向吗？能得知大概会在什么时间范围内放出嘛？ 我也有意向将RT-DETR这个IP做下去，像YOLO一样形成V2,V3....并且也取得了一些成果， 但似乎在您的官方v2发布前我无法擅自进行这种延续性的命名qwq

[lyuwenyu]

您好，请问v2有投稿意向吗？能得知大概会在什么时间范围内放出嘛？ 我也有意向将RT-DETR这个IP做下去，像YOLO一样形成V2,V3....并且也取得了一些成果， 但似乎在您的官方v2发布前我无法擅自进行这种延续性的命名qwq

---

@Peterande 非常抱歉本issue名字给你带来的困扰

---

另外也非常高兴社区有RTDETR方向的优化，非常期待成果。( 这也是我们开源的目的之一 )

1. RTDETRv2是我们刚发布v1之后的产物，是我们对RTDETR的优化版本（主要是训练策略and部署方面的优化，模型结构和v1是一致的，可能叫v1.5更合适）。所以从创新的的角度，应该不会和你有冲突
2. RTDETRv2模型本来是有开源的计划，但是由于缺少人手的问题目前未能开源，也未形成技术报告/论文（模型限内部使用，但是不排除之后会直接开源代码）
3. 鉴于本discussionhttps://github.com/lyuwenyu/RT-DETR/issues/179 已经存在的事实，建议你直接用v3，但是论文不需要和v2进行比较

如果有疑问和其他想法 欢迎继续讨论

[Peterande]

您好，请问v2有投稿意向吗？能得知大概会在什么时间范围内放出嘛？ 我也有意向将RT-DETR这个IP做下去，像YOLO一样形成V2,V3....并且也取得了一些成果， 但似乎在您的官方v2发布前我无法擅自进行这种延续性的命名qwq

@Peterande 非常抱歉本issue名字给你带来的困扰

另外也非常高兴社区有RTDETR方向的优化，非常期待成果。( 这也是我们开源的目的之一 )

1. RTDETRv2是我们刚发布v1之后的产物，是我们对RTDETR的优化版本（主要是训练策略and部署方面的优化，模型结构和v1是一致的，可能叫v1.5更合适）。所以从创新的的角度，应该不会和你有冲突
2. RTDETRv2模型本来是有开源的计划，但是由于缺少人手的问题目前未能开源，也未形成技术报告/论文（模型限内部使用，但是不排除之后会直接开源代码）
3. 鉴于本discussion (comming soon)已经存在的事实，建议你直接用v3，但是论文不需要和v2进行比较

如果有疑问和其他想法 欢迎继续讨论

非常感谢您的解答和分享！我已经明白了RTDETRv2的情况，也感谢您团队对社区的贡献和开源精神。

[lyuwenyu]

https://arxiv.org/abs/2407.17140

[Ryanshuai]

https://arxiv.org/abs/2407.17140

感谢感谢，现在就卡在 deformable attention，好多板子支持的不好。 感谢！

[defrag-bambino]

源代码什么时候到？

https://arxiv.org/abs/2407.17140

[babakbch]

Hi How can I create a Confusion Matrix for my val/test set?

[imyhxy]

你好，我使用rtdetv2_r18vd_120e_coco.yaml训练，最终结果为47.6，与论文中的48.1存在一定差距，请问有可能是什么原因。

这是训练命令：

export CUDA_VISIBLE_DEVICES=0,1,2,3

python -m torch.distributed.run \
  --master_port=9909 \
  --nproc_per_node=4 \
  tools/train.py \
  --config configs/rtdetrv2/rtdetrv2_r18vd_120e_coco.yml \
  --use-amp \
  --seed 0

这是训练记录： log.txt

训练结果截图：

[lyuwenyu]

@imyhxy 可以使用最新的torch版本再试一下, 这是48.1的log https://github.com/lyuwenyu/storage/releases/download/v0.2/log_rtdetrv2_r18vd_120e_coco_rerun_48.1.txt

[lyuwenyu]

Hi How can I create a Confusion Matrix for my val/test set?

This repo has no relevant tools. You need to find third-party tools. @babakbch

[imyhxy]

@lyuwenyu 我使用了torch 2.4.1来训练的，我也对比了提供日志中的超参数，和我训练的基本一致的，只有collate_fn有区别，日志是CollateFuncion，仓库里的配置是BatchImageCollateFuncion。

请问你使用了的pytorch，opencv，CUDA和cudnn版本是多少。

[lyuwenyu]

这些都没有记录 日志上传的时间是在8月份时候 torch应该是用的2.4吧。 不好意思 时间有点久了 机器已经释放了。 @imyhxy

[flytocc]

你好，我使用rtdetv2_r18vd_120e_coco.yaml训练，最终结果为47.6，与论文中的48.1存在一定差距，请问有可能是什么原因。

我把rtdetrv2移植到mmdet上试了一下repo，精度47.5 (torch 2.2.1)

[lyuwenyu]

这是完整的log可以参考下，另外建议用最新的torch和torchvision。 @flytocc
https://github.com/lyuwenyu/storage/releases/download/v0.2/log_rtdetrv2_r18vd_120e_coco_rerun_48.1.txt

[valldynsyahdanuarta]

when i train this model into custom data it generate log files and it just contain the train loss, so my question is how i can add the validation loss when training and plot it together?

[zoldaten]

is RTDETRv2 really bit YOLO?

i have compared speeds on raspberry pi 4b and got results as follows: RT-DETRv2: RT-DETRv2-S pt version - 6-7 sec RT-DETRv2-S onnx version - 3-4 sec RT-DETRv2-S onnx simlify - 3 sec https://www.youtube.com/watch?v=qYkq9wydcKY

YOLO: yolo11n.pt 640x640 - 1,4 sec
yolo11n.onnx imgsz=dynamic int8 - 726ms yolo11n.onnx imgsz=256 int8 - 333ms https://www.youtube.com/watch?v=0rnizyI0ty4

[zhang123-lf]

我的问题我们已经解决了，在我司的芯片上运行效果很好。

老哥，你们的芯片是rk的吗？

爱芯元智，AX650N

大佬，请问rtdetrv2推理的帧率能达到多少呢