吕文玉
> 用resnet18,backbone 深度不变，宽度变为0.5；其余设置如下 HybridEncoder: hidden_dim: 192 use_encoder_idx: [2] num_encoder_layers: 1 encoder_layer: name: TransformerLayer d_model: 192 nhead: 8 dim_feedforward: 512 dropout: 0. activation: 'gelu' expansion: 0.5 depth_mult: 0.67 > > 学习率为0.0005...
> 期待大佬的讲座以及pytorch版本的re-detr,主要想试一试pytorch版的ssld_v2预训练模型。 @ocrhei 是需要resnet的预训练嘛，torch的bakcbone我先上传了一版本 https://github.com/lyuwenyu/RT-DETR/blob/main/rtdetr_pytorch/src/resnet.py - [ResNet101_vd_ssld_pretrained_from_paddle.pth](https://pan.baidu.com/s/18SVBZhsyVELFWO_fbt248w?pwd=5x6q) 提取码: 5x6q - [ResNet50_vd_ssld_v2_pretrained_from_paddle.pth](https://pan.baidu.com/s/1Z6jukqldPbZUE3eRppg8QQ?pwd=6eip) 提取码: 6eip - [ResNet34_vd_pretrained_from_paddle.pth](https://pan.baidu.com/s/15MOSBGkPdtnn-luF0MtT0w?pwd=84pe) 提取码: 84pe - [ResNet18_vd_pretrained_from_paddle.pth](https://pan.baidu.com/s/1Lck-Kkg84c0nvAygLR4N0g?pwd=mg64) 提取码: mg64
> 没有现成的预训练，毕竟整个都缩放了的 > […](#) > ---原始邮件--- 发件人: ***@***.***> 发送时间: 2023年7月3日(周一) 上午9:24 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [lyuwenyu/RT-DETR] 关于RT-DETR相关问题/讨论/使用可留言 (Issue #1) 用resnet18,backbone 深度不变，宽度变为0.5；其余设置如下 HybridEncoder: hidden_dim: 192 use_encoder_idx: [2] num_encoder_layers: 1...
这个在pytorch里是不需要改代码， 可以在优化器的位置改 使用 param_group: 把backbone的参数单独放一个group 其中lr = base_lr * 0.1就行了， @ocrhei
> @lyuwenyu Hi, can I ask you to check this fix PR [PaddlePaddle/PaddleDetection#8409](https://github.com/PaddlePaddle/PaddleDetection/pull/8409)? After the SSOD PR merged, iou_score is set to None. @nijkah done, good job. If you want...
> @lyuwenyu 大佬您好，我对RT-DETR非常感兴趣，打算后续的课题以它为基础开展。由于我对yolov8项目比较熟悉，所以目前没打算在yolov8项目上应用和改进RT-DETR，目前有2个问题： > > 1、在YOLOv8项目上运行RT-DETR的yaml文件，能够显示参数量信息，但是不显示FLOPs信息（已排除thop包的问题），请问能否完善一下？ > > 2、YOLOv8项目上只有rt-detr-l.yaml和rt-detr-x.yaml，能够补充以resnet为backbone的rt-detr.yaml文件吗？ > > 期待您的回复~ @kuguahentian 1. yolov8项目的问题 你可以在[ultralytics/ultralytics/issues](https://github.com/ultralytics/ultralytics/issues)问一下 2. resnet系列的backbone和预训练 我已经上传[在这](https://github.com/lyuwenyu/RT-DETR/tree/main/rtdetr_pytorch), 你需要适配一下(换一下backbone) [ultralytics.com/models/rtdetr](https://docs.ultralytics.com/models/rtdetr/)就行
> @lyuwenyu 大佬您好，我在复现rtdetr_hgnetv2_l_6x_coco的效果时，训完发现mAP=0.522，距离0.53还是有点差距。唯一的区别应该就是batchsize=4并且是单卡训练，只能加个梯度累计，加在了ppdet/engine/trainer.py里面： @yangyuya 看着没啥问题， 原版的是batch_size==4x4, 这样你accumulate_batchs_num应该是4吧 ？ 另外训练过程中不加不要加amp，再确认一下梯度累加的位置没问题就行。 我把logs上传了 你跑时候看下前面的能对上不 https://github.com/lyuwenyu/RT-DETR/issues/8
> 大佬，想问问rt-detr的Efficient Hybrid Encoder模块设计的motivation是？比如CCFM的结构设计主要是参考哪篇论文或怎么想出来的，还有怎么发现用单层的S5进行seft_att比多个尺度的特征进行seft_att效果好。期待大佬的解答 @lyuwenyu @jiinhui （ **可以先star本项目持续关注动态** --- 大致的一个思路吧 1. 目标，在保持精度的情况下，把encoder的速度降下来 2. 分析，encoder的时间复杂度 ~ O(L^2)，在640输入+多尺度特征的情况下 L = (20^2 + 40^2 + 80^2); 3. 分析，在这里原始的encoder其实没有了层次的概念了，直接输入拉平输入到transformer 4. 分析，想要速度快就要减小 L --> 同层内interaction...
> 新入坑, 很优秀的工作! 从paper里面看, 整个工作并没有用到deformable attention对吧? @noringname 感谢认可。 decoder里的attn用的是deformable attn
> 训练自己的数据集出现这样的报错： ValueError: (InvalidArgument) Sum of Attr(num_or_sections) must be equal to the input's size along the split dimension. But received Attr(num_or_sections) = [84], input(X)'s shape = [2166784], Attr(dim) = 0....