Shiwei Hou

`yolov5.py`里有很多未定义变量

你可以将Coco数据集中标注由17个点转为仅含有body的12个点，然后修改下关键点的顺序即可，或者也可以修改源码适应于原来的coco标注。 fantasystarwd 于2020年3月18日周三 下午3:21写道： > 目前正在嘗試一些新的姿態估計方法，剛好看到了這篇，因此想要嘗試自己跑一次訓練，但原始給的ai-challenger的網頁已經關閉，因此想問一下能否分享您目前在使用的training > data? > > — > You are receiving this because you are subscribed to this thread. > Reply to this email directly, view...

1. 我试过取平方根做归一化, 但loss计算的时候发现特别特别小, 我就直接取1了, 效果还行, 不过你可以尝试下使用论文的方法来做 2. 我不是很明白你的意思, 论文是通过父jioint的偏移值来学习子joint的位置, 是个回归操作, 并不是类似之前的直接对每一个关键点学习一个heatmap xskxushaokai 于2019年11月26日周二 下午12:16写道： > 感谢实现！ > 基于你的代码移植了pytorch版本，过程中发现两个问题。 > > 1. > > 论文中Z值取了输出map的长宽均方根，为了对回归值做归一化，你的实现中Z值取了1，有可能导致回归不好学吧，不知道你的模型表现如何？ > 2. > > 按照我对paper的理解，每个joint map...

@xskxushaokai 子节点回归的位置确实都是在父节点的地方, 因为本来就是按照父节点的位置找一个offset求得子节点位置, 这样才能判断哪些点是组成同一个人的关节点. 我还是不是很理解你说的是什么意思, 你认为是只从一个center point回归出所有的关节点效果会不好吗?

@xskxushaokai sorry, 我理解了你的意思, 假如有个路径, 是从center point -> neck -> head, 我的做法是先找到center point, 然后根据上面的偏移去找neck点, 找到neck点的位置, 在heatmap上找到neck点位置对应的偏移找head点. 你的意思是center point直接回归出2个点的偏移, 一个是neck, 另外一个是相对于neck点偏移的head, 但都是在center point位置处, 不知道这样说对不对? 我也无法确定哪种理解是正确的, 等作者开源吧

@xskxushaokai @uestcjackey @ManiaaJia @zhly0 刚才又看了下论文以及之前和作者的讨论, 作者关于center点的offset处理确实是采用了 @xskxushaokai 说的方法, 这是作者回复我的: ``` 关于hierarchical SPR，我们只预测了root joint的heatmap。对于其他joints，我们会预测某一个joint相对于其parent joint的offset，并将此offset按顺序排列起来。做inference的时候，我们会先取出root joint的位置，然后依次按顺序去累加每个joint相对于其parent joint的offset，以得到每个joint的位置。具体可以参考文章中Eqn. (6), (7) and (8). ``` 按照这段话的意思应该就是只预测出一个root 点, 然后直接在root点上回归出N个joint的offset, 只不过这个offset是hierarchical的, 而不是像**Objects As Points**中那样, 直接回归N个joint相对于center点的offset的, 我会在代码中进行更改并测试训练结果.

@xskxushaokai 你的pytorch版本 spm训练的如何? 我按照之前改的label生成方式去训练, 发现第一级的回归值特别大, 例如 center point -> right shoulder这个offset特别大, 但right shoulder->right elbow是正确的. 我训练了5个epoch, 模型能够学习出来第二级到第三级, 第三级到第四级的offset, 但从center point到其它位置的offset没有办法很好的学习出来.

@xskxushaokai 方便共享下你的pytorch代码吗?

@Dantju SPM和centernet其实没有融合的必要,二者都是对关键点表述的两种不同的方式,没有必要强行融合. AI数据集放在了公司服务器上,上传很慢,你可以修改源码去训练COCO数据集,主要是在label的生成那里,并不是特别麻烦

@Dantju 没有做过这个工作,你可以修改源码适应COCO的label