A2J icon indicating copy to clipboard operation
A2J copied to clipboard

好奇下载的网络有没finetuning过

Open SnowWindSaveYou opened this issue 3 years ago • 2 comments

做成了live版本测试了下,主要几个问题:

  1. 抗干扰能力差,画面中有手掌以外的物体(包括手臂)就会容易识别失误
  2. 识别错误时手的结构不再是手
  3. 手背准确性十分低,哪怕是手掌这样无遮挡的

第一个先把手部分割出来就好,用质心来识别手是粗糙了点, 第二个可以工程性的限制下,或者cyclegan矫正, 但第三个看起来是数据集问题,虽然或许加数据大概可以一定程度上解决,但设备原因重新训练的成本对咱来说还是比较高的, 所以咱想先问问看大大的model有没有用其他数据finetuning过,训练时有没旋转斜切之类的?(代码里没见到)

ps: 因为是sr300摄像头所以用的是hands2017的model psp: 不用cuda的话大概0.5 fps的样子,囧 pspp: 对于NYU选的14个关节点表示迷惑

SnowWindSaveYou avatar Jan 05 '22 08:01 SnowWindSaveYou

@SnowWindSaveYou 非常感谢使用我们的模型做尝试! 以上问题我的理解其实还是数据的偏差导致的,之前也有同学反映说mean、std对数据集效果十分敏感。 我们由于各种原因没有再对这个模型进行更新,不过你的建议我觉得很专业,确实目前的手center点获取比较粗糙,我理解用一个好一点的检测器甚至是分割模型会改善稳定性。也很感谢你提供的CPU-0.5fps的结论。

zhangboshen avatar Jan 11 '22 09:01 zhangboshen

@SnowWindSaveYou 你好,我想请教一下在训练之前是需要用matlab将深度图转为.mat文件吗

DuYawen1215 avatar Dec 01 '23 07:12 DuYawen1215