movenet.pytorch
movenet.pytorch copied to clipboard
fire717
A Pytorch implementation of MoveNet from Google. Include training code and pre-trained model.
Hi fire717，感谢无私的分享。我看你在 dataset 中对 reg 不仅仅是在当前中心赋值，也在周围赋值，据你所说是为了加快收敛。但是在实际的 reg loss中，你只是用的当前中心的值，这是为什么呢? 代码如下: ``` def regsLoss(self, pred, target, cx0, cy0, kps_mask, batch_size, num_joints): #[64, 14, 48, 48] _dim0 = torch.arange(0,batch_size).long() _dim1 = torch.zeros(batch_size).long() loss...
我將config 的img_size 變更為384之後 先是發生 cuda memory 爆掉 RuntimeError: CUDA out of memory. Tried to allocate 82.00 MiB (GPU 0; 7.93 GiB total capacity; 6.47 GiB already allocated; 63.56 MiB free;...
作者大佬,能否提供您基于人体姿态的模型,作为预训练的基础模型? 这样当我们训练自己特定的数据,比如手部关键点识别,就可以在预训练的模型上再次训练,加快训练速度. thanks a lot!!!
https://github.com/fire717/movenet.pytorch/blob/bbc81408bd4da49789d912fd08635355fe123e60/lib/data/data_tools.py#L123-L136 您好，感谢您的分享，看了这段关于reg生成heatmap的代码，是在cx，cy周围（左与上边2个pixel；右与下边3个pixel）也附上reg值,但在不同位置时调整偏移是根据 `img_size//4/2-1`，相当与图的一半。这样的操作导致比如 - cx,cy在图上半部分，reg值在cx,cy周围反而偏多或少了?
我从九月到现在的心路历程和你的专栏里写的非常接近，但是苦于技术实力，两个礼拜了都没有复现成功，感谢作者的开源。
Hi Author， 我拜读了有关代码。看起来目前的版本只支持Lightning。所以基于目前的代码，我做了一些修改。使其可以训练thunder版本，重要的修改如下： 1. 采用coco 2017, 用make_coco_data_17keypooints.py进行过滤产生新的dataset 2. 修改movenet_mobilenetv2.py，根据width mult 1.75调整网络参数，以及相应的upsample参数 3. 修改movenet_loss.py，加载thunder的权重矩阵。这个权重矩阵我自己写代码产生，核心算法如下： ft_size = 64 delta = 1.8 weight_to_center = torch.zeros((ft_size, ft_size)) y, x = np.ogrid[0:ft_size, 0:ft_size] center_y, center_x...
Hi, Can this repo be used to fine-tune the official tflite models of lightning and thunder? Please guide me through the process if this is possible. Thanks
感谢fire717老师分享的代码实现和解析文章。我拜读之后感到受益匪浅。 这边对于mobilenet_v2的代码实现有一点细节方面的问题，不知道老师您能否为我解惑？ 这是本repo对于InvertedResidual模块的[实现](https://github.com/fire717/movenet.pytorch/blob/95ec8535245228aa4335243e68722810e50bcaf8/lib/models/movenet_mobilenetv2.py#L115)： ``` def forward(self, x): x = self.conv1(x) for _ in range(self.n): x = x + self.conv2(x) return x ``` 以下是参考[torchvision](https://pytorch.org/vision/stable/_modules/torchvision/models/mobilenetv2.html)中的mobilenet_v2实现中对应的部分： ``` # building inverted residual blocks for...
請問一下 關於下面這行ground truth https://github.com/fire717/movenet.pytorch/blob/95ec8535245228aa4335243e68722810e50bcaf8/lib/task/task.py#L187 請問為何需要經過decode?? 我的理解是直接讀取jason file得到位置 但這邊跟predict一樣 似乎丟進model去decode 請問有特別的原因嗎？ 這樣算loss時會不會有誤差？ 謝謝
