Zijian He
Zijian He
use python2 or next(train_gen)
分割任务可以参考官网教程https://pytorch.org/tutorials/intermediate/torchvision_tutorial.html。 要实现分割和关键点检测可以有如下思路： 1 分开训练两个模型，最后将结果拼在一起 2 更改mask-rcnn的结构，输出的mask分为两部分，一是用于分割用，channel数量是你的类别数; 二是用于关键点检测用的，channel数是你的关键点数量。 这两种mask的输出结果是concat在一起的，同时进行监督，输入的dataset也需要你去重写。整体代码量较大，需要熟读pytorch实现mask r-cnn的源码。
需要做的是增加一个head，为此还需要增加这个head的监督代码和dataset代码。 在这个逻辑上，如果mmdetection框架的话，可能实现起来会更快。
Now it is fixed.
可以发下你的config和log吗，可能是lr的问题
Sorry, I have not finished the evaluation code. You can reorganize the outputs into coco format and use the coco evaluation tool to evaluate. I think the other source code...
To convert binary instance masks to polygon, I think this is a good example: https://github.com/jinfagang/cityscapestococo. CityScape uses binary masks annotation, and COCO uses polygon annotation. And you need you convert...
.ckpt is just the trained model file, not the output result. I think the predict keypoints and instances masks shown in demo.py is the result you want. The pipeline should...
@niazahamd89，sorry for I am busy on other experiments. If I finish the evaluation code in the future, I will share on this repository.
解码过程比较复杂，我的代码主要参考https://github.com/octiapp/KerasPersonLab这里。建议结合Paper看，虽然代码用了很多Numpy的高级技巧，但思路和论文是一致，heatmap->short offset->middle offset->long offset. Heatmaps和short offset做keypoints detection, middle offset做keypoitns grouping, long offset对整个mask区域做grouping从而区分Instances.