关于修改模型实现多分类以及数据集格式转化和部署的相关问题？

[Hezhexi2002]

@fire717 大佬你好，就是我是一名大二学生，然后是在中北大学的robomaster战队里负责用神经网络识别装甲板实现自动瞄准，不过就是之前我用yolo系列训练出来的模型最后实际测试时得到的bbox和装甲板的轮廓并不能很好的拟合，导致后续使用pnp进行姿态解算时会有较大误差，所以我想将传统yolo的数据集格式改为用四个角点的归一化坐标，现在的数据集格式是像这样：1 0.673029 0.373564 0.678429 0.426232 0.830433 0.401262 0.824525 0.351212，第一个数字是类别id，后面八个数字是归一化后的装甲板的四个角点坐标，之前我使用yolov5-face已经训练出来一个可以直接定位装甲板四个角点的模型，效果如下： 所以我想请教请教一下如何将我现在的数据集标注格式转化为您使用的coco格式，然后因为我们需要同时识别数字和颜色，所以我想将颜色和数字解耦，就是在head中增添一个1x1conv来单独输出颜色，之前以yolox为基础修改过，但是对于您的模型也不知道如何下手修改，最后就是我之前是通过openvino的c++接口来部署模型，所以不知道大佬能否提供c++实现后处理的相关思路，想参考一下，问的有点多，但还是希望大佬不吝赐:-)

[fire717]

同学你好，最近家里亲人离世比较忙，节后有空我再看看你的问题吧，不一定能提供有效的方案。发自我的iPhone------------------ 原始邮件 ------------------发件人: Hezhexi2002 @.>发送时间: 2022年9月30日 08:48收件人: fire717/movenet.pytorch @.>抄送: Mr.Fire @.>, Mention @.>主题: Re: [fire717/movenet.pytorch] 关于修改模型实现多分类以及数据集格式转化和部署的相关问题？ (Issue #34) @fire717 大佬你好，就是我是一名大二学生，然后是在中北大学的robomaster战队里负责用神经网络识别装甲板实现自动瞄准，不过就是之前我用yolo系列训练出来的模型最后实际测试时得到的bbox和装甲板的轮廓并不能很好的拟合，导致后续使用pnp进行姿态解算时会有较大误差，所以我想将传统yolo的数据集格式改为用四个角点的归一化坐标，现在的数据集格式是像这样：1 0.673029 0.373564 0.678429 0.426232 0.830433 0.401262 0.824525 0.351212，第一个数字是类别id，后面八个数字是归一化后的装甲板的四个角点坐标，之前我使用yolov5-face已经训练出来一个可以直接定位装甲板四个角点的模型，效果如下：

所以我想请教请教一下如何将我现在的数据集标注格式转化为您使用的coco格式，然后因为我们需要同时识别数字和颜色，所以我想将颜色和数字解耦，就是在head中增添一个1x1conv来单独输出颜色，之前以yolox为基础修改过，但是对于您的模型也不知道如何下手修改，最后就是我之前是通过openvino的c++接口来部署模型，所以不知道大佬能否提供c++实现后处理的相关思路，想参考一下，问的有点多，但还是希望大佬不吝赐:-)

—Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you were mentioned.Message ID: @.> [ { @.": "http://schema.org", @.": "EmailMessage", "potentialAction": { @.": "ViewAction", "target": "https://github.com/fire717/movenet.pytorch/issues/34", "url": "https://github.com/fire717/movenet.pytorch/issues/34", "name": "View Issue" }, "description": "View this Issue on GitHub", "publisher": { @.***": "Organization", "name": "GitHub", "url": "https://github.com" } } ]

[Hezhexi2002]

同学你好，最近家里亲人离世比较忙，节后有空我再看看你的问题吧，不一定能提供有效的方案。发自我的iPhone------------------ 原始邮件 ------------------发件人: Hezhexi2002 @.>发送时间: 2022年9月30日 08:48收件人: fire717/movenet.pytorch @.>抄送: Mr.Fire @.>, Mention @.>主题: Re: [fire717/movenet.pytorch] 关于修改模型实现多分类以及数据集格式转化和部署的相关问题？ (Issue #34) @fire717 大佬你好，就是我是一名大二学生，然后是在中北大学的robomaster战队里负责用神经网络识别装甲板实现自动瞄准，不过就是之前我用yolo系列训练出来的模型最后实际测试时得到的bbox和装甲板的轮廓并不能很好的拟合，导致后续使用pnp进行姿态解算时会有较大误差，所以我想将传统yolo的数据集格式改为用四个角点的归一化坐标，现在的数据集格式是像这样：1 0.673029 0.373564 0.678429 0.426232 0.830433 0.401262 0.824525 0.351212，第一个数字是类别id，后面八个数字是归一化后的装甲板的四个角点坐标，之前我使用yolov5-face已经训练出来一个可以直接定位装甲板四个角点的模型，效果如下：

所以我想请教请教一下如何将我现在的数据集标注格式转化为您使用的coco格式，然后因为我们需要同时识别数字和颜色，所以我想将颜色和数字解耦，就是在head中增添一个1x1conv来单独输出颜色，之前以yolox为基础修改过，但是对于您的模型也不知道如何下手修改，最后就是我之前是通过openvino的c++接口来部署模型，所以不知道大佬能否提供c++实现后处理的相关思路，想参考一下，问的有点多，但还是希望大佬不吝赐:-)

—Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you were mentioned.Message ID: @.> [ { @.": "http://schema.org", @.": "EmailMessage", "potentialAction": { @.": "ViewAction", "target": "https://github.com/fire717/movenet.pytorch/issues/34", "url": "https://github.com/fire717/movenet.pytorch/issues/34", "name": "View Issue" }, "description": "View this Issue on GitHub", "publisher": { @.***": "Organization", "name": "GitHub", "url": "https://github.com" } } ]

哦哦，好的，不好意思大佬，这两天学校事情比较多没看回复

[fire717]

1. 数据集转为movenet使用格式参考代码：scripts/make_coco_data_17keypooints.py
2. 增加head很简单，在lib/models/movenet_mobilenetv2.py中参考已有的四个head新增即可，然后设置好对应的输入数据、输出loss计算
3. 我复现这个就是为了去掉一些复杂算子方便部署移植，因此模型可以直接转openvino，然后你就按python的后处理改写C++即可，都是业务逻辑代码不难
4. 另外，movenet本身是针对人体姿态这种非刚体的，对于你的问题，不是很有必要，我觉得直接用通用backbone+wing loss就可以取得不错的效果了，且更灵活

在 2022-10-02 20:10:22，"Hezhexi2002" @.***> 写道：

同学你好，最近家里亲人离世比较忙，节后有空我再看看你的问题吧，不一定能提供有效的方案。发自我的iPhone------------------ 原始邮件 ------------------发件人: Hezhexi2002 @.>发送时间: 2022年9月30日 08:48收件人: fire717/movenet.pytorch @.>抄送: Mr.Fire @.>, Mention @.>主题: Re: [fire717/movenet.pytorch] 关于修改模型实现多分类以及数据集格式转化和部署的相关问题？ (Issue #34) @fire717 大佬你好，就是我是一名大二学生，然后是在中北大学的robomaster战队里负责用神经网络识别装甲板实现自动瞄准，不过就是之前我用yolo系列训练出来的模型最后实际测试时得到的bbox和装甲板的轮廓并不能很好的拟合，导致后续使用pnp进行姿态解算时会有较大误差，所以我想将传统yolo的数据集格式改为用四个角点的归一化坐标，现在的数据集格式是像这样：1 0.673029 0.373564 0.678429 0.426232 0.830433 0.401262 0.824525 0.351212，第一个数字是类别id，后面八个数字是归一化后的装甲板的四个角点坐标，之前我使用yolov5-face已经训练出来一个可以直接定位装甲板四个角点的模型，效果如下：

所以我想请教请教一下如何将我现在的数据集标注格式转化为您使用的coco格式，然后因为我们需要同时识别数字和颜色，所以我想将颜色和数字解耦，就是在head中增添一个1x1conv来单独输出颜色，之前以yolox为基础修改过，但是对于您的模型也不知道如何下手修改，最后就是我之前是通过openvino的c++接口来部署模型，所以不知道大佬能否提供c++实现后处理的相关思路，想参考一下，问的有点多，但还是希望大佬不吝赐:-)

—Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you were mentioned.Message ID: @.> [ { @.": "http://schema.org", @.": "EmailMessage", "potentialAction": { @.": "ViewAction", "target": "https://github.com//issues/34", "url": "https://github.com//issues/34", "name": "View Issue" }, "description": "View this Issue on GitHub", "publisher": { @.***": "Organization", "name": "GitHub", "url": "https://github.com" } } ]

哦哦，好的，不好意思大佬，这两天学校事情比较多没看回复

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>

[Hezhexi2002]

实在不好意思，大佬，这几天上课没怎么上github，今天才看到您的回复，您的第4点建议我觉得十分受用，之后我会按照这个思路先去试试，谢谢大佬拨冗答复！