OpenMMLabCamp icon indicating copy to clipboard operation
OpenMMLabCamp copied to clipboard
verified publisher icon open-mmlab

【AI实战营第二期】第一次作业提交07班

Open chg0901 opened this issue 2 years ago • 11 comments

题目：基于RTMPose的耳朵穴位关键点检测

背景：

根据中医的“倒置胎儿”学说，耳朵的穴位反映了人体全身脏器的健康，耳穴按摩可以缓解失眠多梦、内分泌失调等疾病。耳朵面积较小，但穴位密集，涉及耳舟、耳轮、三角窝、耳甲艇、对耳轮等三维轮廓，普通人难以精准定位耳朵穴位。

任务

  • 1.Labelme标注关键点检测数据集
  • 2.划分训练集和测试集
  • 3.Labelme标注转MS COCO格式
  • 4.使用MMDetection算法库，训练RTMDet耳朵目标检测算法，提交测试集评估指标
  • 5.使用MMPose算法库，训练RTMPose耳朵关键点检测算法，提交测试集评估指标
  • 6.用自己耳朵的图像预测，将预测结果保存
  • 7.用自己耳朵的视频预测，将预测结果保存

【4-7任务完成提交】 提交测试集评估指标（不能低于baseline指标的50%） 并使用训练的模型对自己的数据进行预测并保存呈现结果（可采用notebook或者输出图片和视频的形式呈现）。

【参考提交方法和格式】 【提交链接】issue 24 comment 【作业目录】2.Basic_mmdet3.x_V2

PS：任务1,2,3，示例代码作者子豪兄已经提供

目标检测Baseline模型（RTMDet-tiny） image

关键点检测Baseline模型（RTMPose-s） image

数据集

耳朵穴位关键点检测数据集，MS COCO格式，划分好了训练集和测试集，并写好了样例config配置文件 链接: https://pan.baidu.com/s/1swTLpArj7XEDXW4d0lo7Mg 提取码: 741p 标注人：张子豪、田文博 image

提交方式

请将作业内容上传到你自己的github仓库，并把对应的链接回复在评论区

chg0901 avatar Jun 02 '23 05:06 chg0901

We recommend using English or English & Chinese for issues so that we could have broader discussion.

mm-assistant[bot] avatar Jun 02 '23 05:06 mm-assistant[bot]

https://github.com/JeffDing/mmlabcamp/tree/main/第二期

Homework1.ipynb 课程的所有记录

图像及输出目录在mmpose/output目录下

pth文件存在百度网盘: 链接: https://pan.baidu.com/s/1p4xij8m3byJAl-ZzAXPHrQ?pwd=rzim 提取码: rzim

JeffDing avatar Jun 04 '23 08:06 JeffDing

https://github.com/xixihic/openmmlabhomework/tree/master 本次训练的配置文件在mmpose/config目录下 输出结果在mmpose/result目录下 测试指标在mmpose/test目录下 由于无法拍摄可用的耳朵照片及视频，所以使用网上的照片进行测试，无视频

xixihic avatar Jun 04 '23 13:06 xixihic

Github link openmmlab2-hongNo1-Assignment

测试结果可视化

详见测试数据和结果文件夹 MyEar目录和README.md

RTMDet-tiny

best epoch: 196/200

  1. Json sclar
  2. Config file
  3. Training and Validation Log
coco/bbox_mAP: 0.8080     coco/bbox_mAP_50: 0.9700  coco/bbox_mAP_75: 0.9700  
coco/bbox_mAP_s: -1.0000  coco/bbox_mAP_m: -1.0000  coco/bbox_mAP_l: 0.8080

RTMPose-s

best epoch: 255/300

  1. Json sclar
  2. Config file
  3. Training and Validation Log
coco/AP: 0.740501       coco/AP .5: 1.000000   coco/AP .75: 0.968647  coco/AP (M): -1.000000  coco/AP (L): 0.740501  
coco/AR: 0.780952       coco/AR .5: 1.000000   coco/AR .75: 0.976190  coco/AR (M): -1.000000  coco/AR (L): 0.780952 
PCK: 0.975057           AUC: 0.137925          NME: 0.040603

测试图片和视频

单张图片和两个测试视频

输出结果如下

RTMDet-tiny

RTMPose-s

代码Notebook

训练权重

  1. RTMDet-tiny模型权重 best_coco_bbox_mAP_epoch_196.pth

  2. RTMPose-s模型权重 best_PCK_epoch_255.pth

对应的模型轻量化转换权重

  1. best_coco_bbox_mAP_epoch_196_zip-dc2ee3bc.pth
  2. best_PCK_epoch_255_zip-d1bf22ba.pth

知乎笔记链接

【七班】MMPose代码实践与耳朵穴位数据集实战【OpenMMLab AI实战营第二期Day3】 【CSDN】Version

chg0901 avatar Jun 04 '23 15:06 chg0901

【作业链接】 【作业目录】

关键点检测有些问题，模型性能比较差。 项目的配置和环境的安装已经预搭建好的，其他的步骤见两个.ipynb文件。 作业更详细信息见readme.md文件。

Jourllker avatar Jun 05 '23 01:06 Jourllker

推理结果：作业/mmpose/outputs mmdet训练结果：mmdetection mmpose训练结果：mmpose

CloudMonica avatar Jun 05 '23 04:06 CloudMonica

作业目录 作业记录

mmdet 指标

DONE (t=0.02s).
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.537
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.954
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.501
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = -1.000
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = -1.000
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.537
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.598
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.650
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.650
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = -1.000
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = -1.000
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.650
06/04 21:46:45 - mmengine - INFO - bbox_mAP_copypaste: 0.537 0.954 0.501 -1.000 -1.000 0.537
06/04 21:46:45 - mmengine - INFO - Epoch(val) [50][2/2]    coco/bbox_mAP: 0.5370  coco/bbox_mAP_50: 0.9540  coco/bbox_mAP_75: 0.5010  coco/bbox_mAP_s: -1.0000  coco/bbox_mAP_m: -1.0000  coco/bbox_mAP_l: 0.5370  data_time: 2.0657  time: 2.1472

mmpose 指标

DONE (t=0.00s).
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets= 20 ] =  0.741
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets= 20 ] =  1.000
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets= 20 ] =  0.970
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets= 20 ] = -1.000
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets= 20 ] =  0.741
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 20 ] =  0.793
 Average Recall     (AR) @[ IoU=0.50      | area=   all | maxDets= 20 ] =  1.000
 Average Recall     (AR) @[ IoU=0.75      | area=   all | maxDets= 20 ] =  0.976
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets= 20 ] = -1.000
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets= 20 ] =  0.793
06/05 01:37:52 - mmengine - INFO - Evaluating PCKAccuracy (normalized by ``"bbox_size"``)...
06/05 01:37:52 - mmengine - INFO - Evaluating AUC...
06/05 01:37:52 - mmengine - INFO - Evaluating NME...
06/05 01:37:52 - mmengine - INFO - Epoch(val) [200][6/6]    coco/AP: 0.740731  coco/AP .5: 1.000000  coco/AP .75: 0.970297  coco/AP (M): -1.000000  coco/AP (L): 0.740731  coco/AR: 0.792857  coco/AR .5: 1.000000  coco/AR .75: 0.976190  coco/AR (M): -1.000000  coco/AR (L): 0.792857  PCK: 0.975057  AUC: 0.141893  NME: 0.039382  data_time: 0.408166  time: 0.432510
06/05 01:37:52 - mmengine - INFO - The previous best checkpoint /data/run01/scz0brk/openmmlab/mmpose/work_dirs/rtmpose-s-ear/best_PCK_epoch_170.pth is removed

Caczhtus avatar Jun 05 '23 04:06 Caczhtus

https://colab.research.google.com/drive/1ImgMdbXAtLu16rOD3XvjnB7FGTCOLsbk?usp=sharing 太忙了先放个colab链接 有时间再补上

Mrakas avatar Jun 05 '23 08:06 Mrakas

先放个作业地址https://github.com/shaohua-pan/openmmlab-hw

shaohua-pan avatar Jun 06 '23 04:06 shaohua-pan

在出差，先放个作业地址https://github.com/hjy-pan/openmmlab-hjy

syc-hjy avatar Jun 07 '23 00:06 syc-hjy

大佬您好，很精彩的实战。我也在尝试耳穴识别，但是您发的耳朵穴位关键点检测数据集链接已过期，能否在文章更新下或私信发下新的下载链接，感谢！

XJTUMatui avatar Aug 18 '23 08:08 XJTUMatui