OnmyojiAutoScript icon indicating copy to clipboard operation
OnmyojiAutoScript copied to clipboard

Published 20 hours ago • verified publisher icon runhey

百鬼夜行（测试）

Open 976913054 opened this issue 2 years ago • 25 comments
trafficstars

用的开源的数据集训练了100轮，感觉精度一般，特别是检测速度很难接受。。。。。。 不知道换yolov8效果怎么样。 数据集地址：https://universe.roboflow.com/onmyoji/onmyoji-demon-parade

976913054 avatar Oct 26 '23 13:10 976913054

👍很厉害

runhey avatar Oct 27 '23 06:10 runhey

我想问一下那些截图和点击的方法是自带等待时间的吗

976913054 avatar Oct 27 '23 07:10 976913054

截图和点击都是阻塞的，不过截图里面会计算距离上一次的时间，如果小于0.3s就是会sleep一小会

runhey avatar Oct 27 '23 07:10 runhey

我咋搞能把那个阻塞和延迟去掉，百鬼还是需要挺高的实时性的，要是太快的话也可以在百鬼里单独加延迟。

976913054 avatar Oct 27 '23 07:10 976913054

修改底层并不是很好的设计，这些时间是由机器的配置决定的，你所优化的应该是推理的速度。 https://github.com/LmeSzinc/AzurLaneAutoScript/issues/988

runhey avatar Oct 27 '23 07:10 runhey

那我回去测测速度慢主要是啥地方的原因吧，推理速度这方面只能是通过gpu加速可以很大幅度的改善了，优化模型来解决的话不是我的水平能办到的了😂

976913054 avatar Oct 27 '23 07:10 976913054

我在移植到oas之前也测过推理的速度，用cpu推理是200ms到300ms。

976913054 avatar Oct 27 '23 07:10 976913054

image 测了一下速度，总共加起来500ms左右，差不多就是等豆子出去以后砸的已经是下个式神了。

又测了一下最快的那个截图方案，还算能接受 image

976913054 avatar Oct 27 '23 11:10 976913054

看你这个速度在几十毫秒也是可以的呀，不过我有点疑问出模型的时候没有map这些数据的吗

runhey avatar Oct 27 '23 13:10 runhey

为了照顾配置不高的机器，没有要求必须实时识别呀，式神的移动的位置是可以预测的嘛，尽管这并不是很好的思路

runhey avatar Oct 27 '23 13:10 runhey

最后的部署方式上用pytorch并不是一个很好的选择，安装一个库就已经比本体大了， torch.hub.load('ultralytics/yolov5', 'custom', path='./tasks/Hyakkiyakou/weights/best.onnx') 会在本地上缓存一些模型结构，但是会调用这个

    os.system('pip install -U ultralytics')
    import ultralytics

这个用的是操作系统的默认的python 解释器而不是我们oas自己的。 完全可以用onnxruntime 这个推理框架，本身同ocr就用着

runhey avatar Oct 27 '23 13:10 runhey

各种数据都可以输出，官方都给了接口。 ultralytics：v8我就是用的这个东西，但是这个导进去好像也要一两个g。

976913054 avatar Oct 27 '23 14:10 976913054

跑了一次

INFO     2023-10-29 19:32:05.777 │ [Screen_size] 1280x720                      
INFO     2023-10-29 19:32:05.956 │ Click (1211,  618) @ START                  
--------------------
截图速度 0.013711929321289062
INFO     2023-10-29 19:32:06.146 │ roi_front size changed to 48x203            
[]
--------------------
截图速度 0.008816003799438477
[]
--------------------
截图速度 0.024488210678100586
[]
--------------------
截图速度 0.011757135391235352
[]
--------------------
截图速度 0.010775089263916016
[]
--------------------
截图速度 0.04212188720703125
[]
--------------------
截图速度 0.011760473251342773
[]
--------------------
截图速度 0.008816003799438477
[]
--------------------
截图速度 0.010780096054077148
[]
--------------------
截图速度 0.009795904159545898
[]
--------------------
截图速度 0.010773420333862305
[]
--------------------
截图速度 0.01719045639038086
[]
--------------------
截图速度 0.01175546646118164
[]
--------------------
截图速度 0.010776042938232422
[]
--------------------
截图速度 0.012736082077026367
[]
--------------------
截图速度 0.016259431838989258
[]
--------------------
截图速度 0.012733697891235352
[]
--------------------
截图速度 0.01861286163330078
[]
--------------------
截图速度 0.009804725646972656
[]
--------------------
截图速度 0.011755943298339844
[]
--------------------
截图速度 0.008818864822387695
[]
--------------------
截图速度 0.01273345947265625
[[[1100, 271, 91, 33], 0.19468546, 'buff-JianSu']]
识别速度 0.4649841785430908
INFO     2023-10-29 19:32:18.100 │ Click (1106,  286) @ 1                      
总速度 0.7304418087005615
--------------------
--------------------
截图速度 0.02252984046936035
[]
--------------------
截图速度 0.017630338668823242
[]
--------------------
截图速度 0.015675783157348633
[]
--------------------
截图速度 0.018611431121826172
[]
--------------------
截图速度 0.01175379753112793
[[[552, 276, 94, 35], 0.31667215, 'buff-JianSu']]
识别速度 0.47266697883605957
INFO     2023-10-29 19:32:21.570 │ Click ( 643,  291) @ 2                      
总速度 0.7666354179382324
--------------------
--------------------
截图速度 0.028408050537109375
[]
--------------------
截图速度 0.010776042938232422
[[[345, 348, 95, 36], 0.104456335, 'buff-JianSu']]
识别速度 0.43605661392211914
INFO     2023-10-29 19:32:22.867 │ Click ( 419,  375) @ 3                      
总速度 0.7232451438903809
--------------------
--------------------
截图速度 0.010779142379760742
[]
--------------------
截图速度 0.009799480438232422
[]
--------------------
截图速度 0.012289047241210938
[[[63, 347, 94, 37], 0.2112987, 'buff-JianSu']]
识别速度 0.41843223571777344
INFO     2023-10-29 19:32:24.627 │ Click ( 125,  351) @ 4                      
总速度 0.7089211940765381
--------------------
--------------------
截图速度 0.02644801139831543
[]
--------------------
截图速度 0.014694929122924805
[]
--------------------
截图速度 0.010775089263916016
[]
--------------------
截图速度 0.013713836669921875
[]
--------------------
截图速度 0.010779142379760742
[]
--------------------
截图速度 0.018610000610351562
[]
--------------------
截图速度 0.021546125411987305
[]
--------------------
截图速度 0.01175689697265625
[]
--------------------
截图速度 0.009341239929199219
[]
--------------------
截图速度 0.008819341659545898
[]
--------------------
截图速度 0.014693021774291992
[]
--------------------
截图速度 0.013714075088500977
[]
--------------------
截图速度 0.023498058319091797
[]
--------------------
截图速度 0.01175379753112793
[]
--------------------
截图速度 0.01567220687866211
[]
--------------------
截图速度 0.01959085464477539
[]
--------------------
截图速度 0.009794950485229492
[]
--------------------
截图速度 0.029393434524536133
[]
--------------------
截图速度 0.009800434112548828
[]
--------------------
截图速度 0.010775327682495117
[]
--------------------
截图速度 0.008817911148071289
[]
--------------------
截图速度 0.012734413146972656
[]
--------------------
截图速度 0.024488449096679688
[]
--------------------
截图速度 0.0221097469329834
[[[705, 353, 212, 146], 0.20715612, 'hit']]
识别速度 0.40791893005371094
INFO     2023-10-29 19:32:39.629 │ Click ( 875,  487) @ 5                      
总速度 0.7072336673736572
--------------------
--------------------
截图速度 0.012729644775390625
[]
--------------------
截图速度 0.013715744018554688
[]
--------------------
截图速度 0.008815288543701172
[]
--------------------
截图速度 0.025468111038208008
[]
--------------------
截图速度 0.011754035949707031
[]
--------------------
截图速度 0.01763296127319336
[]
--------------------
截图速度 0.007839441299438477
[]
--------------------
截图速度 0.013712882995605469
[]
--------------------
截图速度 0.010776519775390625
[]
--------------------
截图速度 0.02057337760925293
[]
--------------------
截图速度 0.01077723503112793
[]
--------------------
截图速度 0.012735128402709961
[]
--------------------
截图速度 0.010773420333862305
[]
--------------------
截图速度 0.013713359832763672
[]
--------------------
截图速度 0.011754274368286133
[]
--------------------
截图速度 0.02643585205078125
[]
--------------------
截图速度 0.010769844055175781
[[[334, 397, 309, 173], 0.11357978, 'sp-ChanBingXueNv']]
识别速度 0.41118884086608887
INFO     2023-10-29 19:32:49.115 │ Click ( 569,  422) @ 6                      
总速度 0.7361376285552979
--------------------
--------------------
截图速度 0.016655921936035156
[]
--------------------
截图速度 0.013711929321289062
[]
--------------------
截图速度 0.015674352645874023
[]
--------------------
截图速度 0.01077580451965332
[]
--------------------
截图速度 0.032324790954589844
[]
--------------------
截图速度 0.006857156753540039
[]
--------------------
截图速度 0.02448582649230957
[]
--------------------
截图速度 0.008817911148071289
[]
--------------------
截图速度 0.012731790542602539
[]
--------------------
截图速度 0.011757373809814453
[]
--------------------
截图速度 0.025472402572631836
[]
--------------------
截图速度 0.009795427322387695
[]
--------------------
截图速度 0.009795665740966797
[]
--------------------
截图速度 0.013719320297241211
[]
--------------------
截图速度 0.01567673683166504
[]
--------------------
截图速度 0.02547311782836914
[]
--------------------
截图速度 0.024499893188476562
[]
--------------------
截图速度 0.01371312141418457
[]
--------------------
截图速度 0.010766029357910156
[]
--------------------
截图速度 0.014266252517700195
[]
--------------------
截图速度 0.006855964660644531
[]
--------------------
截图速度 0.01861405372619629
[]
--------------------
截图速度 0.023507356643676758
[]
--------------------
截图速度 0.01763319969177246
[]
--------------------
截图速度 0.010778665542602539
[]
--------------------
截图速度 0.009800195693969727
[]
--------------------
截图速度 0.009798526763916016
[]
--------------------
截图速度 0.009796857833862305
[]
--------------------
截图速度 0.02155756950378418
[]
--------------------
截图速度 0.014692544937133789
[[[335, 350, 173, 176], 0.45561892, 'hit']]
识别速度 0.434922456741333
INFO     2023-10-29 19:33:05.087 │ Click ( 370,  442) @ 7                      
总速度 0.6799650192260742
--------------------
--------------------
截图速度 0.01077723503112793
[]
--------------------
截图速度 0.01273655891418457
[]
--------------------
截图速度 0.020567655563354492
[]
--------------------
截图速度 0.012740850448608398
[]
--------------------
截图速度 0.02449202537536621
[]
--------------------
截图速度 0.011753559112548828
[]
--------------------
截图速度 0.011757612228393555
[]
--------------------
截图速度 0.013713598251342773
[]
--------------------
截图速度 0.011756658554077148
[]
--------------------
截图速度 0.009798526763916016
[]
--------------------
截图速度 0.021548748016357422
[]
--------------------
截图速度 0.010776996612548828
[]
--------------------
截图速度 0.011757373809814453
[]
--------------------
截图速度 0.008814096450805664
[]
--------------------
截图速度 0.009796142578125
[]
--------------------
截图速度 0.011764049530029297
[]
--------------------
截图速度 0.027425527572631836

Process finished with exit code 0

runhey avatar Oct 29 '23 11:10 runhey

为啥你那边检测速度要那么久，截图速度那么短。

976913054 avatar Oct 29 '23 11:10 976913054

检测久是破烂的笔记本，截图快是用了window api来截图

runhey avatar Oct 29 '23 11:10 runhey

训练出模型的时候有这些数据的吗， image 我看着不是很高的样子。上面的测试数据并不够准确。用onnxruntime 同之前的pytorch有啥子区别？

runhey avatar Oct 29 '23 11:10 runhey

要是真能到这个数据就不错了，他那个数据集分给验证集和测试集都太少了，感觉是有点虚高。

976913054 avatar Oct 29 '23 12:10 976913054

我用yolo官方的例子和官方的权重文件测了一下，感觉用onnxruntime推理出来的精度好像要比其他方法低一些。

976913054 avatar Oct 29 '23 12:10 976913054

你有知道截图出来的数据就是 self.device.image 的三通道是 RGB 吗，因为Alas就是这样的当时我也被坑了很久，然后代码里面

        # Convert the image color space from BGR to RGB
        img = cv2.cvtColor(self.img, cv2.COLOR_BGR2RGB)

我怀疑又转了一次

runhey avatar Oct 30 '23 10:10 runhey

。。。。我还真没注意，我说怎么效果更差了。

976913054 avatar Oct 30 '23 11:10 976913054

咋关掉了呀

runhey avatar Nov 29 '23 13:11 runhey

不知道啊，不是自己关掉的吗

976913054 avatar Nov 30 '23 01:11 976913054

貌似是我折腾的时候给搞出问题了

976913054 avatar Nov 30 '23 01:11 976913054

现在的版本是yolo V8了吗? 我可以协助测试，我手上有4090应该可以排除硬体拖慢的问题

necro-wbj avatar Mar 01 '24 01:03 necro-wbj

@necro-wbj 主要是缺数据集，感觉百鬼没必要花那么多精力做数据集。

976913054 avatar Mar 22 '24 03:03 976913054

用的开源的数据集训练了100轮，感觉精度一般，特别是检测速度很难接受。。。。。。 不知道换yolov8效果怎么样。 数据集地址：https://universe.roboflow.com/onmyoji/onmyoji-demon-parade

巧了，看到我自己的数据集了……说来惭愧，确实数据质量不高

scoooooott avatar Sep 08 '24 14:09 scoooooott