lightweight-neural-architecture-search icon indicating copy to clipboard operation
lightweight-neural-architecture-search copied to clipboard

如何获取其他设备的推理延迟

Open ouzejun opened this issue 2 years ago • 2 comments

希望能够在一个移动设备上实现目标检测算法,因此需要构建移动设备的延迟推理库。根据tinynas/latency/op_profiler/README.md中所述,可以通过tinynas/latency/op_profiler/python/下的一系列模块实现。但是在执行

sh sample.sh

的时候,我发现需要一个名为venus_eval_test_uclibc的文件。经过搜索并未查找到所需要的文件。我想请问我该如何解决这个问题。

ouzejun avatar May 19 '23 08:05 ouzejun

hi 这是我们的一个疏忽,venus_eval_test_uclibc 文件是我们内部使用的一个针对NVGPU平台下不同算子的测速评估程序,该部分由于版权问题是没有被开源的,我们后续会将其更换成开源版本。

如果是针对特定移动端设备的话,要做的就是生成类似于 conv_data.out 的查找表,这部分的评测代码需要自行实现。

xiuyu-sxy avatar May 24 '23 08:05 xiuyu-sxy

谢谢,抱歉这么久才回复您。 我想请问以下关于conv_data.out中是一个怎样的数据格式吗?这样方便个人自行制作相关的数据。

ouzejun avatar Aug 18 '23 12:08 ouzejun