zhenjing
zhenjing
Version 1.3.9 sample code: MQTTClient_publish.c Problam same with https://github.com/eclipse/paho.mqtt.c/issues/358 While debugging I found this working configuration: 1. MQTTClient_connectURI(...) started 2. start variable set to current timestamp 3. first call to...
I use cereal::JSONOutputArchive serialize 1M large string, it takes more than 100ms. Is it a normal behavior ? Is there a solution to reduce the serialization time ? ` std::string...
# Github版本: 2.8.1 # 编译方式: 模型转换： mnnconvert --fp16 -f ONNX --modelFile yolov8n.onnx --MNNModel yolov8n_fp16.mnn --bizCode biz 推理时打印日志：The device support i8sdot:1, support fp16:1, support i8mm: 1 问题：使用fp16模型+鲲鹏920(支持fp16)，速度和fp32一样。 MNN怎么启用fp16？
# 平台(如果交叉编译请再附上交叉编译目标平台): -- >>>>>>>>>>>>> -- MNN BUILD INFO: -- System: Linux -- Processor: aarch64 -- Version: 2.8.4 -- Metal: OFF -- OpenCL: OFF -- OpenGL: OFF -- Vulkan: OFF --...
代码： MNN::ScheduleConfig sConfig; sConfig.type = static_cast(MNN_FORWARD_CPU); sConfig.numThread = threadNum; BackendConfig bConfig; bConfig.precision = static_cast(precision); sConfig.backendConfig = &bConfig; auto session = net->createSession(sConfig); **当precision=2时，推理结果是错误，其他精度可正常推理。 若采用module方式，启用fp16推理结果正常，速度可加速。** 看文档这么写: 后端 CPU precision 为 Low 时，根据设备情况开启...
MNN内部线程池：MNN_THREAD_POOL_MAX_TASKS 2 限制最多2个算法使用线程池。 MNN原线程池的不足：1) 并发任务总是分配给低序号的线程，导致高序号的线程不处理计算；2）计算并发任务时，所有线程都被唤醒，线程使用自旋锁，导致多于并发数的线程处于空跑状态。 测试yolov8n.mnn模型，使用Session API方式，共享输入图片，对比测试内部线程池和openMP线程池。 测试结论： 1、openMP线程池性能最好，在6个算法句柄时，吞吐量90，平时耗时65ms；相比MNN内部线程池最大吞吐量51提升80%，同样6个句柄时，MNN内部线程池平均耗时176ms。 2、多个子线程池方案，在7个句柄时，吞吐量73，平均耗时95ms；相比MNN内部线程池最大吞吐量51提升40%，同样7个句柄时，MNN内部线程池平均耗时193ms。 3、yolov8模型并发任务计算时间和句柄数有关，在1个句柄时，并发任务的平均计算耗时0.1ms，在15个句柄时，并发任务的平均计算耗时0.6ms。 为啥将内部线程池作为默认线程池选项？
## expectation | 诉求 | 期待する 1. speed 2. precision ## model | 模型 | モデル 1. yolov8n_int8_aciq.bin yolov8n_int8_aciq.param ## detail | 详细描述 | 詳細な説明 问题1：在2并发时，fp16平均耗时100ms，int8 (opt.use_int8_inference = true) 平均耗时158ms。...
ENV: Infer version v1.2.0 contos 7.4 I have a Cmake project. ([addressSanitizer.zip](https://github.com/user-attachments/files/16536478/addressSanitizer.zip)). run infer in the way: > mkdir build && cd build > cmake -DCMAKE_EXPORT_COMPILE_COMMANDS=1 .. > infer run...