dl-benchmark
dl-benchmark copied to clipboard
itlab-vision
Deep Learning Inference benchmark. Supports OpenVINO™ toolkit, Caffe, TensorFlow, TensorFlow Lite, ONNX Runtime, OpenCV DNN, MXNet, PyTorch, Apache TVM, ncnn, etc.
Пытаюсь конвертировать TF модель efficientnet-b0 из OpenModelZoo. `tflite_converter.py` выдает ошибку с неподдерживаемым слоем `__inference_swish_f32_730`. Пробовал с разными tensorflow, последний раз с tensorflow==2.12.0 и tensorflow-addons==0.19 tensorflow-estimator==2.12.0 tensorflow-probability==0.19 Строка конвертации: ``` python...
@n-berezina-nn, добрый день! Возникла проблема с моделью ```retinaface-resnet50-pytorch``` при запуске скрипта ```inference_tvm_pytorch.py``` выбрасывается следующая ошибка: ``` [ ERROR ] Traceback (most recent call last): File "/home/vanya/projects/dl-benchmark/src/inference/./inference_tvm_pytorch.py", line 181, in main...
1. ~~Включение поддержки символьных вычислений сделать через флаг скрипта вывода~~ 1. ~~В параметр input_shape не передавать размер пачки, вместо размера пачки всегда использовать 1 (по аналогии с OpenVINO), чтобы потом...
Проблема подробно описана в https://github.com/itlab-vision/dl-benchmark/pull/399. PR закрыла, поскольку задачи выполнены, все изменения отдельным PR.
При запуске системы бенчмаркинга скриптом remote_start.py, на каждой машине сохраняется лог в файл, но при этом в него попадают только те ошибки, которые возникают во время выполнения тестов. Ошибки во...
Команда для инференса openvino: python .\src\inference\inference_openvino_sync_mode.py -t classification -i .\im\apple.jpg -m .\public\googlenet-v1-tf\FP32\googlenet-v1-tf.xml -w .\public\googlenet-v1-tf\FP32\googlenet-v1-tf.bin - -labels .\src\inference\labels\image_net_synset_first_class_base.txt результаты работы: [ INFO ] 0.8873319 Granny Smith [ INFO ] 0.0083221 lemon...
Обработка выхода была сделана для размера пачки, равного 1. Следует добавить поддержку пачек, больших 1.
Необходимо добавить тесты на валидацию моделей, чтобы проверить, что валидация моделей, решающих базовые задачи, не падает после внесения каких-либо изменений.
@n-berezina-nn, добрый день! После запуска бенчмарка выбрасываются полупустые логи. Командная строка: ```python3 ./inference_benchmark.py -c ../config.xml -r result_onnx.csv``` Конфиг: ``` classification alexnet FP32 ONNX Runtime Python /home/vanya/projects/dl-benchmark/bvlcalexnet-12.onnx /home/vanya/projects/dl-benchmark/src/inference/alexnet/quantized_int8_alexnet-0000.params apple /home/vanya/projects/dl-benchmark/img/apple.JPEG ONNX...
@n-berezina-nn, @maslovaz, в проекте была предложена идея заменить разработанные врапперы для C++ API на биндинг C++ библиотеки обработки выхода с C++ API, чтобы можно было использовать эти функции, а не...
Metadata
Owner
Metadata
Deep Learning Inference benchmark. Supports OpenVINO™ toolkit, Caffe, TensorFlow, TensorFlow Lite, ONNX Runtime, OpenCV DNN, MXNet, PyTorch, Apache TVM, ncnn, etc.