dl-benchmark
dl-benchmark copied to clipboard
itlab-vision
Deep Learning Inference benchmark. Supports OpenVINO™ toolkit, Caffe, TensorFlow, TensorFlow Lite, ONNX Runtime, OpenCV DNN, MXNet, PyTorch, Apache TVM, ncnn, etc.
При запуске скрипта inference_benchmark в Docker в результирующую таблицу не указывается название CPU, на котором происходят тесты. Пример без докера: """ "Success";"classification";"bvlcalexnet-12";"Data";"ONNX";"ONNX Runtime Python";"[1, 3, 224, 224]";"FP32";"1";"Sync";"Device: CPU, Iteration count:...
Биндинг C++ библиотеки обработки выхода с C++ API, чтобы можно было использовать эти функции, а не реализовывать в враппере на Python.
Необходимо вынести общие устанавливаемые зависимости в отдельный dockerfile.
Необходимо реализовать демонстрационные скрипты для системы DLI Benchmark на примере [PR](https://github.com/itlab-vision/dl-benchmark/pull/307). - [x] Демо-приложение OpenVINO_DLDT для Linux с использованием host-машины - [x] Демо-приложение OpenVINO_DLDT для Linux с использованием Docker -...
Во всех реализациях инференса надо поправить 2 момента: 1. ~~В функции `main()` сделать логирование трассы через `log.error(traceback.format_exc())`.~~ 2. Имеет смысл аргументы-флаги сделать не параметрами, которые принимают значения `True` и `False`,...
При создании общей таблицы производительности для всех фреймворков следующие проблемы: - Для фреймворка MXNet на каждый батч создается отдельный столбик (из-за того, что размер пачки участвует в описании эксперимента, а...
@n-berezina-nn, @maslovaz, при подготовке статьи мы с @FenixFly поняли, что нам не хватает еще одного показателя производительности - общего времени выполнения всех запросов на вывод. Он имеет смысл с точки...
Реализация метода `get_performance_metrics` дублируется во всех классах-наследниках `ProcessHandler` (находится в файле `src/benchmark/frameworks/processes.py`), кроме `OnnxRuntimeProcess`. Имеет смысл пробросить эту общую реализацию в базовый класс, а в `OnnxRuntimeProcess` этот метод переопределить.
Провести запуск бенчмаркинга TensorFlow моделей после изменения способа задания параметров input_shape, mean, scale
@FenixFly, в процессе тестирования руководства по сборке и запуску системы наряду с мануалкой (она перемещена на соответствующую страницу Wiki) надо протестировать описание сборки (раздел How to build на основной вики-странице),...
Metadata
Owner
Metadata
Deep Learning Inference benchmark. Supports OpenVINO™ toolkit, Caffe, TensorFlow, TensorFlow Lite, ONNX Runtime, OpenCV DNN, MXNet, PyTorch, Apache TVM, ncnn, etc.