TensorRT-YOLO

TensorRT-YOLO copied to clipboard

🚀 TensorRT YOLO

TensorRT-YOLO 是一个支持 YOLOv3、YOLOv5、YOLOv6、YOLOv7、YOLOv8、YOLOv9、YOLOv10、PP-YOLOE 和 PP-YOLOE+ 的推理加速项目，使用 NVIDIA TensorRT 进行优化。项目不仅集成了 EfficientNMS TensorRT 插件以增强后处理效果，还使用了 CUDA 核函数以及 CUDA 图来加速推理。TensorRT-YOLO 提供了 C++ 和 Python 推理的支持，旨在提供快速而优化的目标检测解决方案。

✨ 主要特性

• 支持 YOLOv3、YOLOv5、YOLOv6、YOLOv7、YOLOv8、YOLOv9、YOLOv10、PP-YOLOE 和 PP-YOLOE+
• 支持 ONNX 静态、动态导出以及 TensorRT 推理
• 集成 EfficientNMS TensorRT 插件加速后处理
• 利用 CUDA 核函数加速前处理
• 利用 CUDA 图加速推理流程
• 支持 C++ 和 Python 推理
• CLI 快速导出与推理
• Docker 一键部署

🛠️ 环境要求

• 推荐 CUDA 版本 >= 11.6
• 推荐 TensorRT 版本 >= 8.6

📦 使用教程

• 快速编译安装

• 使用 CLI 模型导出

• PTQ INT8 量化

• 模型推理示例

• 视频分析示例

📺 BiliBili

• 啪的一下，很快啊！TensorRT YOLOv5s 在FP16模式下，批量大小4，仅需13毫秒！

• 【TensorRT-YOLO】YOLOv9 TensorRT 推理➕EfficientNMS

• 【TensorRT-YOLO】YOLOv8 推理最速传说 1ms

• 【TensorRT-YOLO】3.0 Docker 部署演示

• 【TensorRT-YOLO】CUDA Graphs 加速推理

• 【TensorRT-YOLO】接入 VideoPipe 演示

📄 许可证

TensorRT-YOLO采用 GPL-3.0许可证，这个OSI 批准的开源许可证非常适合学生和爱好者，可以推动开放的协作和知识分享。请查看LICENSE 文件以了解更多细节。

感谢您选择使用 TensorRT-YOLO，我们鼓励开放的协作和知识分享，同时也希望您遵守开源许可的相关规定。

📞 联系方式

对于 TensorRT-YOLO 的错误报告和功能请求，请访问 GitHub Issues！