djl

djl copied to clipboard

推理慢

4

使用pytorch引擎，在x86环境上推理一张图片，一百多毫秒，在aarch64 却要十秒多，是缺少什么组件么

201723201401012

我需要libdjl_paddle.so这个动态库的arm架构的版本 但是在目前的github项目里没有找到 官网也没有可以供下载的包 请问可以通过源码编译么 源码就是这个项目里对应的.java文件吗

showaker

Yolov8Detection has issues

2

Has been reasoning non-stop, and then the computer black screen, memory continued to grow, yolov8 demo [  ](url)

liautumn

Memory leak for Yolov5 inferences

26

## Description I tried to deploy Yolov5 to a Ubuntu PC using DJL. However, a memory leak occurred during inference. After experimenting, I found that the memory leak was only...

AndyDPesspd

在加载yolov5模型，压测接口，OnnxRuntime引擎会内存一直递增不会回收，PyTorch引擎会把内存稳定在一个区间里，同一份代码。 djl的版本是0.19.0，希望你们可以测试一下，用你们给的代码仍会出现，我在mac，linux上测试会出现同样的问题

90600

执行yolov5模型内存泄漏问题(异步执行或者放在spring环境执行会出现内存无法回收问题，在main线程不会)

6

## Description 本来是把djl推理yolov5模型整合到springboot项目中，压测发现内存无法回收，随着压测的增加内存也增加。 注意：和这个issues并不是一个问题https://github.com/deepjavalibrary/djl/issues/2800 ，它这个在main线程中执行确实不会有问题，但是异步执行就会有内存泄漏问题。 在spring项目中内存并不会回收 项目中没有用到opencv ### Expected Behavior 100个线程预测就会出现内存变大并且并不会回收  ## How to Reproduce? ``` import ai.djl.Device; import ai.djl.MalformedModelException; import ai.djl.ModelException; import ai.djl.inference.Predictor; import ai.djl.modality.cv.Image; import ai.djl.modality.cv.ImageFactory; import...

90600

org.tensorflow.exceptions.TFInvalidArgumentException: Incompatible shapes: [1,14,14,128] vs. [1,20,20,128]

3

## Description Greetings, I'm using a custom-made model with DJL for object detection but it's giving me an error: Incompatible shapes: [1,14,14,128] vs. [1,20,20,128] (For MOBILENET_V2_I320) & Incompatible shapes: [1,14,14,128]...

danieltog

关于aarch64 onnx无法加载的问题

4

我描述一下我的问题，有两个基础docker镜像，一个是x86另一个是arm架构的，里面环境是一样的就是Java和tomcat，同一份代码，在x86里可以正常使用，arm里就是一直报加载错误，onnx引擎都下下来了，这个问题我改如何解决呢 可以看下图片所需要的引擎都下载下来了 主要错误： 1.Caused by: java.lang.UnsatisfiedLinkError: Unable to load library '/root/.djl.ai/mxnet/1.9.1-mkl-linux-aarch64/libmxnet.so': 2.Caused by: ai.djl.engine.EngineException: Failed to load MXNet native library 想请问下，我aarch64架构是缺少啥东西么？

90600

DJL 0.23+tensorflow cu113 can not find cuda capabilities

2

https://github.com/deepjavalibrary/djl/issues/2573 I have similar problem，my environment is as follows： _linux ,gpu t4 CUDA: 113 ARCH: 75 DJL version: 0.23.0 ai.djl.util.Platform - Found placeholder platform from: cu113-linux-x86_64:2.10.1 Default Engine: TensorFlow:2.10.1, capabilities:...

codeMan2018

Failed to load PyTorch native library in load_pytorch_model.ipynb

4

In djl.jupyter.load_pytorch_model.ipynb,when I am running " Criteria criteria = Criteria.builder() .setTypes(Image.class, Classifications.class) .optModelPath(Paths.get("build/pytorch_models/resnet18")) .optOption("mapLocation", "false") // this model requires mapLocation for GPU .optTranslator(translator) .optProgress(new ProgressBar()).build(); ZooModel model = criteria.loadModel(); "...

melodrama04