seanxcwang

Results 14 comments of seanxcwang

可以把模型发一下,可能部分op没转过来,另外tnn只支持对称量化的模型

试下feature_demo_stream那个分支,examples/base/object_detector_yolo.cc,ProcessSDKOutput这个函数里的output换成你自己模型的output

DEBUG模式在softmax确实是有问题的,换成release模式应该是好的,具体原因还没来得及分析

再补充点细节,比如commit id,具体操作步骤,我刚用x64 native tools prompt编译tag0.3,是ok的 ![image](https://user-images.githubusercontent.com/66675860/119078299-82273d80-ba28-11eb-92bc-ef4fff033bbb.png)

> 使用rknpu遇到一些op不支持的情况,比如upsample. 可否在TNN中自定义该op? 目前是不支持,新的ddk应该是有这个层的,只是rk那边没有更新

![企业微信截图_17042664027999](https://github.com/vllm-project/vllm/assets/66675860/aa4865a6-c230-4126-839b-717bd2d6176d) got an error when test on this branch and add `AT_DISPATCH_CASE(at::ScalarType::Byte, __VA_ARGS__) ` at `csrc/dispatch_utils.h:12` may not a good way to fix this error

@zhaoyang-star have used new pr for testing,no other errors were found