triton
triton copied to clipboard
zzk0
Triton Inferece Server Model Config and Client Scripts
你好，我在example_python客户端里面加了多线程，每个线程去调用客户端，返回结果是混乱的，这应该怎么控制？ ``` input0:[1,1,1,1] input1:[2,2,2,2] ``` 单线程： ``` -------------------------------------------- thread0 [3. 3. 3. 3.] [-1. -1. -1. -1.] -------------------------------------------- ``` 四个线程： ``` -------------------------------------------- thread0 [3. 3. 3. 3.] [-1. -1. -1....
你好，參考您的blog文章，遇到`Tensor is stored in GPU and cannot be converted to NumPy.`，使用torch的`from_dlpack`接口進行轉換。 發現首次執行時，會耗時非常久(15分鐘)，之後就會比較正常(
Hi zekai: 有看到你的博客 https://www.cnblogs.com/zzk0/p/15540333.html ，最近我也在学习triton的源码，想着编译调试一下官方的源码。目前我和你的思路差不多，第一种方法我删减了一些backend，最终编译成功了！但是编译镜像的速度太慢，我想对源码进行些修改，就得重新编译比较慢，所以放弃了。第三种方法我目前也是用的这种思路，编译的过程中出现了，编译中出现了点问题，想着能不能跟你请教一下！ 我的email是[email protected]，期待你的回复！
 在triton运行之后出现这样的报错。 如下是我的config文件： 
