service-streamer
service-streamer copied to clipboard
RedisStreamer如何配置batch_size&max_latency
您好,有几个问题请教下:
1.在分布式web server为何RedisStreamer类的init方法中未传入batch_size, max_latency,cuda_devices等参数
2.service-streamer.py中的run_redis_workers_forever方法应该是需要在RedisStreamer类初始化时调用,但是为何从未在任何地方调用?
我的场景是: 希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理 应该是最适合使用RedisStreamer类,对么
我的场景是: 希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理 应该是最适合使用RedisStreamer类,对么
我的场景是: 希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理 应该是最适合使用RedisStreamer类,对么
最后问题解决了吗老哥
我的场景是: 希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理 应该是最适合使用RedisStreamer类,对么
我的场景是: 希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理 应该是最适合使用RedisStreamer类,对么
最后问题解决了吗老哥
想知道问题解决了吗,官方的例子有点简陋,看不太懂
run_redis_workers_forever
这个就是快捷方法,没有封装其他参数。可以自己抄一下这个函数,传进去。
我的场景是: 希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理 应该是最适合使用RedisStreamer类,对么
这种可以用多进程的stream就够了
我的场景是: 希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理 应该是最适合使用RedisStreamer类,对么
这种可以用多进程的stream就够了
这个项目非常棒,不知您是否可以抽空更新一个可用的分布式web server例子,现有demo不是很懂,不知道在哪里添加cpu预处理函数,我看许多人也有这个疑问