service-streamer icon indicating copy to clipboard operation
service-streamer copied to clipboard

RedisStreamer如何配置batch_size&max_latency

Open c0derm4n opened this issue 4 years ago • 6 comments

您好,有几个问题请教下:

    1.在分布式web server为何RedisStreamer类的init方法中未传入batch_size, max_latency,cuda_devices等参数
    2.service-streamer.py中的run_redis_workers_forever方法应该是需要在RedisStreamer类初始化时调用,但是为何从未在任何地方调用?

c0derm4n avatar May 22 '20 08:05 c0derm4n

我的场景是: 希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理 应该是最适合使用RedisStreamer类,对么

c0derm4n avatar May 22 '20 08:05 c0derm4n

我的场景是: 希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理 应该是最适合使用RedisStreamer类,对么

我的场景是: 希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理 应该是最适合使用RedisStreamer类,对么

最后问题解决了吗老哥

syyuan14 avatar Oct 08 '20 08:10 syyuan14

我的场景是: 希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理 应该是最适合使用RedisStreamer类,对么

我的场景是: 希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理 应该是最适合使用RedisStreamer类,对么

最后问题解决了吗老哥

想知道问题解决了吗,官方的例子有点简陋,看不太懂

lfxx avatar Mar 25 '21 10:03 lfxx

run_redis_workers_forever这个就是快捷方法,没有封装其他参数。可以自己抄一下这个函数,传进去。

Meteorix avatar Mar 25 '21 12:03 Meteorix

我的场景是: 希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理 应该是最适合使用RedisStreamer类,对么

这种可以用多进程的stream就够了

Meteorix avatar Mar 25 '21 12:03 Meteorix

我的场景是: 希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理 应该是最适合使用RedisStreamer类,对么

这种可以用多进程的stream就够了

这个项目非常棒,不知您是否可以抽空更新一个可用的分布式web server例子,现有demo不是很懂,不知道在哪里添加cpu预处理函数,我看许多人也有这个疑问

lfxx avatar Mar 26 '21 02:03 lfxx