Winlone囧v

I need receiver example too,how to do?

docker容器设置了shm-size也没用，两个显卡一起启动，一样报错 `docker run --name xinference -d --restart always -p 9997:9997 -e XINFERENCE_HOME=/data -v /D/docker/xinference/:/data --shm-size 30g --gpus all xprobe/xinference:v0.12.3 xinference-local -H 0.0.0.0` 2024-06-28 21:57:38 2024-06-28 13:57:38,789 xinference.model.llm.vllm.core 65 INFO Loading...

> `LiveDanmaku` 设置 `credential` 后会循环 log 非正常关闭连接： > >  > > 经测试可能是 bilibili-api-python==16.2.0 导致的问题，降级至 16.1.0 没有出现该问题。 我这是16.1.1也有问题，和你这版本接近吧

我是基本每天做直播都崩，晚上直播，到第二天早上6点左右就崩了

> 说真的，没人维护直播这边的...要不试试看 https://github.com/xfgryujk/blivedm 谢谢大佬，看了一下代码，感觉就是重试机制哪里没搞好，其实你们代码是最完善的

> 说真的，没人维护直播这边的...要不试试看 https://github.com/xfgryujk/blivedm 他这个项目是基于blivechat弹幕类库的，其实这个插件我也在用，这东西也是时不时抽风的

> > > 说真的，没人维护直播这边的...要不试试看 https://github.com/xfgryujk/blivedm > > > > > > 他这个项目是基于blivechat弹幕类库的，其实这个插件我也在用，这东西也是时不时抽风的 > 要是官方的开放平台支持开播事件就好了，不然折腾这个也挺麻烦（ 谢谢大佬指点，你们项目牛逼，为爱发电万岁

> 遇到同样问题 我的问题解决了一部分： 使用AWQ和GPTQ的量化模型，在使用启动引擎是vllm时候，只需要配置参数dtype=float16可以启动，我的显卡是3090ti，不知道为什么要这个参数，不知道是不是这个int4量化模型不支持bfloat16和float32。 但是llama引擎加载gguf模型，还是不行，报错 guf_init_from_file: invalid magic characters ''，Failed to load model from file: /data/DeepSeek-R1-Distill-Qwen-14B-GGUF   

已解决DeepSeek-R1-Distill-Llama-8B-GGUF加载 这种llama引擎加载的gguf格式模型，一定要把模型路径最后加上模型文件名  

> > 已解决DeepSeek-R1-Distill-Llama-8B-GGUF加载 这种llama引擎加载的gguf格式模型，一定要把模型路径最后加上模型文件名 > > > >  > > > >  > > llama引擎是不是比transformer快呀 是很快，和awq,gptq这些差不多