SilenceWinter

您好，之前没看到这个比赛，能否分享下数据集, 已给star，谢谢 ? [email protected]

@ScuLilei2014 跑通了，我也达不到论文上的效果，其实我更关心AE部分，作者这样构造模型，AE部分效果不好也是正常的。而且我对模型的损失函数可导性，表示怀疑

Hi，@airkid , @LLawlietc , @zijunsun , @LarryLee-BD , @huangyanhui , @liuning123 ，@carrie0307 Can you share your code and processed data with me ?My email address is [email protected] ! Thanks~

> 4台 A800 机器，用给定的 zero3，OOM 请问，4台A800都是8卡的吗？

我用2块A6000（48G）， 加载Qwen-72B-Chat-Int8时，也发现了一块显存32G， 另外一块占用41G。 然后输入文本长度超过1500个字符就崩了

> @T0L0ve @SilenceWinter 这个加载的时候应该是均匀的吧，然后在推理中出现的显存OOM？ 输入字数超过1000字就会可能出现显存OOM， 也不是每次都会OOM，循环100次，有15次OOM

我也遇到这个问题，@charlesXu86 , 如果是自己私有包能否一起分享下？

> 感谢您的关注！ > > 如果是用`demo/demo_lazy.py`进行推理，有两种方法并发 > > 1. 第一种是把[这一行](https://github.com/shenyunhang/APE/blob/main/demo/demo_lazy.py#L134)改成 > ``` > demo = VisualizationDemo(cfg, parallel=True, args=args) > ``` > 2. 第二种是设置CUDA_VISIBLE_DEVICES > ``` > CUDA_VISIBLE_DEVICES=0 python3.9 demo/demo_lazy.py ... >...