苏剑林(Jianlin Su)
苏剑林(Jianlin Su)
> ``` > ['菲律宾国家电网公司,中国占股40%。', '领英计划裁员716人。', '吉利德收购Pharmasset的价格是20亿美元。', '丙肝神药Sovaldi在2013年上市。', '中亚峰会将于2023年6月在举行,由国家主席习近平主持。', '演员李某某由于侮辱人民军队而被立案调查。', '默沙东的CEO的首要任务是确保基本盘。'] > ``` 个人感觉比预期中好了哈哈，感谢提供。
> 演员李某某～没答出来，感觉opensuudy结果更好一些 我记得原文也提到“李某某”，所以模型回答“李某某”也无可厚非，倒是Pharmasset的收购价格答错了。
> 我参考苏神的代码，结果显存OOM了，我3090ti塞chatglm6B没问题的，大佬有出现过同样的错误么 我不知道大家是不是有什么误解。。。NBCE是提供了一种long context的方案，但实际上能有多long，肯定是取决于你的显存的啊。 NBCE对显存的需求，关于context长度来说是线性的，这在理论效率上已经是最优的了。也就是说，假如你原本2048的长度，用掉了24G显存，那么要想处理4096，那么就需要48G，如果想处理8192长度，那么就需要96G显存，这应该都是很自然的结果吧（假如忽略模型自身参数的显存占用）。。。 我认为这不能算叫做“比较耗显存”，只是“正常耗显存”，如果长度乘以2，显存消耗要乘以4，那才是“比较耗显存”。 当然，也可以不增加显存，只要修改脚本，改为串行（而不是batch）地计算每个sample的结果，然后再按NBCE的公式融合，这样显存是不增加了，但是每个token的生成时间增加了，看你实际怎么取舍了。 这就好比阅读一本书，跟阅读一页书，总不能是相同的成本吧，要不你花更多的时间去读，要不你请更多的人一起读，无他。。。
> 如果是这样的话，这种方式与Langchain做map reduce相比有啥优势呢？ 更加简单直接
You can use the nearby text as a query and divide the distant text into multiple shorter contexts through a sliding window.
这个我后面想办法补充一下吧，目前没有这个信息。
1、我研究一下； 2、搜索功能现在已经有了。
OSDI 16-23已经上线，首页可以看到～
搜了一下，ASPLOS是ACM旗下的，ACM旗下的均无法收录（没有开放论文pdf直链）