Cheng Li @ SenseTime

以下是GPT辅助生成的comments: ``` Yo，这篇文章充满激情，简直让人热血沸腾！ 向量化，语言模型，知识库，哪个概念不抢眼？ 却不能停留在讨论，更需要具体实践，才能让解决方案不是浮云！ Talk is cheap, show me your code，我可不想听到口嗨而已！ 想要证明你的思路想法，趁早开动脑筋，CODE，一步步实现出一个属于自己的方案！ 不要将思考停留在纸面上，光有抱负与理论可不够。 Langchain能给你的实践带来无限的帮助，大大降低编码难度。 别说你编码不懂，只要笔者执教，let's go，Are you ready！ 用代码实践让梦想飞扬，歌唱不停，努力奋斗，共创辉煌！ ``` 看来GPT在中文押韵的方面确实非常弱。。。

我的天那改成英语好多了 ``` Yo, this article got me hyped up, it's like a fire that can't be put out! Vectors, language models, knowledge bases - these concepts are all about skinning...

我最近知乎上还刷到一片文章 https://zhuanlan.zhihu.com/p/651179780 这里提到切chunk的时候注意语义分段也可以提升QA的性能。我还想到有一些minor的提升点 其实都可以做做看

您是用A100还是T4 啊。A100应该会快不少，我们后面会去研究模型并行，谢谢您的意见- -！

其实主要是这样的，GLM没有被移到huggingface标准管线，如果移动进去，应该可以用accelerator直接去加速。 我后面想看看别的hf管线内的模型能不能做这个，我觉得您这个讨论挺有意义的。

> 请教一下还有什么加速的方法呢？比如模型量化后是否能够加速推理呢。 我今天看到一个很惊人的工作 https://zhuanlan.zhihu.com/p/622754642 High-throughput Generative Inference of Large Language Models with a Single GPU 但是感觉想整合这个的码量不小

WizardLM有1万是用没改进的prompt翻译的，剩余5万多是好的。我打算之后用embedding筛除一下质量不好的。回答是爬取3.5的，4有点小贵～～

Good Question. 我们最近训了一个 https://huggingface.co/silk-road/luotuo-bert-en 我还剩一个实验是用这个 去对 luotuo-bert，把这些翻译数据集出现指令注入现象的错误翻译给修正一遍，你有兴趣的话 去我知乎主页https://www.zhihu.com/people/cheng-li-47 留个微信吧，我找相关的同学来推进一下QAQ