vanewu

icon company UESTC , Tencent icon location China icon location Focus on large-scale machine learning systems and large-scale AI model inference acceleration at Tencent.

Results 2 comments of vanewu

微信打开有个黑框望修复

我这也是，卸载了没用

推理速度有点慢，有什么好方法加速吗

Hi, All. 速度和吞吐量上有需求，可以尝试： https://huggingface.co/TMElyralab/lyraChatGLM 。 这个是对 ChatGLM6B 的加速版本，已封装 Python 上层调用，兼容 A100, V100, A10, A30 等显卡。