Qinkai
Qinkai
您好!我们刚刚更新了新版(v1.0.3)的插件,您可以更新试一下是否还有相同的问题?
> Error:timeout of 120000ms exceeded 您好!这个报错主要是因为生成时长超过了120s,当前我们用户数量逐渐增加,有些时段服务器压力较大,会出现个别超时情况。后续我们会对这方面进行优化,还请您谅解!如果出现长时间、频繁的超时现象,您可以再跟我们反馈,我们看具体出了什么问题,感谢!
> > > Error:timeout of 120000ms exceeded > > > > > > 您好!这个报错主要是因为生成时长超过了120s,当前我们用户数量逐渐增加,有些时段服务器压力较大,会出现个别超时情况。后续我们会对这方面进行优化,还请您谅解!如果出现长时间、频繁的超时现象,您可以再跟我们反馈,我们看具体出了什么问题,感谢! > > 好的,非常感谢解答 您好!我们最近对CodeGeeX进行了大幅优化加速,您可以体验一下新版插件,是否还有延迟
您好!感谢您的建议,我们会在新版本中加入触发时机。不过快捷键冲突的问题还是会存在,为避免影响使用,建议可以修改自定义快捷键,参考这个issue:https://github.com/THUDM/CodeGeeX/issues/24#issuecomment-1331646849
Hi! We have released the code for model parallel inference. We also suggest using a quantized version that requires significantly lower memory. Just run the following script: ```bash # On...
Hi! CodeGeeX has 13B parameters, even under FP16 format, the model itself takes around 27GB RAM. Thus it requires GPUs with at least 32GB RAM. If you want to run...
> Hello, was optimizing the number of model parameters part of your research priorities ? If so, what methods or strategies have you put in place? If not, do you...
您好!原始权重在翻译任务上没有微调过,是zero-shot生成,所以有时不会生成终止符。这种情况可以对生成结果做截断,函数体生成完之后就可以停下了,后续生成的内容和前面的翻译任务不一定有联系。
> > 感谢回复!请问如果我想尝试在下游任务微调CodeGeeX的话,有没有建议的repo或者paper呢?以及如何对生成结果进行截断呢?是指暴力识别结果的`### 源码分析`然后删掉后面的部分吗? > > 老哥想问下你是如何解决对生成结果截断的?? 生成结果阶段请参考:https://github.com/THUDM/CodeGeeX/blob/main/codegeex/benchmark/utils.py#L115
> > 您好!原始权重在翻译任务上没有微调过,是zero-shot生成,所以有时不会生成终止符。这种情况可以对生成结果做截断,函数体生成完之后就可以停下了,后续生成的内容和前面的翻译任务不一定有联系。 > > 大哥,您好,想问下,你们提供的翻译api的模型是开源的模型吗?我这边尝试load你们开源的模型,在GPU上测试,发现java到其它语种的翻译效果特别差,比如java->typescript, 不知道为什么?谢谢您 翻译API使用的是微调之后的模型