xianyu

[email protected]

Zhejiang University Beijing Founder of OpenLLMAI. Do something cool and useful

Results 19 comments of


xianyu

目前的语义匹配榜使用的QBQTC，SimCLUE后续会有单独的榜单吗？

您好，用处基本上也是搜索场景里面的召回排序之类的，评估指标如果纯看语义的话就是类似于英文STS-B上的相关性指标，如果是评价搜索召回效果的话可以是类似于QBQTC上的F1、ACC，当然了还可以有排序指标。

请问，lac Andoroid的2m的小模型是怎么得到的？有没有转换成nb格式之前的模型吗

hi，我看了下lac的版本，官方提供的安卓版模型lac_model似乎是从LAC-0.1.0/lac_model转换而来的，我试着下载了LAC-0.1.0/lac_model然后按照教程转换，但是转换后的模型不可用（猜测是新版paddlelite转换的模型与安卓jni部分不匹配，因为安卓jni部分的cpp代码、so库很久未更新了），于是我将paddlelite降级到了2.6.0，转换后的模型和官方提供的安卓版模型lac_model中的model.nb是一样的。但是paddlelite2.6.0好像不支持量化，官方提供的安卓版模型lac_model的压缩版本laclite_model是如何压缩的？

AttributeError: 'FP16_DeepSpeedZeroOptimizer' object has no attribute 'ipg_index'

any idea? I got a similar bug: AttributeError: 'DeepSpeedZeroOptimizer' object has no attribute 'ipg_index'

Improve ease of use

and pre-build conda envs~

feature: add api support for hosting a reward model

> @hijkzzz我可以将ref和reward模型做成api服务，如果需要我可以开发它们 Maybe we can support function like request_remote_rm?

[BUG]: ModuleNotFoundError: No module named 'colossalai._analyzer'

> any progress?

add perf and benchmark scripts

Any chance to test the A100 40G? Of course, this is not a high priority at the moment.

Support checkpoint to prevent training from collapse

add basic ckpt function: https://github.com/OpenLLMAI/OpenRLHF/commit/f53571de43a4524644e75c9c472bbc69ac7b72c2

[BUG]Traning multiple model with deepspeed

any idea about "AttributeError: 'DeepSpeedZeroOptimizer' object has no attribute 'ipg_index'"?