Jianing Wang

About the input of the XLNET

1

If I want to train your model on text classification task, I think the input has only one sentence(segment) each batch,In other words, the input is [A,CLS] without B and...

请问有人使用GLM跑通过Continual Pre-training么？ - 预训练语料是否需要自行处理，还是GLM在训练前可以自动帮我们生成含有mask的文本？预训练数据应该存放在哪个目录下，数据格式是怎样的（是否直接就是纯文本？） - 能否支持新增special token？我在tokenization.py文件里看到了一些包括[gMASK]，[sMASK]，[dBLOCK]等标记，是否需要改此文件？ - 如果自己想更改或新增一些对预训练数据的mask任务，应该在哪里进行编写代码？

Can peft support ColumnParallelLinear?

1

### System Info I have a model, and the architecture has xxxParallel attributes, which are used for parallel inference: ``` BaichuanForCausalLM( (model): BaiChuanModel( (embed_tokens): VocabParallelEmbedding() (layers): ModuleList( (0-31): 32 x...

wjn-pr

2

阿里云AIR项目工程任务 本次任务完成MFT和KD算法的Oneflow工程实现 PR提交者：王嘉宁

WangJianing/KnowledgeDistillation

1

阿里云AIR 本次提交了算法KnowledgeDistillation

WangJianing/MetaKD

1

阿里云AIR 本次提交了算法MetaKD

WangJianing/MetaFineTuning

1

阿里云AIR 本次提交了算法MetaFineTuning

欢迎订阅，在Issues里提交问题，博主会及时解答