Wayne Yuan

[Help] <请问p-tuning 和 p-tuning V2 仅仅只修改prefix_projection 参数>吗

6

### Is there an existing issue for this? - [X] I have searched the existing issues ### Current Behavior 原code的ptuning里的train.sh脚本里没有加入prefix_projection参数，这样默认是通过p-tuning训练吗？ 我尝试增加参数 --prefix_projection True 但是出现训练报错 显存不够？batch缩到很小也不行。 ### Expected Behavior _No response_...

bge-continual training 如何选择一个好的checkpoint进行fine-tuning？

3

非常优秀的工作👍 目前我面临的问题是： 1、用垂直语料进行continual training，然后拿收敛的model进行fine-tuning发现效果很差，甚至比原始开源模型还差了不少？所以是否是不需要continual training到收敛才选择checkpoint？ 2、训练的step和评估的指标如下图，感觉评估的精度随step一直在波动变化，没有呈现一定的规律性？请问这个可能的原因是什么呢？ ![Uploading performance_metrics.png…]()

If I input more than the max_seq_length？

4

I see that sgpt-bloom-7b1-mamarco model has a vector length of 300，but If I input more than the maximum length, for example, input more than 400 Chinese characters, it seems that...

adapt pydantic.v1.error_wrappers.ValidationError: 1 validation error for Prompt

6

I want to customize the adapt function, change the language to Chinese this is code： ```py cache_dir = ".cache" adapt( metrics=evaluate_stk, language="Chinese", cache_dir=cache_dir, llm=llm ) ``` and this is the...