lorinma

Hi, do you mind share the code to plot the figure? I found the original notebook but was unable to reproduce it. thanks!

关于反例和卡时的估计

2

您好！麻烦是否可以给出训练使用了多少卡时的估计吗？ 另，法律方向应该由专业人士来做评判，现在有没有效果不好的negative example呢？这并没有在repository里找到。 谢谢!

I use the "lawgpt-lora-7b" as the lora weights and run the webui.sh. When I run the code on cpu, the response is good. When I run the code on gpu,...

您好，关于预训练阶段语料不知道以下几点是否有特殊的考量？ 请问法律增量预训练阶段的语料大约是多少B的量级？全都是法律的吗，没有和通用的做混合？以及同属于法律数据，不同数据来源的比例？

about noisy results from own dataset

9

Hi, I have created my own dataset but the results looks like this, do you have any idea why so?  The way I prepared my data is to capture...

Hi, many thanks in advance! I'm trying to create a new and complex NL2SQL dataset, however the eval does not seem to support inner join. What should I do except...

关于jsonl打开是乱码

2

你好，json转化成jsonl以后，中文是乱码（类似\u5047\u8bbe\u4f60\u662f），麻烦可以解释一下为什么吗？谢谢

是否可以提供一个Gdrive和百度云的下载方式

2

hf上lfs下载了三次都不成功，太不稳定了。谢谢

使用train_multi_gpu, 两张3090显存报OOM。一开始是加载就OOM，把命令行中的FP16去掉后能够训练，但是不久就OOM，显存占用几乎是顶格23.4G/24G。然后我把加载模型的时候去掉了.half()加上了load_in_8bit=True，报错：ValueError: You can't train a model that has been loaded in 8-bit precision on multiple devices. 看了是accelerator不支持的问题。

无法找到知识增强预训练的数据

2

你好，我无法找到文件： data_path=/wjn/nlp_task_datasets/kg-pre-trained-corpus/total_pretrain_kgicl_gpt，感觉看的有点模糊，麻烦指个路，谢谢！