rainkin1993

Have you ever load a system dll(user32.dll, ntdll.dll) succeed?

AH, I firstly try MemoryModule but also failed with another error messages 1. When loading user32.dll using MemoryModule in Win10, the DLLMain was invoked and I get an error code...

Sure. I will take a look the selftest config file and polish the config table. If finished, I will send a PR.

不知道为啥，ptune训练结束后的模型没有包含一些关键的py文件，我的解决办法是 从原始的chatglm-6b模型处加载基础模型，然后从ptune训练后的模型中加载ptune训练后的参数到基础模型中 ``` diff --git a/LLM/finetune/inference.py b/LLM/finetune/inference.py index f7d1311..77f9c30 100644 --- a/LLM/finetune/inference.py +++ b/LLM/finetune/inference.py @@ -1,3 +1,4 @@ +# coding: utf8 # !/usr/bin/env python3 """ ==== No Bugs in code,...

我的显卡16GB，训练的时候也报错了，OOM。 理论上16G足够微调lora了，看了下代码，发现是因为微调训练结束后，在保存模型的时候，原始代码里面会将 原始模型和微调后心脏的模型参数 merge到一个模型，输出为一个模型文件（这个merge代码中，对训练后的模型deep_copy了一份，相当于需要的内存 * 2）。 解决方案就是：修改下train.py文件中的save_model函数，不merge参数，只将微调后的模型参数单独保存。当然，由于没有merge到一个模型，在推理的时候也需要相应修改下代码，使得代码能够加载原始模型+lora模型参数。 lora模型参数单独保留： ``` diff --git a/LLM/finetune/train.py b/LLM/finetune/train.py index 4483fc0..53dc4e9 100644 --- a/LLM/finetune/train.py +++ b/LLM/finetune/train.py @@ -155,12 +155,13 @@ def save_model( Args: cur_save_path (str): 存储路径。...