Suiji12
Suiji12
> > > > 看你安装了bitsandbytes依赖，自适配了int8？ > > > > > > > > > 没有，我只是在出现了"ValueError: Attempting to unscale FP16 gradients."这个问题之后，尝试过load_in_8bit，看看能不能解决这个问题，所以有这个库。 我实测下来，load_in_8bit并且把--fp16删了，的确可以解决"ValueError: Attempting to unscale FP16 gradients."和"RuntimeError: expected scalar type Half...
> Hello, adding the line model.half() to the run_clm_with_peft file did not solve the issue of loss being 0. Later, I used the latest code and ensured training with deepspeed,...
> > 看你安装了bitsandbytes依赖，自适配了int8？ > > 没有，我只是在出现了"ValueError: Attempting to unscale FP16 gradients."这个问题之后，尝试过load_in_8bit，看看能不能解决这个问题，所以有这个库。 我实测下来，load_in_8bit并且把--fp16删了，的确可以解决"ValueError: Attempting to unscale FP16 gradients."和"RuntimeError: expected scalar type Half but found Float"问题，但是loss问题还是得删了modules_to_save才行。 请问你说的把modules_to_save这个参数删掉 指的是删除所有出现在这个py文件中的modules_to_save吗？
> > > > 看你安装了bitsandbytes依赖，自适配了int8？ > > > > > > > > > 没有，我只是在出现了"ValueError: Attempting to unscale FP16 gradients."这个问题之后，尝试过load_in_8bit，看看能不能解决这个问题，所以有这个库。 我实测下来，load_in_8bit并且把--fp16删了，的确可以解决"ValueError: Attempting to unscale FP16 gradients."和"RuntimeError: expected scalar type Half...
> 1. 可以使用大模型生成微调数据，但建议对生成的数据进行质量把控，过滤掉低质的数据。目前我们使用的是开源的数据进行微调的，如t2ranking, dul-retriever, mmarco, 没有使用大模型构造数据。 > 2. 如果有和你们任务相似的数据，可以加进去，否则，不建议加。如果想保证原模型在通用领域的能力，可以使用LM-Cocktail：https://github.com/FlagOpen/FlagEmbedding/tree/master/LM_Cocktail, 融合原模型和微调后的模型即可，更加方便快捷，不需要加入原始数据进行训练。 > 3. 可以试试效果。 请问一下您，有没有调用本地的大模型生成数据集的脚本呀？调用openai得模型也行
> run_localGPT_API.py contains a set of api listeners. By default, there's no main entry and the requested URL (i.e. http://127.0.0.1:5111/) will not be processed. > > The valid api calls...
> > 在 http://127.0.0.1:5110/ 上运行 > > 日志显示服务器正在端口 5110 上运行。因此，当您打开端口为 5111 的 URL 时，将找不到请求 URL。根据您的设置，使用下面的 URL 应该可以工作。 > > http://127.0.0.1:5110/api/run_ingest > > 请查找服务器运行在哪个端口上，因为最初您的端口是 5111，但这次是 5110。 Follow this link：http://127.0.0.1:5110/api/run_ingest. Loading checkpoint...
> > 在 http://127.0.0.1:5110/ 上运行 > > 日志显示服务器正在端口 5110 上运行。因此，当您打开端口为 5111 的 URL 时，将找不到请求 URL。根据您的设置，使用下面的 URL 应该可以工作。 > > http://127.0.0.1:5110/api/run_ingest > > 请查找服务器运行在哪个端口上，因为最初您的端口是 5111，但这次是 5110。 Thanks for your reply, how...
> > 错误：E：\jjx\localGPT/Cheshidatabase\chroma.sqlite3 - 另一个程序当前正在使用此文件，阻止进程访问。 > > 如果我不得不猜测，您对 localGPT 进行了一些自定义，因为路径不应该是，但内置路径是 .还有另一个进程正在访问数据库。您有两种选择：`Cheshidatabase\chroma.sqlite3``DB\chroma.sqlite3` > > 1. 找到正在访问数据库的进程，并终止与该进程相关的任务。 > 2. 重新启动计算机并重新开始。有时问题应该以这种方式解决。 > > 但是，如果您以某种方式自定义了 localGPT，则需要注意这样做的潜在问题。 Thanks for your reply.
> ```shell > 2023-08-20 14:20:27,502 - INFO - run_localGPT.py:180 - Running on: cuda > 2023-08-20 14:20:27,502 - INFO - run_localGPT.py:181 - Display Source Documents set to: True > 2023-08-20 14:20:27,690...