Chase

QUESTION: CUDA out of memory when running baichuan-2-7b on 4090

7

环境： torch==2.0.1+cu117 xinference==0.4.4 启动 baichuan-2-chat-7b 模型时，占用GPU内存大概13G，但是调用服务后，就显存溢出了，如下图：  

Colab中微调报错： CUDA out of memory

9

### 提交前必须检查以下项目 - [X] 请确保使用的是仓库最新代码（git pull） - [X] 已阅读[项目文档](https://github.com/ymcui/Chinese-LLaMA-Alpaca-3/wiki)和[FAQ章节](https://github.com/ymcui/Chinese-LLaMA-Alpaca-3/wiki/常见问题)并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。 - [X] 第三方插件问题：例如[llama.cpp](https://github.com/ggerganov/llama.cpp)、[text-generation-webui](https://github.com/oobabooga/text-generation-webui)等，建议优先去对应的项目中查找解决方案。 ### 问题类型 模型训练与精调 ### 基础模型 Llama-3-Chinese-8B-Instruct（指令模型） ### 操作系统 Linux ### 详细描述问题 ``` lr=1e-4 lora_rank=64 lora_alpha=128 lora_trainable="q_proj,v_proj,k_proj,o_proj,gate_proj,down_proj,up_proj" modules_to_save="embed_tokens,lm_head" lora_dropout=0.05...

使用 llama3 的 lora 微调报错：NotImplementedError: Cannot copy out of meta tensor; no data!

5

在 `colab` 环境，执行 **llama3** `lora` 微调报错：NotImplementedError: Cannot copy out of meta tensor; no data! 。微调代码如下： ```python import pandas as pd from modelscope import snapshot_download import torch from datasets import Dataset...

选择 .ipythonnb 文件中的内容，页面白屏

1

## 设备信息 - 操作系统: [Win10] - 浏览器版本: [Chrome125] - 沙拉查词版本: [v7.20.0] ## 描述问题 打开 **github** 上的 `.ipythonnb` 文件，选择文件中的文字时，页面白屏。 ## 复现步骤 同上 ## 期待的正常行为 页面正常显示 ## 截图 > 打开页面时  >...

How to get the original dxf object loaded?

1

 

How to convert threejs coordinate space to DXF model space?

3

Can you highlight a component when you click on it?

> It automatically quits when it loads the cjson library. 

在 Alpine Linux 系统的容器中运行，出现如下错误，怎么处理？ ```log [2025-02-05 09:10:10.439][DBG] CCoreGlobalCtrlBase::LoadDSo, HPR_LoadDSo Succ, Path[/lib/libz.so.1.2.11], hHandleRet[-1319183216] [2025-02-05 09:10:10.439][INF] The COM:HCCoreBase ver is 6.1.4.15, 2020_03_05. Async:1. [2025-02-05 09:10:10.439][INF] The COM:Core ver is 6.1.9.48, 2023_04_10. Async:1....

编译安装报错

1

执行 `mvn clean install -DskipTests=true` 报错如下，请问需要配置什么？ ```log [INFO] [INFO] --- cmake-maven-plugin:3.23.2-b1:compile (cmake-compile) @ GmSSLJNI --- [INFO] Downloading binaries to C:\Users\chenc\Desktop\GmSSL-Java\target\dependency\cmake [INFO] Configured Artifact: com.googlecode.cmake-maven-project:cmake-binaries:windows-x86_64:3.23.2-b1:jar [INFO] cmake-binaries-3.23.2-b1-windows-x86_64.jar already unpacked. [INFO] Executing...

- 项目克隆后，首先将根目录下的 `pom.xml` 文件中仓库地址改为如下（因为pentaho官方仓库地址已变更）。 ```xml pentaho-public Pentaho Public https://hitachiedge1.jfrog.io/artifactory/pnt-mvn/ true always true always spring-milestones Spring Milestones https://repo.spring.io/artifactory/milestone/ ``` - 此时编译打包会报错误：无法下载 `pentaho-kettle:kettle-core:pom:8.3.0.26-1479` 和 `pentaho-kettle:kettle-engine:8.3.0.26-1479` 。相关代码会报错，需要将其版本更换为官方仓库中支持的版本。 ```xml 8.3.0.0-371 ``` - 接着按照文档要求，安装、启动MySQL、Redis、Consul服务，建立数据库并执行脚本，再修改相关应用配置文件 `application-local.yaml`，再按顺序启动微服务（`dataintegration-gateway`网关服务最后启动）。打开浏览器访问...