ipex-llm icon indicating copy to clipboard operation
ipex-llm copied to clipboard

要节约磁盘空间,ollama 使用igpu时能不能把oneapi必要库拷贝到conda环境

Open dayskk opened this issue 1 year ago • 4 comments

要节约磁盘空间,ollama 使用igpu时能不能把oneapi必要库拷贝到conda环境,以下是收到的邮件方法,但是不适用于ollama,没有intel-extension-for-pytorch文件夹,torch的lib现成就有文件了,都不用拷贝

Hi Xutao,

在你们参展的MTL Ultra7 机器可以把oneapi的必要库拷贝到conda,节约机器磁盘空间,也不需要每次启动llm应用前运行 oneapi setvars.bat.

步骤:

(1)从C:\Program Files (x86)\Intel\oneAPI把以下这些dll拷贝到conda环境的intel-extension-for-pytorch/bin 路径下

(2)从C:\Program Files (x86)\Intel\oneAPI把以下这些dll拷贝到conda环境的torch/lib 路径下

dayskk avatar Jul 17 '24 06:07 dayskk

理论上可以,实际上需要测试一下

violet17 avatar Jul 17 '24 06:07 violet17

ollama 使用igpu时,要拷贝哪些oneapi必要库到conda环境的什么地方?

dayskk avatar Jul 17 '24 08:07 dayskk

打开一个cmd窗口,用pip安装,这样安装的包约1.4G,比原来节省了20G+。 mkdir intel/dpct set PYTHONUSERBASE=c:/intel/dpct pip install --user mkl-dpcpp==2024.2 onednn==2024.2 dpcpp-cpp-rt==2024.2

然后到conda环境的窗口 conda activate your_env set PATH=c:\intel\dpct\Library\bin;%PATH%

biyuehuang avatar Jul 17 '24 09:07 biyuehuang

安装oneapi 打开一个cmd窗口,用pip安装,这样安装的包约1.4G,比原来节省了20G+。 mkdir intel/dpct set PYTHONUSERBASE=c:/intel/dpct pip install --user mkl-dpcpp==2024.2 onednn==2024.2 dpcpp-cpp-rt==2024.2

然后到conda环境的窗口 conda activate your_env set PATH=c:\intel\dpct\Library\bin;%PATH%

此方法无效

dayskk avatar Aug 06 '24 08:08 dayskk