要节约磁盘空间,ollama 使用igpu时能不能把oneapi必要库拷贝到conda环境
要节约磁盘空间,ollama 使用igpu时能不能把oneapi必要库拷贝到conda环境,以下是收到的邮件方法,但是不适用于ollama,没有intel-extension-for-pytorch文件夹,torch的lib现成就有文件了,都不用拷贝
Hi Xutao,
在你们参展的MTL Ultra7 机器可以把oneapi的必要库拷贝到conda,节约机器磁盘空间,也不需要每次启动llm应用前运行 oneapi setvars.bat.
步骤:
(1)从C:\Program Files (x86)\Intel\oneAPI把以下这些dll拷贝到conda环境的intel-extension-for-pytorch/bin 路径下
(2)从C:\Program Files (x86)\Intel\oneAPI把以下这些dll拷贝到conda环境的torch/lib 路径下
理论上可以,实际上需要测试一下
ollama 使用igpu时,要拷贝哪些oneapi必要库到conda环境的什么地方?
打开一个cmd窗口,用pip安装,这样安装的包约1.4G,比原来节省了20G+。 mkdir intel/dpct set PYTHONUSERBASE=c:/intel/dpct pip install --user mkl-dpcpp==2024.2 onednn==2024.2 dpcpp-cpp-rt==2024.2
然后到conda环境的窗口 conda activate your_env set PATH=c:\intel\dpct\Library\bin;%PATH%
安装oneapi 打开一个cmd窗口,用pip安装,这样安装的包约1.4G,比原来节省了20G+。 mkdir intel/dpct set PYTHONUSERBASE=c:/intel/dpct pip install --user mkl-dpcpp==2024.2 onednn==2024.2 dpcpp-cpp-rt==2024.2
然后到conda环境的窗口 conda activate your_env set PATH=c:\intel\dpct\Library\bin;%PATH%
此方法无效