GenerallyCovetous
GenerallyCovetous
请问third_party里的库都需要吗,我看third_party.cmake中只写了gflags等四五个第三方库,但是我看paddle主仓的third_party目录下有很多第三方库,我是否可以直接下载zip然后解压到paddle/third_party目录下然后到paddlecustomdevice/backends/npu下执行bash tools/compile.sh?
> 稍等,我编译给你,CANN的版本不是硬件版本,是软件的toolkit的版本,你可以把你环境里的切换到CANN8.0.RC1。直接使用我们提供的镜像也是CANN8.0.RC1 请问我第三方库一个个解压的方式是否可行?
> 可以的,还需要修改cmake文件,把相关的git submodule update --init 删掉就行 > > whl包:https://ecloud.baidu.com?t=4224d15a9f6dd9e677464c2f5dd3dd3b 实在不好意思,您发的whl包链接我也打不开。我尝试自己解压第三方库,也删掉相关的git语句,现在报错如下: [ 5%] Performing build step for 'extern_gflags' [ 75%] Building CXX object CMakeFiles/gflags_static.dir/src/gflags_reporting.cc.o [ 75%] Building CXX object CMakeFiles/gflags_static.dir/src/gflags_completions.cc.o [...
> 可以的,还需要修改cmake文件,把相关的git submodule update --init 删掉就行 > > whl包:https://ecloud.baidu.com?t=4224d15a9f6dd9e677464c2f5dd3dd3b 前面还有一些报错+ cmake_error=0 + '[' 0 '!=' 0 ']' + '[' aarch64 == x86_64 ']' + make TARGET=ARMV8 -j30 [ 0%] Built...
> 你好,可以给我一个你的邮箱,我发给你whl包; > > 上面的编译错误应该是编译gflags库时的报错,具体报错从你提供的信息里看不出来; > > 可以参考这个issue:[https://github.com/PaddlePaddle/Paddle/issues/40210,](https://github.com/PaddlePaddle/Paddle/issues/40210%EF%BC%8C) 把依赖的第三方库切换为gitee版本,具体修改在Paddle/external/*.cmake,例如glog.cmake修改为:https://gitee.com/kyleson/Paddle/blob/build_cn/cmake/external/glog.cmake 我的邮箱是[email protected], 谢谢您的帮助
> 你好,可以给我一个你的邮箱,我发给你whl包; > > 上面的编译错误应该是编译gflags库时的报错,具体报错从你提供的信息里看不出来; > > 可以参考这个issue:[https://github.com/PaddlePaddle/Paddle/issues/40210,](https://github.com/PaddlePaddle/Paddle/issues/40210%EF%BC%8C) 把依赖的第三方库切换为gitee版本,具体修改在Paddle/external/*.cmake,例如glog.cmake修改为:https://gitee.com/kyleson/Paddle/blob/build_cn/cmake/external/glog.cmake 不好意思,请问可以再编译一个轮子发我邮箱吗,忘记说明环境是aarch64的了,不是x86的
> > > 你好,可以给我一个你的邮箱,我发给你whl包; > > > 上面的编译错误应该是编译gflags库时的报错,具体报错从你提供的信息里看不出来; > > > 可以参考这个issue:[https://github.com/PaddlePaddle/Paddle/issues/40210,](https://github.com/PaddlePaddle/Paddle/issues/40210%EF%BC%8C) 把依赖的第三方库切换为gitee版本,具体修改在Paddle/external/*.cmake,例如glog.cmake修改为:https://gitee.com/kyleson/Paddle/blob/build_cn/cmake/external/glog.cmake > > > > > > 不好意思,请问可以再编译一个轮子发我邮箱吗,忘记说明环境是aarch64的了,不是x86的 > > 您好,现在飞桨官网已经支持最新WHL的包的下载了,您可以直接参考这个官网文档安装 https://www.paddlepaddle.org.cn/install/quick?docurl=undefined > >  > > 也可以直接在2个链接里面下载到对应的whl安装包,x86和aarch64的都有...
> 可以装一个虚拟的py10环境会更方便哈 @qili93 你好,使用whl安装发生报错: Traceback (most recent call last): File "", line 1, in File "/envs/paddle_npu/lib/python3.10/site-packages/paddle/__init__.py", line 37, in from .base import core # noqa: F401 File "/envs/paddle_npu/lib/python3.10/site-packages/paddle/base/__init__.py", line 207,...
> > > 你好,我不是原作者,我正在复现这篇工作。 > > > 根据论文所报告的参数,bz大小为128,四个数据集合在一起总的数据量除以bz应该是105,那么CKPT=105的来源。到sh脚本里给出的默认参数梯度累加步长是32,他们的实验应该运行在4张GPU上,我认为你需要检查一下你实验中的设置有没有跟他对齐 > > > > > > 确实,他们的实验是在4张GPU上运行的,我的是在一张GPU上运行的。 > > 我还有个问题就是是否需要将所有的数据集和ckpt获取数据梯度,我看他的第二步只是使用了一个数据集和一个ckpt进行数据梯度的获取,第三步计算影响力分数时使用的确却是所有的数据集和ckpt(如图1和图2),我个人觉得应该是对所有数据集和ckpt进行计算吧? > > 我目前实现了只对最后一个ckpt进行实验(也就是ckpt=1688),数据集使用了1个和4个分别进行了实验,但是得到的结果却是使用1个数据集的效果明显好于使用4个数据集。(模型是llama2-7b).图3是我运行步骤二得到的数据。  图1  图2  图3 > > 是的,原文中这样写:...
> I support you. Since now, I don't think opencompass havs ready2use multi-gpu framework yet. So for example, qwen qwq-32b model is not supported for vllm fast inference. Many internal...