ztxz16
ztxz16
需要提供一下环境（cuda设备， nvcc版本等） 这个错误一般情况是显存爆掉导致的
之前有人类似的报错，把cuda架构设定为native之后解决了 （目前CMakeLists.txt已经默认用native了） 可以试一下能不能解决
新版本已经可以设置了
是的.. 这个有点麻烦，暂时还没弄，不过中文模型效果都还可以 之后会考虑加上，或者用py接口，这样可以用原生的tokenizer
> @ztxz16 请帮忙看看这个小问题 V100测试LLama: [ user: "Below is an instruction that describes a task. Write a response that appropriately completes the request. > > ### Instruction: > Building a website...
是比较长期的计划了，工作量比较大 （而且我手头没双卡机器... ）
> CPU版报下面的错误： > > ```powershell > MSBuild version 17.3.1+2badb37d1 for .NET Framework > fastllm.cpp > D:\MyProjects\CppProjects\fastllm\include\utils\utils.h(75,30): warning C4244: “+=”: 从“double”转换到“float”，可能 丢失数据 [D:\MyPr > ojects\CppProjects\fastllm\build\fastllm.vcxproj] > D:\MyProjects\CppProjects\fastllm\include\fastllm.h(51,43): warning C4244: “初始化”: 从“int”转换到“float”，可能丢失数据...
修复了，windows下的文件移动有点问题 不过暂时windows还不支持fastllm_pytools
> 修复了，windows下的文件移动有点问题 不过暂时windows还不支持fastllm_pytools 目前新的版本fastllm_pytools也可以支持了
之前7B模型没有官方的Chat文件，现在13B chat应该可以用了