peter

是不是该在github上放点东西了。。。

> 还是希望有int8的库，不然要下载的文件太多了 下载THUDM/chatglm2-6b这个，其他的加载的时候配置化去量化

> temp 和 top_p 设置成0.6左右 跟prompt无关吗？

> 先开着吧，我修好了再关 > > 刚才那句话可以改成 set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -pthread --std=c++17 -O2") > > 这样就不会开汇编优化，应该能跑起来了，就是速度可能慢一点 刚可以了．多谢．这个是因为指令集版本的问题吗？

输出的时候，总是带上了prompt信息，如何把这个去掉了？强制说了不需要输出prompt

nvcc fatal : Unsupported gpu architecture 'compute_native' 这是什么架构的？

cmake的时候报下面错误，怎么解决： -- The CXX compiler identification is GNU 7.5.0 -- Check for working CXX compiler: /usr/bin/c++ -- Check for working CXX compiler: /usr/bin/c++ -- works -- Detecting CXX compiler ABI...

> 是CUDA版本问题吗、我这边是 10.1 这个问题解决了吗？我也碰到了 nvcc fatal : Unsupported gpu architecture 'compute_native'

支持哪些型号的显卡？我现在也全是unk. 而且，感觉也没快啊？

持续关注