Zhao Jiabing
Zhao Jiabing
I've encountered the same issue. How should the KV cache be expanded?
Guys, I find the way to increase KV Cache. As you know KV Cache can be seen as a part of prompt, we can just increase the `--ctx-size` parameter, which...
Thanks for your reply. But I want say that when we use API to deploy our model, that means the device in our hand may with no enough calculate resouces...
Thanks for your advice. But `lmdeploy` relies on `torch`, it will make a large of unnecessary download task and Occupation, especially in arm devices😂. That is.
Certainly it's label_anything! Hope good news.
https://github.com/ZhaoCake/openmmlab_homework.git
https://github.com/ZhaoCake/openmmlab_homework.git
我进行了一些尝试。 所用主要平台为qemu-virt64-riscv --- 首先是对于最新的musllibc，在它的[bits/signal.h](https://git.musl-libc.org/cgit/musl/tree/arch/riscv64/bits/signal.h)中没有SA_RESTORER的定义了，因此要进行编译，需要修改`components/libc/compilers/common/include/sys/signal.h`中的内容。 ```diff ... #ifdef RT_USING_MUSLLIBC /* this is required for musl */ #ifndef _POSIX_SOURCE #define _POSIX_SOURCE #include +#ifndef SA_RESTORER +// 或者其他修改方法 +#define SA_RESTORER 0x04000000 +#endif /* limiting...
> 因此，即使找到了当前ci中工具链的新版本，如果没有对应的源码，依然不建议使用，毕竟如前文所述，对于ci中这个工具链是否真的启用了浮点数我保持合理的怀疑（实际上持否定态度），处理器带有fpu而不使用硬件浮点，这是不应该接受的。 我完全不能够理解，但是这个旧工具链竟然确实是编译出了带有浮点指令的程序，尽管它只能指定lp64的ABI而不能指定lp64f与lp64d。这实在是一个太出乎意料的工具链，我真是完全不能够理解。现在缺乏编译器知识的我是足够困惑的。有没有大佬能点拨一下为什么一个-mabi=lp64的工具链，在编译时接收的ABI参数也是lp64，却能够编译出带有浮点指令的程序。 话说回来，我是通过移植whetstone浮点计算基准测试确定了这一点。在QEMU中运行这种基准测试并不是好的做法，但以下结果应该仍然能够反映出结论。 rt smart：使用这个ci中的musl工具链，编译器信息如上条评论。 关闭fpu并设置rtconfig.py中-march=rv64imac, 保持-mabi=lp64 ``` Loops: 100000, Iterations: 1, Duration: 103 sec. C Converted Double Precision Whetstones: 97.1 MIPS ``` 开启fpu,改回rtconfig.py的-march=rv64ima, 保持-mabi=lp64 ``` Loops: 100000, Iterations:...
@unicornx > 所以我的本意是希望 RTT 那边是否可以发布一个统一的链接，或者把 https://github.com/RT-Thread/toolchains-ci/releases/download/v1.7/riscv64-linux-musleabi_for_x86_64-pc-linux-gnu_latest.tar.bz2 这个链接更新到最新的版本就好。 您好，我是在试图使用gdb调试qemu启动的rt smart时遇到由于工具链版本过低导致无法使用gdb调试的情况。这可以通过开启一个docker或者降低我系统版本库的方式解决。不过我看到您提出的这个issue所以尝试使用新工具链，不过显然出现了问题。 请问您可以提供新版本工具链的获取方式吗？或者更新在ci utest中。十分感谢。