lbl1120
lbl1120
是否考虑下一步,直接实现一个基于SQL数据库的问答模式? 可以直接连接mysql、oracle、sqlserver等大型数据库,然后根据事先定义好的查询语句,让LLM根据查询出来的结果去回答问题,这样既不用人工再去将数据库中的内容提取成问答,又便于程序直接查询,而且数据库中的内容,大部分都是结构化的,可能更有利于结果的准确
csyw@ubuntu:/opt/AI/llm_obj/mlc-llm/android/library$ ./prepare_libs.sh + rustup target add aarch64-linux-android info: component 'rust-std' for target 'aarch64-linux-android' is up to date + mkdir -p build/model_lib + python3 prepare_model_lib.py Creating lib from ['/opt/AI/llm_obj/mlc-llm/dist/lib/Qwen1.5-1.8B-Chat-q4f16_1-MLC-android.tar'].. Validating the...
为什么同样的脚本(Qwen1.5/examples/web_demo.py)去执行Qwen1.5-32B-Chat-GPTQ-Int4的推理时,4090 24G 比 V100 32G 回答速度快了5倍,这是什么原因,是显卡性能的问题,还是代码还有哪个配置没有打开,导致V100的计算能力没有发挥出来? ![Uploading 屏幕截图 2024-05-13 212724.png…]()
为什么同样的脚本(Qwen1.5/examples/web_demo.py)去执行Qwen1.5-32B-Chat-GPTQ-Int4的推理时,4090 24G 比 V100 32G 回答速度快了5倍,这是什么原因,是显卡性能的问题,还是代码还有哪个配置没有打开,导致V100的计算能力没有发挥出来? ![Uploading 屏幕截图 2024-05-13 212724.png…]()
为什么同样的脚本(Qwen1.5/examples/web_demo.py)去执行Qwen1.5-32B-Chat-GPTQ-Int4的推理时,4090 24G 比 V100 32G 回答速度快了5倍,这是什么原因,是显卡性能的问题,还是代码还有哪个配置没有打开,导致V100的计算能力没有发挥出来? ![Uploading 屏幕截图 2024-05-13 212724.png…]()
### Self Checks - [X] I have searched for existing issues [search for existing issues](https://github.com/langgenius/dify/issues), including closed ones. - [X] I confirm that I am using English to submit this...
Feel free to ask any kind of questions in the issues page, but please use English since other users may find your questions valuable. **Describe the bug** A clear and...