hariji comments

Results 13 comments of


                                            hariji

请问和llama.cpp 相比有什么优化的地方吗？因为我看大部分代码都是和他重合的

对于4090 的推理速度我存在质疑。不可能会少于10t/s（注意这是CPU推理的速度） ![image](https://github.com/SJTU-IPADS/PowerInfer/assets/45991092/649cb0db-e1ee-422d-982b-902749190518)基于llama.cpp拉出的是只适配cpu的，你可以拉出最新的llama.cpp 已经适配了这个问题。再次对比下速度。

如何在本地启动Gradio demo？

你好，下载我建议同意下载huggingface 中的文件，具体路径为：https://huggingface.co/levihsu/OOTDiffusion 若无法下载，建议您这里使用 huggingface 镜像中的工具进行下载 wget https://hf-mirror.com/hfd/hfd.sh chmod a+x hfd.sh 执行该命令即可下载 ./hfd.sh levihsu/OOTDiffusion --tool aria2c -x 16

关于运行run/gradio_ootd.py 后出现ninja包的报错

@dkw-wkd 你好这里我需要你的CUDA版本等相关依赖。我在部署的时候遇到过C++缺失的情况。后续解决了。目前我的环境如下：我的环境是 CUDA Driver Version: 12.0 nvcc版本为： nvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2022 NVIDIA Corporation Built on Tue_May__3_18:49:52_PDT_2022 Cuda compilation tools, release 11.7,...

关于运行run/gradio_ootd.py 后出现ninja包的报错

我仔细观察了下类似的报错：都是会调用到c++17，然后使用c++11，我的环境中只有c++11， gcc (Ubuntu 11.4.0-1ubuntu1~22.04) 11.4.0 Copyright (C) 2021 Free Software Foundation, Inc. This is free software; see the source for copying conditions. There is NO warranty; not even for MERCHANTABILITY...

baichuan2flm.py ..python3.10/site-packages/accelerate/big_modeling.py", line 415, in wrapper raise RuntimeError("You can't move a model that has some modules offloaded to cpu or disk.") RuntimeError: You can't move a model that has some modules offloaded to cpu or disk.

你好如果我没有gpu呢该如何做呢@wut0n9

sherpa onnx 的 jnilibs 好了，但是其他想用onnx 推理的模型无法找到onnx环境

![Image](https://github.com/user-attachments/assets/9dac3915-ddac-4566-9143-2e69fae73bc0)

sherpa onnx 的 jnilibs 好了，但是其他想用onnx 推理的模型无法找到onnx环境

> 没看懂你要做什么这里语音部分有个 onxxruntime 的so，语音部分可以正常运行，但是其他部分，例如翻译模块，需要引用onnxruntime，依赖代码是：`dependencies { // Add Json dependency implementation("org.jetbrains.kotlinx:kotlinx-serialization-json:1.5.0") implementation("org.jetbrains.kotlinx:kotlinx-coroutines-core:1.0.0") implementation("org.jetbrains.kotlinx:kotlinx-coroutines-android:1.7.3") // implementation("com.google.mlkit:translate:17.0.3") // Ml-Kit implementation("com.google.mlkit:language-id:17.0.6") implementation("com.microsoft.onnxruntime:onnxruntime-android:1.17.1") implementation("com.microsoft.onnxruntime:onnxruntime-extensions-android:0.11.0") // JWS parser implementation("com.nimbusds:nimbus-jose-jwt:5.1") // Room library...