hebangwen
hebangwen
Hi, I'm using a Windows virtual machine in Linux. That's to say, **Linux is a client while Windows VM is a server**. I use JSch to set up an SSH...
**问题描述** 我想要把 PaddleDetection 中的 [tinypose](https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.4/deploy/README.md#4%E7%AC%AC%E4%B8%89%E6%96%B9%E9%83%A8%E7%BD%B2mnnncnnopenvino) 用 onnxruntime 部署，通过 [README.md](https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.4/deploy/third_engine/demo_mnn_kpts/README.md#c-library) 导出的模型可以通过 ort 执行，但是经过 onnxsim 后的模型却不可以。我发现原因是 onnxsim 会保留 Paddle2ONNX 中的 scale 属性，但是由于 tinypose 的 backbone [litehrnet](https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.4/ppdet/modeling/backbones/lite_hrnet.py#L387) 用的是 size 来指定缩放后的张量宽高的，而没有用 scale ，所以 scale...
# 平台(如果交叉编译请再附上交叉编译目标平台): WSL2-Debian # Github版本: 5607201b88b21b404587ab13735827e3458ea9cb # 编译方式: ``` -> % cmake -DMNN_SEP_BUILD=OFF .. -- Use Threadpool, forbid openmp -- >>>>>>>>>>>>> -- MNN BUILD INFO: -- System: Linux -- Processor:...
感谢小彭老师的课程，这是我完成的作业1。 我发现了下面这几个问题： - 为什么使用`add_definitions` 通过了？因为`add_definitions` 给当前目录下和所有添加的子目录都添加一个`DEFINITION` ，而不会给包含它的上级目录添加，相当于是默认的`PRIVATE` 。 - 为什使用`target_compile_definitions(stbiw PUBLIC -DSTB_IMAGE_WRITE_IMPLEMENTATION=1)` 不通过？因为`mandel.h` 和`rainbow.h` 都include了stbiw库，所以如果在CMakeLists.txt中设置宏，会导致这个宏被定义了两次，发生冲突。如果在某个源文件中定义这个宏，由于头文件使用`#ifdef INCLUDE_STB_IMAGE_WRITE_H` 来标志函数实现的源码只被包含一次，所以不会发生冲突。应该在CMakeLists.txt文件中将宏设置为`PRIVATE` ，这样这个宏就不会传递到包含它的项目中，从而避免了重定义。 - 能否只使用头文件来进行编译，而不要再额外增加一个cpp文件？**可行**，因为头文件在预处理阶段就被复制到了引用它的源文件中，也就是它不会存在于编译阶段，也就不能拿来编译。其它的头文件库，例如[type_safe](https://github.com/foonathan/type_safe/blob/main/CMakeLists.txt#L94)中用的就是`INTERFACE` 关键字。由于`STB_IMAGE`里用的是`#ifdef`而不是`#ifndef`，不能只修改CMakeLists.txt而不修改某一个cpp源文件，因此[pull/14](https://github.com/parallel101/hw01/pull/14)只能去修改`main.cpp`，不符合要求。
## 背景 非常感谢贵司推出的 demo 仓库，让我受益匪浅。 我按照 Qwen2 下面的 [LoRA Demo](https://github.com/sophgo/LLM-TPU/blob/main/models/Qwen2/lora_demo/README.md) 和 [self-llm qwen2 微调指南](https://github.com/datawhalechina/self-llm/blob/master/models/Qwen2/05-Qwen2-7B-Instruct%20Lora.ipynb)，得到了一个微调后的 lora 模型。 将模型指向自定义的路径后，按照 README 里提供的模型编译方式和测试命令，成功实现了模型的回复。结果见最后的**模型回复**一章。 但是关于这部分代码，我还有许多疑问，想要请教开发者，如下。 ## 问题 1. `net_idx` 和 `weight_idx` 和 `mem_idx` 这三个参数是如何确定的？ 2....
### Describe the feature Thanks for your contribution to this all-in-one evaluation kit. I find Qwen3 has used a MMLU variant, [MMLU-redux](https://github.com/aryopg/mmlu-redux), to conduct evaluation. But I can't find any...
# Prerequisites Before submitting your question, please ensure the following: - [x] I am running the latest version of PowerInfer. Development is rapid, and as of now, there are no...
Hi, thanks for your contribution on building this evluation kit. I used it for reproducing Qwen2.5-VL-3B-Instruct and Qwen2.5-VL-7B-Instruct, recently. I construct a model config with this two model and one...
This PR is trying to address #3947 . When benchmarking gemma3, this model generates eos token very quick, i.e. 3~4 tokens, but we still calculate the decoding tps by 128....