huyz-git

你是在用 fp16 跑推理么？ Qwen2-7B-Instruct 这个模型在 910B 设备上，用 fp16 推理会溢出，导致 prefill 过后所有的 logits 全部为 nan，于是第一个 token 采样就永远是 0 号 token（即感叹号）。 解决方式是改用 bf16。 我印象中 AscendvLLM 的 FX 后端是支持 bf16 的。 如果你的 AscendvLLM...

> > 你是在用 fp16 跑推理么？ qwen2-7B-instruct 这个模型在 910B 设备上，用 fp16 推理会溢出，导致 prefill 过后所有的 logits 全部为 nan，于是第一个 token 采样就永远是 0 号 token（即感叹号）。 解决方式是改用 bf16。 我印象中 AscendvLLM 的 FX 后端是支持 bf16 的。...

> > 你是在用 fp16 跑推理么？ > > 是的，用的MindIE模式+fp16，我试下你的方案 MindIE 我近期发现了一个能强行让它跑 BF16 的方法： 找到 `atb-models/atb_llm/models/qwen2/flash_causal_qwen2.py` 这个文件，然后： - 把 36 37 行的判断注释掉。 - 把 38 行的 `torch.float16` 改成 `self.dtype`，并把前面的 1 改成 2048。...

This font aliased issue seems to be related to the specific application, as shown in the figure:  This three window is: - Geogebra 5.2.857 with freetype variant of JBR...

According to the `README.md` of [DeepSeek-V3-0324](https://huggingface.co/deepseek-ai/DeepSeek-V3-0324#how-to-run-locally): > This model supports features such as function calling, JSON output, and FIM completion. For instructions on how to construct prompts to use these...