ding

rip。thanks

InstructBlip-vicuna13B : llm generate error with position_id's error shape

7

Code： ossfs/workspace/LAVIS/lavis/models/blip2_models/modeling_llama.py:529 in forward position_ids = position_ids.view(-1, seq_length).long() Log： RuntimeError: shape '[-1, 40]' is invalid for input of size 205 When i print the position_ids' shape, it output twice log....

[BUG] <title> llama.cpp编译2.6版本出错

1

### 是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this? - [X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions ### 该问题是否在FAQ中有解答？ | Is there an...

手机端跑2.5版本闪退

2

专门买了部小米14pro，跑2.5版本的多模态。 下载好模型后，上传照片。然后就是解析图片，过几秒后就闪退出去，没有任何报错。 另外llama.cpp的方式是不是比mlc的方法，推理更快、或者bug问题更少？

Training the model throws an error after quantization

1

When I use 8-bit quantization in the pre-training process, the code throws an error. You cannot perform fine-tuning on purely quantized models. Please attach trainable adapters on top of the...

端模型跑vlm的延时

1

我们在用小米14 pro测试了下llama.cpp以及ollama跑minicpm。 模型加载大约10s，图片编码大约10s。 相比llm，这个速度还是非常慢，我们有更好的方案解决图片编码问题吗，或者咱们有端模型群吗？

Sam数据不全

3

下载了sam数据集，训练过程中，显示json文件中大约一半的sam image没有对应文件。 是不是咱们的sam数据还有别的？ 能分享下吗