zhongjiyongshi
Results
1
comments of
zhongjiyongshi
> 在用 deploy.py 把 qwen-7b 转成 turbomind 要求的权重格式之后，会生成一个配置文件，路径是 workspace/triton_models/weights/config.ini。 > > 把这个配置文件中几个配置项修改为： > > ``` > max_position_embeddings = 2048 > use_dynamic_ntk = 1 > use_logn_attn = 1 > ``` >...