ppl.nn.llm issues

export模型的时候，报warning，有问题么？

1

使用命令： OMP_NUM_THREADS=1 torchrun --nproc_per_node \ Export.py --ckpt_dir \ --tokenizer_path /tokenizer.model \ --export_path --fused_qkv 1 --fused_kvcache 1 --auto_causal 1 \ --quantized_cache 1 --dynamic_batching 1 \ export 模型的时候，报一些warning信息，这是什么原因？会有什么影响？需要解决么？谢谢 [W shape_type_inference.cpp:1920] Warning: The...

yangvicky

如何跑internlm2-20b模型的性能，也是使用pplnn-build/tools/benchmark_llama么？

1

如何用ppl 跑internlm2-20b模型的性能，也是使用pplnn-build/tools/benchmark_llama么？

yangvicky

Is there python binding support ?

1

There's no python binding related code in repository. Since ppl.nn.llm is ppl.nn, how can I integrate ppl.nn.llm with ppl.nn python binding ? Is it possible to use python to build...

xorange