InfLLM
InfLLM copied to clipboard
关于llama3和mistral config的设置
在4.2节中,即Table 1的InfiniBench的测试结果中,对于Mistral 7B window是16K,然后Llama3-8B的window是8K 但是在Appendix 里的Table 5中,对于LongBench它的window size对于Mistral变为了 12K,6K
这里有下面两个问题想请教一下: 1.那对于不同的任务是不是还要离线的先手动选择window size呢 2.对llama3 来说,paper中说的windowsize 是8k,但是repo中的配置我看是16*128+4k=6k,想问下是最后经过测试发现llama3 6k windowsize也可以么