FlagAI icon indicating copy to clipboard operation
FlagAI copied to clipboard

Published 20 hours ago • verified publisher icon FlagAI-Open

[Question]: 预训练数据使用的tokens数

Open wangjw14 opened this issue 2 years ago • 1 comments

Description

想问下，Aquila-7B、以及要发布的Aquila-30B，在预训练中，一共使用了多少tokens的语料呢？

Alternatives

No response

wangjw14 avatar Jun 12 '23 10:06 wangjw14

Aquila系列模型的训练数据规模及分布情况将在官方技术报告中呈现（预计6月底发布，敬请期待）

BAAI-OpenPlatform avatar Jun 13 '23 01:06 BAAI-OpenPlatform