GLM-130B
GLM-130B copied to clipboard
[Question]GLM-130B模型有vocab文件吗?
请教一个问题:我在本仓库中貌似没有找到一个词典的文件(vocab.json),请教以下glm是怎么将输入文字处理成input_ids的?
这个问题找到答案了,使用icetk进行tokenizer,不需要vocab_file, icetk中有一个15w的词典。
再请教另一个问题:configs文件夹下的几个脚本中都设置了"inner-hidden-size"这个参数,代码中没看到这个变量,请教一下这个参数的含义是什么?