GLM-130B icon indicating copy to clipboard operation
GLM-130B copied to clipboard

[Question]GLM-130B模型有vocab文件吗?

Open starkhu opened this issue 1 year ago • 1 comments

请教一个问题:我在本仓库中貌似没有找到一个词典的文件(vocab.json),请教以下glm是怎么将输入文字处理成input_ids的?

这个问题找到答案了,使用icetk进行tokenizer,不需要vocab_file, icetk中有一个15w的词典。

starkhu avatar Jul 05 '23 03:07 starkhu

再请教另一个问题:configs文件夹下的几个脚本中都设置了"inner-hidden-size"这个参数,代码中没看到这个变量,请教一下这个参数的含义是什么?

starkhu avatar Jul 05 '23 03:07 starkhu