K-BERT icon indicating copy to clipboard operation
K-BERT copied to clipboard

About the bin File

Open Billy-Zhoup opened this issue 4 years ago • 9 comments

您好,

您的论文和idea真的令人印象深刻!

有过一个问题想要请教您。

我尝试用您的framework load 我自己的model的时候,是会报错的。

我看了您之前的回答,您对您的bin文件是做了一定的修改

想问下,您对您的bin文件做了怎样的修改呢?

麻烦您了

Billy-Zhoup avatar Mar 08 '20 04:03 Billy-Zhoup

您好,

您的论文和idea真的令人印象深刻!

有过一个问题想要请教您。

我尝试用您的framework load 我自己的model的时候,是会报错的。

我看了您之前的回答,您对您的bin文件是做了一定的修改

想问下,您对您的bin文件做了怎样的修改呢?

麻烦您了

请问你自己的model是使用什么框架实现的?bin文件是通过对Google模型转码得到的,请确保你的模型符合本项目的使用。

autoliuweijie avatar Mar 08 '20 13:03 autoliuweijie

你好我有点好奇,關於"bin文件是通过对Google模型转码得到的" 是什么意思?你是重新pre-trained一个类似BERT的Pre-trained model吗 如果是的话,是否能详述实作的方法呢

非常感谢

WenTingTseng avatar Mar 12 '20 15:03 WenTingTseng

你好我有点好奇,關於"bin文件是通过对Google模型转码得到的" 是什么意思?你是重新pre-trained一个类似BERT的Pre-trained model吗 如果是的话,是否能详述实作的方法呢

非常感谢

并不是重新预训练一个BERT模型,而是将Google训练好的模型参数对应到本项目中各个Tensor上。

具体的转码脚本见我们的UER项目:https://github.com/dbiir/UER-py/blob/master/scripts/convert_bert_from_google_to_uer.py

autoliuweijie avatar Mar 12 '20 15:03 autoliuweijie

您好, 您的论文和idea真的令人印象深刻! 有过一个问题想要请教您。 我尝试用您的framework load 我自己的model的时候,是会报错的。 我看了您之前的回答,您对您的bin文件是做了一定的修改 想问下,您对您的bin文件做了怎样的修改呢? 麻烦您了

请问你自己的model是使用什么框架实现的?bin文件是通过对Google模型转码得到的,请确保你的模型符合本项目的使用。

您好,我是用的pytorch(hugging face). bin文件的话,我一开始是用的我自己fine-tunning的模型导出的bin,发现读不进去。 然后我试了下面两种: google 原始tensorflow文件转 pytorch bin文件 hugging face 原始pytorch bin文件

但这两种格式也没读进去,所以想请教您一下:)

Billy-Zhoup avatar Mar 12 '20 15:03 Billy-Zhoup

您好, 您的论文和idea真的令人印象深刻! 有过一个问题想要请教您。 我尝试用您的framework load 我自己的model的时候,是会报错的。 我看了您之前的回答,您对您的bin文件是做了一定的修改 想问下,您对您的bin文件做了怎样的修改呢? 麻烦您了

请问你自己的model是使用什么框架实现的?bin文件是通过对Google模型转码得到的,请确保你的模型符合本项目的使用。

您好,我是用的pytorch(hugging face). bin文件的话,我一开始是用的我自己fine-tunning的模型导出的bin,发现读不进去。 然后我试了下面两种: google 原始tensorflow文件转 pytorch bin文件 hugging face 原始pytorch bin文件

但这两种格式也没读进去,所以想请教您一下:)

Google和hugging face的bin文件都没法直接在本项目中直接使用,本项目采用的是UER训练好的文件。具体见我们的UER.

对于Google tensorflow的原始文件,可以用这个脚本转换成本项目和UER可用的形式:https://github.com/dbiir/UER-py/blob/master/scripts/convert_bert_from_google_to_uer.py

对于hugging face 原始pytorch bin文件,请用这个脚本转换:https://github.com/dbiir/UER-py/blob/master/scripts/convert_bert_from_huggingface_to_uer.py

autoliuweijie avatar Mar 12 '20 15:03 autoliuweijie

您好, 您的论文和idea真的令人印象深刻! 有过一个问题想要请教您。 我尝试用您的framework load 我自己的model的时候,是会报错的。 我看了您之前的回答,您对您的bin文件是做了一定的修改 想问下,您对您的bin文件做了怎样的修改呢? 麻烦您了

请问你自己的model是使用什么框架实现的?bin文件是通过对Google模型转码得到的,请确保你的模型符合本项目的使用。

您好,我是用的pytorch(hugging face). bin文件的话,我一开始是用的我自己fine-tunning的模型导出的bin,发现读不进去。 然后我试了下面两种: google 原始tensorflow文件转 pytorch bin文件 hugging face 原始pytorch bin文件 但这两种格式也没读进去,所以想请教您一下:)

Google和hugging face的bin文件都没法直接在本项目中直接使用,本项目采用的是UER训练好的文件。具体见我们的UER.

对于Google tensorflow的原始文件,可以用这个脚本转换成本项目和UER可用的形式:https://github.com/dbiir/UER-py/blob/master/scripts/convert_bert_from_google_to_uer.py

对于hugging face 原始pytorch bin文件,请用这个脚本转换:https://github.com/dbiir/UER-py/blob/master/scripts/convert_bert_from_huggingface_to_uer.py

好的,特别感谢您,麻烦您了:)

另外想多问您一句,您的spo文件相关的生成脚本么

给您添麻烦了:)

Billy-Zhoup avatar Mar 14 '20 05:03 Billy-Zhoup

你好我有点好奇,關於"bin文件是通过对Google模型转码得到的" 是什么意思?你是重新pre-trained一个类似BERT的Pre-trained model吗 如果是的话,是否能详述实作的方法呢 非常感谢

并不是重新预训练一个BERT模型,而是将Google训练好的模型参数对应到本项目中各个Tensor上。

具体的转码脚本见我们的UER项目:https://github.com/dbiir/UER-py/blob/master/scripts/convert_bert_from_google_to_uer.py

你好: 不好意思,我想问一下您说没有重新pre-trained bert,但是在您的论文中说 Our reimplementation of BERT with pretraining on WikiZh and WebtextZh. 还是我理解上有误呢 谢谢

WenTingTseng avatar Mar 16 '20 02:03 WenTingTseng

你好我有点好奇,關於"bin文件是通过对Google模型转码得到的" 是什么意思?你是重新pre-trained一个类似BERT的Pre-trained model吗 如果是的话,是否能详述实作的方法呢 非常感谢

并不是重新预训练一个BERT模型,而是将Google训练好的模型参数对应到本项目中各个Tensor上。 具体的转码脚本见我们的UER项目:https://github.com/dbiir/UER-py/blob/master/scripts/convert_bert_from_google_to_uer.py

你好: 不好意思,我想问一下您说没有重新pre-trained bert,但是在您的论文中说 Our reimplementation of BERT with pretraining on WikiZh and WebtextZh. 还是我理解上有误呢 谢谢

在论文里我们做了两个实验,一个是使用Google的原版的预训练模型,这个是没有重新预训练的;

另一个是使用WikiZh 和 WebtextZh重新预训练的模型;

autoliuweijie avatar Mar 17 '20 13:03 autoliuweijie

你好我有点好奇,關於"bin文件是通过对Google模型转码得到的" 是什么意思?你是重新pre-trained一个类似BERT的Pre-trained model吗 如果是的话,是否能详述实作的方法呢 非常感谢

并不是重新预训练一个BERT模型,而是将Google训练好的模型参数对应到本项目中各个Tensor上。 具体的转码脚本见我们的UER项目:https://github.com/dbiir/UER-py/blob/master/scripts/convert_bert_from_google_to_uer.py

你好: 不好意思,我想问一下您说没有重新pre-trained bert,但是在您的论文中说 Our reimplementation of BERT with pretraining on WikiZh and WebtextZh. 还是我理解上有误呢 谢谢

在论文里我们做了两个实验,一个是使用Google的原版的预训练模型,这个是没有重新预训练的;

另一个是使用WikiZh 和 WebtextZh重新预训练的模型;

好的,了解 那是否能提供出这个使用WikiZh 和 WebtextZh重新预训练的模型呢? 只会在研究目的上使用 谢谢

WenTingTseng avatar Mar 18 '20 07:03 WenTingTseng