Issue about transformers version

[tmtmaj]

안녕하세요. 공개해주신 코드 정말 유용하게 잘 쓰고 있습니다. 감사합니다!

다름 아니라 transformers 4.0.0 에서 제공해주신 toy example을 그대로 사용할 수 없어서 이렇게 글을 남깁니다.

아래와 같은 에러가 발생합니다. (Ubuntu에서 실행되었고, 디렉토리 셋팅도 동일하게 했습니다.)

from tokenization_hanbert import HanBertTokenizer
tokenizer = HanBertTokenizer.from_pretrained('HanBert-54kN-torch')
text = "나는 걸어가고 있는 중입니다. 나는걸어 가고있는 중입니다. 잘 분류되기도 한다. 잘 먹기도 한다."
tokenizer.tokenize(text)
...
AttributeError: 'HanBertTokenizer' object has no attribute 'vocab'

model output에 관련한 toy example도 output type이 바뀌어 약간의 수정이 필요하지만 error는 발생하지 않습니다.

참고로 transformers 2.2.2 에서는 문제없이 실행 가능합니다.

transformers version에 대한 요구사항이 추가되어야할 것 같아 이렇게 글을 남깁니다!

[bzantium]

tokenization_hanbert.py 에서 아래와 같이 바꿔주시면 될 것 같습니다. from transformers import PreTrainedTokenizer -> from transformers.tokenization_utils import PreTrainedTokenizer