단어의 음절과 음절 사이에 공백 추가 문제

[gimalgosa0514]

안녕하십니까 NLP 공부중인 학부생입니다. transformers 의 AutoTokenizer를 통해 토크나이져를 생성하고, 음절 단위로 임베딩 하였을 때 일부 토큰과 토큰 사이에 공백이 추가된 현상이 있습니다..