대화 턴 토큰 문의

[sooftware]

안녕하세요. 멋진 오픈소스 공개해주셔서 감사합니다.
모델 사용 관련해서 궁금한 점이 있어서 이슈 남깁니다.

대화체로 학습이 됐다고 되어있는데, 대화 데이터라면 [TURN]을 포함한 대화 데이터 포맷을 위한 몇 스페셜 토큰을 정의하셨을 것 같은데,
어떤 토큰을 사용하셨는지 알고 싶습니다.

감사합니다.

[krevas]

안녕하세요 해당 모델은 대화에서 많이 나타나는 구어체 스타일의 텍스트 데이터를 잘 이해하는 언어모델을 만들고자한 모델입니다. 텍스트가 가지고 있는 어체에 포커스를 두고 학습한 모델이여서 대화 턴 정보는 학습에 활용하지 않아 별도로 사용한 스페셜 토큰은 없습니다.

감사합니다.