한국어 T5모델 인풋 관련 질문드립니다.

[teddy309]

안녕하세요! 해당 모델을 활용해 한국어 문법성 검사(GLUE COLA) task에 대해 적용해보려고 합니다. 그런데 인풋 시퀀스를 어떻게 넣어줘야 하는건지 궁금해서 질문 드립니다.

T5 모델 같은 경우에, 인풋이 '안녕하세요 T5모델입니다.'라고 하면 'task:안녕하세요 T5모델입니다.' 이런 식으로 전처리되어 들어간다고 알고 있습니다. 해당 한국어 T5 모델을 사용할 때는 기존 T5 논문에 나와있는 대로 'cola sentence: This sentence is wrong grammar'과 같은 인풋 시퀀스를 넣어줬을 때 결과가 잘 나오지 않아, 해당 task에 대해서는 어떤 식으로 인풋을 넣어줘야 하는지가 궁금해서 질문 드립니다.

[seujung]

안녕하세요. 말씀하신 형태로 입력을 넣어주시면 될 것 같습니다. 결과가 잘 나오지 않는다는 것이 Fine tuning 하였을 때 잘 안나온다는 말씀이신가요? 해당 모델은 pretrained 만 된 상태여서 fine tuning은 별도로 진행하셔야 합니다.