word_language_model with torch.nn.modules.transformer

[olafx]

The torch.nn.modules.transformer documentation says the word_language_model example in this repo is an example of its use. But it seems to instead DIY a transformer and uses that instead. Is this intentional? I would offer my help to write it for torch.nn.modules.transformer but I'm here to learn how to use it.

[hollobit]

Dooray! 메일 발송 실패 안내

메일 발송 실패 안내

@.***) 님께 보낸 메일이 전송되지 못하였습니다.

      실패 사유를 확인해보세요.
    




  
    
      
        * 받는 사람 : 

@.***)

        * 발송 시간 : 

2023-02-10T04:32:10

        * 메일 제목 : 

[pytorch/examples] word_language_model with torch.nn.modules.transformer (Issue #1112)

            * 실패 사유 : 
          
          
            

받는 사람의 메일함 용량이 가득 찼습니다. 받는 사람에게 메일함 정리를 요청하신 후 다시 발송해 보세요.

      이 메일은 발신전용으로 회신되지 않습니다.
      더 궁금하신 사항은
      ***@***.***
      으로 문의해 주시기 바랍니다.
    




    © Dooray!.

[msaroufim]

Yeah it seems like here we use the TransformerEncoder https://github.com/pytorch/examples/blob/main/word_language_model/model.py#L113 and not the Transformer layer

If you'd like to simplify this example please go for it