LM (2) 썸네일형 리스트형 Language Model 관련 연구 리스트(2017~2020) Transformer 제목: Attention Is All You Need 연도: 2017 학회: NIPS url: https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf github: 정리: [논문] Attention Is All You Need | Transformer ELMo 제목: Deep contextualized word representations 연도: 2018 학회: NAACL url: https://arxiv.org/pdf/1802.05365.pdf github: GPT 제목: Improving language understanding by generative pre-training.. [논문] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding BERT는 Transformer 이후에 나온 모델이다. Transformer에서 Encoder 부분을 사용한 모델로 BERT 이후에 BERT 기반으로 개선하고 발전시킨 연구들이 많이 등장했다. 논문: https://arxiv.org/abs/1810.04805 github: GitHub - google-research/bert: TensorFlow code and pre-trained models for BERT BERT(Bidirectional Encoder Representations from Transformers) 앞에서도 말했듯이 BERT는 Transformer의 Encoder와 같은 구조이다. Transformer 설명은 [논문] Attention Is All You Need | Transfor.. 이전 1 다음
