인공지능 (2) 썸네일형 리스트형 [논문] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding BERT는 Transformer 이후에 나온 모델이다. Transformer에서 Encoder 부분을 사용한 모델로 BERT 이후에 BERT 기반으로 개선하고 발전시킨 연구들이 많이 등장했다. 논문: https://arxiv.org/abs/1810.04805 github: GitHub - google-research/bert: TensorFlow code and pre-trained models for BERT BERT(Bidirectional Encoder Representations from Transformers) 앞에서도 말했듯이 BERT는 Transformer의 Encoder와 같은 구조이다. Transformer 설명은 [논문] Attention Is All You Need | Transfor.. [논문] Attention Is All You Need | Transformer 기존 NLP에서는 RNN 기반의 모델들이 주로 사용되었다. 2017년 구글이 Attention is all you need 논문을 발표하면서 Transformer 모델이 등장했고, 현재 NLP에서는 Transformer 기반으로 모델들이 발전되고 있다. 본 게시글은 Attention is all you need 논문과 여러 블로그의 글을 읽고 정리한 글이다. Transformer Transformer는 기계 번역 모델로 공개되었으나 다양한 NLP task에 활용된다. 기존 기계 번역 모델과의 차이점은 아래와 같다. RNN, LSTM 등을 사용하지 않고 Attention만으로 구현됨 입력을 순차적으로 받지 않기 때문에 임베딩 벡터에 단어의 순서 정보를 추가함 모델 구조 Transformer는 Sequenc.. 이전 1 다음
