딥러닝/NLP (1) 썸네일형 리스트형 BERT (Bidirectional Encoder Representations from Transformers) BERT란? Bidirectoinal Encoder Representations from Transformers(이하 BERT)는 2018년 10월에 구글이 공개한 Pretrained Model입니다. (BERT라는 이름의 유래는 세서미 스트리트 미국 인형극의 캐릭터 이름이기도 합니다) BERT는 등장과 동시에 수많은 NLP 태스크에서 최고 성능을 보여주면서 명실공히 NLP의 한 획을 그은 Model로 평가 받고 있습니다. BERT는 Transformer의 Encoder 부분을 이용하여 구현 되었으며, Wikipedia(25억 단어)와 Book corpus(8억 단어)와 같은 레이블이 없는 텍스트 데이터로 Pretrained Model 입니다. BERT가 높은 성능을 얻을 수 있었던 것은, 레이블이 없는.. 이전 1 다음
