AI 공부 기록 블로그

본 논문은 2019년에 등장하였으며, sentence embedding을 위해 기존의 BERT 모델에 Siamese network를 사용하여 빠른 연산과 좋은 성능을 이루어낸 논문입니다. 논문의 리뷰는 저의 주관적인 해석과 오역이 있을 수 있습니다. 이에 대해서 댓글 남겨주시면 감사하겠습니다. :) 1. Introduction transformer의 인코더 구조를 차용해서 양방향으로 문맥을 학습하는 BERT 모델의 경우 문장 분류, 의미론적 텍스트 유사성 문제에서 좋은 성능을 보입니다. 그러나 pair regression과 같은 문제에서는 입력 문장에 대해 매번 연산을 수행하기 때문에 너무 많은 계산량을 요구합니다. 예를 들어 10,000개 문장의 유사성을 찾기 위해 $n(n-1)/2$ = 49,995,..