AI 공부 기록 블로그

본 논문은 2021년 NeurIPS에서 발표된 논문이며, multi-modal data(비디오-오디오-텍스트)를 Transformers 모델을 이용해 각 representation 벡터를 추출하고 self-supervised learning 방법인 contrastive learning을 통해 여러 다운스트림 태스크에서 좋은 성능을 보인 논문입니다. 본 논문에 대한 리뷰는 제가 이해한 내용을 바탕으로 작성하였습니다. 오역이나 잘못된 내용이 있으면 지적해주시면 감사하겠습니다 :) 1. Introduction 주변에서 흔히 볼 수 있는 visual 데이터의 경우 대부분 라벨이 부여되지 않고, 구조화되어있지 않습니다. 모델 학습을 위해 라벨링이 된 이미지나 비디오 데이터를 수집하는 것은 비용적 측면과 시간적 측..