Multimodal RL Paper (#1)

<aside> 🌟 Goal

데이터 사이의 상관관계를 학습하기 위한 self-supervised learning에 대한 개념을 이해함. 그리고 이를 활용하여 Multimodal 데이터 사이의 상관관계를 학습하는 대표적인 Multimodal Representation Learning 모델들을 파악함. 특히, Text-Image 조합에 대해 집중적으로 스터디하고 이를 언어모델과 추천시스템에 활용하는 대표적인 모델들을 공부함
Multimodal RL에 대한 핵심적인 논문들을 읽고 리뷰함
- Survey 논문에서 정리한대로 대표적인 multimodal RL 방법론들을 카테고리화할 수 있어야 함 [2024][ACL-F][MM-LLMs], [2023][MIR][-] VLP, [2024][CSUR][-], [2023][TIS][-] [2023][arXiv][-], [2023][TKDE][-], [2023][TRS][-]
핵심 키워드: Siamese network, retrieve-ranker, retrieve-reader, contrastive, self-supervised, single-stream (similarity search, contrastive learning), dual-stream (cross-attention, joint representation)
Awesome 리스트
- https://github.com/enoche/MultimodalRecSys, https://github.com/jason718/awesome-self-supervised-learning </aside>

<aside> 🌟 Ground Rule

각자 할당된 논문을 읽고 각 주차에 해당하는 Content 내에 Notion 페이지를 만들거나 PPT를 만들어서 업로드함. 그리고, 맨 위 댓글에 의견/시사점/내용 등을 3줄 정도로 요약 및 정리
각 주차에 논문을 읽고, 위의 Survey 논문들과 연결 지어 생각해 봄. 가능하다면 관련되거나 흥미로운 논문을 추가적으로 찾아보고 제시함
매주 두 명의 발표자가 논문 한편씩을 할당받아서 발표함. 참여자는 강의를 듣고 공부하는 과정에서 공유하고자 하는 자료가 있다면 자유롭게 Materials나 Resource에 추가하면 됨 </aside>
Paper List