⭐ Goal

<aside>

• 다양한 도메인(비전, 자연어처리 등)에서 사용되는 딥러닝 모델과 공통적으로 적용되는 딥러닝 프레임워크(knowledge distillation, transfer learning 등)을 파악함
• 추가적으로 다양한 응용 도메인에서 위의 모델과 개념들이 어떻게 활용되는지 살펴보고, 이러한 응용을 위한 딥러닝 모델 설계를 할 줄 알아야 함 </aside>

⭐ Ground Rule

<aside>

• 유튜브, 블로그, 동영상, ChatGPT 등등 다양한 정보들을 활용해서 논문의 내용을 이해하는 것이 중요함!!! 다만, 논문에서 introduction (기존 방법의 limitation, 제안하는 방법의 contribution), method (각 모듈의 input과 output 그리고 그 모듈의 효과), experiment (task), … 부분을 직접 보고 이해하기
  • [Basic]에 해당하는 논문의 경우에는, 매우 기초적이거나 예전 이론적 내용을 포함하고 있는 경우가 많기 때문에, 논문은 참고자료로 활용하는 것을 추천함
• 참가자들은 각자 할당된 논문을 읽고 각 주차에 해당하는 Content 내 본인 페이지에 내용을 정리함
  • 발표자: 매주 정해진 수의 발표자가 논문 한 편씩을 할당받아서 발표함
  • 발표자 외: 발표를 하지 않는 사람들도 각 주차 주제에서 가장 핵심 논문을 할당받아서 정리함
• 유튜브, 블로그, 동영상, ChatGPT 등등 다양한 정보들을 활용했다면 해당 링크를 본인 페이지와 논문 오리지널 페이지에 북마크로 넣어서 공유하기
• 강의를 듣고 공부하는 과정에서 공유하고자 하는 자료가 있다면 자유롭게 Materials/Resource 또는 Comment에 추가하면 됨
• 활발한 토론 및 피드백
  • 각 주차의 논문 발표 후 반드시 토론 시간을 가짐. 이때 참가자 모두 적극적으로 질문 및 의견을 제시함
  • 매 주차 종료 후 참가자는 주차 페이지 상단의 Comment에 스터디 후기를 남김. 이때, 개인의견/시사점/내용/향후학습 등을 자유롭게 요약 및 정리
• two weeks에 논문 하나씩 리뷰를 할 예정이며, 코드 리뷰를 포함함 </aside>

Weekly Plan

<aside>

🔥 Paper 관계형에 연결된 논문을 확인하고, ReadingLog 관계형에 각자 할당된 논문을 정리하면 됩니다. **** (다양한 리뷰자료들을 활용해 이해해도 되지만, 최종적으로는 논문을 꼭 확인해보세요.)

</aside>

<aside>

⚠️ 스터디가 끝난 후에는, 1~2주 안에 Comments에 개인의견/시사점/내용/향후학습 등을 꼭 작성하세요 ⚠️ 정리에 활용한 리뷰자료와 강의, 튜토리얼, 코드 자료를 관계형으로 연결된 Paper·Book DB 페이지에 리스트업!!!

</aside>

Untitled

Paper List

[Basic] Word Embedding # self-supervised, contrastive [2013][NIPS][Skip-gram] Distributed Representations of Words and Phrases and their Compositionality [2013][ICLR][word2vec] Efficient Estimation of Word Representations in Vector Space

[Basic] Sentence Classification with Convolution # supervised [2014][EMNLP][-] Convolutional Neural Networks for Sentence Classification [2014] A Convolutional Neural Network for Modelling Sentences

[Basic] Sequence to Sequence # supervised [2014][NIPS][LSTM] Sequence to Sequence Learning with Neural Networks

[Basic] Autoencoder # unsupervised [2013][VAE] Auto-Encoding Variational Bayes __Autoencoders https://arxiv.org/pdf/2003.05991

[Basic] Generative Adversarial Networks # unsupervised [2014] Generative Adversarial Networks

~~[Basic] Knowledge Distillation # supervised [2015] Distilling the Knowledge in a Neural Network~~

~~[Advanced] Vision Model ****# supervised [2016][ResNet] Deep Residual Learning for Image Recognition __[2016][YOLO]~~

~~[Advanced] Vision Model with Self-Supervised Learning # self-supervised **** [2016] Context Encoders - Feature Learning by Inpainting~~

~~[Advanced] Recommender System # supervised [2017] Neural Collaborative Filtering~~

~~[Advanced] Vision Model with Contrastive Learning # supervised, contrastive [FaceNet] A Unified Embedding for Face Recognition and Clustering~~