⭐ Goal

<aside>

• 다양한 도메인(비전, 자연어처리 등)에서 사용되는 딥러닝 모델과 공통적으로 적용되는 딥러닝 프레임워크(RNN/CNN, attention, transformer, pretraining 등)을 파악함
• 다양한 NLP 응용 도메인(언어 모델링, 기계 번역, 감정 분석 등)에서 위 모델과 기법들이 어떻게 활용되는지 구체적인 사례를 통해 파악하고, 이를 바탕으로 NLP 문제 해결을 위한 효과적인 모델 설계 및 응용 전략을 습득함 </aside>

⭐ Ground Rule

<aside>

• 유튜브, 블로그, 동영상, ChatGPT 등등 다양한 정보들을 활용해서 논문의 내용을 이해하는 것이 중요함!!! 다만, 논문에서 introduction (기존 방법의 limitation, 제안하는 방법의 contribution), method (각 모듈의 input과 output 그리고 그 모듈의 효과), experiment (task), … 부분을 직접 보고 이해하기
  • [Basic]에 해당하는 논문의 경우에는, 매우 기초적이거나 예전 이론적 내용을 포함하고 있는 경우가 많기 때문에, 논문은 참고자료로 활용하는 것을 추천함
• 참가자들은 각자 할당된 논문을 읽고 각 주차에 해당하는 Content 내 본인 페이지에 내용을 정리함
  • 발표자: 매주 정해진 수의 발표자가 논문 한 편씩을 할당받아서 발표함
  • 발표자 외: 발표를 하지 않는 사람들도 각 주차 주제에서 가장 핵심 논문을 할당받아서 정리함
• 유튜브, 블로그, 동영상, ChatGPT 등등 다양한 정보들을 활용했다면 해당 링크를 본인 페이지와 논문 오리지널 페이지에 북마크로 넣어서 공유하기
• 강의를 듣고 공부하는 과정에서 공유하고자 하는 자료가 있다면 자유롭게 Materials/Resource 또는 Comment에 추가하면 됨
• 활발한 토론 및 피드백
  • 각 주차의 논문 발표 후 반드시 토론 시간을 가짐. 이때 참가자 모두 적극적으로 질문 및 의견을 제시함
  • 매 주차 종료 후 참가자는 주차 페이지 상단의 Comment에 스터디 후기를 남김. 이때, 개인의견/시사점/내용/향후학습 등을 자유롭게 요약 및 정리 </aside>

🔥 Weekly Plan

<aside>

🔥 Paper 관계형에 연결된 논문을 확인하고, ReadingLog 관계형에 각자 할당된 논문을 정리하면 됩니다. **** (다양한 리뷰자료들을 활용해 이해해도 되지만, 최종적으로는 논문을 꼭 확인해보세요.)

</aside>

<aside>

⚠️ 스터디가 끝난 후에는, 1~2주 안에 Comments에 개인의견/시사점/내용/향후학습 등을 꼭 작성하세요 ⚠️ 정리에 활용한 리뷰자료와 강의, 튜토리얼, 코드 자료를 관계형으로 연결된 Paper·Book DB 페이지에 리스트업!!!

</aside>

Untitled

📄 Paper List

• 🤔 Context, Distributed Hypothesis, Semantic Similarity
• 🤔 Negative Sampling, Hierarchical Softmax, negative log-likelihood, cross-entropy, softmax, sigmoid
• 🤔 self-supervised, Pretraining(표현 학습), Fine-tuning

[Week 1] Word Embedding [2013][NIPS][Skip-gram] Distributed Representations of Words and Phrases and their Compositionality (47948) [2013][ICLR][word2vec] Efficient Estimation of Word Representations in Vector Space (48040) [2014][ICML][doc2vec] Distributed Representations of Sentences and Documents (13788) [2014][EMNLP][GloVe] Global Vectors for Word Representation (46391) [2017][TACL][fastText] Enriching Word Vectors with Subword Information (14044)

• 🤔 NLP Tasks에서 Generation의 정의
• 🤔 CNN vs. RNN/LSTM/GRU 공통점, 차이점, 문제점

[Week 2] Deep Learning for Classification and Generation # CNN, RNN [2014][EMNLP][-] Convolutional Neural Networks for Sentence Classification (21096) # classification (sentence), CNN [2014][ACL][DCNN] A Convolutional Neural Network for Modelling Sentences (5191) # classification (sentence), CNN [2014][NIPS][Seq2Seq] Sequence to Sequence Learning with Neural Networks (29351) # Generation (Sequence-to-Sequence) [2014][SSST][GRU] On the Properties of Neural Machine Translation: Encoder–Decoder Approaches (10187) # Generation (Sequence-to-Sequence) [2014][NIPS][GRU] Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling (19788) # Generation (Language modeling) [2015][arXiv][LSTM-CRF] Bidirectional LSTM-CRF Models for Sequence Tagging (5910) # classification (word), RNN [2016][IJCAI][-] Recurrent Neural Network for Text Classification with Multi-Task Learning (2120) # classification (sentence), RNN

• 🤔 word2vec에서의 context vs Contextualized Representation
• 🤔 기존 Attention vs Transformer에서의 Attention
• 🤔 Query, Key, Value

[Week 3] Attention and Transformer [2014][ICLR][-] Neural Machine Translation by Jointly Learning to Align and Translate (38547) # attention [2015][EMNLP][-] Effective Approaches to Attention-based Neural Machine Translation (11317) # attention [2016][NAACL][HAN] Hierarchical Attention Networks for Document Classification (6428) # attention, sentence embedding [2017][ICLR][-] A Structured Self-attentive Sentence Embedding (2965) # self-attention, sentence embedding [2017][NIPS][Transformer] Attention is All You Need (174046) # self-attention, translation

• 🤔 Self-Supervised Learning 구분
• 🤔 Self-Supervised Learning 이란?
• 🤔 Problem Definition은 항상 중요!!!