반응형 딥러닝9 [논문 리뷰] BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer, 2019 https://arxiv.org/pdf/1904.06690.pdf Abstract 유저의 historical 행동으로부터 dynamic 선호도를 모델링하는 것은 현재까지도 연구 중이고, 추천시스템 내에서도 중요한 역할을 한다. 이전 방법들은 sequential neural network를 이용하여 유저의 historical interaction들을 left-to-right하게 encode한다. 이 방법은 효과적이긴 하지만, left-to-right unidirectional 모델들은 다음과 같은 이유 때문에 sub-optimal하다. a) 유저의 행동 시퀀스의 hidden representation의 power를 제한한다. b) 순서가 정해져 있는 시퀀스는 항상 유용하지는 않다. 이러한 limitatio.. 2023. 1. 26. [논문 리뷰] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, 2018 https://arxiv.org/pdf/1810.04805.pdf Abstract 이 논문에서는 Bidirecitonal Encoder Representations form Transformers의 BERT 모델을 새롭게 제시한다. 다른 language representation model들과는 달리, BERT는 left, right context 모두 고려하는 unlabeled text를 이용하여 pre-train을 진행하도록 구현되어있다. pre-trained BERT model은 output layer 하나만을 추가함으로써 fine-tuning이 가능하고, task에 따른 추가적인 model 수정 없이 QA와 language inference 와 같은 NLP task에서 SOTA의 성능을 내었다고 .. 2023. 1. 24. [논문 리뷰] SESSION-BASED RECOMMENDATIONS WITH RECURRENT NEURAL NETWORKS (GRU4Rec), 2016 https://arxiv.org/pdf/1511.06939.pdf Abstract 이 논문에서는 RNN model을 Recsys 분야에 새롭게 대입하려 하였다. 당시 사용되던 recsys는 Netflix와 같이 long session-based data보다는 일반적인 사이트에서 얻어온 short session-based data에 의존한다는 문제에 직면한다. 이러한 상황에서는 MF 방법이 효과적으로 적용될 수 없기에, item간의 추천에 의존함으로써 해당 문제를 극복할 수 있다고 한다. 전체 session을 modeling 하면 더욱 정확한 추천을 할 수 있다. 따라서 저자는 RNN-based approach를 제시하였고, ranking loss나 다른 몇몇의 부분들을 수정한 새로운 RNN 모델을 제시하.. 2023. 1. 18. requires_grad for param in vgg16.features.parameters(): param.requires_grad = False 모델에 있는 layer들을 for문을 이용해 가져와서 하나하나씩 false로 만들어 주는 코드 false로 만들어 주는 경우 파라미터들을 상수 취급 해주어서 training시 update가 되지 않도록 만들어준다. 2022. 4. 29. 이전 1 2 3 다음 반응형
