반응형 분류 전체보기35 [논문 리뷰] ORQA : Latent Retrieval for Weakly Supervised Open Domain Question Answering, 2019 https://arxiv.org/pdf/1906.00300.pdf Abstract ODQA에서 evidence 후보들을 검색하기 위해 'information retrieval(IR)' system을 사용하고 있지만 gold evidence가 항상 available하지 않을 뿐더러 QA는 근본적으로 IR과 다르기 때문에 이 방법은 sub-optimal하다. 이 논문에서는 IR system 없이 Question-Answer string pair를 이용하여 Retriever와 Reader를 같이 학습하는 것이 가능하다는 것을 처음 보여준다. 이러한 setting에서 모든 Wikipedia로부터 evidence retrieval은 latent variable로 여겨지고, scratch부터 학습하는 것은 비현실적.. 2023. 1. 30. [논문 리뷰] DrQA : Reading Wikipedia to Answer Open-Domain Questions, 2017 https://arxiv.org/pdf/1704.00051.pdf Abstract 이 논문에서는 Wikipedia의 정보들을 사용한 ODQA에 대해 제안한다. machine reading at scale task의 경우 document retrieval (finding the relevant articles)와 machine comprehension of text (identifiying the answer spans from those articles)를 결합한 task이다. bigram hashing과 TF-IDF matching을 사용하여 RNN 모델이 Wikipedia paragraphs에서 answer를 감지하도록 훈련시킨다. Introduction Wikipedia는 사람들이 흥미로워 할만한 .. 2023. 1. 30. [논문 리뷰] BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer, 2019 https://arxiv.org/pdf/1904.06690.pdf Abstract 유저의 historical 행동으로부터 dynamic 선호도를 모델링하는 것은 현재까지도 연구 중이고, 추천시스템 내에서도 중요한 역할을 한다. 이전 방법들은 sequential neural network를 이용하여 유저의 historical interaction들을 left-to-right하게 encode한다. 이 방법은 효과적이긴 하지만, left-to-right unidirectional 모델들은 다음과 같은 이유 때문에 sub-optimal하다. a) 유저의 행동 시퀀스의 hidden representation의 power를 제한한다. b) 순서가 정해져 있는 시퀀스는 항상 유용하지는 않다. 이러한 limitatio.. 2023. 1. 26. [논문 리뷰] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension, 2019 https://arxiv.org/pdf/1910.13461.pdf Abstract 이 논문에서는 'denoising autoencoder for pretraining sequence-to-sequence' model인 BART를 제안한다. BART는 (1) 임의의 noising function을 이용하여 text를 corrupting하고, (2) original text를 reconstruct하도록 학습된다. Introduction Self-supervised 방법은 현재 폭넓은 NLP task에서 주목할만한 성능을 보이고 있다. 가장 성공적인 approaches는 MLM으로, masking된 text를 original text로 reconstruction 하도록 훈련되는 denoising autoenc.. 2023. 1. 25. 이전 1 2 3 4 5 ··· 9 다음 반응형
