반응형 open domain qa2 [논문 리뷰] RAG : Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, 2020 https://arxiv.org/pdf/2005.11401.pdf 0. Abstract Large pre-trained language model은 model의 parameter에 factual knowledge를 저장하여 여러 downstream NLP task에 SOTA의 성능을 내고 있다. 하지만 여전히 access하고 정확하게 knowledge를 manipulate하는 능력은 제한적이다. 또한 해당 모델의 결정에 대한 근거를 제공하는 것과 그들은 world knowledge를 updating하는 것은 여전히 문제로 남아있다. 저자는 general-purpose fine-tuning recipe for retireval augmented generation(RAG) 모델을 제안하였고, pre-tra.. 2023. 1. 31. [논문 리뷰] DrQA : Reading Wikipedia to Answer Open-Domain Questions, 2017 https://arxiv.org/pdf/1704.00051.pdf Abstract 이 논문에서는 Wikipedia의 정보들을 사용한 ODQA에 대해 제안한다. machine reading at scale task의 경우 document retrieval (finding the relevant articles)와 machine comprehension of text (identifiying the answer spans from those articles)를 결합한 task이다. bigram hashing과 TF-IDF matching을 사용하여 RNN 모델이 Wikipedia paragraphs에서 answer를 감지하도록 훈련시킨다. Introduction Wikipedia는 사람들이 흥미로워 할만한 .. 2023. 1. 30. 이전 1 다음 반응형
