반응형 NLP13 [논문 리뷰] Large Language Models are Zero-Shot Reasoners, 2022 https://arxiv.org/pdf/2205.11916.pdf 0. Abstract Pre-trained large language models은 NLP의 많은 sub-field에서 널리 사용되고 있으며, 일반적으로 task-specific examplar을 가진 좋은 few-shot learner로 알려져 있다. 특히, 최근 step-by-step 방법으로 복잡한 multi-step 문제를 해결하는 Chain of Thought prompting이 standard scaling law를 따르지 않는 difficult system-2 task에 대해 SOTA의 성능을 내었다. 이러한 성공은 자주 LLM의 few-shot learning이 좋아서 일 수 있지만, 저자는 LLM이 각 답변 앞에 단순히 ".. 2023. 1. 31. [논문 리뷰] Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, 2022 https://arxiv.org/pdf/2201.11903.pdf Abstract 저자는 일련의 imtermediate reasoning step인 'chain of thought' 를 어떻게 만들어내는지에 대해 탐구하고, 복잡한 추론을 수행하는 Large language models의 성능을 어떻게 향상시키는지에 대해 탐구한다. 특히, 'chain of thought prompting'이라는 간단한 방법을 이용했을 때 large language model이 어떻게 추론 능력을 충분히 향상시키는지 보여준다. 세가지의 large language model에 대한 실험은 chain of thought prompting이 arithmetic, commonsense, symbolic reasoning tasks.. 2023. 1. 31. [논문 리뷰] RAG : Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, 2020 https://arxiv.org/pdf/2005.11401.pdf 0. Abstract Large pre-trained language model은 model의 parameter에 factual knowledge를 저장하여 여러 downstream NLP task에 SOTA의 성능을 내고 있다. 하지만 여전히 access하고 정확하게 knowledge를 manipulate하는 능력은 제한적이다. 또한 해당 모델의 결정에 대한 근거를 제공하는 것과 그들은 world knowledge를 updating하는 것은 여전히 문제로 남아있다. 저자는 general-purpose fine-tuning recipe for retireval augmented generation(RAG) 모델을 제안하였고, pre-tra.. 2023. 1. 31. [논문 리뷰] ORQA : Latent Retrieval for Weakly Supervised Open Domain Question Answering, 2019 https://arxiv.org/pdf/1906.00300.pdf Abstract ODQA에서 evidence 후보들을 검색하기 위해 'information retrieval(IR)' system을 사용하고 있지만 gold evidence가 항상 available하지 않을 뿐더러 QA는 근본적으로 IR과 다르기 때문에 이 방법은 sub-optimal하다. 이 논문에서는 IR system 없이 Question-Answer string pair를 이용하여 Retriever와 Reader를 같이 학습하는 것이 가능하다는 것을 처음 보여준다. 이러한 setting에서 모든 Wikipedia로부터 evidence retrieval은 latent variable로 여겨지고, scratch부터 학습하는 것은 비현실적.. 2023. 1. 30. 이전 1 2 3 4 다음 반응형
