반응형 natural language process2 [논문 리뷰] Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, 2022 https://arxiv.org/pdf/2201.11903.pdf Abstract 저자는 일련의 imtermediate reasoning step인 'chain of thought' 를 어떻게 만들어내는지에 대해 탐구하고, 복잡한 추론을 수행하는 Large language models의 성능을 어떻게 향상시키는지에 대해 탐구한다. 특히, 'chain of thought prompting'이라는 간단한 방법을 이용했을 때 large language model이 어떻게 추론 능력을 충분히 향상시키는지 보여준다. 세가지의 large language model에 대한 실험은 chain of thought prompting이 arithmetic, commonsense, symbolic reasoning tasks.. 2023. 1. 31. [논문 리뷰] ORQA : Latent Retrieval for Weakly Supervised Open Domain Question Answering, 2019 https://arxiv.org/pdf/1906.00300.pdf Abstract ODQA에서 evidence 후보들을 검색하기 위해 'information retrieval(IR)' system을 사용하고 있지만 gold evidence가 항상 available하지 않을 뿐더러 QA는 근본적으로 IR과 다르기 때문에 이 방법은 sub-optimal하다. 이 논문에서는 IR system 없이 Question-Answer string pair를 이용하여 Retriever와 Reader를 같이 학습하는 것이 가능하다는 것을 처음 보여준다. 이러한 setting에서 모든 Wikipedia로부터 evidence retrieval은 latent variable로 여겨지고, scratch부터 학습하는 것은 비현실적.. 2023. 1. 30. 이전 1 다음 반응형
