티스토리

끄적끄적[CS]

검색하기

블로그 홈

끄적끄적[CS]

dooodling.tistory.com/m

공부한 내용 까먹을까봐 끄적이는 블로그

구독자: 2

방명록 방문하기

반응형

주요 글 목록

[논문 리뷰] Large Language Models are Zero-Shot Reasoners, 2022 https://arxiv.org/pdf/2205.11916.pdf 0. Abstract Pre-trained large language models은 NLP의 많은 sub-field에서 널리 사용되고 있으며, 일반적으로 task-specific examplar을 가진 좋은 few-shot learner로 알려져 있다. 특히, 최근 step-by-step 방법으로 복잡한 multi-step 문제를 해결하는 Chain of Thought prompting이 standard scaling law를 따르지 않는 difficult system-2 task에 대해 SOTA의 성능을 내었다. 이러한 성공은 자주 LLM의 few-shot learning이 좋아서 일 수 있지만, 저자는 LLM이 각 답변 앞에 단순히 ".. 공감수 1 댓글수 0 2023. 1. 31.
[논문 리뷰] Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, 2022 https://arxiv.org/pdf/2201.11903.pdf Abstract 저자는 일련의 imtermediate reasoning step인 'chain of thought' 를 어떻게 만들어내는지에 대해 탐구하고, 복잡한 추론을 수행하는 Large language models의 성능을 어떻게 향상시키는지에 대해 탐구한다. 특히, 'chain of thought prompting'이라는 간단한 방법을 이용했을 때 large language model이 어떻게 추론 능력을 충분히 향상시키는지 보여준다. 세가지의 large language model에 대한 실험은 chain of thought prompting이 arithmetic, commonsense, symbolic reasoning tasks.. 공감수 1 댓글수 0 2023. 1. 31.
[논문 리뷰] RAG : Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, 2020 https://arxiv.org/pdf/2005.11401.pdf 0. Abstract Large pre-trained language model은 model의 parameter에 factual knowledge를 저장하여 여러 downstream NLP task에 SOTA의 성능을 내고 있다. 하지만 여전히 access하고 정확하게 knowledge를 manipulate하는 능력은 제한적이다. 또한 해당 모델의 결정에 대한 근거를 제공하는 것과 그들은 world knowledge를 updating하는 것은 여전히 문제로 남아있다. 저자는 general-purpose fine-tuning recipe for retireval augmented generation(RAG) 모델을 제안하였고, pre-tra.. 공감수 0 댓글수 0 2023. 1. 31.
[논문 리뷰] ORQA : Latent Retrieval for Weakly Supervised Open Domain Question Answering, 2019 https://arxiv.org/pdf/1906.00300.pdf Abstract ODQA에서 evidence 후보들을 검색하기 위해 'information retrieval(IR)' system을 사용하고 있지만 gold evidence가 항상 available하지 않을 뿐더러 QA는 근본적으로 IR과 다르기 때문에 이 방법은 sub-optimal하다. 이 논문에서는 IR system 없이 Question-Answer string pair를 이용하여 Retriever와 Reader를 같이 학습하는 것이 가능하다는 것을 처음 보여준다. 이러한 setting에서 모든 Wikipedia로부터 evidence retrieval은 latent variable로 여겨지고, scratch부터 학습하는 것은 비현실적.. 공감수 0 댓글수 0 2023. 1. 30.
[논문 리뷰] DrQA : Reading Wikipedia to Answer Open-Domain Questions, 2017 https://arxiv.org/pdf/1704.00051.pdf Abstract 이 논문에서는 Wikipedia의 정보들을 사용한 ODQA에 대해 제안한다. machine reading at scale task의 경우 document retrieval (finding the relevant articles)와 machine comprehension of text (identifiying the answer spans from those articles)를 결합한 task이다. bigram hashing과 TF-IDF matching을 사용하여 RNN 모델이 Wikipedia paragraphs에서 answer를 감지하도록 훈련시킨다. Introduction Wikipedia는 사람들이 흥미로워 할만한 .. 공감수 0 댓글수 0 2023. 1. 30.
[논문 리뷰] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension, 2019 https://arxiv.org/pdf/1910.13461.pdf Abstract 이 논문에서는 'denoising autoencoder for pretraining sequence-to-sequence' model인 BART를 제안한다. BART는 (1) 임의의 noising function을 이용하여 text를 corrupting하고, (2) original text를 reconstruct하도록 학습된다. Introduction Self-supervised 방법은 현재 폭넓은 NLP task에서 주목할만한 성능을 보이고 있다. 가장 성공적인 approaches는 MLM으로, masking된 text를 original text로 reconstruction 하도록 훈련되는 denoising autoenc.. 공감수 0 댓글수 0 2023. 1. 25.
[논문 리뷰] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, 2018 https://arxiv.org/pdf/1810.04805.pdf Abstract 이 논문에서는 Bidirecitonal Encoder Representations form Transformers의 BERT 모델을 새롭게 제시한다. 다른 language representation model들과는 달리, BERT는 left, right context 모두 고려하는 unlabeled text를 이용하여 pre-train을 진행하도록 구현되어있다. pre-trained BERT model은 output layer 하나만을 추가함으로써 fine-tuning이 가능하고, task에 따른 추가적인 model 수정 없이 QA와 language inference 와 같은 NLP task에서 SOTA의 성능을 내었다고 .. 공감수 0 댓글수 0 2023. 1. 24.
[논문 리뷰] ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS, 2020 https://arxiv.org/pdf/2003.10555.pdf Abstract BERT와 같은 MLM pre-training methods는 input을 [MASK]와 같은 token으로 바꾸고, 해당 token들을 original token으로 복원시키려는 방식으로 훈련된다. 이러한 방법은 좋은 성능을 내긴 하지만, 효과적인 성능을 위해서는 매우 많은 양의 컴퓨팅 자원이 필요하다. 저자는 'replaced token detection'이라는 sample-efficient pre-training task를 제안하였다. input을 masking하는 것 보다는 조그마한 generator가 sampling한 plausible alternative samples들로 대체한다. 그리고 main model은 .. 공감수 0 댓글수 0 2023. 1. 21.
[논문 리뷰] BERTSUM : Text Summarization with Pretrained Encoders, 2019 https://arxiv.org/pdf/1908.08345.pdf Abstract BERT는 최근 넓은 NLP 분야에서 성능을 크게 향상시킨 모델이다. 이 논문에서는 BERT 모델을 어떻게 text summarization task에 적용할지와 extractive / abstractive summarization에 대한 model을 제안한다. 최신의 document-level encoder를 추가하여 BERT가 document의 semantics들을 표현하고, 각각의 문장들의 표현을 가지고 있을 수 있도록 설계하였다. Extractive model에서는 해당 encoder의 가장 윗단에 몇개의 intersentence Transformer layer를 추가하였다. Abstractive model에서는 새.. 공감수 0 댓글수 0 2023. 1. 17.
[논문 리뷰] PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization https://arxiv.org/pdf/1912.08777.pdf Abstract 최근 text-summarization과 같은 NLP task에서는 pre-trained transformer model이 큰 성과를 거두고 있다. 하지만 아직 abstractive text summarization 부분에서는 pre-training objectives가 크게 연구되지 않았고, 다양한 domain을 평가할 평가방법 역시 부족한 상황이다. 이 논문에서는 대량의 text corpora에 대한 Pre-training large Transformer-based encoder-decoder models를 제안한다. PEGASUS 모델에서, 'important sequence' 들을 input sequence에서 제거.. 공감수 0 댓글수 0 2023. 1. 17.
[논문 리뷰] Big Bird: Transformers for Longer Sequences, 2020 https://arxiv.org/pdf/2007.14062.pdf Abstract BERT와 같은 transformer-based model은 NLP 분야에서 가장 좋은 성능을 내는 model 중 하나이다. 하지만 이 model의 가장 큰 단점은 full-attention mechanism을 사용하기 때문에, sequence length에 대한 한계점이 존재한다는 것이다. 따라서 이 논문에서 제안한 BIGBIRD model은 sparse attention을 제안하여 quadratic dependency를 linear하게 줄일 수 있도록 하였다. BIGBIRD는 기존 model들과 동일한 하드웨어를 사용하였을 때 8배 정도 긴 sequences를 처리할 수 있다고 한다. Introduction 기존 tra.. 공감수 0 댓글수 0 2023. 1. 17.
[논문 리뷰]Sequence to Sequence Learning with Neural Networks(Seq2Seq) https://arxiv.org/abs/1409.3215 Sequence to Sequence Learning with Neural Networks Deep Neural Networks (DNNs) are powerful models that have achieved excellent performance on difficult learning tasks. Although DNNs work well whenever large labeled training sets are available, they cannot be used to map sequences to sequences. In this pap arxiv.org 1. Abstract 이전까지는 보편적으로 DNN 모델을 이용하여 용량이 큰 label.. 공감수 0 댓글수 0 2022. 3. 20.

반응형

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.