반응형 Pegasus1 [논문 리뷰] PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization https://arxiv.org/pdf/1912.08777.pdf Abstract 최근 text-summarization과 같은 NLP task에서는 pre-trained transformer model이 큰 성과를 거두고 있다. 하지만 아직 abstractive text summarization 부분에서는 pre-training objectives가 크게 연구되지 않았고, 다양한 domain을 평가할 평가방법 역시 부족한 상황이다. 이 논문에서는 대량의 text corpora에 대한 Pre-training large Transformer-based encoder-decoder models를 제안한다. PEGASUS 모델에서, 'important sequence' 들을 input sequence에서 제거.. 2023. 1. 17. 이전 1 다음 반응형
