# ERNIE-Doc: A Retrospective Long-Document Modeling Transformer

## 模型简介
[ERNIE-Doc](https://arxiv.org/abs/2012.15688)是百度 NLP 提出的针对长文本的预训练模型。在循环 Transformer 机制之上，创新性地提出两阶段重复学习以及增强的循环机制，以此提高模型感受野，加强模型对长文本的理解能力。

详细参考这里: https://github.com/PaddlePaddle/PaddleNLP/tree/release/2.8/model_zoo/ernie-doc
