# PaddleNLP Metrics API

目前 PaddleNLP 提供以下模型评价指标：

| Metric | 简介 | API |
| ------ | --- | --- |
| [Perplexity](https://en.wikipedia.org/wiki/Perplexity)  | 困惑度，常用来衡量语言模型优劣，也可用于机器翻译、文本生成等任务。 | `paddlenlp.metrics.Perplexity`                               |
| [BLEU(BiLingual Evaluation Understudy)](https://en.wikipedia.org/wiki/BLEU)           | 机器翻译常用评价指标          | `paddlenlp.metrics.BLEU`                                     |
| [Rouge(Recall-Oriented Understudy for Gisting Evaluation)](https://en.wikipedia.org/wiki/ROUGE_(metric)) | 评估自动文摘以及机器翻译的指标   | `paddlenlp.metrics.RougeL`, `paddlenlp.metrics.RougeN`       |
| AccuracyAndF1                                            | 准确率及 F1-score，可用于 GLUE 中的 MRPC 和 QQP 任务               | `paddlenlp.metrics.AccuracyAndF1`                            |
| PearsonAndSpearman                                       | 皮尔森相关性系数和斯皮尔曼相关系数。可用于 GLUE 中的 STS-B 任务  | `paddlenlp.metrics.PearsonAndSpearman`                       |
| Mcc(Matthews correlation coefficient)                    | 马修斯相关系数，用以测量二分类的分类性能的指标。可用于 GLUE 中的 CoLA 任务 | `paddlenlp.metrics.Mcc`                                      |
| ChunkEvaluator                                           | 计算了块检测的精确率、召回率和 F1-score。常用于序列标记任务，如命名实体识别（NER） | `paddlenlp.metrics.ChunkEvaluator`                           |
| Squad Evaluation                        | 用于 SQuAD 和 DuReader-robust 的评价指标                         | `paddlenlp.metrics.compute_predictions`, `paddlenlp.metrics.squad_evaluate` |
| [Distinct](https://arxiv.org/abs/1510.03055) | 多样性指标，常用来衡量文本生成模型生成的句子形式上的多样性。 | `paddlenlp.metrics.Distinct` |
