RF-DETR：实时 SOTA 目标检测、实例分割与关键点检测

RF-DETR 是由 Roboflow 开发的一种用于目标检测、实例分割和关键点检测（预览）的实时 transformer 架构。基于 DINOv2 视觉 transformer 骨干网络，RF-DETR 在 Microsoft COCO 和 RF100-VL 上实现了最先进的精度与延迟权衡。

RF-DETR 使用 DINOv2 视觉 transformer 骨干网络，并通过单一、一致的 API 支持目标检测、实例分割和关键点检测（预览）。开源 rfdetr 包和指定为 Apache 的模型以 Apache 2.0 许可证发布，而 Plus 组件（rfdetr_plus，包括 RF-DETR-XL/2XL 检测模型）则采用 PML 1.0 许可证。

已发布的 RF-DETR 尺寸是通过神经架构搜索（NAS）创建的——同样的 NAS 方法现已在 Roboflow 平台 上可用，因此您可以为自己的数据集发现最佳架构。更多信息请参阅 NAS 文档。

https://github.com/user-attachments/assets/add23fd1-266f-4538-8809-d7dd5767e8e6

安装

要安装 RF-DETR，请在 rfdetr 包中，使用 pip 在 Python>=3.10 环境中进行安装。

pip install rfdetr

pip install https://github.com/roboflow/rf-detr/archive/refs/heads/develop.zip

基准测试

RF-DETR 在目标检测和实例分割方面均取得了最先进的结果，基准测试在 Microsoft COCO 和 RF100-VL 上报告（RF100-VL 仅用于检测）。下图和下表比较了 RF-DETR 与其他顶级实时模型在检测和分割方面的精度与延迟。所有 COCO 精度数值均为内部针对每个所示模型进行测量，使用 pycocotools 在 SAB 上针对完整的 5,000 张图像 val2017 分割集计算得出，因此每一行都可直接比较，且可能与厂商报告的数值不同。唯一的例外是标记为 † 的行，这些数值引用自原作者的论文，未在 SAB 中进行测量。所有延迟数值均在 NVIDIA T4 上使用 TensorRT、FP16 和批处理大小 1 进行测量。参数量是部署（融合）nn.Module 参数量（model.parameters()，而非保存检查点的原始张量计数），标记为 † 的行除外，这些行是作者报告的计数。有关完整的基准测试方法和可复现性详情，请参阅 roboflow/sab.

检测

分割

关键点

Keypoint benchmarks report AP_50:95 (OKS-based); this is the standard COCO keypoint comparison metric.

Roboflow 平台上的 NAS

自论文发布以来，我们已在 Roboflow 平台上进一步提升了 RF-DETR NAS 的训练。单次训练运行即可提供所有模型尺寸，其结果不仅超越了开源检查点，也超越了我们论文中的 NAS 结果。立即试用！

运行模型

检测

RF-DETR 提供多种模型尺寸，范围从 Nano 到 2XLarge。若要使用不同的模型尺寸，请将下方代码片段中的类名替换为表格中的另一个类。

import supervision as sv
from rfdetr import RFDETRMedium
from rfdetr.assets.coco_classes import COCO_CLASSES

model = RFDETRMedium()

detections = model.predict("https://media.roboflow.com/dog.jpg", threshold=0.5)

labels = [f"{COCO_CLASSES[class_id]}" for class_id in detections.class_id]

annotated_image = sv.BoxAnnotator().annotate(detections.metadata["source_image"], detections)
annotated_image = sv.LabelAnnotator().annotate(annotated_image, detections, labels)

注意： COCO_CLASSES 适用于 COCO 预训练模型。对于微调后的模型，请改用 detections.data["class_name"] —— 它从检查点中解析类别名称，同时适用于 COCO 和自定义数据集。

import requests
import supervision as sv
from PIL import Image
from inference import get_model

model = get_model("rfdetr-medium")

image = Image.open(requests.get("https://media.roboflow.com/dog.jpg", stream=True).raw)
predictions = model.infer(image, confidence=0.5)[0]
detections = sv.Detections.from_inference(predictions)

annotated_image = sv.BoxAnnotator().annotate(image, detections)
annotated_image = sv.LabelAnnotator().annotate(annotated_image, detections)

△ 需要 rfdetr_plus 扩展：pip install rfdetr[plus]。详见 License。

分割

RF-DETR 支持实例分割，模型尺寸从 Nano 到 2XLarge。若要使用不同的模型尺寸，请将下方代码片段中的类名替换为表格中的另一个类。

import supervision as sv
from rfdetr import RFDETRSegMedium
from rfdetr.assets.coco_classes import COCO_CLASSES

model = RFDETRSegMedium()

detections = model.predict("https://media.roboflow.com/dog.jpg", threshold=0.5)

labels = [f"{COCO_CLASSES[class_id]}" for class_id in detections.class_id]

annotated_image = sv.MaskAnnotator().annotate(detections.metadata["source_image"], detections)
annotated_image = sv.LabelAnnotator().annotate(annotated_image, detections, labels)

import requests
import supervision as sv
from PIL import Image
from inference import get_model

model = get_model("rfdetr-seg-medium")

image = Image.open(requests.get("https://media.roboflow.com/dog.jpg", stream=True).raw)
predictions = model.infer(image, confidence=0.5)[0]
detections = sv.Detections.from_inference(predictions)

annotated_image = sv.MaskAnnotator().annotate(image, detections)
annotated_image = sv.LabelAnnotator().annotate(annotated_image, detections)

关键点

RF-DETR 支持关键点检测（预览），使用 RFDETRKeypointPreview，在 COCO 人体关键点上预训练。

from rfdetr import RFDETRKeypointPreview

model = RFDETRKeypointPreview()
key_points = model.predict("image.jpg", threshold=0.5)

训练模型

RF-DETR 支持目标检测、实例分割和关键点检测（预览）的训练。您可以在 Google Colab 或直接在 Roboflow 平台上训练模型。下方您将找到一个逐步的视频微调教程。

文档

请访问我们的文档网站，了解更多关于如何使用 RF-DETR 的信息。

许可证

许可证按组件划分：

• 开源 rfdetr 包和指定为 Apache 的模型权重采用 Apache License 2.0 许可。参见 LICENSE。
• Plus 组件，包括 rfdetr_plus 扩展以及 RF-DETR-XL / RF-DETR-2XL 检测模型，采用 PML 1.0 许可。

致谢

我们的工作基于 LW-DETR、DINOv2 和 Deformable DETR。感谢他们的作者们出色的工作！

引用

如果您认为我们的工作对您的研究有帮助，请考虑引用以下 BibTeX 条目。

@inproceedings{robinson2026rfdetr,
  title     = {RF-DETR: Real-Time Detection Transformer},
  author    = {Robinson, Isaac and Robicheaux, Peter and Popov, Matvei and Ramanan, Deva and Peri, Neehar},
  booktitle = {International Conference on Learning Representations (ICLR)},
  year      = {2026},
  url       = {https://arxiv.org/abs/2511.09554}
}

贡献

我们欢迎并感谢所有贡献！如果您发现任何问题或错误、有疑问，或希望建议新功能，请提交 issue 或 pull request。通过分享您的想法和改进，您帮助让 RF-DETR 对每个人变得更好。