DiffuseMix：基于扩散模型的标签保持数据增强（CVPR'2024）

📢 最新更新

• Mar-11-24: DiffuseMix 论文已发布 arxiv link. 🔥🔥

🚀 快速开始

使用 environment.yml 文件设置 anaconda 环境。

conda env create --name DiffuseMix --file=environment.yml
conda remove -n DiffuseMix --all # In case environment installation faileds

📝 提示词列表

以下是提示词列表，如果您的准确率较低，可以使用所有提示词来提高性能。请记住，每个提示词生成图像都需要时间，因此最佳方式是从两个提示词开始，然后逐步增加提示词的数量。

prompts = ["Autumn", "snowy", "watercolor art","sunset", "rainbow", "aurora",
               "mosaic", "ukiyo-e", "a sketch with crayon"]

📁 数据集结构

train
 └─── class 1
          └───── n04355338_22023.jpg
 └─── class 2
          └───── n03786901_5410.jpg
 └─── ...

✨ DiffuseMix 增强

为了引入结构复杂性，您可以从这里下载分形图像数据集 Fractal Dataset

`python3 main.py --train_dir PATH --fractal_dir PATH --prompts "sunset,Autumn"

💬 引用

如果您认为我们的工作对您的研究有用，请考虑引用我们的论文：

@article{diffuseMix2024,
  title={DIFFUSEMIX: Label-Preserving Data Augmentation with Diffusion Models},
  author={Khawar Islam, Muhammad Zaigham Zaheer, Arif Mahmood, Karthik Nandakumar},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}

@article{islam2024genmix,
  title={Genmix: effective data augmentation with generative diffusion model image editing},
  author={Islam, Khawar and Zaheer, Muhammad Zaigham and Mahmood, Arif and Nandakumar, Karthik and Akhtar, Naveed},
  journal={arXiv preprint arXiv:2412.02366},
  year={2024}
}

@inproceedings{islam2025context,
  title={Context-Guided Responsible Data Augmentation with Diffusion Models},
  author={Islam, Khawar and AKHTAR, NAVEED},
  booktitle={ICLR 2025 Workshop on Navigating and Addressing Data Problems for Foundation Models}
}

❤️ 致谢

我感谢 Adversarial-AutoMix (@JinXins) 提供源图像和目标图像，这为我节省了大量时间。再次感谢。我也非常感谢 IPMix 的作者 (@hzlsaber)，他们清晰地展示了其方法的图表，极大地帮助了我的论文。此外，他们对我疑虑的及时回应为我节省了大量时间。最后，再次感谢 GuidedMixup 的作者 (@3neutronstar) 关于数据集和方法输出的见解。