PEER - 百万专家混合模型

待办事项：

• 完成在 wikitext-103 数据集上的概览式分布式训练
• 复现 wikitext-103 数据集上的实验结果（对比密集模型与 MoE 模型）
• 在其他数据集上实现该模型
• 在 2024 年子集 FineWeb 数据集上对 1.5B 模型进行预训练

本文实现参考：Phan Nhat Huy 撰写的《Mixture of A Million Experts](https://arxiv.org/pdf/2407.04153v1)》

运行方式

torchrun --nproc_per_node=N --nnodes=1 main.py

训练流程

Wikitext-103 2.2B 模型，8 层，8 个输出头，维度 = 256，包含 512x512 个专家单元。

结果概览

验证困惑度

方法	Wikitext-103 困惑度
PEER	7.19
FFW	进行中

参考文献

@inproceedings{He2024MixtureOA,
    title   = {Mixture of A Million Experts},
    author  = {Xu Owen He},
    year    = {2024},
    url     = {https://api.semanticscholar.org/CorpusID:271038610}
}

致谢

我要感谢 lucidrains https://github.com/lucidrains/PEER-pytorch] 所实现的 PEER 层。