ITADN

kaiming normal / SwiGLU

#72Pull RequestKakaruHayate 创建于 2024-06-07已合并
K
KakaruHayatecommented
参考 https://github.com/openvpi/DiffSinger/blob/main/modules/backbones/wavenet.py 为lynxnet的输入输出卷积的初始化进行了改进 添加了SwiGLU,经过测试,目前SwiGLU+PReLU为最优选项
合并状态:已合并 合并于 2024-06-17 关闭于 2024-06-17 0 条评论