MoE

Mixture of Experts，混合专家架构：模型由多个「专家」子网络组成，每次只激活其中一部分，从而在参数量很大时控制计算成本。