腾讯网13 小时
专家模型不要专家并行！微软开源MoE新路径
继Phi家族之后，微软又开源了新的混合专家大模型——GRIN MoE。 与Phi-3.5同样的个头（16 * 3.8B），却采用了截然不同的训练方法。 这个「不走寻常路」如果写个太长不看版，那就是两句话： 1.