同样地，研究者在 BLiMP 和儿童图书测试、Lambada、HellaSwag、PIQA 和 ARC-E 等下游任务上展现了良好的零样本性能。 MoEUT 架构概览 如前文所述，MoEUT 是一种具有层共享参数的 Transformer 架构，其中使用 MoE 来解决参数计算比问题。虽然最近出现了很多关于 Transformer ...