LLM的MoE由什么构成：门控网络，专家网络

LLM的MoE由什么构成：门控网络，专家网络

专家网络

• 定义与特点：是一组独立的模型，每个模型都负责处理某个特定的子任务或学习输入空间的特定部分。这些专家可以是简单的线性回归模型、决策树，也可以是复杂的神经网络如多层感知机（MLP）、Transformer等。在不同的应用场景中，专家网络会根据具体任务进行定制。
• 举例：在图像识别任务中，对于不同类型的图像场景或物体类别，可以设置不同的专家网络。如一个专家网络专门负责识别自然风景图像，擅长提取和处理自然风景中的颜色、纹理等特征；另一个专家网络则专注于识别人物图像，对人物的面部特征、肢体动作等有更深入的学习和理解。

门控网络

• 定义与作用：负责根据输入数据的特征，动态地决定哪个专家模型应该被激活以生成最佳预测，并计算每个专家的贡献权重。门控网络自身也是通过学习得到的，它可以根据输入的特征来决定最佳的专家组合方式。
• 举例