月之暗面开源 Kimi K3:2.8T MoE、104B 激活参数、1M 上下文,每单位算力智能提升 2.5 倍
月之暗面正式开源 Kimi K3,2.8T 总参数、104B 激活参数的 MoE 架构,原生视觉理解,100 万 token 上下文窗口。新架构采用 Kimi Delta Attention(KDA)、NoPE、跨深度注意力残差和 896 专家 MoE 设计,官方称每单位算力的智能密度提升 2.5 倍,长上下文解码速度提升 6 倍。模型权重、技术报告及配套高性能注意力内核 FlashKDA、MoE 通信库已在 HuggingFace 和 GitHub 开源。
The Decoder 报道称,K3 在基准测试中接近 Fable 5 和 GPT-5.6 Sol 等西方前沿模型,但英国网络研究所的独立测试显示其网络能力和数学技能仍落后于前沿模型。Artificial Analysis Intelligence Index 上以 57 分成为领先的开源权重模型。许可证方面,年收入超 2000 万美元需商业授权。