标签: 架构
包含标签 "架构" 的所有文章：
MiniMax震撼开源，突破传统Transformer架构，4560亿参数，支持400万长上下文
发表: at 11:002025 新年伊始，在很多趋势都还不明朗的情况下，几位 AI 业界的重要人物几乎在同一时间做出了类似的判断 ——2025 年将是 AI Agent 之年。没想到，MiniMax 很快就有了动作：开源了最新的基础语言模型 MiniMax-Text-01 和视觉多模态模型 MiniMax-VL-01。新模型的最大亮点是，在业内首次大规模实现了新的线性注意力机制，这使得输入的上下文窗口大大变长：一次可处理 400 万 token，是其他模型的 20-32 倍。他们相信，这些模型能够给接下来一年潜在 Agent 相关应用的爆发做出贡献。