标签: 自回归

包含标签 "自回归" 的所有文章：

• 机器学习中的自回归：概念、Transformer与扩散模型的统一理解

  发表:2025年11月16日 |  at 11:30

  自回归（Autoregressive）是一种生成与建模思想，其核心是利用已生成的历史内容来预测下一个输出，通常通过概率链式法则逐步生成数据。它广泛应用于时间序列分析、语言模型、语音和序列生成任务中。Transformer 是一种强大的神经网络结构，本身并不等同于自回归，但在使用因果注意力（causal mask）时，可以实现严格的自回归生成，如 GPT 等大语言模型。自回归 Transformer 生成质量高，但推理阶段难以并行，速度受序列长度限制。