标签: 多模态

包含标签 "多模态" 的所有文章：

• Discrete Tokenization：多模态大模型的关键基石，首个系统化综述发布

  发表:2025年8月5日 |  at 23:30

  近年来，大语言模型（LLM）在语言理解、生成和泛化方面取得了突破性进展，并广泛应用于各种文本任务。随着研究的深入，人们开始关注将 LLM 的能力扩展至非文本模态，例如图像、音频、视频、图结构、推荐系统等。这为多模态统一建模带来了机遇，也提出了一个核心挑战：如何将各种模态信号转化为 LLM 可处理的离散表示。在这一背景下，Discrete Tokenization（离散化）逐渐成为关键方案。通过向量量化（Vector Quantization, VQ）等技术，高维连续输入可以被压缩为紧凑的离散 token，不仅实现高效存储与计算，还能与 LLM 原生的 token 机制无缝衔接，从而显著提升跨模态理解、推理与生成的能力。

• 一文搞懂多模态学习（多模态融合 + 跨模态对齐）

  发表:2025年3月5日 |  at 13:00

  多模态学习（Multimodal Learning）是一种通过整合多种数据模态（如文本、图像、音频、视频等）来提升模型对复杂信息的理解能力的技术。其核心目标是利用不同模态的互补性与冗余性，突破单一模态的信息局限，模拟人类多感官协同认知的能力。