标签: 大模型
包含标签 "大模型" 的所有文章:
OpenAI重新开源!深夜连发两个推理模型,o4-mini水平,笔记本、手机可跑
发表: at 14:00终于,OpenAI 的新发布还是来了,虽然不是我们期待已久的 GPT-5,但也是「something big-but-small today.」,也就是开源新语言模型。
Discrete Tokenization:多模态大模型的关键基石,首个系统化综述发布
发表: at 23:30近年来,大语言模型(LLM)在语言理解、生成和泛化方面取得了突破性进展,并广泛应用于各种文本任务。随着研究的深入,人们开始关注将 LLM 的能力扩展至非文本模态,例如图像、音频、视频、图结构、推荐系统等。这为多模态统一建模带来了机遇,也提出了一个核心挑战:如何将各种模态信号转化为 LLM 可处理的离散表示。在这一背景下,Discrete Tokenization(离散化)逐渐成为关键方案。通过向量量化(Vector Quantization, VQ)等技术,高维连续输入可以被压缩为紧凑的离散 token,不仅实现高效存储与计算,还能与 LLM 原生的 token 机制无缝衔接,从而显著提升跨模态理解、推理与生成的能力。
推荐5本学习LLM书籍
发表: at 13:00《大模型基础》、《动手学深度学习》、《大规模语言模型:从理论到实践》、《动手实践大型语言模型》和《动手学大模型Dive into LLMs》。