标签: 分词器
包含标签 "分词器" 的所有文章：
直到我真正理解了“Token”和“分词器”，才是我学懂Transformer的第一次顿悟！
发表: at 14:00你有没有这种感觉？看了很多Transformer、LLM的文章，却总觉得云里雾里？今天我们来聊聊大型语言模型（LLM）中的一个核心概念——Token。直到我真正理解了“Token”和“分词器”，这才是我学懂Transformer的第一次顿悟，这可能是我整个大模型学习过程中唯一一次一口气看懂的内容。
包含标签 "分词器" 的所有文章：
你有没有这种感觉？看了很多Transformer、LLM的文章，却总觉得云里雾里？今天我们来聊聊大型语言模型（LLM）中的一个核心概念——Token。直到我真正理解了“Token”和“分词器”，这才是我学懂Transformer的第一次顿悟，这可能是我整个大模型学习过程中唯一一次一口气看懂的内容。