标签: Tokenizer

包含标签 "Tokenizer" 的所有文章：

• 从tokenizer说起，为LLM自回归预训练准备数据集-大模型炼丹术

  发表:2025年5月2日 |  at 11:50

  本文首先介绍了如何从头开始实现一个自定义tokenizer，用于将原始文本数据转化为模型能够理解的格式。通过这个例子，来直观理解什么是tokenize；接着，分析这种tokenizer的优缺点，引出更常用的BPE；最后，基于BPE构建的tokenizer，构建用于GPT预训练时的数据加载器。