PickVidsLet's build the GPT Tokenizer
推荐理由
Worth spending 2h for the deeper understanding if you deal with LLMs.
强烈推荐cranium · 原文
说明
这是2024年由Andrej Karpathy发布的一部课堂讲座，主题归在LLMs & generative AI。它讲的是llm tokenization这一支里的具体问题，而不是把整个领域扫一遍。适合已经能看懂基本术语、想继续往下走的人。内容上可以概括成：Andrej Karpathy builds the GPT tokenizer from scratch, implementing byte pair encoding along with encode and decode. He shows how many odd LLM behaviors trace back to tokenization, and covers Unicode byte encodings along the way.这些读者给出的理由，核心是：Recommended as the best deep dive on tokenizers, worth the two hours for anyone working with LLMs.讲法不绑某一条新闻，过几年仍然可以当材料看。从2024年到2025年，有5位不同的读者在5个不同月份把它推荐出来，其中明确叫别人去看的有1次。节奏接近上课，可以暂停做笔记。它假设你愿意跟着一条推导走完。如果已经会了基本定义，就把注意力放在它怎么把llm tokenization变成能跟着复述的例子。
视频信息
- 频道
- Andrej Karpathy
- 时长
- 2 小时 13 分
- 发布年份
- 2024