PickVidsGlitch Tokens - Computerphile
推荐理由
it's also a good introduction to the topic.
说明
这是2023年由Computerphile发布的一部讲解，主题归在LLMs & generative AI。它讲的是llm tokenization这一支里的具体问题，而不是把整个领域扫一遍。适合第一次接触、还没有先修课的人。内容上可以概括成：Rob Miles explains "glitch" tokens, odd strings in large language model vocabularies that make the model produce gibberish. He covers how they likely arise from tokenizer training data, such as Reddit usernames, that never appeared in the model's own training.这些读者给出的理由，核心是：HN points to it as the accessible explanation of why glitch tokens exist whenever tokenizers or odd GPT behavior come up.它贴着当时的技术，看的时候要记得那是那个年份的判断。从2023年到2023年，有2位不同的读者在2个不同月份把它推荐出来，其中明确叫别人去看的有0次。适合用一集把一个概念补上的人。抓住它用的那个图像或类比，比背公式重要。如果已经会了基本定义，就把注意力放在它怎么把llm tokenization变成能跟着复述的例子。
视频信息
- 频道
- Computerphile
- 时长
- 19 分 29 秒
- 发布年份
- 2023