Deep Dive into LLMs like ChatGPT

推荐理由

I highly recommend Andrej Karpathy's Deep Dive into LLMs like ChatGPT

强烈推荐romanhn · 原文2026年2月

说明

这是2025年由Andrej Karpathy发布的一部课堂讲座，主题归在LLMs & generative AI。它讲的是large language models这一支里的具体问题，而不是把整个领域扫一遍。适合第一次接触、还没有先修课的人。内容上可以概括成：Andrej Karpathy's three-hour-plus general-audience deep dive into how ChatGPT-style LLMs are built, covering the full training stack from pretraining to post-training. It also gives mental models for their quirks, like hallucination, and how to use them well.这些读者给出的理由，核心是：HN's most frequent recommendation for a clear, approachable foundation in how LLMs work without heavy math.讲法不绑某一条新闻，过几年仍然可以当材料看。从2025年到2026年，有10位不同的读者在8个不同月份把它推荐出来，其中明确叫别人去看的有6次。节奏接近上课，可以暂停做笔记。它假设你愿意跟着一条推导走完。如果已经会了基本定义，就把注意力放在它怎么把large language models变成能跟着复述的例子。

视频信息

频道

Andrej Karpathy

时长

3 小时 31 分

发布年份

2025

同主题更多

• Transformers, the tech behind LLMs | Deep Learning Chapter 5
• Let's build GPT: from scratch, in code, spelled out.
• A Hackers' Guide to Language Models
• [1hr Talk] Intro to Large Language Models
• Sparks of AGI: early experiments with GPT-4
• Let's build the GPT Tokenizer