PickVidsLSTM is dead. Long Live Transformers!
推荐理由
has gotten tons of compliments and keeps people watching year after year
强烈推荐leopd · 原文
说明
这是2019年由Seattle Applied Deep Learning发布的一部课堂讲座，主题归在LLMs & generative AI。它讲的是transformers in nlp这一支里的具体问题，而不是把整个领域扫一遍。适合已经能看懂基本术语、想继续往下走的人。内容上可以概括成：Leo Dirac explains how transformer models have replaced LSTMs in NLP. He gives background from bag of words through RNNs and LSTMs, then a technical deep dive into multi-headed self-attention and positional encoding, with sample code.这些读者给出的理由，核心是：Recommended as a clear explanation of why RNNs fall short and how transformers solve it.讲法不绑某一条新闻，过几年仍然可以当材料看。从2020年到2023年，有4位不同的读者在4个不同月份把它推荐出来，其中明确叫别人去看的有1次。节奏接近上课，可以暂停做笔记。它假设你愿意跟着一条推导走完。如果已经会了基本定义，就把注意力放在它怎么把transformers in nlp变成能跟着复述的例子。
视频信息
- 频道
- Seattle Applied Deep Learning
- 时长
- 28 分 48 秒
- 发布年份
- 2019