The Bitter Lesson
Richard Sutton 是强化学习的奠基人之一。他在 2019 年写的这篇 The Bitter Lesson 很短，但判断非常硬：AI 史上真正长期有效的方法，往往不是把人类知识精巧地写进系统，而是那些能够持续利用更多计算的通用方法。
The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective, and by a large margin.
这个 lesson 是 bitter 的，是因为它一次次打击研究者对“人类知识”和“领域技巧”的偏爱。很多手工设计、规则注入、结构假设，（特征、模块、流程，决策逻辑，问题的抽象形态），短期看会提升效果，也更符合研究者对问题的理解；但从长期看，它们往往会过早到达平台期，甚至妨碍系统继续从规模、搜索和学习中获益。
AI researchers have often tried to build knowledge into their agents […] but in the long run it plateaus and even inhibits further progress.
我觉得这篇文章最值得反复提醒自己的地方，不是“人类知识没有价值”，而是不要轻易把自己当下的理解硬编码成系统的上限。人类发现过的东西当然重要，但如果目标是构造更强的智能系统，更关键的可能是让系统拥有继续发现复杂性的能力。
We want AI agents that can discover like we can, not which contain what we have discovered.
Sutton 最后强调的不是某个具体模型或技巧，而是可扩展的 meta-methods：search 和 learning。它们的价值在于，当计算资源继续增长时，方法本身还能继续吃到增长的红利。
长期有效的东西通常不讨好人，但世界的复杂性大到很难被人手工压缩进一套漂亮规则里；与其把发现结果塞进系统，不如把发现过程本身交给系统。