SystemsDesign
设计“系统”方法和思考。目前“系统”并没有明确的定义,大概是由一些相关联的组件有机组 合起来的一个整体,使得它最终能实现每个组件无法实现的功能。
1. Scaling
http://www.incompleteideas.net/IncIdeas/BitterLesson.html 构造“智能”系统的反思。 在初期,人们都会想引入“人类知识”来提供捷径,绕开计算的限制。但是后面的发展都证明 了,这些捷径最终不会有效,甚至有反效果。真正有效的设计是使用通用的方法,让系统的 能力会随着算力而增长(我觉得最终能引起质变做到之前无法想象的事情)。作者认为目前 已知的两种非常可扩的方法是“搜索”和“学习”。作者认为人类头脑里的过程非常复杂,直接 应用其最终表现出来的方法,会让系统的能力永远低于人类;教会机器“元方法”,让机器自 己去找到优质的近似解(以低复杂度解决复杂问题)是更有价值的目标。