这一轮人工智能浪潮的背后,是人类在总结经验并利用经验创造事物的整个范式发生了改变。
在过去,我们通常采用归纳的方法,从大量现象中总结出一条尽可能普适的规律,然后再基于这样的规律去做新的预测。
而现在,人工智能则用一种模型来承载经验。这些经验是通过 learning 的方式,从大量数据中自动形成的。然后再用这些模型去做预测。
它和以前的归纳方式不同在于,归纳出来的规则往往只是对真实环境的近似。大多数归纳的规则,虽然来自于真实环境,但很难适应更多复杂的真实场景。而通过 data-driven 的学习机制,模型能够从大量数据中总结出复杂的底层规律,获得一种难以直接描述的经验,能应对更多真实情况。
这也导致了很多领域正在发生的变化,比如计算机图形学对物理世界的模拟。过去,可能是用各种物理规律的叠加,尽可能在虚拟世界中模拟出和物理世界一样的场景。但由于物理规律本身就是近似的,所以用这些规律去模拟物理世界时,很多情况下并不能做到非常逼真。而在这个时候,引入 learning 的方式,可以在一些边界条件下实现更好的拟合。
另一个例子是对金融市场的预测。过去,可能主要依赖各种算法和一些相对简单的数学因子来建模。而现在,很多场景下都开始用神经网络等方法去拟合金融市场中那些不规则的波动变化。
那么,如何在 rule-based 的归纳方式和 data-driven 的 learning 方式之间做权衡?这是广泛研究的问题。一方面,我们希望充分利用模型的 learning 能力,把一些复杂的判断交给模型和数据来完成。另一方面,又要尽可能地引入一些规则,也就是 inductive bias,把模型的探索空间收敛到更小的范围,让计算量变小,从而更容易得到可行的解。
结合规则、归纳偏置和模型学习的具体方式,还有很多值得探索的地方。最直接的是在大语言模型下的 prompt engineering,再深入一点是领域数据的准备,更深层次则是模型结构的设计。
总之,过去我们从现实中抽象出经验,依靠语言和文字,将经验整理成文再传递下去,让人脑理解文字后再解决问题。而现在,我们只需要训练一个模型,通过传递这样一个拥有复杂智慧的模型,就能让它直接解决更复杂的问题。过去,我们传递文字;现在,我们传递智能。