如何發(fā)現(xiàn)AI+Science中的下一個AlphaFold和ChatGPT？

導語

從微觀到宏觀，跨越廣闊的空間和時間尺度，AI + Science 在發(fā)現(xiàn)基本粒子、量子計算、蛋白質模擬、材料設計、可控核聚變、氣象預測、碳捕捉等政策設計、探索浩瀚宇宙等各個方面，都發(fā)揮著重要作用。一方面，各個科學領域中的重大問題為 AI 研究帶來全新的挑戰(zhàn)和機會；另一方面，最新的 AI 技術為解決科學領域的問題提供了強大的工具。

在集智俱樂部 AI + Science 讀書會第一期，斯坦福大學計算機科學系博士后研究員吳泰霖從 AI for Science 和 Science for AI 兩個方向，探討為何要將 AI 與 Science 結合，以及 AI + Science 下一步關注的重要問題和未來面對的挑戰(zhàn)。今天的文章整理自此次分享。

本文由第一期 AI + Science 讀書會第一期總結而成。在此次分享中，講者吳泰霖主要就以下幾個方面展開論述：

我們?yōu)槭裁匆懻?AI + Science？

AI for Science 關注的核心問題，以及前沿進展有哪些；

Science for AI 領域的核心問題，以及前沿進展有哪些；

AI + Science 下一步關注什么問題？

1. 我們?yōu)槭裁匆懻?AI + Science ？

AI + Science 這一領域可以分為 AI for Science 和 Science for AI 兩個部分。前者指利用AI技術為科學發(fā)現(xiàn)賦能，后者指利用科學知識設計出更強大的AI技術。 在 AI for Science 部分，許多前沿的AI技術可以幫助科學發(fā)現(xiàn)，主要包括： 1）在數值模擬方面提升速度和準確性。如 DeepMind 提出的 GraphCast[1] 能通過輸入60秒的歷史天氣，預報未來10天的天氣，不僅在準確度上極大優(yōu)于傳統(tǒng)預測手段，在運算效率上也有極大的提升。AlphaFold [2] 的提出將人類蛋白質結構預測的準確度提升到了前所未有的水平。 2）幫助科學家探索科學框架的設計。我們可以讓AI去更大的設計空間搜索設計策略和控制優(yōu)化策略。比如近期發(fā)表在Nature 上的工作，使用深度強化學習控制核聚變反應中的等離子體，第一次發(fā)現(xiàn)了全新的等離子體結構[3]。 3）揭示未發(fā)現(xiàn)的科學定律和知識。比如近年的工作 AI Feynman2.0[4]，讓AI重新發(fā)現(xiàn)了《費曼物理學講義》中的100個物理方程，甚至還發(fā)現(xiàn)了新的方程。這類工作可能在很大程度上可以做到幫助人類加快科學發(fā)現(xiàn)。 更進一步來說，科學技術的進步對于人類而言，是解放生產力以及獲得可持續(xù)增長的重要方式之一。

[1]Lam, Remi, et al. "GraphCast: Learning skillful medium-range global weather forecasting." arXiv preprint arXiv:2212.12794 (2022). [2]Lumper, John, et al. "Highly accurate protein structure prediction with AlphaFold." Nature 596.7873 (2021): 583-589 [3]Degrave, Jonas, et al. "Magnetic control of tokamak plasmas through deep reinforcement learning." Nature 602.7897 (2022): 414-419 [4]AI Feynman 2.0 [1]: rediscover top-100 physics equations in Feynman lectures

在 Science for AI 方面，當前的科學也可以為促進AI的發(fā)展提供非常有效的幫助，為AI技術帶來了新的挑戰(zhàn)。如許多物理、化學等科學問題面臨超大的狀態(tài)空間搜索，當前的AI技術無法很好地解決。如何解決這些科學問題，對AI的發(fā)展提出了更大挑戰(zhàn)。 其次，基于一些科學先驗知識，我們也可以設計出更強大的AI模型，在這方面已經有了很多工作。比如等變圖網絡[5]的提出，就是啟發(fā)于物理中的對稱性，使得模型可以在藥物分子建模等方面滿足需求。同樣在模型中引入對稱性的工作還有[6]，在不同的系統(tǒng)中都極大提高了分子動力學模擬器的性能。另外還有擴散模型[7]、能量模型[8]等，都對神經網絡的建模提供了啟發(fā)。

[5] Victor Garcia Satorras, Emiel Hoogeboom, Max Welling,E(n) Equivariant Graph Neural Networks [2022] [6] Zhang L, Han J, Wang H, et al. Deep potential molecular dynamics: a scalable model with the accuracy of quantum mechanics. Physical review letters, 2018, 120(14): 143001. [7] Sohl-Dickstein J, Weiss E, Maheswaranathan N, et al. Deep unsupervised learning using nonequilibrium thermodynamics. [8] Greydanus, Samuel, Misko Dzamba, and Jason Yosinski. "Hamiltonian neural networks." Advances in neural information processing systems 32 (2019)

AI 和 Science 的結合是一種雙向的賦能，我們當前還有許多事情可以做。下面本文將對上述提到的內容進一步詳細展開論述。

2.AIfor Science

一方面是AI對科學的賦能。首先我們可以對科學做一個分解，這個過程首先是發(fā)現(xiàn)科學定律，并據此建立模型，這個過程在傳統(tǒng)范式中往往非常依賴科學家個人的洞察力，如開普勒定律和牛頓定律等；然后我們會根據這一模型去模擬真實世界，解釋更大范圍的事物；最后，我們會嘗試設計出新的系統(tǒng)，比如修改模型的參數，或者對系統(tǒng)進行實驗和干預等，對系統(tǒng)進行控制，對系統(tǒng)產生進一步的了解，從而為進一步的科學發(fā)現(xiàn)創(chuàng)造條件。 而在機器學習中同樣也存在這樣類似的步驟：通過數據驅動的方式發(fā)現(xiàn)一個模型；使用模型對系統(tǒng)進行模擬；最后可以通過控制等方式設計出新的系統(tǒng)。所以這二者的相似性就可以引出AI如何賦能科學的三個方面：科學仿真（Simulation）、科學設計（design）、科學發(fā)現(xiàn)（discovery）。

圖1. 科學仿真、科學設計與科學發(fā)現(xiàn)三階段與機器學習的對應 2.1 AI 之于科學仿真 科學仿真是指用數值模擬的形式，在給定系統(tǒng)初始狀態(tài)，邊界條件以及參數的時候，模擬系統(tǒng)的動力學或者穩(wěn)態(tài)。而通過引入機器學習的方法，模擬的速度和精度都會得到極大的提高。

圖2. 動力系統(tǒng)仿真示意圖。μt是系統(tǒng)的初始狀態(tài)，可以是一個連續(xù)函數，或者一個圖；f*是演化動力學，可以是偏微分方程的演化，或者是真實世界的演化；a 是系統(tǒng)不隨時間變化的靜態(tài)參數；?X是系統(tǒng)的邊界條件。

在科學仿真過程中，我們首先關心的問題是希望做到精確模擬。我們可以用傳統(tǒng)的方式，基于第一性原理建立偏微分方程，然后求解。這樣做的好處是解釋性高，并且求解精度有理論保證。但缺陷是運算慢，而且對于很多復雜的系統(tǒng)，可能難以求解，甚至難以寫出偏微分方程。 我們也可以考慮用純數據驅動的方式，將圖1中的f*動力學參數化，用神經網絡強大的擬合能力學習出一個f(θ)，使其盡可能接近真實的動力學。 不過，一個更好的方式是，我們可以取兩者的長處，即保留神經網絡的運算能力，同時也加入一些物理先驗信息對神經網絡結構進行約束，或者使用更符合物理直覺的訓練方式，使得模型的表現(xiàn)更好。 比如圖神經網絡通過引入圖結構的先驗信息，即事先給定微觀粒子之間的相互作用關系，從而提升神經網絡的預測能力。這里就我們以一系列基于GNN的工作為例，展開論述GNN在科學仿真領域的進展。 首先是 DeepMind 提出了一種圖網絡模擬器（Graph Network Simulator，GNS）[8]，模擬粒子物理系統(tǒng)，可以應用于流體力學或者計算圖形學等領域的模擬。具體架構如下圖所示。首先根據先驗信息建立一個圖，然后基于消息傳遞（Message Passing）機制更新節(jié)點的特征，這里的“消息”可以代表粒子之間的相互作用關系，通過神經網絡的映射，實現(xiàn)粒子狀態(tài)的更新，最終實現(xiàn)模擬粒子通過相互作用發(fā)生運動的動力學過程。

圖3. 使用圖神經網絡模擬復雜系統(tǒng)。| 圖片來源: Sanchez-Gonzalez et al. Learning to Simulate Complex Physics with Graph Network. ICML 2020. http://proceedings.mlr.press/v119/sanchez-gonzalez20a/sanchez-gonzalez20a.pdf

隨后提出的 HGNS （Hybrid Graph Network Simulator）方法 [9] 則通過引入多步預測，和 sector-based 訓練技巧，使得神經網絡可以在更加復雜的系統(tǒng)上進行模擬。前文提到的天氣預報模型 GraphCast[1]，則進一步引入多尺度信息，從而實現(xiàn)大規(guī)模和大尺度的預測效果。 另外一個基于網格的仿真（mesh-based simulation）也使用了圖網絡建模[10]，它們除了引入網格網絡之外，還基于位置信息引入了不同網格之間的相互作用。這種建模方式也被證明在網格數據中有非常好的預測效果。這篇工作發(fā)表在了2021年的 ICLR 上。而后續(xù)也有對其進行的改進工作，比如通過引入一個調控參數，用來平衡預測準確度與預測精度[11]。

當然該領域還有一系列其他優(yōu)秀的工作，比如基于對稱性提出的等變圖網絡（equivariant graph）[5]，引入動量守恒的約束從而提高準確度[6, 12]。而除了圖神經網絡之外，還有可以引入無限維函數（infinite dimensional function）建模狀態(tài)空間，引入傅里葉神經算子[13]等等，無法在此窮舉展示。

[8]Sanchez-Gonzalez et al. Learning to Simulate Complex Physics with Graph Network. ICML 2020. [9] Wu, Tailin, et al. "Learning large-scale subsurface simulations with a hybrid graph network simulator." SIGKDD 2022 [10]Lam C Y, Lu J R, Udalski A, et al. An Isolated Mass-gap Black Hole or Neutron Star Detected with Astrometric Microlensing[J]. The Astrophysical Journal Letters, 2022, 933(1): L23. 11]Pfaff, Tobias, et al. "Learning mesh-based simulation with graph networks." ICLR 2021 [11]Wu T, Wang Q, Zhang Y, et al. Learning large-scale subsurface simulations with a hybrid graph network simulator. Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2022: 4184-4194. [12]Prantl L, Ummenhofer B, Koltun V, et al. Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics. NeurIPS 2022 [13]Li, Zongyi, et al. "Fourier neural operator for parametric partial differential equations." ICLR2021

在仿真領域，我們關心的另一個問題是，求解出系統(tǒng)的穩(wěn)定狀態(tài)。這在材料、凝聚態(tài)物理等領域是非常重要的問題。對于這類問題，模型的輸入就是一個邊界條件，輸出就是系統(tǒng)的穩(wěn)態(tài)。比如像蛋白質折疊問題，我們關心的是最終結構，而不關心折疊的過程。一個好的方法就是使用神經算子（neural operators）進行求解[14-16]。

圖4. 根據系統(tǒng)邊界條件和參數，求解系統(tǒng)穩(wěn)定狀態(tài)圖示

[14]Li, Zongyi, et al. "Fourier neural operator for parametric partial differential equations." ICLR2021 [15] Li, Zongyi, et al. "Neural operator: Graph kernel network for partial differential equations." arXivpreprint arXiv:2003.03485 (2020). [16]Raissi et al., Journal of Computational physics 378 (2019): 686-707

關于科學仿真這個大領域，除對于科學問題來說有重要意義之外，其實背后還有更大的圖景。比如數字孿生，我們可以設想在制造業(yè)中造一個數字孿生體，完全模擬生產過程的發(fā)動機結構、系統(tǒng)狀態(tài)、系統(tǒng)演化等等整個流程，從而實現(xiàn)對系統(tǒng)進行實時監(jiān)測和調控。

圖5. 數字孿生和元宇宙 2.2 AI 之于科學設計 對于科學設計，在此處可以定義為，我們設置一個目標，希望可以通過某些方式，讓神經網絡自動找到可以實現(xiàn)這一目標的初始條件，如蛋白質結構設計；或者找到邊界條件，如設計飛機的形狀；亦或者外部控制條件，如調控全球變暖。

圖6. 科學設計的框架圖 具體實現(xiàn)方式包括如下幾種： a) 可以用學習好的模擬器作為一個內部優(yōu)化循環(huán)，實現(xiàn)邊界條件的確定。比如前文提到的，基于圖網絡的模擬器GNS就屬于這類方法 [8]。

圖7. GNS實現(xiàn)粒子運動路徑的優(yōu)化 b) 可以通過迭代的形式實現(xiàn)收斂，如 diffusion model，從一個隨機分布開始，最終收斂到我們想要的分布。工作[17]是使用幾何圖網絡（Geomeric Graph Neural Network），結合擴散模型實現(xiàn)等變圖的生成任務。對藥物生成有很強的現(xiàn)實意義。

圖8. 基于擴散模型的等變圖生成 c) 可直接映射，比如使用 transformer 直接學習邊界條件或者系統(tǒng)參數到目標的映射 [18]。

圖9. 直接映射 d) 通過強化學習直接設計系統(tǒng)本身 [19,20]，比如在分子設計這一任務上，可以通過強化學習的方式逐一加入原子。還有前面提到的系統(tǒng)控制等任務，也是強化學習的強項。

圖10. 基于強化學習的系統(tǒng)設計 而實際使用也并不局限于以上提到的方法和模型。并且同樣，AI對于科學設計的增強也使得我們解決數字孿生這樣的大問題有了進一步潛力。

[17]Xu, Minkai, et al. "Geodiff: A geometric diffusion model for molecular conformation [18]Guo, Ruchi, Shuhao Cao, and Long Chen. "Transformer meets boundary value inverse problems." NeurIPS 2022 [19]You, Jiaxuan, et al. "Graph convolutional policy network for goal-directed molecular graph generation." Advances in neural information processing systems 31 (2018). [20]Degrave, Jonas, et al. "Magnetic control of tokamak plasmas through deep reinforcement learning." Nature 602.7897

2.3 AI 之于科學發(fā)現(xiàn) 科學家是如何實現(xiàn)科學發(fā)現(xiàn)的呢。伽利略發(fā)現(xiàn)單擺周期規(guī)律的過程，首先是通過觀察教堂的臺燈擺動為靈感，發(fā)現(xiàn)臺燈的擺動周期是固定的，并且和擺動的幅度沒有關系。然后他將這一過程抽象為了一個單擺運動，在這一系統(tǒng)上總結出了一些定量的規(guī)律。最后，再將這一過程向所有類似的系統(tǒng)中進行泛化。 所以，根據這一例子我們可以總結來看，科學發(fā)現(xiàn)的步驟可以大致分為：概念的發(fā)現(xiàn)，規(guī)律的總結，以及概念的泛化這幾個步驟（如圖11所示）：

圖11. 科學發(fā)現(xiàn)的環(huán)節(jié)及其之間的關系 首先第一個步驟，發(fā)現(xiàn)概念、表示或者性質。比如我們需要對細胞的分類進行辨識、分類、表示，或發(fā)現(xiàn)系統(tǒng)的因果結構，或者發(fā)現(xiàn)系統(tǒng)的對稱性等性質等等。而AI在表征學習、分類學習、因果發(fā)現(xiàn)等領域都能夠幫助我們在這一個步驟的能力得到增強。近期劉子鳴等人的工作使用機器學習算法發(fā)現(xiàn)了守恒律 [21]。 其次是發(fā)現(xiàn)概念之間的關系，即物理定律發(fā)現(xiàn)的過程。我們也可以使用數據驅動的方式發(fā)現(xiàn)公式。這里涉及到符號回歸相關的技術，也有了相當一部分的工作，比如前文提到的AI費曼2.0等 [22-24]。 最后是概念的泛化。這可以對應的例子是，將能量模型（Energy-based model）累加后得到更復雜的模型[25，26]，從而獲得更好的效果。以及 few-shot 學習[27]，大模型中上下文學習的使用等 [28]，都可以做到將模型泛化到更復雜的概念和使用場景中。

圖12. 使用符號回歸發(fā)現(xiàn)物理定律。| 來源：Udrescu, Silviu-Marian, et al. "AI Feynman 2.0: Pareto-optimal symbolic regression exploiting graph modularity." NeurIPS 2020 https://arxiv.org/abs/2006.10782

[21]Liu, Ziming, and Max Tegmark. "Machine learning conservation laws from trajectories." Physical Review Letters 126.18 (2021): 180604. [22]Udrescu, Silviu-Marian, et al. "AI Feynman 2.0: Pareto-optimal symbolic regression exploiting graph modularity." NeurIPS 2020 [23] Wu, Tailin, and Max Tegmark. "Toward an artificial intelligence physicist for unsupervised learning." Physical Review E 100.3 (2019): 033311. [24] Mundhenk, Terrell, et al. "Symbolic regression via deep reinforcement learning enhanced genetic programming seeding." NeurIPS 2021 [25] Du, Yilun, Shuang Li, and Igor Mordatch. "Compositional visual generation with energy based models." NeurIPS 2020 [26] Wu, Tailin, et al. "Zeroc: A neuro-symbolic model for zero-shot concept recognition and acquisition at inference time." NeurIPS 2022 [27] Cao, Kaidi, Maria Brbic, and Jure Leskovec. "Concept learners for few-shot learning." ICLR 2021 [28] Brown, Tom, et al. "Language models are few-shot learners." NeurIPS 2020

3. Science for AI

對于科學增強AI這一部分內容，核心觀點在于，我們可以將科學中的很多概念或定律作為先驗知識或約束引入AI模型，使得模型表現(xiàn)出更強大的效果，圖5展示了部分科學概念引入AI模型，并為AI模型取得重大突破的例子。 在讀書會后續(xù)的分享中，會展開介紹其中一些重要的分支。比如物理啟發(fā)的生成模型，包括能量模型、擴散模型、量子生成模型等[29]，以及一些物理啟發(fā)的學習理論，如相變、場論等理論啟發(fā)的學習模型[30]。

圖13. 科學概念對于AI模型的增強

[29] Xu, Yilun, et al. "Poisson flow generative models." NeurIPS 2022 [30] Liu, Ziming, et al. "Towards understanding grokking: An effective theory of representation learning." Advances in Neural Information Processing Systems 35 (2022): 34651-34663.

4. AI + Science 下一步關注什么問題？

AI+Science是一個逐漸興起的研究方向。在這個領域我們接下來應該關注的是什么問題呢？講者認為，一個足夠重要且有潛力的問題應該滿足以下幾個條件：

1）普適且影響深遠。也就是說這個問題的解決方案可以被用于解決其他很多問題。

2）這個問題本身可能目前看起來是模糊的，但在2-3年內是有希望解決的；

3）有充足的數據；

4）有明確的評價目標； 可以看到，像 ChatGPT 和 AlphaFold 其實都滿足這樣的條件，現(xiàn)如今它們也確實成為了AI技術的現(xiàn)象級產品?；蛟S沿著這一思路，下一個 ChatGPT 和 AlphaFold 也將很快出現(xiàn)。吳泰霖老師也在分享時提出了自己的想法：我們是否能夠創(chuàng)建一個集成平臺，我們只需要給出一些文本命令或者函數形式，這個平臺就能夠自動設計出符合我們要求的系統(tǒng)，比如發(fā)動機的形狀，或者給出系統(tǒng)最優(yōu)的參數等。 AI + Science 正方興未艾，AI和科學的結合僅被挖掘出了冰山一角，而AI的迅速發(fā)展又能給二者結合的效能提供強有力的潛力。對于AI + Science，這是一個最好的時代。

審核編輯 ：李倩