Ilya Sutskever 曾交給 John Carmack 一份約 30 篇論文的清單，並告訴他：「如果你真的把這些都學透了，你就已經掌握了當今 AI 領域的 90% 關鍵知識。」雖然我不是 AI 領域的研究員，但還是對裡面與壓縮有關的主題感興趣。這篇文章我會以壓縮的視角，試著把相關主題之間的脈絡，用自己的理解表達出來。另外，我不會花太多篇幅在細節推導，而是不同文章之間的關聯，以及我覺得有趣的地方。
在有限觀察的條件下，如何在不同的解釋之間做出選擇？我們應該選擇簡單解釋，忽略其餘誤差；或是選擇複雜解釋，使得新觀察出現時，又要大幅修正原本的解釋。顯然兩種極端都不太好，那有沒有可能找到介於兩者之間，對當前觀察最好的模型解釋呢？這就是模型選擇問題 (model selection)。
面對模型選擇問題，有些人認為應該選擇壓縮效果最好的那個模型。為什麼呢？因為任何數據的規律性都可以用來壓縮數據，規律性越多，數據就越能被壓縮。此外，我們可以將學習視為尋找規律，當我們越能壓縮數據，表示對數據的理解也就越深刻。
所以在資料有限的條件下，要怎麼找到最理想的那個壓縮呢？這就是柯氏複雜度 (Kolmogorov complexity) 在思考的問題，可惜的是，它是圖靈不可計算的，即便給予電腦無限的時間與算力，在邏輯上也不存在一個演算法能算出這個答案。但這也表示，我們永遠能提出更好的壓縮方案，從中學到新見解，並建立更好的解釋。
既然最理想的壓縮是無法計算的，那在實務上有沒有一種方法論，能持續改進並獲得更好的壓縮效果呢？這就是最小描述長度 (Minimum Description Length, MDL) 在思考的問題，它把模型選擇變成一種能透過演算法不斷優化的壓縮問題。在 MDL 的設計哲學下，重要的是從數據中學習有用的性質，而不是假設某些真實狀態，再透過數據去識別或逼近它。
在壓縮的過程中，雜訊扮演著關鍵的角色：哪些是複雜卻值得深入的有趣規律，哪些是無法壓縮的隨機雜訊？如果想從觀察中學到有用的規律，並進一步壓縮，就需要識別複雜和隨機兩者的差異。
在物理世界中，複雜與隨機的運作似乎存在某些規律。想像一下，你有杯咖啡，上方有層尚未混合的牛奶，這些牛奶會隨時間漸漸與咖啡混合，最終完全混合在一起。過程中，你會看到有趣且複雜的流體現象，但在混合的最初與最終，狀態在視覺上卻簡單許多。在宏觀尺度也有類似的規律，好比說宇宙最初處於低熵低複雜度，並在最終走向熱寂，也就是高熵低複雜度，但在這之間會出現星球、恆星、星系等複雜結構。
順著這個思路，Sean Carroll 問了一個深刻的問題：
Why does “complexity” or “interestingness” of physical systems seem to increase with time and then hit a maximum and decrease, in contrast to the entropy, which of course increases monotonically?
我們能用熱力學第二定律，描述系統從有序到隨機的過程。有沒有一種複雜動力學定律，能描述系統複雜度先增後減的過程？以壓縮的角度來看，要怎麼識別一個複雜系統裡更多的規律？
最後，我想聊點清單以外的內容：對於一個複雜系統，要怎麼找到有趣的規律，並建立更深的理解？
天氣就是個複雜系統，它無所不在卻難以預測，不過這並不代表它無法被進一步理解。事實上，2021 年的諾貝爾物理學獎，就頒給了對理解複雜系統有重要貢獻的三位科學家。他們提出有效但不過於簡化的天氣模型，從短期雜訊找出影響長期的氣候特徵，以及跨尺度無序系統的隱藏結構。
這不但需要獨到的物理直覺，還有長時間的觀察。然而，這對大部分的人來說都非常困難。回顧歷史，字母的發明讓語言在紙上操縱，代數的發明讓抽象思考變得可能。有沒有可能打造更好的探索媒介，建立對複雜系統更深的理解呢？