學習筆記

學習書目：《復雜》- 梅拉妮·米歇爾

---

復雜性度量

在討論如何度量復雜性之前，我們先思考一下復雜科學是如何產生的呢？

答案是復雜性科學不止一個，而是有好幾個，每個對復雜性的定義都不一樣。其中一些定義很正式，一 些則不那么正式。如果想要有統一的復雜性科學，就得弄清楚這些正式或非正式概念之間的關聯。要對過于復雜的復雜性概念進行盡可能地提煉，但是這項工作目前還遠未結束。

只要了解一點科學史就能明白，核心概念缺乏公認的定義是很普遍的。

科學的進步往往就是通過為尚未完全理解的現象發明新術語實現的：隨著科學逐漸成熟，現象逐漸被理解，這些術語也逐漸被提煉清晰。

也許將來我們也會將復雜性分解成幾個基本方面，并最終將這幾個方面結合起來，形成對復雜現象的全面理解。

物理學家勞埃德提出了度量一個事物或過程的復雜性的三個維度：

描述它有多困難？

產生它有多困難？

其組織程度如何？

用大小度量復雜性

復雜性的一個簡單度量就是大小。根據這個度量，如果比較堿基對數量，人類比酵母復雜250倍，如果比較基因數量，人類則只比酵母復雜4倍。不過單細胞變形蟲的堿基對是人類的225倍，擬南芥的基因與人類的大致一樣多。 人類顯然要比變形蟲或芥菜復雜鴨，這就表明用基因組的規模來度量復雜性并不合適。

用熵度量復雜性

我們知道，香農熵為信息源相對于信息接收者的平均信息量或驚奇度。

舉個例子：假設消息由符號A、C、G和T組成。如果序列高度有序，很容易描述，例如“A A A A A A A……A”， 則熵為零。完全隨機的序列則有最大可能熵。

這么聽起來好像有點問題耶！

我們可以隨機排列A、C、G和T來人工構造一個基因組，這個隨機的基因組幾乎不可能有用，卻會被認為比人類基因組更復雜。很顯然，正是因為基因組不是隨機的，而是不斷進化從而讓基因更有利于我們的生存。

簡單的香農熵不足以抓住我們對復雜性的直觀認識。

用算法信息量度量復雜性

人們提出了許多改進方法來用熵度量復雜性。其中最著名的方法法由柯爾莫哥洛夫、查汀、和索羅蒙洛夫分別獨立提出，他們將事物的復雜性定義為能夠產生對事物完整描述的最短計算機程序的長度。這被稱為事物的算法信息量。

例如，考慮一個很短的(人工模擬的)DNA序列(注意！這個例子我們后面會經常用到)：

A C A C A C A C A C A C A C A C A C A C（序列1）

一個很短的計算機程序，打印AC10次，就能輸出這個序列。因此這個序列的算法復雜度很低。

下面是我用偽隨機數發生器生成的一個序列：

A T C T G T C A A G A C G G A A C A T（序列2）

如果我的隨機數發生器沒有問題，這個序列就不會有可識別的特征，因此程序要長一些，比如 打印字符串A T C T G T C A A A A C G G A A C A T。顯然序列1可以壓縮，而序列2則不能，因而包含更多算法信息量。

與熵類似，隨機對象的算法信息量也會比我們直觀上認為復雜的事物的信息量更大。(這句話有點拗口，請仔細研讀)

物理學家蓋爾曼提出了一種稱為有效復雜性的相關度量，更符合我們對復雜性的直觀認識。

蓋爾曼認為任何事物都是規則性和隨機性的組合。例如，序列1就有非常簡單的規則性：重復的AC模式。序列2則沒有規則性，因為它是隨機產生的。

有效復雜性定義為包含在描述中的信息量或規則集合的算法信息量，兩者等價。

序列1具有規則性，即AC不斷重復。描述這個規則性所需的信息量就是它的算法信息量：程序打印AC數次的長度.因此，事物的結構可預測性越大，有效復雜性就越低。

序列2處于另一個極端，因為是隨機的，所以沒有規則性。雖然序列本身的算法信息量是最大的，然而序列規則性的算法信息量(其有效復雜性)卻為零。

有效復雜性度量方法就如我們希望的那樣，最有序和最隨機的事物有效復雜性很低。

那么現在，有一個問題。我們該如何給出這些規則？如果不同觀察者對于系統的規則不能達成一致又辦？

對于一個事物的各種不同規則集，我們可以利用奧卡姆剃刀來決定哪個規則集是最好的。最好的規則集是能描述事物的最小規則集，同時還能將事物的隨機成分最小化。

用邏輯深度度量復雜性

為了更加接近我們對復雜性的直覺，數學家班尼特在20世紀80年代初提出了邏輯深度的概念。一個事物的邏輯深度是對構造這個事物的困難程度的度量。

用班尼特的話來說：有邏輯深度的事物 ……從根本上必須是長時間計算或漫長動力過程的產物，否則就不可能產生。

或像勞埃德所說的那樣：用最合理的方法生成某個事物時需要處理的信息量， 等同于這個事物的復雜性，這是一個很吸引人的想法。

用熱力學深度度量復雜性

勞埃德和裴杰斯提出了一種新的復雜性度量 ，即熱力學深度。

熱力學深度首先是確定產生出這個事物最科學合理的確定事件序列， 然后測量物理構造過程所需的熱力源和信息源的總量。

同邏輯深度一樣，熱力學深度也只是在理論上有意義，要真的用來度量復雜性也存在一些問題。

統計復雜性

物理學家克魯奇菲爾德和卡爾·楊定義了一個稱為統計復雜性的量，度量用來預測系統將來的統計行為所需的系統過去行為的最小信息量

例如，序列1的信息源模型可以很簡單：重復AC, 因此其統計復雜性很低。

然而，與熵或算法信息量不同，對于產生序列2的信息源也可以有很簡單的模型：隨機選擇A、C、G或T，這是因為統計復雜性模型允許包含隨機選擇。

因此，與有效復雜性一樣，對于高度有序和隨機的系統，統計復雜性的值都很低，介于兩者之間的系統 則具有高復雜性.

用層次性度量復雜性

1962年，西蒙發表了一篇著名的文章《復雜性的結構》，文中西蒙提出一個系統的復雜性可以用層次度來刻畫：復雜系統由子系統組成，子系統下面又有子系統，不斷往下。

西蒙認為，復雜系統最重要的共性就是層次性和不可分解性。西蒙列舉了一系列層次結構的復雜系統。例如，身體由器官組成，器官又是由細胞組成，細胞中又含有細胞子系統。

不可分解性指的是，在層次性復雜系統中，子系統內部的緊密相互作用比子系統之間要多得多。例如， 細胞內部的新陳代謝網絡就比細胞之間的作用要復雜得多。

總結

還有很多度量復雜性的方法，比如用計算能力度量、用分形維度度量等，在這里不做贅述。各種度量都抓住了復雜性思想的一些方面，但都存在理論和實踐上的局限性，還遠不能有效刻畫實際系統的復雜性。度量的多樣性也表明復雜性思想具有許多維度，也許無法通過單一的度量尺度來刻畫。

---

后記：原本準備3天完結，后來發現臣妾做不到。如果頭3天不能完結，按照我的niao性，大概率會拖更，但是大概3個星期內能完結吧。

總結

以上是生活随笔為你收集整理的《复杂》读书笔记(part5)--复杂性度量的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。