1. 為什么要研究隨機過程？

人類認識世界的歷史，就是一認識和描繪各種運動的歷史，從宏觀的天體運動到分子的運動，到人心理的運動-我們通稱為變化，就是一個東西隨時間的改變。

人們最成功的描繪運動的模型是牛頓的天體運動，確定性是牛頓體系最大的特征。給定位置和速度，運動軌跡即確定。但是20實際后的科學(xué)卻失去了牛頓美麗的確定性光環(huán)。

因為當人們試圖描繪一些真實世界，充滿復(fù)雜而未知因素的運動時候，人們發(fā)現(xiàn)不確定的因素（通常稱之為噪音）對事物的變化至關(guān)重要，而牛頓的方法幾乎難以應(yīng)用。而我們所能夠給出的最好的對事物變化的東西，是一套叫概率論的東西。而與之相應(yīng)的產(chǎn)生的一個全新的研究運動的方法-隨機過程, 對不確定性下的運動進行精細的數(shù)學(xué)描述。

我們周邊充滿了各種各樣的數(shù)據(jù)，所謂大數(shù)據(jù)時代，這些數(shù)據(jù)最基本的特點就是含有巨量的噪音， 而隨機過程就是從這些噪音里提取信息的武器。

• 其實我們生活中也處處充滿“噪音”。比如說我們每天發(fā)郵件，經(jīng)常有一些人時回時不回。那些不回的人到底是忘了還是真的不想回，我們卻不知道。一個書呆子統(tǒng)計學(xué)家會告訴你，你無法從一次的行為評判他，而要看他一貫的表現(xiàn)。

第一個隨機過程方法的偉大勝利是愛因斯坦的布朗運動。一些小花粉在水里，受到水分子不停碰撞，而呈現(xiàn)隨機的運動（花粉顆粒由于很小比較容易受到水分子熱擾動的影響） 。 研究這些花粉的微小運動似乎有點天然呆，我們卻從中找到了分子世界重要的信息。而花粉那無序與多變的軌道，也為我們提供了隨機運動的范式（隨機游走）。

圖： 計算機生成的十個粒子的布朗運動軌跡

如果給隨機過程打個比方，它就像是一個充滿交叉小徑的花園。你站在現(xiàn)在的點上，看未來的變化，未來有千萬種變化的方式， 每一種可能又不斷分叉變化出其它可能。

In probability theory and related fields, a stochastic or random process is a mathematical object usually defined as a family of random variables. Stochastic processes are widely used as mathematical models of systems and phenomena that appear to vary in a random manner.

Examples include the growth of a bacterial population, an electrical current fluctuating due to thermal noise, or the movement of a gas molecule.
Stochastic processes have applications in many disciplines such as biology, chemistry, ecology, neuroscience, physics, image processing, signal processing, control theory, information theory, computer science, cryptography and telecommunications. Furthermore, seemingly random changes in financial markets have motivated the extensive use of stochastic processes in finance.

Applications and the study of phenomena have in turn inspired the proposal of new stochastic processes. Examples of such stochastic processes include the Wiener process or Brownian motion process, used by Louis Bachelier to study price changes on the Paris Bourse, and the Poisson process, used by A. K. Erlang to study the number of phone calls occurring in a certain period of time. These two stochastic processes are considered the most important and central in the theory of stochastic processes, and were discovered repeatedly and independently, both before and after Bachelier and Erlang, in different settings and countries.

The term random function is also used to refer to a stochastic or random process, because a stochastic process can also be interpreted as a random element in a function space. The terms stochastic process and random process are used interchangeably, often with no specific mathematical space for the set that indexes the random variables. But often these two terms are used when the random variables are indexed by the integers or an interval of the real line. If the random variables are indexed by the Cartesian plane or some higher-dimensional Euclidean space, then the collection of random variables is usually called a random field instead. The values of a stochastic process are not always numbers and can be vectors or other mathematical objects.

Based on their mathematical properties, stochastic processes can be grouped into various categories, which include random walks, martingales, Markov processes, Lévy processes, Gaussian processes, random fields, renewal processes, and branching processes. The study of stochastic processes uses mathematical knowledge and techniques from probability, calculus, linear algebra, set theory, and topology as well as branches of mathematical analysis such as real analysis, measure theory, Fourier analysis, and functional analysis. The theory of stochastic processes is considered to be an important contribution to mathematics and it continues to be an active topic of research for both theoretical reasons and applications.

2. 描述隨機過程的武器

2.1 概率空間：

面對不可確定的未來，無非有兩件事需要關(guān)心，一個是有哪些可以實現(xiàn)的可能，一個是每種可能的大小， 前者定義一個事件空間（態(tài)空間）， 后者定義一個數(shù)-概率。

關(guān)鍵這些信息從哪里來呢？ 我們?nèi)绾沃酪l(fā)生什么？ 又如何知道多多大可能發(fā)生？ – 歷史。

概率論的思維基點其實是: 日光之下并無新事。

我們對未來的預(yù)測來源于對過于的經(jīng)驗積累， 而溝通過去經(jīng)驗與未來預(yù)測的工具就是概率。所謂一件事發(fā)生可能性大小，就是一件事在歷史中發(fā)生的頻率。

當然很多情況下概率也可以通過已知理論用演繹法推得，但是最根本的，還是由經(jīng)驗確定的概率。

概率，我們中學(xué)數(shù)學(xué)都學(xué)過它是一個事件出現(xiàn)的頻率，但它的含義其實很深很深。因為一個事件出現(xiàn)的頻率來自于歷史，而概率卻用于對未來的預(yù)測，因此，概率包含的一個基本假設(shè)就是未來和過去的一致性-你要用概率，你所研究的對象要有可重復(fù)性。這其實假設(shè)了概率所研究的事件具有的某種穩(wěn)定性，一旦這些一個過程是一個隨時間劇烈變化的過程，概率幾乎就不能應(yīng)用。所以這里只能說概率是一種近似，他對于研究那些比較簡單的物理過程，如投擲硬幣，才完全有效。

所以， 所謂概率空間，只能是一種近似，他是人類現(xiàn)有知識的總和， 我們用它描述已知的未知， 但是卻從來無法描述未知的未知-被我們稱作黑天鵝的事件，因為真正的未來，永遠無法只有已知的可能性（感興趣的請參看本人舊文-高斯與天鵝）。在大多數(shù)時候，我們還是日光之下并無新事，因此，概論的威力依然不可小覷。

有關(guān)概率空間的思維，可以立刻滅掉一些看似燒腦實際腦殘的題目：

假設(shè)你在進行一個游戲節(jié)目。現(xiàn)給三扇門供你選擇：一扇門后面是一輛轎車，另兩扇門后面什么都沒有。你的目的當然是要想得到比較值錢的轎車，但你卻并不能看到門后面的真實情況。主持人先讓你作第一次選擇。在你選擇了一扇門后， 知道其余兩扇門后面是什么的主持人，打開了另一扇門給你看，而且，當然，那里什么都沒有。現(xiàn)在主持人告訴你，你還有一次選擇的機會。那么，請你考慮一下，你是堅持第一次的選擇不變，還是改變第一次的選擇，更有可能得到轎車？

回答這個問題的關(guān)鍵即事件空間，在主持人打開門之前，事件空間即車的位置有三種可能，你有1/3 的可能拿到車。當主持人選擇打開門的時候， 它實際上幫你做了一個選擇，那就是告你某個車庫沒有車，這時候事件空間發(fā)生了變化，因為你的已知變了。如果說以前的事件空間是或者你選擇的車庫有車（1/3）， 或者另外兩個車庫中的某一個有車(各1/3)。現(xiàn)在的情況呢？被打開的車庫有車的概率變?yōu)?， 因此你選擇的車庫沒車的情況下車的位置已經(jīng)變成確定的了，概率為2/3。而原來你車庫有車的選項卻不受到這一事件的影響（依然1/3概率）， 所以你當然要選擇換車庫。

這個例子第一個說明的道理是概率是主觀的，來自于你頭腦中的信息。

回過頭看， 主持人的舉動增加了你對兩個車庫的信息， 而車是不變的，所以你要根據(jù)新的信息調(diào)整概率空間。

• 此實例是好的思維方法的力量的典范，如果你沒有這個事件空間的角度， 恐怕要做無數(shù)的試驗了。

條件概率： 現(xiàn)實生活中的一般都以條件概率的形式出現(xiàn)，即給定一定的已知條件，信息我們會得到什么樣的概率。對這一大類問題可以引出整個貝葉斯分析理論，將在后續(xù)篇章中介紹。

2.2 隨機變量 ：

你投擲篩子，得到6個結(jié)果，每種結(jié)果有1/6 的可能。你把態(tài)空間的種種可能性都用數(shù)字表達出來，用一套用輕度裝逼的數(shù)學(xué)語言描述， 就是隨機變量。 這個東西包含所有輸出的可能性以及相應(yīng)的概率，這些可能性（態(tài)空間）和概率的對應(yīng)關(guān)系我們稱之為分布函數(shù)。如果態(tài)空間是連續(xù)的，我們就得到連續(xù)的分布函數(shù)形式。

圖： 一個二維高斯分布

分布函數(shù)：
隨機變量已經(jīng)包含了兩個隨機過程研究的核心武器：態(tài)空間和分布函數(shù)。分布函數(shù)是提取隨機過程內(nèi)有用信息的第一手段。分布函數(shù)-是在大量數(shù)據(jù)中提取信息的入口。

隨機變量的實現(xiàn)：隨機變量可以看做一個實驗，你在實驗之前，結(jié)果是不確定的，你所有的是一團可能性。 當你做完實驗，卻得到一個唯一的結(jié)果，只是預(yù)先不可知。

期望： 對一個隨機變量，已知其分布函數(shù)，可以定義一個期望。這個東西由每個結(jié)果的取值和它的可能性共同決定，表達未來結(jié)果的加權(quán)平均值。

實際中我們可以用實驗的方法確定這個數(shù)字，就是所謂蒙特卡洛方法，不停的投篩子然后做個統(tǒng)計，你所得到的結(jié)果的平均就是期望。（平均值和期望的區(qū)別就是第一個來自已有的數(shù)據(jù)的平均，第二是對根據(jù)已有的平均對未來的預(yù)測。）

關(guān)于期望包含著一種投資世界里的基本思維方式，就是對收益的幅值和風(fēng)險（概率）一起考慮。經(jīng)常有一些時候一些出現(xiàn)機會極少而收益特別大的可能性決定了期望，如果你的心臟足夠強大，就應(yīng)該充分考慮這些高風(fēng)險高收益的可能。

相關(guān)性： 對于兩個隨機變量，你可以定義一個相關(guān)性covariance，描述一個隨機變量隨另一個而變化的趨勢。這個函數(shù)特別有用，它是現(xiàn)實生活中我們說兩個事物相關(guān)性的精確表達。

理解這個算式特別簡單，這個量就是x和y波動乘積的期望，當兩個變量是此消彼長，則為負，共生共榮則為正，若兩個過程不相關(guān)，則為0.

方差： 上述關(guān)系當x=y我們得到方差，方差就是自己和自己的關(guān)聯(lián)函數(shù)，當隨機變量比較接近正態(tài)分布時候它可以描繪波動性的大小。

對于N個隨機變量，任意兩個隨機變量可得到一個covariance，而這樣一組covariance構(gòu)成大名鼎鼎的covariance matrix.

測量分布函數(shù)的武器-蒙特卡洛方法：

搞定一個分布函數(shù)，笨辦法也是最有用的方法就是蒙特卡洛方法。 一般篩子情況下，篩子有6各面， 每個面出現(xiàn)的概率有1/6，但是萬一篩子被做過手腳呢？ 所以最好的方法還是所謂蒙特卡洛抽樣，不停的玩，知道你認為你可以穩(wěn)定得到每次可能性出現(xiàn)的頻率。 所謂笨辦法確是最常用的，尤其是隨著高速計算機的普及。一些重大的工程， 涉及太多復(fù)雜不好確定因素時候，我們就讓計算機模擬，設(shè)計一系列的蒙特卡洛抽樣來求得一些結(jié)果。

• 此名來自Monte Carlo 摩納哥的賭場， 其實賭場里也可以產(chǎn)生一些最厲害的數(shù)學(xué)思想。

抽樣：在計算機里研究牽扯隨機變量的過程最基本的方法就是抽樣，抽樣就是已知分布函數(shù)取得一個隨機的結(jié)果的過程。我們要在計算機里模擬一個隨機過程都是通過抽樣來實現(xiàn)的。抽樣的成功與否決定這些計算機模擬（simulation）能在多少程度逼近真實。計算機的抽樣都是基于最簡單的隨機數(shù)生成器產(chǎn)生的，產(chǎn)生概率均等的均與分布（Uniform distribution）。但是這些“隨機數(shù)”實際是早已設(shè)定好的，因此更準備的被稱作“偽隨機數(shù)”。而對于更加復(fù)雜的分布函數(shù)的抽樣， 則有如層出不窮的算法解決它，比如大名鼎鼎的Markov Chain Monte Carlo （MCMC）方法，將在之后的章節(jié)介紹。

3. 什么是隨機過程

確定性過程研究一個量隨時間確定的變化，而隨機過程描述的是一個量隨時間可能的變化，在這個過程里，每一個時刻變化的方向都是不確定的，或者說隨機過程就是由一系列隨機變量組成，每一個時刻系統(tǒng)的狀態(tài)都由一個隨機變量表述，而整個過程則構(gòu)成態(tài)空間的一個軌跡（隨機過程的實現(xiàn)）。

一個隨機過程最終實現(xiàn)，會得到一組隨時間變化的數(shù)值（態(tài)空間里的軌跡），實踐中我們都是從數(shù)據(jù)結(jié)果中推測一個隨機過程的性質(zhì)的。

剛說過概率是建立在可重復(fù)性上，是一個理想模型，而建立在此上的隨機過程就更是一個理想化的模型，它暗含的是歷史可無限重復(fù)，然后你把他們收集在一起看一看。我在一開頭的說的充滿分叉小徑的花園是一種比喻，但說的也是你需要站在平時時空（每一個時空包含一種歷史的可能性）的角度來看一個隨機過程的全貌。

我們立刻發(fā)現(xiàn)這是一個超級復(fù)雜的問題，因為一個隨機過程具有無限多可能性。試想象一個最簡單的隨機過程，這個過程由N步組成，每一步都有兩個選擇（0，1），那么可能的路徑就有2的N次方個，這個隨機過程就要由2^N-1個概率來描述(概率只和為一減掉一個維度)，用數(shù)學(xué)物理的語言就是極高維度的問題。

• 離散的時間序列是清晰表述隨機過程的入門方式，雖然更一般的表述是時間是連續(xù)的

因此，能否研究一個隨機過程的關(guān)鍵就是減少問題的維度-這也是物理的核心思想。

一下講一下達到這個目的發(fā)明的神器：

3.1 馬爾科夫過程(Markov Processes)

馬爾科夫過程，是隨機過程中的精華部分，其地位猶如牛頓定律在力學(xué)的地位。

對于最一般的隨機過程，是無限復(fù)雜的，幸好，在我們?nèi)粘Ｉ钪?#xff0c;很多隨機過程符合或近似更簡單的模型。其中目前一種最有效的框架成為馬爾科夫過程. 所謂馬爾科夫過程，即隨機過程的每一步的結(jié)果最多只與上一步有關(guān)，而與其它無關(guān)。 好比你不停撒篩子，你每一次的結(jié)果不會影響未來的成績。

3.2 馬爾可夫鏈(Markov chain)：

makov過程用數(shù)學(xué)語言表述就是馬爾科夫鏈，就像一臺熊熊駛過的火車，前一個車廂（上一步）拉著后一個（下一步），向前運行。

如果一個過程是markov過程，這個過程就得到了神簡化，你只需要知道第n步是如何與第n-1步相關(guān)的，一般由一組條件概率表述，就可以求得整個過程。一個巨大的隨機過程，其內(nèi)核僅僅是這樣一組條件概率，而知道了這組條件概率，就可以衍生整個過程。

圖： 一個典型的markov過程， 每一個的結(jié)果只與上一步相關(guān)，我們只需要一組條件概率（箭頭）來描述，每個條件概率告你如果態(tài)空間中的某一個事件發(fā)生，那么從這一點出發(fā)， 下一個事件發(fā)生的概率。

**我們不妨多想一下，如果第n步和第n-1步的關(guān)系不是隨機的，而是確定的，那我們得到了什么？**我們聯(lián)想到牛頓力學(xué)，牛頓力學(xué)也是此刻的狀態(tài)決定下一刻的變化，其本質(zhì)也是鏈式法則，通過此刻與此刻最鄰近的未來的關(guān)系，衍生出整個宇宙的過去和未來， 其靈魂同樣是降維。或者說markov就是隨機過程里的牛頓法則。

Markov是不是真的是一個歷史無關(guān)的過程？ No！ 雖然第N+1步只與第N步有關(guān)，但是第N步又包含第N-1步，所以通過鏈式法則，歷史的信息還是可以傳遞到現(xiàn)在的。

經(jīng)典表述：

馬爾科夫鏈的核心條件概率表達式就是這臺火車鏈接不同車廂的鏈條。 如果這個條件概率關(guān)系不隨時間變化，我們就得到經(jīng)典的穩(wěn)態(tài)馬爾科夫鏈。它有一個良好的性質(zhì)，就是當這個過程啟動一段時間就會進入統(tǒng)計穩(wěn)態(tài)，穩(wěn)態(tài)的分布函數(shù)與歷史路徑無關(guān)。

一個簡單的例子： 關(guān)于生育偏好是否影響男女比例的問題。

我們知道過去的人喜歡生男孩，往往生女孩子就不停生，直到生到一個男生為止，因此就造成很多一大堆姐姐只有一個弟弟的家庭。我接觸過的一些特別聰明的人都會認為這樣的行為會影響男女比例。大部分人覺得會造成女孩比例多，少數(shù)人認為會增加男孩比例。 實際呢？

一言以蔽之： 不變。 為什么？ 生育問題是典型的穩(wěn)態(tài)馬爾科夫過程，下一次生育不受上一次生育的影響。 根據(jù)馬氏過程的特性，你知道歷史無需考慮歷史路徑， 最終的平衡概率只取決于每一步的概率。所以無論你怎么玩，不論是你拼命想生男孩還是女孩，都無法影響人口比例。

但是有一招卻是有影響的，就是打胎。 為什么？ 答案依然很簡單，你改變了每一步的概率。

這就是馬爾科夫過程的威力和魅力，可惜人生卻不是馬爾科夫過程， 因為每一步都高度依賴于過去n步，因此人生是高度歷史路徑依賴的。

當一個隨機過程的變化只取決于當下的變化而非歷史的時候，我們得到一個馬爾科夫鏈條。它的優(yōu)良性質(zhì)使得巨大的計算瞬時簡化。

進一步降維：

markov鏈的思維用一組前一步和后一步的條件概率關(guān)系衍生整個過程，具有巨大的簡化威力。對于更加特殊的問題，維度還可以繼續(xù)降低，問題得意更徹底的簡化。 例如：

3.3 穩(wěn)態(tài)過程-stationary process ：

如果說markov過程每一步與前一步的關(guān)系是與時間無關(guān)的，或符合

這個過程就是穩(wěn)態(tài)的，這個時候我們只需要這樣一個關(guān)系就描述整個過程。

在這個極度簡化的模型下，markov process 可歸結(jié)為一個在態(tài)空間里的躍遷軌跡。下圖的隨機變量是橫軸（a，b，c，d四個態(tài)），時間是縱軸。系統(tǒng)從此刻的態(tài)躍遷到下一刻的態(tài)都是隨機的，而且躍遷的概率由一個數(shù)字決定，這個數(shù)字不由軌跡的歷史決定，因而markov。從此刻任一狀態(tài)到達下一刻任意狀態(tài)包含4x4個概率，因此可以寫作一個4x4的躍遷矩陣。躍遷矩陣$P_{ij}$涵蓋了過程的全部信息。

穩(wěn)態(tài)過程顧名穩(wěn)態(tài)， 是因為在一段時間后系統(tǒng)會進入一個平衡狀態(tài)，或者說系統(tǒng)的分布函數(shù)不隨時間變化。 如同上文提到的人口中男女比例問題， 男女比例在各個國家都在1：1 左右， 就是因為生成它的過程是一個穩(wěn)態(tài)過程。

穩(wěn)態(tài)過程含有兩個個重要的特征量： 平均值和自相關(guān)函數(shù)（Auto-correlation），穩(wěn)態(tài)（stationary）的含義正是在平均值附近擾動，在這個情況下隨機性換以另外一個名詞-fluctuation（擾動）。 而在非穩(wěn)態(tài)下，擾動和平均值的概念變得模糊，失去意義。

平均值自然重要，但擾動卻往往包含著平均值所沒有的信息。 首先我們計算方差，來看擾動的劇烈程度，但是這遠遠不夠。

Auro-correlation和之前描述的相關(guān)性具有內(nèi)在的聯(lián)系，事實上它描述的就是此時的擾動和彼時的擾動的相關(guān)性。

這個量可以理解為你手里有一個信號，首先你減去平均值，這樣信號就在0附近擾動。 你把這個信號平行移動一個時間差， 然后把它和原來的信號乘起來，如果說信號本身代表的過程在時間上胡亂跳躍無跡可尋， 那么這個量就很接近0），因為正和負的部分無序的乘起來，正負互相抵消，你的期望就是0。反之，如果你的信號內(nèi)包含內(nèi)在的構(gòu)造（pattern），就會得到不為0的值。

因此，日常生活中你手里具有的往往是數(shù)據(jù)，你什么都不知道的時候，計算這個量就是起點，這個東西在幫你尋找無序中的結(jié)構(gòu)（pattern），它將告訴我們系統(tǒng)噪音的性質(zhì)。

比如我們經(jīng)常說的白色噪聲（white noise）的定義就是自關(guān)聯(lián)性為0， 因為它要的是絕對的無序， 毫無記憶，毫無結(jié)構(gòu)。這種信號就是最基本的噪聲形態(tài)。

而如果我們發(fā)現(xiàn)一個隨時間差變化很慢的自相關(guān)函數(shù)，往往顯示系統(tǒng)具有記憶的特性，因而產(chǎn)生了更復(fù)雜的結(jié)構(gòu)， 或者系統(tǒng)臨近相變。

自相關(guān)性的計算告訴我們的是， 你不要只看表面的無序有序，因為人眼喜歡在無序中尋找有序，而一個有力的計算就可以告訴你比你的眼睛更準確的信息。

3.4 master equation

剛才描述離散的markov過程，如果一個過程是連續(xù)的，不再分為第一步第二步第三步， 我們就可以用微分方程描述一個馬爾科夫過程。 這就是master equation - 所謂大師方程。 這是物理，化學(xué)，經(jīng)濟學(xué)，得到一些給力結(jié)果經(jīng)常用到的微分方程。

master equation直接關(guān)注的是隨機過程的全貌。剛才所說的躍遷軌跡是一次實驗的結(jié)果，而Master Equation 描述的卻是無數(shù)實驗者同時入場，進行馬爾科夫過程，你會看到一個新的圖像。系統(tǒng)每一個時刻的狀態(tài)不再是態(tài)空間一個具體的點，而是一大團點（一大叢實驗者），它們慢慢的在態(tài)空間里運動，我們可以統(tǒng)計站在不同的狀態(tài)上的實驗者個數(shù)，因而得到的是一個概率分布，正是之前說的分布函數(shù)的概念。 物理經(jīng)常用概率云，概率波一類的詞描述這種情境。 其實都是在說我們不再用一個數(shù)字描述世界，比如速度，位置，而是這個值的分布函數(shù)。變化的不再是某個特定的值而是它的分布函數(shù)。

態(tài)空間的分布函數(shù)，又可稱作場。由此，場的物理學(xué)可以徐徐入場。

之前說的馬爾科夫過程的關(guān)鍵-聯(lián)系此刻與下一刻的條件概率，在這里以躍遷矩陣A表示。

剛才講到牛頓力學(xué)和馬爾科夫過程有著內(nèi)在的聯(lián)系，Master equation就是隨機過程里的牛頓第二定律。這個方程對于解釋很多物理化學(xué)里的隨機過程有神一般的效力。他就是概率場的動力學(xué)方程。

A就是躍遷矩陣，而向量P即概率場，就是經(jīng)過時間t，系統(tǒng)狀態(tài)的分布函數(shù)。該方程是概率會怎么變。

由此我們看到用Maser方程研究問題的好處，轉(zhuǎn)不確定為確定。當你站在縱覽所有可能性的制高點，把所有可能性看做高維空間的“概率場”。 不確定性的隨機游走變成了概率分布函數(shù)（概率場）的確定性演化。- 這也是為什么場物理在近代物理后成為主導(dǎo)，所研究對象多為隨機過程。

• 量子力學(xué)大名鼎鼎的薛定諤方程，其實說的也是這回事，我們無法同時確定電子的位置和動量，因為我們轉(zhuǎn)而求其概率分布函數(shù)， 得到一個類似Master equation的微分方程，只不過數(shù)學(xué)形式更復(fù)雜，但思維都是轉(zhuǎn)而研究概率的動力學(xué)。 這個方程卻干掉了一個物理史上的超級難題， 如果在考慮微觀世界的不可確定下預(yù)測它們的運動。

圖：薛定諤方程的形式和Master Equation 十分類似。只不過這里的用波函數(shù)而不用概率場，但兩者其實由一個簡單關(guān)系一一對應(yīng)。

• 隨機事件的重要方程，無論是物理里的郎之萬方程，還是金融期權(quán)定價的方程，都直接與Master Equation 相關(guān)。

穩(wěn)態(tài)解：master equation 指導(dǎo)系統(tǒng)演化，如果A（t）不含時間， 就得到剛才說的穩(wěn)態(tài)過程，系統(tǒng)會演化成一個穩(wěn)定狀態(tài)，即分布函數(shù)不再隨時間變化。A*P=0 我們通常稱為平衡態(tài)。

*熵：對應(yīng)一個平衡態(tài)，我們可以定義系統(tǒng)的熵，或者說系統(tǒng)的不確定性，可能性的選項越多，可能性越均勻，這個值就越大。

3.5 經(jīng)典的markov例子

3.5.1 Branching process：

分叉過程 ，一個祖先繁衍的后代， 會出現(xiàn)多少個家庭， 每個家庭人口是怎么分布的？

所有家族的演化，生物種群的繁殖，都可以用這個模型研究。一個個體可以繁殖出的子嗣數(shù)量是一個隨機變量，經(jīng)過n代之后將形成一個由大小迥異的家族組成的群體。

如果對應(yīng)為一個隨機過程：-每一代的人口數(shù)就是就是隨機變量，我們要研究的就是與這個隨機變量對應(yīng)的分布函數(shù)。

這個過程具有的典型性質(zhì)是迭代： 如果上一代的人口數(shù)Gn，下一代就是Gn+1=G（Gn），給定第n代的家族人口分布，那么下一代的家族人口分布只與上代有關(guān)。所以這個是典型的Markov process

這個問題可以推出一些有趣的問題， 比如人口中各大姓氏的比例。 一般情況下，各大姓氏的比例在各個種群中符合相同的統(tǒng)計規(guī)律（冪律），就是Branching Process 的結(jié)果。

3.5.2 Poisson Process：

高中黨皆知的隨機過程，比如一個小旅店里一晚上到來的客人數(shù)量隨時間的變化，或者光子槍噴出的光子數(shù), 一個帖子兩分鐘內(nèi)的訪問次數(shù)，都是再經(jīng)典不過的例子了。

泊松分布由二項分布演化而來。二項分布十分好理解，給你n次機會拋硬幣，硬幣正面向上概率為p，那么n此拋出有k次朝上的概率有多少？ 這是一個經(jīng)典的二項分布。當這里的概率p趨于0，而n趨于無窮，我們就得到一個泊松分布。泊松分布多用于連續(xù)時間上的問題， 如果概率在連續(xù)的時間上是均勻不變的（任意時候發(fā)生的概率為P），我們就有一個泊松過程。這也極好理解，只要你把時間切割成小段。 比如打開一個帖子的兩分鐘訪問者的概率分布問題，你把兩分鐘分成120秒， 每秒上有訪問者進入的概率是確定的，那么這無非就是投120次硬幣多少次向上的問題， 由于微小時間尺度上一件事情發(fā)生的概率通常很小，因此，泊松分布通常成立。

圖： 泊松分布的形式，x及事件發(fā)生的次數(shù)。

圖：泊松分布一般的形狀，三條曲線代表了平均值不同的三個泊松分布。
泊松過程，恐怕是最簡單的隨機過程，也是所有隨機過程的參考系-好比物理的慣性定律。我們研究一個隨機過程時候，第一個做的就是與泊松做比較。

為什么泊松是一切隨機過程的參考系？因為泊松是一個此時的變化和彼時毫無聯(lián)系的過程，或者說此刻和下一刻是完全獨立的，markov說的是與此時只允許與上一個時刻有聯(lián)系，而泊松就更近一步，把這種聯(lián)系也取消掉。

如果我們假定每件事件的發(fā)生都與其它時刻事件的發(fā)生無關(guān)，我們就可以試圖用泊松分布表述它。比如一個商店前臺顧客的光臨，一般情況下，每一個顧客的到來都與前一個顧客無關(guān)，因此一段時間內(nèi)前臺顧客的數(shù)量符合泊松分布。

反過來，判斷一個隨機過程的前后事件是否獨立，也可以通過它是否符合泊松分布判別，如果你得到的統(tǒng)計分析偏離了泊松，通過是前后事件相關(guān)聯(lián)的標志。 事實上生活中的事情都偏離泊松，而是具有強大的關(guān)聯(lián)性。 比如你一周內(nèi)收到的郵件，通過在周一早上爆發(fā)而來，而在周末減少到零。你在一段時間會不停叫桃花運，而后一段十分冷清等。 這些都告訴你要找找背后的原因。

3.5.3 Wiener Process:

Wiener Process， 其原型就是大名鼎鼎的布朗運動。這恐怕是在自然科學(xué)以及經(jīng)濟金融里用的最廣泛的隨機過程。也是隨機過程的靈魂基礎(chǔ)。

關(guān)于Wiener Process， 最有趣的比喻是隨機游走的醉漢。醉漢在一條直線上移動，往左或往右的概率相等。醉漢走出去的距離與時間的關(guān)系，就是Winner Process。

圖：Wiener Process, 上上下下的隨機游走表現(xiàn)的美麗軌跡，也是眾多股市愛好者經(jīng)常看到的形狀。

Wiener Process 所依賴的假設(shè)特別簡單： 醉漢走出的每一步的距離和上一步無關(guān)（依然在說馬氏性），而這一步走出的長度是由一個確定的高斯分布產(chǎn)生的隨機數(shù)。 如果這個高斯分布的期望為0，那么這個過程就是一個純粹的隨機游走，反之則是一個但有漂移（drift）的隨機游走。

股票和期貨等的價格規(guī)律，最基本的假設(shè)就是隨機游走，在此之上可以得到一些簡單的定價模型。 但是事實上， 這種規(guī)律只在短期內(nèi)成立，一旦金融危機爆發(fā)， 模型就終止了。 而金融危機，依然是過程內(nèi)部的長程關(guān)聯(lián)的表現(xiàn)。 因為市場的交易畢竟不是隨機的，股市的漲落引起人們心情和預(yù)期的變化，從而以正反饋的形式給股市，所謂漲則瘋買，低則瘋賣，這種關(guān)聯(lián)性打破了隨機游走的夢。

4. 隨機過程舉例

4.1 實例及理解

樣本空間與時間函數(shù)的對應(yīng)

4.2 Examples and Classifications

time domatinprocess

Discrete time	Bernoulli process, Branching process, Chinese restaurant process, Galton–Watson process, Independent and identically distributed random variables, Markov chain, Moran process, Random walk (Loop-erased, Self-avoiding, Biased, Maximal entropy)
–	–
Continuous time	Additive process, Bessel process, Birth–death process (pure birth), Brownian motion (Bridge, Excursion, Fractional, Geometric, Meander), Cauchy process, Contact process, Continuous-time random walk, Cox process, Diffusion process, Empirical process, Feller process, Fleming–Viot process, Gamma process, Geometric process, Hawkes process, Hunt process, Interacting particle systems, It? diffusion, It? process, Jump diffusion, Jump process, Lévy process, Local time, Markov additive process, McKean–Vlasov process, Ornstein–Uhlenbeck process, Poisson process (Compound, Non-homogeneous), Schramm–Loewner evolution, Semimartingale, Sigma-martingale, Stable process, Superprocess, Telegraph process, Variance gamma process, Wiener process, Wiener sausage
–	–
Both	Branching process, Galves–L?cherbach model, Gaussian process, Hidden Markov model (HMM), Markov process, Martingale (Differences, Local, Sub-, Super-), Random dynamical system, Regenerative process, Renewal process, Stochastic chains with memory of variable length, White noise

5. 平穩(wěn)性是什么

無論是嚴平穩(wěn)還是(弱)平穩(wěn)，實際上刻畫的都是時間序列的統(tǒng)計性質(zhì)關(guān)于時間平移的不變性。嚴平穩(wěn)要求比較嚴格，需要所有的統(tǒng)計性質(zhì)(也就是其有限維分布函數(shù)族)都是關(guān)于時間平移不變的，而弱平穩(wěn)只需要一階矩與二階矩(以及協(xié)方差)是時間平移不變的。

6. 為什么需要平穩(wěn)的時間序列

因為我們研究時間序列很重要的一個應(yīng)用（或者出發(fā)點），是希望通過時間序列的歷史數(shù)據(jù)來得到其未來的一些預(yù)測。換句話說，我們希望時間序列在歷史數(shù)據(jù)上的一些性質(zhì)，在將來保持不變，這不就是時間平移的不變性么？反過來想，如果時間序列不是平穩(wěn)的，由歷史數(shù)據(jù)得到的統(tǒng)計性質(zhì)對未來毫無意義，那么研究時間序列還有什么意義呢？

6.1 從差分方程的角度分析

要從差分方程的角度來看，才能把系統(tǒng)均衡點、數(shù)據(jù)平穩(wěn)性、單位根聯(lián)系起來。
平穩(wěn)的本質(zhì)是讓系統(tǒng)穩(wěn)定，讓變量收斂。
從變量$X_t$的角度看，平穩(wěn)性（stationarity）意味著$X_t$的條件概率分布要不隨時間變化，這樣才能用以前的值來預(yù)測未來的值；而任何對$X_t$的內(nèi)生沖擊（shock）都只有暫時性的而非永久性的效應(yīng)，因此，受到?jīng)_擊的$X_t$總會回歸到長期的均衡$X_t$^*。

差分方程的解$X_t^{?}$即是系統(tǒng)的均衡點（equilibrium point），滿足差分方程的穩(wěn)定性條件$X_t$， 最終會收斂于$X_t^{?}$。

---

學(xué)過微分方程或者差分方程應(yīng)該知道，有關(guān)[公式] 的方程的解由兩部分組成，分別是齊次解（homogeneous solution）和特解（particular solution）。
單位根（unit root）檢驗就是檢驗該差分方程的特征方程（characteristic equation）的各個特征根（characteristic root）是否小于1，即是否在單位圓（unit circle）內(nèi)。另外，除非是AR模型，否則不能用OLS估計模型。估計ARIMA模型的方法主要是用MLE。EViews給出的估計ARIMA模型的方法：?For models without fractional differencing, you may choose between the default ML (maximum likelihood), GLS (generalized least squares), and CLS (conditional least squares) estimation.?For models with fractional differencing, you may choose between the default ML and GLS estimation (CLS is not available for ARFIMA models).

---

6.2 從遍歷性角度分析

其次，時間序列里面還有一個(與平穩(wěn)性關(guān)系密切)很重要的概念：遍歷性。遍歷性對于時間序列的意義類似于大數(shù)定理對于一般隨機變量的意義。

For more information: https://chengfeng96.com/blog/2019/04/28/%E9%A9%AC%E5%B0%94%E5%8F%AF%E5%A4%AB%E9%93%BE%E7%AC%94%E8%AE%B0/

鏈接：
https://zhuanlan.zhihu.com/p/21570899
https://www.zhihu.com/question/21982358
https://www.zhihu.com/question/21982358/answer/296210825
https://www.zhihu.com/question/21982358/answer/67289142

總結(jié)

以上是生活随笔為你收集整理的随机过程及其稳态stability的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。