筆記主要基于中文版《應(yīng)用隨機(jī)過程 Introduction to Probability Models 》(Sheldon M. Ross)，只有非常少的一部分是我自己的注解。寫這個筆記的目的是自己復(fù)習(xí)用，閱讀需要一定的微積分和概率論基礎(chǔ)。本人為初學(xué)者，且全部為自學(xué)，如果筆記中有錯誤，歡迎指正。
https://zhuanlan.zhihu.com/p/165909489
提示：概率論和指數(shù)分布作為本節(jié)的基礎(chǔ)，我把一些重要公式寫在開頭，但是可以直接從泊松過程開始閱讀，在泊松過程中用到相關(guān)知識點的時候再回頭閱讀。當(dāng)然，從頭讀到尾也許理解得更好。

1. 概率論復(fù)習(xí)

隨機(jī)過程是概率論的延申。因為我本科并沒有系統(tǒng)學(xué)過概率論，所以有必要把一些概率論常用公式羅列在開頭。

1.1 指數(shù)分布及其重要性質(zhì)

1.2 泊松過程

要理解泊松過程，我們還有一些概念要理清楚。

首先，什么是隨機(jī)過程？隨機(jī)過程可以看成隨機(jī)變量的集合$X(t),t\in T$，或者說是一連串的隨機(jī)變量，T是指標(biāo)集，t可以理解為時間，也就是某個時刻有著對應(yīng)的隨機(jī)變量取值X(t)，X(t)稱為狀態(tài)(state)。一個系統(tǒng)，在不同的時刻可能會有不同的狀態(tài)，這些狀態(tài)是隨機(jī)的，你按照時間順序觀察到的狀態(tài)就是隨機(jī)過程了。

具體一點，你可以想象一個黑盒子，黑盒子里面有個數(shù)字，你每隔一段時間打開黑盒子看一下，會看到不同的數(shù)字，你把看到的數(shù)字按照時間順序記錄下來，就是隨機(jī)過程。隨機(jī)過程就是假定你觀察到的數(shù)字是有規(guī)律的，可以用概率論的模型去描述的。

平穩(wěn)過程保證了隨著時間變動，泊松過程產(chǎn)生的隨機(jī)變量是同分布的，而獨立增量過程則保證了隨著時間變動前后過程的獨立性，所以平穩(wěn)獨立增量就就可以理解成連續(xù)情形下的 i.i.d。在隨機(jī)過程中，基于平穩(wěn)獨立增量過程的條件，我們往往可以通過類似在一個小區(qū)間 (t,t+h]中發(fā)生事件的個數(shù)，能夠推出整個隨機(jī)過程的信息。

2. 更新過程

Renewal theory is the branch of probability theory that generalizes the Poisson process for arbitrary holding times. Instead of exponentially distributed holding times, a renewal process may have any independent and identically distributed (IID) holding times that have finite mean. A renewal-reward process additionally has a random sequence of rewards incurred at each holding time, which are IID but need not be independent of the holding times.

A renewal process has asymptotic properties analogous to the strong law of large numbers and central limit theorem. The renewal function $m(t)$ (expected number of arrivals) and reward function $g(t)$ (expected reward value) are of key importance in renewal theory. The renewal function satisfies a recursive integral equation, the renewal equation. The key renewal equation gives the limiting value of the convolution of $m^{\prime }(t)$ with a suitable non-negative function. The superposition of renewal processes can be studied as a special case of Markov renewal processes.

Applications include calculating the best strategy for replacing worn-out machinery in a factory and comparing the long-term benefits of different insurance policies. The inspection paradox relates to the fact that observing a renewal interval at time t gives an interval with average value larger than that of an average renewal interval.

一個泊松過程可以分解成一系列 i.i.d 的指數(shù)分布隨機(jī)變量相加，如果把指數(shù)分布換成其他 i.i.d 的分布就得到了更新過程。

更新過程本身是泊松過程的一種擴(kuò)長，同時更新過程也可以發(fā)展出一套更新理論，包括更新方程等。

更新過程（renewal process）是一類隨機(jī)過程，是描述元件或設(shè)備更新現(xiàn)象的一類隨機(jī)過程。

設(shè)對某元件的工作進(jìn)行觀測。假定元件的使用壽命是一隨機(jī)變量，當(dāng)元件發(fā)生故障時就進(jìn)行修理或換上新的同類元件，而且元件的更新是即時的(修理或更換元件所需的時間為零)。如果每次更新后元件的工作是相互獨立且有相同的壽命分布，令N(t)為在區(qū)間(0，t]中的更新次數(shù)，則稱計數(shù)過程{N(t)，t≥0}為更新過程。

2.1 N(t)的分布

2.2 更新過程分類

在數(shù)學(xué)上更新過程可簡單地定義為相鄰兩個點事件(即更新)的間距是相互獨立同分布(但從原點到第一次更新的間距T1可以有不同分布)的計數(shù)過程。
根據(jù)T1的分布情形更新過程分為以下三類：

• 普通更新過程
• 延遲更新過程
• 平衡更新過程

更新過程也可用過程的事件間距序列{Tn，n≥1}給定，這時N(t)和Tn有如下關(guān)系：

其中

是第n次更新時間(n≥1，再定義S0＝0)。

對于普通更新過程，Sn是n個相互獨立同分布的非負(fù)隨機(jī)變量之和，因此在數(shù)學(xué)上更新過程也可以看做是一類特殊的獨立隨機(jī)變量和。

2.2.1 普通更新過程（ordinary renewal process）

一類特殊的延遲更新過程。

指所有更新間距T1，T2，T3，…都具有相同分布的更新過程，有時也簡稱更新過程。

2.2.2 延遲更新過程（delayed renewal process）

亦稱變形更新過程。一種更新過程，指允許第一個更新間距T1(即從原點到第一次更新的間距)的分布G和其后的更新間距T2，T3，…的(共同)分布F相異的更新過程。

這類過程產(chǎn)生的背景和得名的原因如下：設(shè)想對一個元件更新模型開始觀測的時刻t=0并不恰好是一個新元件開始工作的時刻，因而過程第一個元件的壽命(從開始觀測時算起)分布G和新元件的壽命分布F一般是不相同的。由于在上述模型中是當(dāng)一個元件已經(jīng)工作了一段時間才開始觀測的，所以人們稱之為延遲更新過程。因為普通更新過程和平衡更新過程都可看做延遲更新過程的特殊情形，故也有人把延遲更新過程稱為一般更新過程。

2.2.3 平衡更新過程（equilibrium renewal process）

一類特殊的延遲更新過程。它的第一個更新間距T1有分布

這里A(t)和Y(t)分別是過程在時刻t的年齡和剩余壽命(參見“年齡”和“剩余壽命”)。

2.2.4 交替更新過程（alternating renewal process）

如果考慮更換時間，即考慮機(jī)器的開與關(guān)兩種狀態(tài)，稱作交替更新過程。設(shè)系統(tǒng)最初是開的，持續(xù)時間是Z1，而后關(guān)閉，時間是Y1，之后再打開，時間為Z2，又關(guān)閉，時間為Y2……交替進(jìn)行。假設(shè)（Zn，Yn）,n>=1是獨立同分布的。

一類特殊的兩狀態(tài)馬爾可夫更新過程。其特征是兩類型的更新區(qū)間交替出現(xiàn)。確切地說，交替更新過程就是非負(fù)隨機(jī)向量序列{(Zn，Yn)，n≥1}，其中各(Zn，Yn)是獨立同分布的(因而隨機(jī)變量序列{Zn}和{Yn}也各自是獨立同分布的)，但Zn和Yn(對于任一正整數(shù)n)可以是相依的。在元件更新模型中，若更新時間不恒等于零而是一個隨機(jī)變量，令Zn和Yn分別表示第n個元件的使用壽命和它的更新時間，人們就得到一個交替更新過程(參見“馬爾可夫更新過程”)。

2.2.5 一些說明

所謂更新過程就是更新

間隔雖然是i.i.d 但是可以服從一般分布（包括指數(shù)分布）的泊松計數(shù)過程。
我們一般把更新過程的更新間隔的均值命名為$\mu$，把更新過程的均值命名為更新函數(shù)m(t)。
$1/\mu$我們稱為更新速率。

2.3 更新定理

2.3.1 更新基本定理：

更新數(shù)與時間之比趨近于更新速率。
另外更新函數(shù)與時間之比也趨近于更新速率。
這里的趨近是說當(dāng)時間趨于無窮的時候。

2.3.2 關(guān)鍵更新定理：

一個黎曼可積的函數(shù)與更新函數(shù)的增量的卷積等于該函數(shù)在正區(qū)間的積分乘以更新速率。
定義：格點更新過程：更新只在一個正數(shù)的正整數(shù)（周期）的倍數(shù)時刻發(fā)生的更新過程。否則叫做非格點的更新過程。
非格點的更新過程有如下定理：
非格點的更新過程的差分與時間之比趨近于更新速率。
格點的更新過程有如下定理：
在極限時刻發(fā)生的更新數(shù)與周期之比趨近于更新速率。

所以可以看出更新過程的定理基本都是和更新基本定理類似的。
但是最有用的定理還是關(guān)鍵更新定理。

2.4 補(bǔ)充一些

更新函數(shù)是n個更新間隔的和的分布的（對n的）累加。

$dm(y)$是更新發(fā)生在$(y,y+dy)$期間的概率。

$F(t?y)dy$是更新間隔大于t-y的概率。

所以$dm(y)F(t?y)dy$就是$d{F}_{S_{N(t)}}$的概率，也就是第N(t)個更新發(fā)生在t時刻的概率。

我們定義，在t時間內(nèi)發(fā)生了$N(t)$個更新，那么$S_{N(t)}$（即第N(t)個更新發(fā)生的時刻）與t的時間差叫做“零件”的年齡。把$S_{N(t)+1}$（即第$N(t)+1$個更新發(fā)生的時刻）與t的時間差叫做“零件”的剩余壽命。

“零件”的年齡和剩余壽命在時間趨于無窮大的時候有相同的分布，且都等于$in{t}_0^{t}F(y)dy/\mu$

2.5 更新過程的推廣

2.5.1 交錯更新過程：

就是忙時和停時更替進(jìn)行的一種更新過程，我們把一個忙時和緊接著的一個停時叫做一個循環(huán)。
則機(jī)器在時刻t是處于忙時的概率（隨時間）趨近于

$E{Z}_n/(E{Z}_n+E{Y}_n)=E{Z}_n/E{X}_n$

這里$X_n$表示第n個循環(huán)的長度。$Z_n$表示第n個忙時的長度。$Y_n$表示第n個停時的長度。

2.5.2 延遲更新過程：

也稱為一般更新過程，就是初次間隔并不和其后的間隔分布相同。
前面出現(xiàn)過的這個分布函數(shù)：$in{t}_0^{t}F(y)dy/mu$稱為平衡分布函數(shù)。

如果首次間隔分布服從平衡分布函數(shù)，則這樣的一般更新過程，就稱為平衡更新過程。

2.5.3 酬勞更新過程：

如果每次更新有一次酬勞（酬勞也可以是penalty，也就是說酬勞可以為負(fù)），那么這樣的更新過程叫做酬勞更新過程。
每次的酬勞，我們記為R_{n}，并用R(t)記直到t時刻的所有酬勞之和。

那么有如下和基本更新定理類似的定理：
$R(t)/t$（總酬勞的平均） 趨近于平均一個更新間隔內(nèi)的平均酬勞。
或者總酬勞的均值的平均趨近于平均一個更新間隔內(nèi)的平均酬勞。
這里的趨近于都是時間上趨近無窮大的涵義下。

排隊論可以說是最重要的定理：

更新過程的來到率：定義為更新間隔的均值的倒數(shù)也就是更新速率。記為$\lambda$。

則排隊論的重要定理可以敘述為：
系統(tǒng)中（按時間）的平均人數(shù)等于來到率（更新速率）乘以每個顧客在系統(tǒng)中度過的時間。
或者排隊中（按時間）的平均人數(shù)等于來到率（更新速率）乘以每個顧客在排隊中度過的時間。
因為來到率是更新間隔的倒數(shù)，所以，至少在單位上，是不成問題的。也比較容易理解。

2.6 再生過程(regenerative process)

再生過程是說，存在一個時刻，在這個時刻之后，系統(tǒng)又從0時刻開始重復(fù)。

系統(tǒng)可以處于很多狀態(tài)上，兩個時刻之間算一個循環(huán)。

與交錯（交替）更新過程類似：
系統(tǒng)處于第j個狀態(tài)上的概率（在時間上）趨近于在一個更新間隔（循環(huán)）的均值時間內(nèi)，系統(tǒng)處于狀態(tài)j的時間的均值。即處于狀態(tài)j的時間的均值比一個更新間隔（循環(huán)）的均值。

2.7 平穩(wěn)點過程：

顧名思義，平穩(wěn)點過程就是一個具有平穩(wěn)增量的計數(shù)過程。

平穩(wěn)點過程的重要定理如下：
平穩(wěn)點過程計數(shù)N(t)大于0的概率與時間（t）之比等于一個正數(shù)。
也就是說平穩(wěn)點過程N(yùn)(t)的期望均值等于時間（t）乘以更新速率。

3. 大數(shù)定律

在數(shù)學(xué)與統(tǒng)計學(xué)中，大數(shù)定律又稱大數(shù)法則、大數(shù)律，是描述相當(dāng)多次數(shù)重復(fù)實驗的結(jié)果的定律。根據(jù)這個定律知道，樣本數(shù)量越多，則其算術(shù)平均值就有越高的概率接近期望值。

大數(shù)定律很重要，因為它“說明”了一些隨機(jī)事件的均值的長期穩(wěn)定性。人們發(fā)現(xiàn)，在重復(fù)試驗中，隨著試驗次數(shù)的增加，事件發(fā)生的頻率趨于一個穩(wěn)定值；人們同時也發(fā)現(xiàn)，在對物理量的測量實踐中，測定值的算術(shù)平均也具有穩(wěn)定性。比如，我們向上拋一枚硬幣，硬幣落下后哪一面朝上是偶然的，但當(dāng)我們上拋硬幣的次數(shù)足夠多后，達(dá)到上萬次甚至幾十萬幾百萬次以后，我們就會發(fā)現(xiàn)，硬幣每一面向上的次數(shù)約占總次數(shù)的二分之一，亦即偶然之中包含著必然。

上述現(xiàn)象是切比雪夫不等式的一個特殊應(yīng)用情況，辛欽定理和伯努利大數(shù)定律也都概括了這一現(xiàn)象，它們統(tǒng)稱為大數(shù)定律。

大數(shù)定理簡單來說，指得是某個隨機(jī)事件在單次試驗中可能發(fā)生也可能不發(fā)生，但在大量重復(fù)實驗中往往呈現(xiàn)出明顯的規(guī)律性，即該隨機(jī)事件發(fā)生的頻率會向某個常數(shù)值收斂，該常數(shù)值即為該事件發(fā)生的概率。

另一種表達(dá)方式為當(dāng)樣本數(shù)據(jù)無限大時，樣本均值趨于總體均值。

因為現(xiàn)實生活中，我們無法進(jìn)行無窮多次試驗，也很難估計出總體的參數(shù)。

大數(shù)定律告訴我們能用頻率近似代替概率；能用樣本均值近似代替總體均值。

很好得解決了現(xiàn)實問題。

3.1 舉例

例如，拋擲一顆均勻的6面的骰子，1，2，3，4，5，6應(yīng)等概率出現(xiàn)，所以每次扔出骰子后，出現(xiàn)點數(shù)的期望值是
$\frac{1+2+3+4+5+6}{6}=3.5$

根據(jù)大數(shù)定理，如果多次拋擲骰子，隨著拋擲次數(shù)的增加，平均值（樣本平均值）應(yīng)該接近3.5，根據(jù)大數(shù)定理，在多次伯努利實驗中，實驗概率最后收斂于理論推斷的概率值，對于伯努利隨機(jī)變量，理論推斷的成功概率就是期望值，而若對n個相互獨立的隨機(jī)變量的平均值，頻率越多則相對越精準(zhǔn)。

例如硬幣投擲即伯努利實驗，當(dāng)投擲一枚均勻的硬幣，理論上得出的正面向上的概率應(yīng)是1/2。因此，根據(jù)大數(shù)定理，正面朝上的比例在相對“大”的數(shù)字下，“理應(yīng)”接近為1/2，尤其是正面朝上的概率在n次實驗（n接近無限大時）后應(yīng)幾近收斂到1/2。

即使正面朝上（或背面朝上）的比例接近1/2，幾乎很自然的正面與負(fù)面朝上的絕對差值（absolute difference差值范圍）應(yīng)該相應(yīng)隨著拋擲次數(shù)的增加而增加。換句話說，絕對差值的概率應(yīng)該是會隨著拋擲次數(shù)而接近于0。直觀的來看，絕對差值的期望會增加，只是慢于拋擲次數(shù)增加的速度。

3.2 表現(xiàn)形式

大數(shù)定律主要有兩種表現(xiàn)形式：弱大數(shù)定律和強(qiáng)大數(shù)定律。

定律的兩種形式都肯定無疑地表明，樣本均值

相較于辛欽大數(shù)定律，切比雪夫大數(shù)定理并未要求同分布，更具一般性。

4. non-renewal

In real stochastic systems, the arrival and service processes may not be renewal processes. For example, in many telecommunication systems such as internet traffic where data traffic is bursty, the sequence of inter-arrival times and service times are often correlated and dependent. One way to model this non-renewal behavior is to use Markovian Arrival Processes (MAPs) and Markovian Service Processes (MSPs). MAPs and MSPs allow for inter-arrival and service times to be dependent, while providing the analytical tractability of simple Markov processes.

Young Myoung Ko & Jamol Pender (2018) Strong approximations for timevarying infinite-server queues with non-renewal arrival and service processes, Stochastic Models,
34:2, 186-206, DOI: 10.1080/15326349.2018.1425886

https://www.cnblogs.com/sddai/p/6094837.html
https://zhuanlan.zhihu.com/p/59876036
https://wenku.baidu.com/view/199c386cb84ae45c3b358c8a.html
https://zh.wikipedia.org/wiki/%E5%A4%A7%E6%95%B0%E5%AE%9A%E5%BE%8B
https://zhuanlan.zhihu.com/p/77312635

總結(jié)

以上是生活随笔為你收集整理的随机过程：指数分布、泊松过程、更新过程（renewal process）+大数定律的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。