文章目錄

• 參考資料
• 1. 全狀態反饋控制系統
• 2. LQR控制器
• • 2.1 連續時間
  • • 2.1.1 Q、R矩陣的選取
    • 2.1.2推導過程
    • 2.1.3 連續時間下的LQR算法步驟
  • 2.2 離散時間
  • • 2.2.1 推導
    • 2.2.2 離散時間下的LQR算法步驟
• 3. MPC與LQR比較

參考資料

• https://www.bilibili.com/video/BV1RW411q7FD?spm_id_from=333.999.0.0
• LQR控制器_simulink
• https://jonathan-hui.medium.com/rl-lqr-ilqr-linear-quadratic-regulator-a5de5104c750
• LQR控制算法推導以及簡單分析
• Riccati 黎卡提 system
• LQR-離散時間有限邊界

1. 全狀態反饋控制系統

假設有一個線性系統用狀態向量表示:
$$\{\begin{array}{l}\dot{x}=Ax+Bu\\ y=Cx+Du\end{array}\text{\hspace{1em}(1)}$$
其中， $x(t)\in R^n，u(t)\in R^m$ 。

設計狀態反饋控制器
$$u=?Kx\text{\hspace{1em}(2)}$$
將式(2)帶入系統狀態方程(1)中，有
$$\dot{x}=(A?BK)x=A_{c}x\text{\hspace{1em}(3)}$$
設定系統中的各個狀態量都可知，式(1)所示的開環系統，傳遞函數的極點就是系統矩陣A的特征值。 式(2)所示的閉環形式，通過配置反饋矩陣 $K$ ，可以使得閉環系統達到所期望的系統狀態。

接下來講解如何使用LQR設計控制量$u$。

2. LQR控制器

最優控制理論主要探討的是讓動力系統以最小成本來運作，若系統動態可以用一組線性微分方程表示，而其成本為二次泛函，這類的問題稱為線性二次（LQ）問題。此類問題的解即為線性二次調節器，簡稱LQR。

LQR（Linear quadratic regulator，線性二次型調節器），它假設模型是locally linear 和 time-varied的。

2.1 連續時間

LQR的目標就是找到一組控制量$u_0,u_1,...$，使得同時有$x_0,x_1,...$能夠快速、穩定地趨近于零，并保持平衡(系統達到穩定狀態)，$u_0,u_1,...$盡可能小(控制量盡量小的變化)。

這是一個典型的多目標優化最優控制問題，選取代價函數（目標函數）為
$$J=\frac{1}{2}{\int }_0^{\infty }{x}^{T}Qx+u^{T}Rudt\text{\hspace{1em}(4)}$$
其中，Q、R分別是需要設計的半正定矩陣和正定矩陣。

代價函數 $J$需要達到最小值，那么在 $t$趨近于無窮時，狀態向量 $x(t)$肯定趨近于0，即是達到了系統穩態；同理， $t$趨近于無窮時，控制向量 $u(t)$也會趨近于0，意味著，隨著時間的推移，需要對系統施加的控制量會越來越小，意味著使用最小的控制量使得系統達到了最終控制目標，反映的是控制能量的損耗優化。

2.1.1 Q、R矩陣的選取

$Q$為半正定的狀態加權矩陣, $R$為正定的控制加權矩陣，兩者通常取為對角陣。$Q$矩陣元素變大意味著希望狀態量能夠快速趨近于零； $R$ 矩陣元素變大意味著希望控制輸入能夠盡可能小，它意味著系統的狀態衰減將變慢。比如， $Q_{11}$?選取較大的值，會讓 $x_1$?很快的衰減到0；所以，$Q、R$的選取，要綜合看具體的實際應用場景來調節。

2.1.2推導過程

將 $u=?Kx$ 代入代價函數后，有
$$J=\frac{1}{2}{\int }_0^{\infty }{x}^T\left(Q+K^{T}RK\right)xdt\text{\hspace{1em}(5)}$$

假設存在一個常量矩陣 $P$ 使得，
$$\frac{d}{dt}\left(x^{T}Px\right)=?x^T\left(Q+K^{T}RK\right)x\text{\hspace{1em}(6)}$$

把式(6)代入(5)后，有
$$J=?\frac{1}{2}{\int }_0^{\infty }\frac{d}{dt}{x}^T(P)xdt=?\frac{1}{2}{x}^{T}Px{|}_0^{\infty }=\frac{1}{2}{x}^T(0)Px(0)\text{\hspace{1em}(7)}$$
式(7)的意思就是，t趨近于無窮時，系統狀態向量 $x(t)$ 趨近于 0 ，這樣就直接計算出了積分方程。

把式(6)左邊微分展開，并且將右邊移到左邊后有
$${\dot{x}}^{T}Px+x^{T}P\dot{x}+x^{T}Qx+x^T{K}^{T}RKx=0\text{\hspace{1em}(8)}$$
$\dot{x}$用式(3)表示，代入式(8)
$$x^T{A}_c^{T}Px+x^{T}P{A}_{c}x+x^{T}Qx+x^T{K}^{T}RKx=0\text{\hspace{1em}(9)}$$
整理后，有
$$x^T\left(A_c^{T}P+P{A}_c+Q+K^{T}RK\right)x=0\text{\hspace{1em}(10)}$$
如果式(10)要有解，那么括號里面的部分必須等于0.
$$A_c^{T}P+P{A}_c+Q+K^{T}RK=0\text{\hspace{1em}(11)}$$
把 $A_c=A?BK$ 代入式(11)
$$(A?BK{)}^{T}P+P(A?BK)+Q+K^{T}RK=0\text{\hspace{1em}(12)}$$
即
$$A^{T}P+PA+Q+K^{T}RK?K^T{B}^{T}P?PBK=0\text{\hspace{1em}(13)}$$

令 $K=R^{?1}{B}^{T}P$ ，式(13)化為
$$A^{T}P+PA+Q+K^{T}R\left(R^{?1}{B}^{T}P\right)?K^T{B}^{T}P?PB\left(R^{?1}{B}^{T}P\right)=0\text{\hspace{1em}(14)}$$
化簡后得
$$A^{T}P+PA?PB{R}^{?1}{B}^{T}P+Q=0\text{\hspace{1em}(15)}$$
式(15)中， $A,B,Q,R$ 都是已知量，那么通過式(15)可以求解出 $P$（$n\times n$維） ，式(15)就是著名的連續時間代數Riccati方程(CARE)。

2.1.3 連續時間下的LQR算法步驟

LQR的算法步驟如下：

• 選擇參數矩陣Q,R（分別滿足半正定和正定）
• 根據公式(15)求解Riccati方程得到矩陣P
  $$A^{T}P+PA?PB{R}^{?1}{B}^{T}P+Q=0$$
• 根據P計算增益$K=R^{?1}{B}^{T}P$
• 計算控制量 $u^{?}=?Kx$

2.2 離散時間

2.2.1 推導

假設一個離散的系統表示為
$$\mathbf{X}(k+1)=A\mathbf{X}(k)+B\mathbf{u}(k)\text{\hspace{1em}(16)}$$

離散得LQR的目標函數如下：
$$J=\sum _{k=1}^N\left({\mathbf{X}}^{T}Q\mathbf{X}+{\mathbf{u}}^{T}R\mathbf{u}\right)\text{\hspace{1em}(17)}$$

其中 $\mathbf{X}$ 是 $n\times 1$ 的狀態向量， $\mathbf{u}$ 是 $k\times 1$ 的控制變數向量， $A$ 是 $n\times n$ 的狀態遞移矩陣， $B$ 是 $n\times k$ 的控制系數矩陣， $Q$ 是$n\times n$的半正定狀態損失函數矩陣， $R$ 是$k\times k$的正定控制損失函數矩陣。

求解LQR的方法，有最小二乘法和動態規劃算法。詳情請參考博客

這里直接給出結果：從后往前推導可以找到每一個時間的最優控制律:
$$\begin{array}{rl}{K}_t& ={\left(R+B^T{P}_{t+1}B\right)}^{?1}{B}^T{P}_{t+1}A\\ u_t^{?}& =?K_t{X}_t\end{array}\text{\hspace{1em}(18)}$$
其中矩陣 $P$ 會依據下式并且配合初始值 $P_N=Q$ 進行迭代求解
$$P_{t?1}=Q+A^T{P}_{t}A?A^T{P}_{t}B{\left(R+B^T{P}_{t+1}B\right)}^{?1}{B}^T{P}_{t}A\text{\hspace{1em}(19)}$$
這個就是離散時間的代數 Riccati 方程（DARE）。 $P$ 的穩態解和和 $N$ 趨近無限大時的無限時間問題有關，可以將方程(19)反復迭代直到收斂，來求得 $P$ 的穩態解。

2.2.2 離散時間下的LQR算法步驟

綜上，采用LQR算法進行控制率求解的步驟概括為：

確定迭代范圍 $N$

設置迭代初始值 $P_N=Q_f$，其中$Q_f=Q$

循環迭代， 從后往前$t=N,\dots ,1$
$$P_{t?1}=Q+A^T{P}_{t}A?A^T{P}_{t}B{\left(R+B^T{P}_{t}B\right)}^{?1}{B}^T{P}_{t}A$$

從 $t=0,\dots ,N?1$，循環計算反饋系數 $K_t={\left(R+B^T{P}_{t+1}B\right)}^{?1}{B}^T{P}_{t+1}A$

最終得優化的控制量 $u_t^{?}=?K_t{X}_t$

3. MPC與LQR比較

MPC和LQR兩種控制方式有很多的相似之處，但是也有很多不相同的地方，

• 首先，LQR的研究對象是現代控制理論中的狀態空間方程給出的線性系統，而MPC的研究對象可以是線性系統，也可以是非線性系統。不過現在很多的做法都是將非線性系統線性化，然后進行相關計算，具體要根據自己的工程情況來確定哪種方式比較好。
• 其次，既然是優化問題，那就離不開目標函數的設計，LQR的目標函數在上面已經有描述，MPC的目標函數，多數都是多個優化目標乘以不同權重然后求和的方式。雖然方式不同，不過都是對達到控制目標的代價累計。
• 最后，工作時域上的不同，LQR的計算針對同一工作時域，在一個控制周期內，LQR只計算一次，并將此次計算出的最優解下發給控制器即可；而MPC是滾動優化的，計算未來一段時間內，每個采樣周期都會經過計算，得出一組控制序列，但是只將第一個控制值下發給控制器。

總結

以上是生活随笔為你收集整理的【控制理论】离散及连续的LQR控制算法原理推导的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。