維納-辛欽定理證明：集體平均版本

維納-辛欽定理（Wiener–Khinchin theorem）說明一個平穩隨機過程（stationary process）的雙邊帶功率譜密度PSD（power spectral density），正是其集體平均自相關函數ACF（autocorrelation function, ACF）的傅立葉轉換。

一. 定義與起點

假設我們有一個平穩隨機過程 $x(t)$。

  • 集均自相關函數 (ensemble averaged ACF)：

    $$R_{xx}(\tau) = \langle x(t)x^*(t-\tau) \rangle$$

  • 功率譜密度 (PSD)：

    定義為截斷訊號 $x_T(t)$ 之能量譜的時間平均極限：

    $$C_{xx}(f) = \lim_{T \to \infty} \frac{1}{T} \langle |X_T(f)|^2 \rangle$$

    其中 $X_T(f)$ 是截斷訊號 $x_T(t)$ 的傅立葉轉換：

    $$X_T(f) = \int_{-\infty}^{\infty} x_T(t) e^{-j 2\pi f t} dt = \int_{0}^{T} x(t) e^{-j 2\pi f t} dt$$

二. 證明過程

我們要從 PSD 的定義出發，推導出它是 ACF 的傅立葉轉換。

Step 1: 展開頻域能量項

數學上，訊號能量 $|X_T(f)|^2$ 可以寫成 $X_T(f)$ 與其共軛複數 $X_T^*(f)$ 的乘積：

$$|X_T(f)|^2 = X_T(f) \cdot X_T^*(f) = \left( \int_0^T x(t_1) e^{-j 2\pi f t_1} dt_1 \right) \left( \int_0^T x^*(t_2) e^{j 2\pi f t_2} dt_2 \right)$$

Step 2: 合併雙重積分

將上述乘積寫成雙重積分的形式：

$$|X_T(f)|^2 = \int_0^T \int_0^T x(t_1) x^*(t_2) e^{-j 2\pi f (t_1 - t_2)} dt_1 dt_2$$

Step 3: 取集體平均 (ensemble average)

對兩邊取集體平均，由於積分與期望值算子可以互換，所以：

$$\langle |X_T(f)|^2 \rangle = \int_0^T \int_0^T \langle x(t_1) x^*(t_2) \rangle e^{-j 2\pi f (t_1 - t_2)} dt_1 dt_2 = \int_0^T \int_0^T R_{xx}(t_1 - t_2) e^{-j 2\pi f (t_1 - t_2)} dt_1 dt_2$$
其中，對於平穩過程：

$$\langle x(t_1) x^*(t_2) \rangle = R_{xx}(t_1 - t_2)$$

Step 4: 變數變換

令 $\tau = t_1 - t_2$（因此 $t_1 = t_2 + \tau$），並且將積分變數從 $(t_1, t_2)$ 換成 $(\tau, t_2)$。此時雅可比行列式（Jacobian）為 $1$ [註1]，且經過積分變數上下限變換[註2]後，可得：

$$\langle |X_T(f)|^2 \rangle = \int_{-T}^{T} \int_{\max(0, -\tau)}^{\min(T, T-\tau)} R_{xx}(\tau) e^{-j 2\pi f \tau} dt_2 d\tau$$

對 $t_2$ 積分的結果是直線段的長度 $T - |\tau|$ [註3]，所以：

$$\langle |X_T(f)|^2 \rangle = \int_{-T}^{T} (T - |\tau|) R_{xx}(\tau) e^{-j 2\pi f \tau} d\tau$$

Step 5: 取極限求 PSD

將結果帶回 PSD 的定義式：

$$C_{xx}(f) = \lim_{T \to \infty} \frac{1}{T} \langle |X_T(f)|^2 \rangle = \lim_{T \to \infty} \frac{1}{T} \int_{-T}^{T} (T - |\tau|) R_{xx}(\tau) e^{-j 2\pi f \tau} d\tau$$
$$C_{xx}(f) = \lim_{T \to \infty} \int_{-T}^{T} \left( 1 - \frac{|\tau|}{T} \right) R_{xx}(\tau) e^{-j 2\pi f \tau} d\tau$$

當 $T \to \infty$ 時，$(1 - \frac{|\tau|}{T})$ 趨近於 1，則：

$$C_{xx}(f) = \int_{-\infty}^{\infty} R_{xx}(\tau) e^{-j 2\pi f \tau} d\tau = \mathcal{F}\{R_{xx}(\tau)\}$$

三. 結論

我們證得：功率譜密度 $C_{xx}(f)$ 等於自相關函數 $R_{xx}(\tau)$ 的傅立葉轉換。

$$R_{xx}(\tau) \xrightarrow{\mathcal{F}} C_{xx}(f)$$
時域與頻域的橋樑： 這證明了我們不需要知道訊號的具體波形，只要知道訊號隨時間變化的相關特性（ACF），就能得知其能量分布（PSD）。

💥💥💥💥💥
[註1]：

當我們將積分從一組座標 $(t_1, t_2)$ 變換到另一組座標 $(\tau, t_2)$ 時，積分區域的面積元素會發生改變。為了補償這種改變，我們必須在積分式中乘以一個比例因子，這個因子就是雅可比行列式（Jacobian determinant）的絕對值。

在我們的證明中，其數值為 1，這意味著座標變換後，微小的局部面積大小保持不變。

1) 雅可比行列式的定義

假設變換關係為：

  • $\tau = t_1 - t_2$

  • $t_2 = t_2$（我們選擇保留其中一個原始變數作為參考）

反過來表達為：

  • $t_1 = \tau + t_2$

  • $t_2 = t_2$

雅可比矩陣 $J$ 定義為：

$$J = \begin{bmatrix} \frac{\partial t_1}{\partial \tau} & \frac{\partial t_1}{\partial t_2} \\ \frac{\partial t_2}{\partial \tau} & \frac{\partial t_2}{\partial t_2} \end{bmatrix}$$
2) 計算過程

根據上面的關係式，我們計算偏微分：

  • $\frac{\partial t_1}{\partial \tau} = 1$

  • $\frac{\partial t_1}{\partial t_2} = 1$

  • $\frac{\partial t_2}{\partial \tau} = 0$

  • $\frac{\partial t_2}{\partial t_2} = 1$

代入矩陣：

$$J = \begin{bmatrix} 1 & 1 \\ 0 & 1 \end{bmatrix}$$

雅可比行列式的值為：

$$\det(J) = (1 \times 1) - (1 \times 0) = 1$$
3) 這在積分中代表什麼？


在積分變換中，微分元素 $dt_1 dt_2$ 會變成：

$$dt_1 dt_2 = |\det(J)| \, d\tau dt_2 = 1 \cdot d\tau dt_2$$

這意味著：

$$\int \int_D f(t_1, t_2) dt_1 dt_2 = \int \int_{D'} f(\tau, t_2) \cdot 1 \, d\tau dt_2$$
4) 幾何直覺

你可以把這個變換想像成將一個正方形區域進行了「剪切變形（Shearing）」。

  • 原始座標 $(t_1, t_2)$ 是直交的。

  • 新座標 $(\tau, t_2)$ 中，$\tau$ 是斜著穿過區域的。

在線性代數中，這種剪切變換（shear mapping）雖然改變了形狀（正方形變成平行四邊形），但它不會改變面積。因為行列式等於 1，所以我們在證明維納-辛欽定理時，不需要額外增加係數，直接替換 $dt_1 dt_2$ 即可。

💥💥💥💥💥

[註2]：

1) 根據原始邊界條件 $0 \le t_1 \le T$：

將 $t_1 = t_2 + \tau$ 代入得：

$$0 \le t_2 + \tau \le T$$

這可以拆解為兩個對 $t_2$ 的限制：

  1. $t_2 \ge -\tau$

  2. $t_2 \le T - \tau$

同時，我們原本就有的邊界條件是 $0 \le t_2 \le T$。

因此，對於一個固定的 $\tau$，$t_2$ 必須同時滿足以下四個不等式：

  • $t_2 \ge 0$

  • $t_2 \le T$

  • $t_2 \ge -\tau$

  • $t_2 \le T - \tau$

將這些條件合併，得到 $t_2$ 的積分區間為：

$$\max(0, -\tau) \le t_2 \le \min(T, T-\tau)$$

2) 因為 $t_2 = t_1 - \tau$，且為了讓 $\tau$ 能涵蓋原本四個上下限座標 $(t_1, t_2) = (0, 0), (0, T), (T, 0)$ 和 $(T, T)$ 所構成矩形區域內所有的積分點，$\tau$ 必須從 $-T$（$(t_1, t_2) = (0, T)$，左上點 ）掃描到 $T$（$(t_1, t_2) = (T, 0)$，右下點 ）。

💥💥💥💥💥

[註3]：

我們可以分兩種情況來直觀理解這個內層積分的結果（即對 $t_2$ 積分）：

  • 當 $\tau \ge 0$ 時：

    邊界為 $\max(0, -\tau) = 0$ 且 $\min(T, T-\tau) = T-\tau$。

    積分長度為 $(T-\tau) - 0 = T-\tau$。

  • 當 $\tau < 0$ 時：

    邊界為 $\max(0, -\tau) = -\tau$ 且 $\min(T, T-\tau) = T$。

    積分長度為 $T - (-\tau) = T + \tau = T - |\tau|$。

結合兩者，對 $t_2$ 的內層積分結果始終是 $T - |\tau|$。

留言

張貼留言

這個網誌中的熱門文章

二項、卜瓦松PMF與高斯PDF

圖片
在統計學的世界裡，三個最核心的數學模型： 二項分佈 、 卜瓦 松分佈 與 高斯分佈 。它們之間並非孤立，而是一場關於「極限」的華麗演變。 1. 二項分佈 (binomial distribution)：發生的計數 一切的起點是 伯努利試驗 （只有發生/未發生兩種結果）。當你重複進行 $n$ 次獨立的實驗，在每次發生與未發生的機率分別固定為 $p$ 和 $q$ ( $= 1-p$ ) 的情形下，則總發生次數為  $k$  的機率 $P(k)$ 所服從的規律就是「二項分佈」機率質量函數（PMF，probability mass function）： $$P( k) = \binom{n}{k} p^k (1-p)^{n-k}$$ 其中 [註1]： 期望值  $\mu = \langle k \rangle = np$ 變異數  $\sigma^2 = Var(k) = npq$ 2. 卜瓦松分佈 (Poisson distribution)：加入時間的框架 若我們將 二項分佈限定 在特定時間  $T$ 或空間內，當 試驗次數 $n$ 趨於無窮大且假設發生率 $p$ 非常小，但兩者的乘積或期望值 $\mu = np$（發生次數的期望值， 等於平均發生率 $\lambda$  乘以時間   $T$ ）保持穩定時，二項分佈就會演變成卜瓦 松分佈，對應的 PMF[註2]如下： $$P(k) = \frac{\mu^k e^{-\mu}}{k!}$$ 它是描述「特定時間或空間內，隨機事件發生次數機率」的最佳工具。 3. 高斯分佈 (Gaussian distribution)： 試驗次數夠大 當 試驗次數  $n$  趨於無窮大時，二項分佈將變成高斯分佈或常態分佈（normal distribution），機率 的數學描述必須如下改由連續的 機率 密度函數 （PDF，probability density function）[註3]來表示： $$f(x) = \frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}$$ 特點 ：由期望值 ( $\mu$ ) 和標準差 ( $\s...
閱讀完整內容

變異數等於「平方的期望」減去「期望的平方」

在處理隨機變數時，我們最常需要計算的統計參數之一就是 變異數（variance） 。雖然定義式很直觀，但在實際計算時，我們更傾向於使用「平方的期望值減去期望值的平方」。 以下將證明這個公式： $$Var(X) = \langle X^2 \rangle - \langle X \rangle^2$$ （ 變異數 = 「平方的期望」減去「期望的平方」 ） 1. 準備工作：核心概念 在開始推導前，我們要先記住期望值運算的兩個基本特性： 線性特質 ：項與項之間可以拆解計算。 常數特質 ：一旦取了期望值， $\langle X \rangle$ 就變成了一個固定的 常數 ，不再是隨機變數。 2. 證明步驟 我們從變異數的原始定義出發：變異數是變數與平均值（期望值）之間距離平方的平均。 1) 寫出定義式 $$Var(X) = \langle (X - \langle X \rangle)^2 \rangle$$ 2) 展開括號內的平方項 利用代數公式 $(a - b)^2 = a^2 - 2ab + b^2$，我們可以將內部展開： $$Var(X) = \langle X^2 - 2X \cdot \langle X \rangle + \langle X \rangle^2 \rangle$$ 3) 利用線性性質拆解 將期望值符號 $\langle \rangle$ 分配到括號內的每一項： $$Var(X) = \langle X^2 \rangle - \langle 2X \cdot \langle X \rangle \rangle + \langle \langle X \rangle^2 \rangle$$ 4) 處理常數項（關鍵步驟！） 第二項：因為 $2$ 和 $\langle X \rangle$ 都是常數，可以提到符號外面。 $$\langle 2X \cdot \langle X \rangle \rangle = 2 \cdot \langle X \rangle \cdot \langle X \rangle = 2\langle X \rangle^2$$ 第三項：由於 $\langle X \rangle^2$ 本身已經是常數，常數的期望值就是它自己。 $$\langle \langle X \rangle^2 \rangle = \langl...
閱讀完整內容

坎貝爾定理 (Campbell's theorem)

在隨機過程與雜訊分析中，坎貝爾定理是將「微觀隨機事件」轉化為「宏觀統計特性」最強大的工具。本文將透過機率論與微積分，完整推導其期望值、自相關函數與變異數公式。 一. 系統模型定義 假設有一個隨機過程 $X(t)$ ，它是無數個形狀相同的隨機脈波函數 $h(t)$ 的疊加： $$X(t) = \sum_{k=1}^{N} h(t - t_k)$$ 其中： $t_k$ 是第 $k$ 個脈波發生的隨機時間點。 在觀測時間 $T$ 內，事件發生的總次數 $N$ 是一個隨機變數，若服從 卜瓦松分佈 ，則  $\langle N \rangle = \mu = \lambda T$ 。 在給定 $N$ 的情況下，每個 $t_k$ 獨立且均勻地分佈在 $[0, T]$ 區間內。 二. 期望值 $\langle X(t) \rangle$ 的證明 我們利用全期望值定律，先計算給定 $N$ 次事件中各次的期望值，再計入總次數  $N$  的期望值。 Step 1: 單個脈波在隨機位置出現的期望值 假設 $t_k$ 在 $[-T/2, T/2]$ 隨機均勻分佈，在 $T \to \infty$ 且脈波能量有限的情形下，任意單個隨機脈波的期望值： $$\langle h(t-t_k) \rangle = \int_{-T/2}^{T/2} h(t-x) \cdot p(x) \, dx = \frac{1}{T} \int_{-\infty}^{\infty} h(t-x) \, dx = \frac{1}{T} \int_{-\infty}^{\infty} h(u) \, du$$ Step 2: 考慮總次數 $N$ 的期望值 $$\langle X(t) \rangle = \left \langle \sum_{k=1}^{N} h(t - t_k) \right \rangle = \langle N \rangle \cdot \langle h(t-t_k) \rangle = \langle N \rangle \cdot \left( \frac{1}{T} \int_{-\infty}^{\infty} h(x) \, dx \right)$$ Step 3: 代入 $N$ 的期望值：$\l...
閱讀完整內容