自相關函數（auto-correlation function）、自共變異數（auto-covariance）與變異數(variance)

在數據分析的世界裡，我們經常問一個問題：「現在發生的事，跟過去有關聯嗎？」要回答這個問題，最強大的工具就是自相關函數 (autocorrelation function)。

一. 什麼是自相關？（從「相似度」出發）

想像你在聽一段旋律，如果這段旋律每隔 4 拍就重複一次，我們會說它有很強的相關性。自相關就是在衡量一個訊號 $x(t)$ 與它自己延遲（Lag）一段時間 $\tau$ 後的相似程度。

對於廣義平穩過程（WSS，wide-sense stationary），自相關僅取決於時間差 $\tau$，而與絕對時間 $t$ 無關。

A. 集合平均定義 (ensemble average) — 理論視角

對於廣義平穩過程（WSS，wide-sense stationary），集體平均的自相關函數定義為：

$$R_{xx}(\tau) = \langle x(t) x^*(t-\tau) \rangle$$

這反映了所有樣本路徑的隨機變數 $x$ 在任何時間點 $ t $ 與 $ t-\tau $ （相隔 $\tau$ 距離）之間的統計關聯性。

B. 時間平均定義 (time average) — 實務視角

當平穩過程具備遍歷性 (ergodicity) 時，我們可以用（任一樣本路徑下）一段足夠長的觀測數據來計算：

$$r_{xx}(\tau) = \lim_{T \to \infty} \frac{1}{T} \int_{-T/2}^{T/2} x(t) x^*(t-\tau) \, dt$$

也就是說：將訊號平移 $\tau$，然後與原訊號相乘並累加。如果數值愈高，代表重合度越高，訊號的自我重複性越強。

二. 能量的縮放：自共變異數 (auto-covariance)

自相關函數雖然好用，但它包含了訊號的「平均值」。在統計學中，我們通常更關心「波動」本身的關聯。

當我們把訊號扣除平均值 $\mu$（$ = \langle x \rangle$）後再做自相關，得到的就叫自共變異數 ($\gamma_{xx}$)：

$$\gamma_{xx}(\tau) =  \left\langle (x(t) - \mu) \cdot (x(t-\tau) - \mu)^* \right\rangle$$

這就像是把自相關函數「平移」到以零為中心，專注於描述資料如何同步震盪。數學上，自共變異數與自相關函數有以下關係[註1]：

$$\gamma_{xx}(\tau) = R_{xx}(\tau) - |\mu|^2$$

三. 變異數 (variance) 是自相關的特例

現在，請思考一個有趣的情況：如果延遲時間 $\tau = 0$ 會發生什麼？

當 $\tau = 0$ 時，代表訊號完全沒有平移，是自己在跟自己比對。這時候：

  1. 自共變異數變成了 $\gamma_0 = \langle |x(t) - \mu|^2 \rangle$ —— 這正是變異數 (variance) 的定義！

  2. 變異數代表了這個序列在「零延遲」時所擁有的能量。

四. 總結：三者的邏輯鏈條

這三者的關係可以用一句話串聯：

自相關衡量相似性，扣除均值貢獻後成為自共變異數，而當時間差為零時，它所展現的總強度就是變異數。


💥💥💥💥💥

[註1]：

我們可從廣義平穩過程 (Wide-Sense Stationary, WSS) 的定義出發來進行證明。

1. 定義回顧

首先，我們列出參與證明的核心成員：

  • 自相關函數 (autocorrelation): $R_{xx}(\tau) = \langle x(t)x^*(t-\tau) \rangle$

  • 自共變異數函數 (autocovariance): $\gamma_{xx}(\tau) = \langle (x(t) - \mu) \cdot (x(t-\tau) - \mu)^* \rangle$

  • 平均值 (mean): $\langle X(t) \rangle = \langle X(t-\tau) \rangle = \mu$ （在平穩假設下為常數）

2. 證明步驟

我們從自共變異數的定義式展開：

Step 1: 展開括號內的乘積

$$\gamma_{xx}(\tau) = \left\langle (x(t) - \mu) \cdot (x^*(t-\tau) - \mu_x^*) \right\rangle]$$

利用分配律展開：

$$\gamma_{xx}(\tau) = \left\langle x(t)x^*(t-\tau) - x(t)\mu^* - \mu x^*(t-\tau) + \mu \mu^* \right\rangle$$

Step 2: 利用期望值的線性性質 (linearity of expectation)

期望值具有 $\langle A+B \rangle = \langle A \rangle + \langle B \rangle$ 的特性，且常數可以提到期望值之外：

$$\gamma_{xx}(\tau) = \langle x(t)x^*(t-\tau) \rangle - \langle x(t)\rangle \mu^* - \mu \langle x^*(t-\tau) \rangle + \langle |\mu_x|^2 \rangle$$

Step 3: 代入定義項

根據定義：

  • $\langle x(t)x^*(t-\tau) \rangle $ 就是 $R_{xx}(\tau)$

  • $\langle x(t) \rangle $ 是 $\mu$

  • $\langle x^*(t-\tau) \rangle $ 是 $\mu^*$

  • $\langle |\mu_x|^2 \rangle $ 是一個常數的期望值，等於其自身 $|\mu_x|^2$

代入後得到：

$$\gamma_{xx}(\tau) = R_{xx}(\tau) - \mu \mu^* - \mu \mu^* + |\mu|^2$$
化簡結果
$$\gamma_{xx}(\tau) = R_{xx}(\tau) - |\mu|^2 - |\mu|^2 + |\mu|^2 = R_{xx}(\tau) - |\mu|^2$$
至此得證。

留言

張貼留言

這個網誌中的熱門文章

二項、卜瓦松PMF與高斯PDF

圖片
在統計學的世界裡，三個最核心的數學模型： 二項分佈 、 卜瓦 松分佈 與 高斯分佈 。它們之間並非孤立，而是一場關於「極限」的華麗演變。 1. 二項分佈 (binomial distribution)：發生的計數 一切的起點是 伯努利試驗 （只有發生/未發生兩種結果）。當你重複進行 $n$ 次獨立的實驗，在每次發生與未發生的機率分別固定為 $p$ 和 $q$ ( $= 1-p$ ) 的情形下，則總發生次數為  $k$  的機率 $P(k)$ 所服從的規律就是「二項分佈」機率質量函數（PMF，probability mass function）： $$P( k) = \binom{n}{k} p^k (1-p)^{n-k}$$ 其中 [註1]： 期望值  $\mu = \langle k \rangle = np$ 變異數  $\sigma^2 = Var(k) = npq$ 2. 卜瓦松分佈 (Poisson distribution)：加入時間的框架 若我們將 二項分佈限定 在特定時間  $T$ 或空間內，當 試驗次數 $n$ 趨於無窮大且假設發生率 $p$ 非常小，但兩者的乘積或期望值 $\mu = np$（發生次數的期望值， 等於平均發生率 $\lambda$  乘以時間   $T$ ）保持穩定時，二項分佈就會演變成卜瓦 松分佈，對應的 PMF[註2]如下： $$P(k) = \frac{\mu^k e^{-\mu}}{k!}$$ 它是描述「特定時間或空間內，隨機事件發生次數機率」的最佳工具。 3. 高斯分佈 (Gaussian distribution)： 試驗次數夠大 當 試驗次數  $n$  趨於無窮大時，二項分佈將變成高斯分佈或常態分佈（normal distribution），機率 的數學描述必須如下改由連續的 機率 密度函數 （PDF，probability density function）[註3]來表示： $$f(x) = \frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}$$ 特點 ：由期望值 ( $\mu$ ) 和標準差 ( $\s...
閱讀完整內容

變異數等於「平方的期望」減去「期望的平方」

在處理隨機變數時，我們最常需要計算的統計參數之一就是 變異數（variance） 。雖然定義式很直觀，但在實際計算時，我們更傾向於使用「平方的期望值減去期望值的平方」。 以下將證明這個公式： $$Var(X) = \langle X^2 \rangle - \langle X \rangle^2$$ （ 變異數 = 「平方的期望」減去「期望的平方」 ） 1. 準備工作：核心概念 在開始推導前，我們要先記住期望值運算的兩個基本特性： 線性特質 ：項與項之間可以拆解計算。 常數特質 ：一旦取了期望值， $\langle X \rangle$ 就變成了一個固定的 常數 ，不再是隨機變數。 2. 證明步驟 我們從變異數的原始定義出發：變異數是變數與平均值（期望值）之間距離平方的平均。 1) 寫出定義式 $$Var(X) = \langle (X - \langle X \rangle)^2 \rangle$$ 2) 展開括號內的平方項 利用代數公式 $(a - b)^2 = a^2 - 2ab + b^2$，我們可以將內部展開： $$Var(X) = \langle X^2 - 2X \cdot \langle X \rangle + \langle X \rangle^2 \rangle$$ 3) 利用線性性質拆解 將期望值符號 $\langle \rangle$ 分配到括號內的每一項： $$Var(X) = \langle X^2 \rangle - \langle 2X \cdot \langle X \rangle \rangle + \langle \langle X \rangle^2 \rangle$$ 4) 處理常數項（關鍵步驟！） 第二項：因為 $2$ 和 $\langle X \rangle$ 都是常數，可以提到符號外面。 $$\langle 2X \cdot \langle X \rangle \rangle = 2 \cdot \langle X \rangle \cdot \langle X \rangle = 2\langle X \rangle^2$$ 第三項：由於 $\langle X \rangle^2$ 本身已經是常數，常數的期望值就是它自己。 $$\langle \langle X \rangle^2 \rangle = \langl...
閱讀完整內容

坎貝爾定理 (Campbell's theorem)

在隨機過程與雜訊分析中，坎貝爾定理是將「微觀隨機事件」轉化為「宏觀統計特性」最強大的工具。本文將透過機率論與微積分，完整推導其期望值、自相關函數與變異數公式。 一. 系統模型定義 假設有一個隨機過程 $X(t)$ ，它是無數個形狀相同的隨機脈波函數 $h(t)$ 的疊加： $$X(t) = \sum_{k=1}^{N} h(t - t_k)$$ 其中： $t_k$ 是第 $k$ 個脈波發生的隨機時間點。 在觀測時間 $T$ 內，事件發生的總次數 $N$ 是一個隨機變數，若服從 卜瓦松分佈 ，則  $\langle N \rangle = \mu = \lambda T$ 。 在給定 $N$ 的情況下，每個 $t_k$ 獨立且均勻地分佈在 $[0, T]$ 區間內。 二. 期望值 $\langle X(t) \rangle$ 的證明 我們利用全期望值定律，先計算給定 $N$ 次事件中各次的期望值，再計入總次數  $N$  的期望值。 Step 1: 單個脈波在隨機位置出現的期望值 假設 $t_k$ 在 $[-T/2, T/2]$ 隨機均勻分佈，在 $T \to \infty$ 且脈波能量有限的情形下，任意單個隨機脈波的期望值： $$\langle h(t-t_k) \rangle = \int_{-T/2}^{T/2} h(t-x) \cdot p(x) \, dx = \frac{1}{T} \int_{-\infty}^{\infty} h(t-x) \, dx = \frac{1}{T} \int_{-\infty}^{\infty} h(u) \, du$$ Step 2: 考慮總次數 $N$ 的期望值 $$\langle X(t) \rangle = \left \langle \sum_{k=1}^{N} h(t - t_k) \right \rangle = \langle N \rangle \cdot \langle h(t-t_k) \rangle = \langle N \rangle \cdot \left( \frac{1}{T} \int_{-\infty}^{\infty} h(x) \, dx \right)$$ Step 3: 代入 $N$ 的期望值：$\l...
閱讀完整內容