✨Sự hội tụ của các biến ngẫu nhiên

Trong lý thuyết xác suất, có nhiều khái niệm khác nhau về sự hội tụ của các biến ngẫu nhiên. Sự hội tụ (hiểu theo nghĩa được trình bày dưới đây) của các dãy biến ngẫu nhiên về một biến ngẫu nhiên giới hạn nào đó là một khái niệm quan trọng trong lý thuyết xác suất, và trong các ứng dụng của thống kê và của quá trình ngẫu nhiên. Ví dụ, nếu trung bình của n biến ngẫu nhiên Y_i, i = 1,..., n độc lập và phân phối đồng đều, được cho bởi:

:$X$n = \frac{1}{n}\sum{i=1}^n Y_i\,,

Thì khi n tiến tới vô cùng, X_n sẽ hội tụ theo nghĩa xác suất (xem dưới đây) về một trung bình chung, μ của các biến ngẫu nhiên Y_i. Kết quả này được biết như là luật số lớn (yếu). Có nhiều dạng hội tụ khác đóng vai trò quan trọng trong các định lý, trong đó có định lý giới hạn trung tâm.

Tiếp sau đây, chúng ta giả sử rằng (X_n) là một dãy biến ngẫu nhiên, và X là một biến ngẫu nhiên, tất cả đều được định nghĩa trên cùng một không gian xác suất (Ω, F, P).

Hội tụ theo phân phối (Convergence in distribution)

Giả sử F₁, F₂,... là một dãy các hàm phân phối tích lũy ứng với các biến ngẫu nhiên X₁, X₂,..., và F là hàm phân phối ứng với biến ngẫu nhiên X. Ta nói rằng dãy X_n hội tụ về X theo phân phối, nếu

::$\backslash lim\_\{n\backslash rightarrow\backslash infty\}\; F\_n(a)\; =\; F(a),$

với mọi số thực a mà tại đó F liên tục. Vì F(a) = Pr(X ≤ a), nên điều này có nghĩa là xác suất để giá trị của X nằm trong một giới hạn định sẵn gần như là bằng với xác suất để X_n cũng nằm trong giới hạn này, với n được cho đủ lớn. Sự hội tụ theo phân phối thường được ký hiệu bằng việc thêm ký tự $\backslash mathcal\; D$ phía trên mũi tên chỉ sự hội tụ: ::$X$n \, \begin{matrix} {\,}\mathcal{D} \ {\,}^{\longrightarrow} \ \quad \end{matrix} \, X.

Hội tụ theo phân phối là dạng hội tụ yếu nhất, và thường được gọi là hội tụ yếu. Một cách tổng quát thì nó không suy ra các dạng hội tụ khác. Tuy nhiên, hội tụ theo phân phối được suy ra từ tất cả các dạng hội tụ khác được đề cập trong bài viết này, và do đó, nó là dạng hội tụ chung nhất và có ích nhất của các biến ngẫu nhiên. Đây cũng là khái niệm hội tụ được dùng trong định lý giới hạn trung tâm và trong luật số lớn (yếu).

Một kết quả đáng lưu ý, được sử dụng kết hợp với luật số lớn và định lý giới hạn trung tâm, đó là nếu một hàm  g: R → R  là liên tục, và nếu  X_n  hội tụ theo phân phối về  X, thì  g(X_n)  cũng hội tụ theo phân phối về  g(X). (chứng minh bằng cách dùng định lý biểu diễn Skorokhod).

Hội tụ theo xác suất (Convergence in probability)

Dãy X_n hội tụ về X theo xác suất nếu

:$\backslash lim\_\{n\backslash rightarrow\backslash infty\}P\backslash left(\backslash left|X\_n-X\backslash right|\backslash geq\backslash varepsilon\backslash right)=0$

với mọi ε > 0. Hội tụ theo xác suất thật ra là sự hội tụ của xác suất.

Hội tụ theo xác suất được ký hiệu bằng cách thêm chữ 'P' vào phía trên mũi tên chỉ sự hội tụ over: ::$X\_n\; \backslash ,\; \backslash begin\{matrix\}\; \{\backslash ,\}\_P\; \backslash \{\backslash ,\}^\{\backslash longrightarrow\}\; \backslash \; \backslash quad\; \backslash end\{matrix\}\; \backslash ,\; X.$

Hội tụ theo xác suất cũng là khái niệm hội tụ đề cập trong luật số lớn (yếu). Hội tụ theo xác suất suy ra sự hội tụ theo phân phối. Để chứng minh điều này, ta cần chứng minh được bổ đề sau:

Bổ đề

Cho X, Y là các biến ngẫu nhiên, c là một số thực và ε > 0; khi đó

:$\backslash Pr(Y\backslash leq\; c)\backslash leq\; \backslash Pr(X\backslash leq\; c+\backslash varepsilon)+\backslash Pr(\backslash left|Y\; -\; X\backslash right|>\backslash varepsilon).$

Chứng minh bổ đề

:$\backslash Pr(Y\backslash leq\; c)=\backslash Pr(Y\backslash leq\; c,X\backslash leq\; c+\backslash varepsilon)+\backslash Pr(Y\backslash leq\; c,X>c+\backslash varepsilon)$

:

:

vì

:

Chứng minh hội tụ theo xác suất suy ra hội tụ theo phân phối

Với mọi ε > 0, từ bổ đề trên, ta có:

:$P(X\_n\backslash leq\; a)\backslash leq\; P(X\backslash leq\; a+\backslash varepsilon)+P(\backslash left|X\_n\; -\; X\backslash right|>\backslash varepsilon)$

:$P(X\backslash leq\; a-\backslash varepsilon)\backslash leq\; P(X\_n\; \backslash leq\; a)+P(\backslash left|X\_n\; -\; X\backslash right|>\backslash varepsilon)$

Vì vậy ta có

:$P(X\backslash leq\; a-\backslash varepsilon)-P(\backslash left|X\_n\; -\; X\backslash right|>\backslash varepsilon)\backslash leq\; P(X\_n\; \backslash leq\; a)\backslash leq\; P(X\backslash leq\; a+\backslash varepsilon)+P(\backslash left|X\_n\; -\; X\backslash right|>\backslash varepsilon).$

Lấy giới hạn khi $n\backslash rightarrow\backslash infty$, ta được:

:$P(X\backslash leq\; a-\backslash varepsilon)\backslash leq\; \backslash lim\_\{n\backslash rightarrow\backslash infty\}\; P(X\_n\; \backslash leq\; a)\backslash leq\; P(X\backslash leq\; a+\backslash varepsilon).$

Vì $P(X\backslash leq\; a)$ là hàm phân phối tích lũy $F\_X(a)$, theo giả thuyết là liên tục, nghĩa là

:$\backslash lim\_\{\backslash varepsilon\; \backslash rightarrow\; 0^+\}\; F$X(a-\varepsilon)=\lim{\varepsilon \rightarrow 0^+} F_X(a+\varepsilon)=F_X(a),

do đó, lấy giới hạn khi $\backslash varepsilon\; \backslash rightarrow\; 0^+$, ta được

:$\backslash lim\_\{n\backslash rightarrow\backslash infty\}\; P(X\_n\; \backslash leq\; a)=P(X\; \backslash leq\; a).$

Hội tụ hầu như chắc chắn (Almost sure convergence)

Ta nói rằng dãy X_n hội tụ hầu như chắc chắn hay hầu khắp nơi hay với xác suất 1 hay mạnh về X nếu:$P\backslash left(\backslash lim\_\{n\backslash rightarrow\backslash infty\}X\_n=X\backslash right)=1.$

Có nghĩa là bạn được đảm bảo rằng các giá trị của X_n xấp xỉ giá trị của X, theo nghĩa (xem hầu như chắc chắn) là xác suất để X_n không hội tụ về X là bằng 0. Bằng cách dùng không gian xác suất (Ω, F, P) và khái niệm biến ngẫu nhiên như là một hàm số từ Ω đến R, điều này tương đương với cách viết

:$P\backslash left(\backslash big\{\backslash omega\; \backslash in\; \backslash Omega\; \backslash ,\; |\; \backslash ,\; \backslash lim\_\{n\; \backslash to\; \backslash infty\}X\_n(\backslash omega)\; =\; X(\backslash omega)\; \backslash big\}\backslash right)\; =\; 1.$

Hội tụ hầu như chắc chắn thì suy ra hội tụ theo xác suất, và do đó cũng suy ra hội tụ theo phân phối. Nó là khái niệm hội tụ được đề cập trong luật số lớn (mạnh).

Hội tụ theo trung bình bậc r (Convergence in _r_th mean)

Ta nói rằng dãy X_n hội tụ theo trung bình bậc r hay trong không gian định chuẩn L^r về X, nếu r ≥ 1, E|X_n|^r < ∞ với mọi n, và

:$\backslash lim\_\{n\backslash rightarrow\backslash infty\}\backslash mathrm\{E\}\backslash left(\backslash left|X\_n-X\backslash right|^r\backslash right)=0$

trong đó E chỉ giá trị kỳ vọng. Hội tụ theo trung bình bậc r cho ta biết rằng kì vọng bậc r về sự khác nhau giữa X_n và X là hội tụ về 0.

Các trường hợp đặc biệt quan trọng:

• Nếu r = 1, ta nói X_n hội tụ theo trung bình về X.
• Nếu r = 2, ta nói X_n hội tụ theo trung bình bình phương (bậc 2) về X.

Hội tụ theo trung bình bậc r, với r > 0, suy ra hội tụ theo xác suất (dùng bất đẳng thức Chebyshev). Còn nếu r > s ≥ 1, thì hội tụ theo trung bình bậc r sẽ suy ra hội tụ theo trung bình bậc s. Do đó hội tụ theo trung bình bình phương dẫn đến hội tụ theo trung bình.

Các chiều suy ngược lại (Converse implications)

Trong một vài trường hợp đặc biệt ta có các chiều suy ra ngược lại như sau:

• Nếu X_n hội tụ theo phân phối về một hằng số c, thì X_n hội tụ theo xác suất về c.
• Nếu X_n hội tụ theo xác suất về X, và nếu Pr(|X_n| ≤ b) = 1 với mọi n và với 1 b nào đó, thì X_n hội tụ trung bình bậc r về X với mọi r ≥ 1. Nói cách khác, nếu X_n hội tụ theo xác suất về X và mọi biến ngẫu nhiên X_n là hầu như bị chạn trên và dưới, khi đó X_n hội tụ theo trung bình bậc bất kỳ r về X.
• Nếu với mọi ε > 0,

::

:thì X_n hội tụ hầu như chắc chắn về X. Nói cách khác, nếu X_n hội tụ theo xác suất về X đủ nhanh (nghĩa là tổng trên hội tụ với mọi ε > 0), thì X_n cũng hội tụ hầu như chắc chắn về X. Điều này được suy ra trực tiếp từ Bổ đề Borel-Cantelli.

• Nếu S_n là tổng của n biến ngẫu nhiên thực độc lập:

::$S\_n\; =\; X\_1+\backslash cdots+X\_n$

:thì S_n hội tụ hầu như chắc chắn nếu và chỉ nếu S_n hội tụ theo xác suất.