\; \exp\left(-\frac{\left(x-\mu\right)^2}{2\sigma^2} \right) !| cdf =$\backslash frac12\; \backslash left(1\; +\; \backslash mathrm\{erf\}\backslash ,\backslash frac\{x-\backslash mu\}\{\backslash sigma\backslash sqrt2\}\backslash right)\; !$| mean =$\backslash mu$| median =$\backslash mu$| mode =$\backslash mu$| variance =$\backslash sigma^2$| skewness = 0| kurtosis = $0$| entropy =$\backslash ln\backslash left(\backslash sigma\backslash sqrt\{2\backslash ,\backslash pi\backslash ,e\}\backslash right)!$| mgf =$M\_X(t)=\; \backslash exp\backslash left(\backslash mu\backslash ,t+\backslash frac\{\backslash sigma^2\; t^2\}\{2\}\backslash right)$| char =$\backslash phi\_X(t)=\backslash exp\backslash left(\backslash mu\backslash ,i\backslash ,t-\backslash frac\{\backslash sigma^2\; t^2\}\{2\}\backslash right)$|

Phân phối chuẩn (Tiếng Anh: normal distribution) còn gọi là phân phối Gauss hay (Hình chuông Gauss), là một phân phối xác suất cực kì quan trọng trong nhiều lĩnh vực. Nó là họ phân phối có dạng tổng quát giống nhau, chỉ khác tham số vị trí (giá trị trung bình μ) và tỉ lệ (phương sai σ²).

Phân phối chuẩn tắc (standard normal distribution) là phân phối chuẩn với giá trị trung bình (μ) bằng 0 và độ lệch chuẩn (σ) bằng 1. Phân phối chuẩn còn được gọi là đường cong chuông (bell curve) vì đồ thị của mật độ xác suất có dạng chuông.

Lịch sử

Abraham de Moivre là người đầu tiên đưa ra phân phối chuẩn trong bài báo năm 1734 (được in lại trong ấn bản lần 2 The Doctrine of Chances, 1738) khi muốn xấp xỉ một phân phối nhị thức với n lớn. Kết quả được mở rộng bởi Laplace trong cuốn sách Analytical Theory of Probabilities (1812), và bây giờ gọi là định lý Moivre-Laplace.

Laplace dùng phân phối chuẩn để phân tích sai số của các thử nghiệm. Phương pháp quan trọng bình phương tối thiểu được Legendre đưa ra năm 1805. Năm 1809, Gauss, người tuyên bố đã từng sử dụng phương pháp này từ năm 1794, đã chứng minh phương pháp này bằng cách giả thiết rằng các sai số có phân phối chuẩn.

Tên gọi "đường cong chuông" do Jouffret, người đầu tiên dùng thuật ngữ "bề mặt hình chuông" năm 1872 cho phân phối chuẩn hai chiều với các thành phần độc lập. Tên gọi "phân phối chuẩn" được tạo ra bởi Charles S. Peirce, Francis Galton và Wilhelm Lexis khoảng năm 1875.

Đặc tính của phân phối chuẩn

Có nhiều cách để thể hiện các đặc tính của một phân phối xác suất. Cách dễ thấy nhất là thông qua hàm mật độ xác suất (vẽ ở hình đầu tiên), nó cho biết khả năng xảy ra của mỗi giá trị của biến ngẫu nhiên. Hàm phân phối tích lũy cũng cho cùng thông tin, nhưng hình ảnh của nó thì thông tin chứa đựng không được dễ nhận thấy cho lắm (hình đi sau). Cách tương đương khi chỉ định một phân phối chuẩn là thông qua: mômen, ước lượng, hàm đặc trưng, hàm khởi tạo mômen, và hàm khởi tạo ước lượng và định lý Maxwell. Một số rất hữu ích về mặt lý thuyết, nhưng không trực quan. Xem phân phối xác suất.

Mọi ước lượng của phân phối chuẩn đều bằng 0, ngoại trừ hai cái đầu tiên.

Hàm mật độ xác suất

nhỏ|Hàm mật độ xác suất của 4 tập tham số khác nhau (đường đỏ là phân phối chuẩn tắcf)

Hàm mật độ xác suất của phân phối chuẩn với trung bình $\backslash mu$ và phương sai $\backslash sigma^2$ (hay, độ lệch chuẩn $\backslash sigma$) là một ví dụ của một hàm Gauss,

$f(x;\backslash mu,\backslash sigma)\; =\; \backslash frac\{1\}\{\backslash sigma\backslash sqrt\{2\backslash pi\; \backslash ,\; \backslash exp\; \backslash left(-\backslash frac\{(x-\; \backslash mu)^2\}\{2\backslash sigma^2\}\; \backslash right).$

(Xem thêm hàm lũy thừa và pi.)

Nếu một biến ngẫu nhiên $X$ có phân phối này, ta ký hiệu là $X$ ~ $N(\backslash mu,\; \backslash sigma^2)$. Nếu $\backslash mu\; =\; 0$ và $\backslash sigma\; =\; 1$, phân phối được gọi là phân phối chuẩn tắc và hàm mật độ xác suất rút gọn thành :$f(x)\; =\; \backslash frac\{1\}\{\backslash sqrt\{2\backslash pi\; \backslash ,\; \backslash exp\backslash left(-\backslash frac\{x^2\}\{2\}\; \backslash right).$

Hình ảnh bên phải cho thấy hàm mật độ xác suất cho phân phối chuẩn với các tham số khác nhau.

Một số tính chất với phân phối chuẩn:

• Hàm mật độ là đối xứng qua giá trị trung bình (giá trị kì vọng).
• Giá trị trung bình cũng là mode và trung vị của nó.
• 68.26894921371% của diện tích dưới đường cong là nằm trong khoảng 1 lần độ lệch chuẩn tính từ trị trung bình (tức là khoảng $(\backslash mu\; -\; \backslash sigma;\backslash mu\; +\; \backslash sigma)$).
• 95.44997361036% của diện tích dưới đường cong là nằm trong khoảng 2 lần độ lệch chuẩn $(\backslash mu\; -\; 2\backslash sigma;\backslash mu\; +\; 2\backslash sigma)$.
• 99.73002039367% của diện tích dưới đường cong là nằm trong khoảng 3 lần độ lệch chuẩn $(\backslash mu\; -\; 3\backslash sigma;\backslash mu\; +\; 3\backslash sigma)$.
• 99.99366575163% của diện tích dưới đường cong là nằm trong khoảng 4 lần độ lệch chuẩn $(\backslash mu\; -\; 4\backslash sigma;\backslash mu\; +\; 4\backslash sigma)$.
• 99.99994266969% của diện tích dưới đường cong là nằm trong khoảng 5 lần độ lệch chuẩn $(\backslash mu\; -\; 5\backslash sigma;\backslash mu\; +\; 5\backslash sigma)$.
• 99.99999980268% của diện tích dưới đường cong là nằm trong khoảng 6 lần độ lệch chuẩn $(\backslash mu\; -\; 6\backslash sigma;\backslash mu\; +\; 6\backslash sigma)$.
• 99.99999999974% của diện tích dưới đường cong là nằm trong khoảng 7 lần độ lệch chuẩn $(\backslash mu\; -\; 7\backslash sigma;\backslash mu\; +\; 7\backslash sigma)$.

Điểm uốn của đường cong xảy ra tại độ lệch chuẩn 1 tính từ trị trung bình.

Tích phân

Diện tích dưới đường cong phân phối chuẩn phải bằng 1. Tiếp theo là chứng minh:

Đặt $I=\backslash int\backslash limits${-\infty}^{\infty} e^\frac{-x^2}{2} dx, Thì ta có $I^2=(\backslash int\backslash limits${-\infty}^{\infty} e^\frac{-x^2}{2} dx)(\int\limits{-\infty}^{\infty} e^\frac{-y^2}{2} dy)=\int\limits{-\infty}^{\infty}\int\limits_{-\infty}^{\infty} e^{-\frac{x^2+y^2}{2 dxdy.

để áp dùng biến đổi Hệ tọa độ cực, đặt $x=r\backslash cos\backslash theta,\; y=r\backslash sin\backslash theta$ lại. Ta có với Ma trận Jacobi.

Mà Định thức Jacobi $J=\backslash begin\{bmatrix\}\; \backslash frac\{\backslash partial(x,y)\}\{\backslash partial(r,\backslash theta)\}\; \backslash end\{bmatrix\}$, Ta có . nên $I^2=\backslash int\backslash limits${-\infty}^{\infty}\int\limits{-\infty}^{\infty} e^{-\frac{x^2+y^2}{2 dxdy = \int\limits{0}^{2\pi}\int\limits{0}^{\infty} e^{-\frac{r^2}{2 rdrd\theta.

Vậy $I^2=\; \backslash int\backslash limits${0}^{2\pi}\int\limits{0}^{\infty} e^{-\frac{r^2}{2 rdrd\theta = \int\limits{0}^{2\pi} [ -e^{-\frac{r^2}{2]{0}^{\infty} d\theta = \int\limits_{0}^{2\pi} 1 d\theta = 2\pi , ta có $I=\backslash sqrt\{2\backslash pi\}.$

Hàm phân phối tích lũy

nhỏ|Hàm phân phối tích lũy tương ứng với các hàm mật độ ở trên

Hàm phân phối tích lũy (cdf) chính là xác suất để một biến $X$ có giá trị nhỏ hơn hay bằng $x$, và nó được biểu diễn dưới dạng hàm mật độ sau:

:$F(x;\backslash mu,\backslash sigma)$

\frac{1}{\sigma\sqrt{2\pi \int_{-\infty}^x \exp \left(-\frac{(u - \mu)^2}{2\sigma^2} \ \right)\, du.

Hàm cdf chuẩn tắc, qui ước viết là $\backslash Phi$, chỉ là từ dạng cdf tổng quát và được tính với $\backslash mu=0$ và $\backslash sigma=1$,

:$\backslash Phi(x)\; =F(x;0,1)=\; \backslash frac\{1\}\{\backslash sqrt\{2\backslash pi\; \backslash int\_\{-\backslash infty\}^x\; \backslash exp\backslash left(-\backslash frac\{u^2\}\{2\}\backslash right)\; \backslash ,\; du.$

Hàm cdf chuẩn hóa có thể được biểu diễn dưới dạng một hàm đặc biệt gọi là hàm sai số, như sau

:$\backslash Phi(z)$

\frac{1}{2} \left[ 1 + \operatorname{erf} \left(\frac{z}{\sqrt{2 \right) \right] .

Hàm cdf nghịch đảo, hay hàm "quantile", có thể được biểu dưới dạng nghịch đảo của hàm sai số:

:$\backslash Phi^\{-1\}(p)$

\sqrt2 \; \operatorname{erf}^{-1} \left(2p - 1 \right) .

Hàm "quantile" này đôi khi còn gọi là hàm "probit". Hàm "probit" không có nguyên hàm sơ cấp. Không có ở đây không phải là không tìm thấy, mà nghĩa là người ta chứng minh rằng không tồn tại một nguyên hàm như vậy.

Đôi khi cần tính:$\backslash Phi^\{-1\}(p)$ với số chữ số thập phân nhỏ bằng phương pháp:

Ví dụ: Tính $\backslash Phi^\{-1\}(0.2)$ với 4 chữ số thập phân:

Ta có: . Nhớ tạm 0.5

Tiếp tục: . Nhớ tạm 0.52

Tiếp tục: . Nhớ tạm 0.524

Cuối cùng:

Kết quả: $\backslash Phi^\{-1\}(0.2)\; =\; 0.5244$

Giá trị của hàm Φ(x) có thể xấp xỉ một cách chính xác bằng nhiều phương pháp khác nhau, như tích phân số, chuỗi Taylor, hay chuỗi tiệm cận.

Hàm khởi tạo

Hàm khởi tạo Mômen

Hàm khởi tạo mômen được định nghĩa là giá trị kỳ vọng của

$\backslash exp(tX)$. Với phân phối chuẩn, hàm được viết thành

:

và có thể thấy bằng cách khai triển biểu thức trong ngoặc thành bình phương đúng.

Hàm đặc trưng

Hàm đặc trưng được định nghĩa là giá trị kì vọng của

$\backslash exp\; (i\; t\; X)$, với $i$ là phần ảo đơn vị. Với phân phối chuẩn, hàm đặc trưng được viết thành : Hàm đặc trưng được tính bằng cách thay thế $t$ cho $i\; t$ trong hàm khởi tạo mômen.

Tính chất

Một số tính chất của phân phối chuẩn:

Nếu $X\; \backslash sim\; N(\backslash mu,\; \backslash sigma^2)$ và $a$ và $b$ là các số thực, thì $a\; X\; +\; b\; \backslash sim\; N(a\; \backslash mu\; +\; b,\; (a\; \backslash sigma)^2)$ (xem giá trị kì vọng và phương sai).

Nếu $X\; \backslash sim\; N(\backslash mu\_X,\; \backslash sigma^2\_X)$ và $Y\; \backslash sim\; N(\backslash mu\_Y,\; \backslash sigma^2\_Y)$ là các biến ngẫu nhiên chuẩn độc lập, thì:

* Tổng của chúng là có phân phối chuẩn với $U\; =\; X\; +\; Y\; \backslash sim\; N(\backslash mu\_X\; +\; \backslash mu\_Y,\; \backslash sigma^2\_X\; +\; \backslash sigma^2\_Y)$ (proof).

* Hiệu của chúng là có phân phối chuẩn với $V\; =\; X\; -\; Y\; \backslash sim\; N(\backslash mu\_X\; -\; \backslash mu\_Y,\; \backslash sigma^2\_X\; +\; \backslash sigma^2\_Y)$.

* Cả hai $U$ và $V$ là độc lập với nhau.

Nếu $X\; \backslash sim\; N(0,\; \backslash sigma^2\_X)$ và $Y\; \backslash sim\; N(0,\; \backslash sigma^2\_Y)$ là các biến ngẫu nhiên chuẩn độc lập, thì:

* Tích của chúng $X\; Y$ tuân theo phân phối với hàm mật độ $p$ cho bởi

*: $p(z)\; =\; \backslash frac\{1\}\{\backslash pi\backslash ,\backslash sigma\_X\backslash ,\backslash sigma\_Y\}\; \backslash ;\; K\_0\backslash left(\backslash frac\{\backslash sigma\_X\backslash ,\backslash sigma\_Y\}\backslash right),$ với $K\_0$ là hàm Bessel được chỉnh sửa loại 2.

* Tỉ số giữa chúng tuân theo phân phối Cauchy với $X/Y\; \backslash sim\; \backslash mathrm\{Cauchy\}(0,\; \backslash sigma\_X/\backslash sigma\_Y)$.

Nếu $X\_1,\; \backslash cdots,\; X\_n$ là các biến ngẫu nhiên chuẩn tắc độc lập, thì $X\_1^2\; +\; \backslash cdots\; +\; X\_n^2$ có phân phối chi-bình phương với n bậc tự do.

Chuẩn hóa biến ngẫu nhiên có phân phối chuẩn

Một hệ quả của Tính chất 1 là ta có thể quy mọi biến ngẫu nhiên phân phối chuẩn về dạng phân phối chuẩn tắc.

Nếu $X$ ~ $N(\backslash mu,\; \backslash sigma^2)$, thì

:$Z\; =\; \backslash frac\{X\; -\; \backslash mu\}\{\backslash sigma\}\; !$

là một biến có phân phối chuẩn tắc: $Z$ ~ $N(0,1)$. Từ đó lại dẫn đến một hệ quả quan trọng là hàm phân phối tích lũy của một phân phối chuẩn nói chung sẽ là:

$\backslash Pr(X\; \backslash le\; x)\; =\; \backslash Phi\; \backslash left(\; \backslash frac\{x-\backslash mu\}\{\backslash sigma\}\; \backslash right)\; =\; \backslash frac\{1\}\{2\}\; \backslash left(\; 1\; +\; \backslash operatorname\{erf\}\; \backslash left(\; \backslash frac\{x-\backslash mu\}\{\backslash sigma\backslash sqrt\{2\; \backslash right)\; \backslash right)\; .$

Ngược lại, nếu $Z$ ~ $N(0,1)$, thì

:$X\; =\; \backslash sigma\; Z\; +\; \backslash mu$

là một biến ngẫu nhiên có phân phối chuẩn với trị trung bình $\backslash mu$ và phương sai $\backslash sigma^2$.

Giá trị của phân phối chuẩn hóa đã được lập thành bảng, và các phân phối chuẩn khác đều là các dạng biến đổi đơn giản từ phân phối chuẩn hóa. Do đó, có thể tra bảng giá trị phân phối tích lũy của hàm phân phối chuẩn hóa để tính các giá trị phân phối tích lũy của phân phối chuẩn.

Mô-men

Một số mô-men bậc nhỏ của phân phối chuẩn:

Mọi ước lượng của phân phối chuẩn lớn hơn bậc hai đều bằng zero.

Khởi tạo biến ngẫu nhiên có phân phối chuẩn

Khi mô phỏng bằng máy tính, người ta thường khởi tạo các giá trị số có phân phối chuẩn. Có nhiều cách và cách đơn giản nhất là chuyển ngược bằng hàm phân phối tích lũy chuẩn tắc. Có nhiều phương pháp hiệu quả được dùng đến, một trong chúng là biến đổi Box-Muller.

Biến đổi Box-Muller nhận hai giá trị có phân phối đều làm đầu vào và ánh xạ chúng thành giá trị có phân phối chuẩn. Phương pháp này đòi hỏi phải khởi tạo giá trị từ phân phối đều, và có nhiều phương pháp như vậy. Xem thêm khởi tạo số ngẫu nhiên.

Biến đổi Box-Muller là dựa vào: phân phối chi-bình phương với hai bậc tự do (xem tính chất 4 ở trên) là một biến ngẫu nhiên lũy thừa có thể khởi tạo dễ dàng.

Định lý giới hạn trung tâm

nhỏ|Đồ thị hàm mật độ xác suất của một phân phối chuẩn với μ = 12 và σ = 3, xấp xỉ hàm khối xác suất (pmf) của một phân phối nhị thức với n = 48 và p = 1/4

Phân phối chuẩn có một tính chất rất quan trọng là trong một số trường hợp nhất định, phân phối của tổng rất nhiều biến ngẫu nhiên độc lập sẽ có phân phối xấp xỉ chuẩn.

Đây là định lý giới hạn trung tâm.

Tầm quan trọng thực tiễn của định lý giới hạn trung tâm là phân phối chuẩn có thể được sử dụng như một xấp xỉ cho một số dạng phân phối khác.

• Một phân phối nhị thức với các tham số $n$ và $p$ được xấp xỉ chuẩn hóa đối với các giá trị lớn của $n$ và $p$ không quá gần 1 hoặc 0 (một số sách đề nghị sử dụng phép xấp xỉ này chỉ khi $n\; p$ và $n(1\; -\; p)$ đều lớn hơn hoặc bằng 5. Trong trường hợp này, cần phải hiệu chỉnh tính liên tục.
• Một phân phối Poisson với tham số $\backslash lambda$ được xấp xỉ chuẩn hóa đối với giá trị $\backslash lambda$ lớn. Phân phối chuẩn được xấp xỉ có trị trung bình $\backslash mu\; =\; \backslash lambda$ và phương sai $\backslash sigma^2\; =\; \backslash lambda$.

Việc các phép xấp xỉ trên đây có đạt được đủ độ chính xác hay không còn tùy thuộc vào mục đích sử dụng chúng và tốc độ hội tụ về phân phối chuẩn. Thường trong những trường hợp nói trên, độ kém chính xác sẽ xảy ra ở đuôi của đường phân phối.

Khả năng phân chia vô hạn

Phân phối chuẩn có khả năng phân chia vô hạn.

Độ ổn định

Phân phối chuẩn là phân phối xác suất ổn định.

Độ lệch chuẩn

Phần diện tích màu xanh lam thuộc phạm vi một [[độ lệch chuẩn từ trị trung bình. Đối với phân phối chuẩn, nó chiếm 68% toàn bộ tổng thể trong khi đó phần diện tích nằm trong khoảng 2 lần độ lệch chuẩn (màu xanh và nâu) chiếm 95% và 3 lần độ lệch chuẩn (xanh lam, nâu, lá cây) chiếm 99.7%.]]

Trong thực nghiệm, ta thường giả thiết rằng dữ liệu lấy từ tổng thể có dang phân phối xấp xỉ chuẩn. Nếu giả thiết này được kiểm chứng thì có khoảng 68% số giá trị nằm trong khoảng 1 độ lệch chuẩn so với trị trung bình, khoảng 95% số giá trị trong khoảng hai lần độ lệch chuẩn và khoảng 99.7% nằm trong khoảng 3 lần độ lệch chuẩn. Đó là "quy luật 68-95-99.7" hoặc quy tắc kinh nghiệm.

Kiểm định giả thiết về phân phối chuẩn

Phép kiểm định cho ta biết một bộ số liệu cho trước có dạng phân phối tương tự phân phối chuẩn hay không. Giả thiết không là số liệu giống dạng phân phối chuẩn, do đó một giá trị P đủ nhỏ sẽ chứng tỏ dữ liệu không có phân phối chuẩn.

• Phép kiểm định Kolmogorov-Smirnov
• Phép kiểm định Lilliefors
• Phép kiểm định Anderson-Darling
• Phép kiểm định Ryan-Joiner
• Phép kiểm định Sapiro-Wilk
• Đường cong phân phối chuẩn (rankit plot)
• Phép kiểm định Jarque-Bera

Các phân phối liên quan

• $R\; \backslash sim\; \backslash mathrm\{Rayleigh\}(\backslash sigma^2)$ là một phân phối Rayleigh nếu $R\; =\; \backslash sqrt\{X^2\; +\; Y^2\}$ với $X\; \backslash sim\; N(0,\; \backslash sigma^2)$ và $Y\; \backslash sim\; N(0,\; \backslash sigma^2)$ là 2 phân phối chuẩn độc lập.
• $Y\; \backslash sim\; \backslash chi\_\{\backslash nu\}^2$ là một phân phối khi-bình phương với $\backslash nu$ bậc tự do nếu $Y\; =\; \backslash sum\_\{k=1\}^\{\backslash nu\}\; X\_k^2$ với $X\_k\; \backslash sim\; N(0,1)$ cho $k=0,1,\backslash cdots,\backslash nu$ và là độc lập
• $Y\; \backslash sim\; \backslash mathrm\{Cauchy\}(\backslash mu\; =\; 0,\; \backslash theta\; =\; 1)$ là một phân phối Cauchy nếu $Y\; =\; X\_1/X\_2$ và $X\_1\; \backslash sim\; N(0,1)$ và $X\_2\; \backslash sim\; N(0,1)$ là 2 phân phối chuẩn độc lập.
• $Y\; \backslash sim\; \backslash mbox\{Log-N\}(\backslash mu,\; \backslash sigma^2)$ là một phân phối log-normal nếu $Y\; =\; \backslash exp(X)$ and $X\; \backslash sim\; N(\backslash mu,\; \backslash sigma^2)$.
• Liên quan đến phân phối Lévy skew alpha-stable: nếu $X\backslash sim\; \backslash textrm\{Levy-S\}\backslash alpha\backslash textrm\{S\}(2,\backslash beta,\backslash sigma/\backslash sqrt\{2\},\backslash mu)$ thì $X\; \backslash sim\; N(\backslash mu,\backslash sigma^2)$.
• Phân phối chuẩn rút gọn. Nếu, $X\; \backslash sim\; N(\backslash mu,\; \backslash sigma^2)$ thì, việc rút gọn dưới tại $A$ và trên tại $B$ sẽ dẫn đến một biến ngẫu nhiên với mean $E(X)=\backslash mu\; +\; \backslash frac\{\backslash sigma(\backslash phi\_1-\backslash phi\_2)\}\{T\}$, trong đó $T=\backslash Phi\backslash left(\backslash frac\{B-\backslash mu\}\{\backslash sigma\}\backslash right)-\backslash Phi\backslash left(\backslash frac\{A-\backslash mu\}\{\backslash sigma\}\backslash right)$ và $\backslash phi\_1=f\backslash left(\backslash frac\{A-\backslash mu\}\{\backslash sigma\}\backslash right)$ và $\backslash phi\_2=f\backslash left(\backslash frac\{B-\backslash mu\}\{\backslash sigma\}\backslash right)$, trong đó $f(\backslash cdot)$ là hàm mật độ xác suất của biến ngẫu nhiên chuẩn tắc.

Ước lượng tham số

Ước lượng hợp lý cực đại của các tham số

Giả sử

:$X\_1,\backslash dots,X\_n$

độc lập thống kê và mỗi biến đều có phân phối chuẩn với kì vọng μ và phương sai σ². Theo ngôn ngữ thống kê, các giá trị quan trắc của các biến ngẫu nhiên này tạo thành một "mẫu từ tổng thể có phân phối chuẩn". Ta cần ước lượng "trị trung bình của tổng thể μ và độ lệch chuẩn của tổng thể σ, dựa trên các giá trị quan sát được của mẫu. Hàm mật độ xác suất liên hiệp của các biến ngẫu nhiên này là:

:$f(x\_1,\backslash dots,x$n;\mu,\sigma) \propto \sigma^{-n} \prod{i=1}^n \exp\left({-1 \over 2} \left({x_i-\mu \over \sigma}\right)^2\right).

(Chú ý: Ở đây ký hiệu tỉ lệ $\backslash propto$ có nghĩa là tỉ lệ như một hàm của $\backslash mu$ và $\backslash sigma$, chứ không phải tỉ lệ như một hàm của $x\_1,\backslash dots,x\_n$. Điểu này có thể xem như là điểm khác biệt giữa quan điểm của các nhà thống kê và nhà xác suất. Lý do về tầm quan trọng của điểm khác nhau này sẽ được đề cập dưới đây.)

Hàm hợp lý - một hàm của μ và σ là

:$L(\backslash mu,\backslash sigma)\; \backslash propto\; \backslash sigma^\{-n\}\; \backslash exp\backslash left(\{-\backslash sum\_\{i=1\}^n\; (x\_i-\backslash mu)^2\; \backslash over\; 2\backslash sigma^2\}\backslash right).$

Trong phương pháp hợp lý cực đại, các giá trị của μ và σ làm cho hàm hợp lý đạt cực đại sẽ cho ta các giá trị của ước lượng các thông số μ và σ của tổng thể.

Thông thường trong khi cực đại hóa một hàm 2 biến ta có thể xét các đạo hàm riêng. Nhưng ở đây ta sẽ khai thác một đặc điểm là giá trị của μ làm cực đại hóa hàm hợp ký với σ là cố định, không phụ thuộc vào σ. Do đó, ta có thể tìm giá trị của μ, sau đó thay thế nó vào trong phương trình hợp lý, để cuối cùng thu được giá trị của σ làm cực đại biểu thức tìm được.

Rõ ràng là hàm hợp ký là một hàm giảm của tổng

:$\backslash sum\_\{i=1\}^n\; (x\_i-\backslash mu)^2.\; \backslash ,!$

Do đó ta muốn giá trị của μ làm cực tiểu hóa tổng này. Đặt:

:$\backslash overline\{x\}=(x\_1+\backslash cdots+x\_n)/n$

là "trị trung bình mẫu". Nhận thấy

:$\backslash sum\_\{i=1\}^n\; (x$i-\mu)^2=\sum{i=1}^n((x_i-\overline{x})+(\overline{x}-\mu))^2

:$=\backslash sum\_\{i=1\}^n(x$i-\overline{x})^2 + 2\sum{i=1}^n (xi-\overline{x})(\overline{x}-\mu) + \sum{i=1}^n (\overline{x}-\mu)^2

:$=\backslash sum\_\{i=1\}^n(x\_i-\backslash overline\{x\})^2\; +\; 0\; +\; n(\backslash overline\{x\}-\backslash mu)^2.$

Chỉ có số hạng cuối phụ thuộc vào μ và nó được cực tiểu hóa bằng

:$\backslash widehat\{\backslash mu\}=\backslash overline\{x\}.$

Đó là ước lượng hợp lý cực đại của μ. Khi ta thay thế giá trị này cho μ trong hàm hợp lý, ta nhận được:

:$L(\backslash overline\{x\},\backslash sigma)\; \backslash propto\; \backslash sigma^\{-n\}\; \backslash exp\backslash left(\{-\backslash sum\_\{i=1\}^n\; (x\_i-\backslash overline\{x\})^2\; \backslash over\; 2\backslash sigma^2\}\backslash right).$

Ta quy ước ký hiệu hàm "log hợp lý", nghĩa là, logarit của hàm hợp lý, bằng một chữ $\backslash ell$ thường, và ta có

:$\backslash ell(\backslash widehat\{\backslash mu\},\backslash sigma)=[\backslash mathrm\{constant\}]-n\backslash log(\backslash sigma)-\{\backslash sum\_\{i=1\}^n(x\_i-\backslash overline\{x\})^2\; \backslash over\; 2\backslash sigma^2\}$

và sau đó

:$\{\backslash partial\; \backslash over\; \backslash partial\backslash sigma\}\backslash ell(\backslash widehat\{\backslash mu\},\backslash sigma)\; =\{-n\; \backslash over\; \backslash sigma\}\; +\{\backslash sum\_\{i=1\}^n\; (x$i-\overline{x})^2 \over \sigma^3} ={-n \over \sigma^3}\left(\sigma^2-{1 \over n}\sum{i=1}^n (x_i-\overline{x})^2 \right).

Đạo hàm này dương, bằng 0, hoặc âm tùy thuộc vào σ² nằm giữa 0 và

:$\{1\; \backslash over\; n\}\backslash sum\_\{i=1\}^n(x\_i-\backslash overline\{x\})^2,$

hoặc bằng đại lượng đó, hoặc lớn hơn đại lượng đó.

Kết quả là trị trung bình của bình phương các sai số là một ước lượng hợp lý cực đại của σ², và căn bậc hai của nó là ước lượng hợp lý cực đại của σ. Ước lượng này là một ước lượng chệch, nhưng có một sai số căn quân phương nhỏ hơn so với ước lượng không chệch, vốn là n/(n − 1) lần ước lượng trên.

Điều khái quát gây ngạc nhiên

Đạo hàm của ước lượng hợp lý cực đại của ma trận hiệp phương sai của một phân phối đa biến chuẩn rất khó nhận ra. Nó liên quan đến định lý phổ và lý do có thể coi một đại lượng vô hướng như là vết của ma trận 1×1 hơn là chỉ một biến vô hướng. Xem thêm cách xác định các ma trận hiệp phương sai.

Ước lượng không chệch của các tham số

Ước lượng hợp lý cực đại cho tổng thể đồng nghĩa với việc $\backslash mu$ của một mẫu là một ước lượng không chệch của trị trung bình, và phương sai cũng vậy. Tuy nhiên điều đó chỉ có được khi trị trung bình của tổng thể đã được biết trước. Thực tế ta chỉ có một mẫu lấy từ tổng thể, và không hề có thông tin gì về trị trung bình cũng như phương sai của tổng thể. Trường hợp này ước lượng không chệch của phương sai $\backslash sigma^2$ là:

:$S^2\; =\; \backslash frac\{1\}\{n-1\}\; \backslash sum\_\{i=1\}^n\; (X\_i\; -\; \backslash overline\{X\})^2.$

"Phương sai mẫu" này tuân theo phân phối Gamma nếu như tất cả các biến ngẫu nhiên X đều có dạng phân phối giống nhau và độc lập với nhau:

:$S^2\; \backslash sim\; \backslash operatorname\{Gamma\}\backslash left(\backslash frac\{n-1\}\{2\},\backslash frac\{2\; \backslash sigma^2\}\{n-1\}\backslash right).$