✨Định lý Bayes

nhỏ|Định lý Bayes được viết lên bằng đèn neon xanh tại văn phòng của Autonomy ở Cambridge. Định lý Bayes (Tiếng Anh: Bayes theorem) là một kết quả của lý thuyết xác suất. Nó phản ánh mối quan hệ giữa xác suất của một biến cố mà không quan tâm các yếu tố khác (gọi là xác suất biên hay xác suất tiền nghiệm) với xác suất của biến cố đó sau khi một biến cố khác đã xảy ra (gọi là xác suất có điều kiện hay xác suất hậu nghiệm). Cụ thể hơn, nó đề cập đến phân bố xác suất có điều kiện của biến ngẫu nhiên A, với giả thiết:

• thông tin về một biến khác B: phân bố xác suất có điều kiện của B khi biết A, và
• phân bố xác suất của một mình A. Định lý Bayes là một khái niệm đặt nền tảng cho thống kê Bayes, một trường phái suy luận thống kê dựa trên bằng chứng và niềm tin và tồn tại song song với trường phái suy luận thống kê mẫu lặp (frequentist). Trong suy luận Bayes, xác suất được coi là một phép đo về niềm tin vào khả năng xảy ra một sự kiện, và được cập nhật liên tục mỗi khi quan sát được một bằng chứng (hay một điểm dữ liệu) mới.

Phát biểu định lý

Định lý Bayes cho phép tính xác suất xảy ra của một sự kiện ngẫu nhiên A khi biết sự kiện liên quan B đã xảy ra. Xác suất này được ký hiệu là P(A|B), và đọc là "xác suất của A nếu có B". Đại lượng này được gọi là xác suất có điều kiện hay xác suất hậu nghiệm vì nó được rút ra từ giá trị được cho của B hoặc phụ thuộc vào giá trị đó.

Theo định lý Bayes, xác suất xảy ra A khi biết B sẽ phụ thuộc vào 3 yếu tố:

• Xác suất xảy ra A của riêng nó, không quan tâm đến B. Ký hiệu là P(A) và đọc là xác suất của A. Đây được gọi là xác suất biên duyên hay xác suất tiên nghiệm, nó là "tiên nghiệm" theo nghĩa rằng nó không quan tâm đến bất kỳ thông tin nào về B.
• Xác suất xảy ra B của riêng nó, không quan tâm đến A. Ký hiệu là P(B) và đọc là "xác suất của B". Đại lượng này còn gọi là hằng số chuẩn hóa (normalising constant), vì nó luôn giống nhau, không phụ thuộc vào sự kiện A đang muốn biết.
• Xác suất xảy ra B khi biết A xảy ra. Ký hiệu là P(B|A) và đọc là "xác suất của B nếu có A". Đại lượng này gọi là khả năng (likelihood) xảy ra B khi biết A đã xảy ra. Chú ý không nhầm lẫn giữa khả năng xảy ra B khi biết A và xác suất xảy ra A khi biết B.

Khi biết ba đại lượng này, xác suất của A khi biết B cho bởi công thức: :$P(A|B)\; =\; \backslash frac\{P(B\; |\; A)\; P(A)\}\{P(B)\}\; =\; \backslash frac\{likelihood\; *\; prior\}\{normalizing\_constant\}$

Từ đó dẫn tới

:$P(A|B)\; P(B)\; =\; P(A\; \backslash cap\; B)\; =\; P(B|A)\; P(A)\backslash ,$

Các dạng khác của định lý Bayes

Định lý Bayes thường cũng thường được viết dưới dạng

:$P(B)\; =\; P(A,\; B)\; +\; P(A^C,\; B)\; =\; P(B|A)\; P(A)\; +\; P(B|A^C)\; P(A^C)\backslash ,$

hay

:$P(A|B)\; =\; \backslash frac\{P(B\; |\; A)\; P(A)\}\{P(B|A)P(A)\; +\; P(B|A^C)P(A^C)\}\backslash ,,$

trong đó A^C là biến cố bù của biến cố A (thường được gọi là "không A"). Tổng quát hơn, với {A_i} tạo thành một phân hoạch của không gian các biến cố,

:$P(A\_i|B)\; =\; \backslash frac\{P(B\; |\; A\_i)\; P(A\_i)\}\{\backslash sum\_j\; P(B|A\_j)P(A\_j)\}\backslash ,,$

với mọi A_i trong phân hoạch.

Công thức này còn được biết dưới tên công thức xác suất đầy đủ.

Định lý Bayes với hàm mật độ xác suất

Cũng có một dạng của định lý Bayes cho các phân bố liên tục. Đối với chúng, thay cho các xác suất trong định lý Bayes ta dùng hàm mật độ xác suất. Như vậy ta có các công thức tương tự định nghĩa xác suất điều kiện:

:$f(x|y)\; =\; \backslash frac\{f(y|x)\backslash ,f(x)\}\{f(y)\}$

và công thức tương tự công thức xác suất đầy đủ:

:$f(x|y)\; =\; \backslash frac\{f(y|x)\backslash ,f(x)\}\{\backslash int\_\{-\backslash infty\}^\{\backslash infty\}\; f(y|x\text{'})\backslash ,f(x\text{'})\backslash ,dx\text{'}\}.$

Ý nghĩa của các thành phần trong các công thức trên là f(x, y) là mật độ phân phối của phân phối đồng thời của các biến ngẫu nhiên X và Y, f(x|y) là mật độ phân phối xác suất hậu nghiệm của X với điều kiện Y=y, f(y|x) = L(x|y) là (một hàm của x) hàm khả năng của X với điều kiện Y=y, và f(x) và f(y) là các mật độ phân phối của X và Y tách biệt nhau, với f(x) là mật độ phân phối tiền nghiệm của X.

Điều kiện mặc định trong các công thức là hàm f khả vi và các tích phân công thức tồn tại.

Ứng dụng của định lý Bayes thường dựa trên một giả thiết có tính triết học Bayesian probability ngầm định rằng độ bất định và kỳ vọng có thể tính toán được giống như là xác suất. Định lý Bayes được đặt theo tên của Reverend Thomas Bayes (1702—1761), người nghiên cứu cách tính một phân bố với tham số là một phân bố nhị phân. Người bạn của ông, Richard Price, chỉnh sửa và giới thiệu công trình năm 1763, sau khi Bayes mất, với tựa đề An Essay towards solving a Problem in the Doctrine of Chances. Pierre-Simon Laplace mở rộng kết quả trong bài luận năm 1774.