✨Ước lượng Bayes

Trong lý thuyết ước lượng và lý thuyết quyết định, một công cụ ước lượng Bayes là một phép ước lượng hoặc luật quyết định sao cho nó cực tiểu giá trị kì vọng hậu nghiệm của một hàm lỗi (tiếng Anh loss function) (ví dụ, kì vọng sai số hậu nghiệm). Một cách khác để tìm ước lượng trong Thống kê Bayes là Ước lượng cực đại hậu nghiệm.

Định nghĩa

Giả sử một tham số θ chưa biết có phân phối tiên nghiệm $\backslash pi$. Đặt $\backslash delta\; =\; \backslash delta(x)$ là một ước lượng của θ (dựa trên các số đo x), và $L(\backslash theta,\backslash delta)$ là hàm lỗi, ví dụ như bình phương sai số. Hàm nguy cơ Bayes của $\backslash delta$ được định nghĩa là $E\_\backslash pi\; \{\; L(\backslash theta,\; \backslash delta)\; \}$: kì vọng của hàm lỗi trên phân phối của $\backslash theta$. Điều này làm cho hàm nguy cơ trở thành một hàm theo $\backslash delta$. Một ước lượng $\backslash delta$ được gọi là một ước lương Bayes nếu nó cực tiểu hàm nguy cơ Bayes. Một cách tương đương, ước lượng cực tiểu kì vọng hậu nghiệm của hàm lỗi $E\; \{\; L(\backslash theta,\backslash delta)\; |\; x\; \}$ for each x cũng cực tiểu hàm nguy cơ Bayes và đó là một ước lượng Bayes.

Các ví dụ

Ước lượng sai số trung bình bình phương cực tiểu

Hàm nguy cơ thông dụng nhất được sử dụng cho ước lượng Bayes là sai số trung bình bình phương (MSE). MSE được xách định bởi :$\backslash mathrm\{MSE\}\; =\; E\backslash left[\; (\backslash widehat\{\backslash theta\}(x)\; -\; \backslash theta)^2\; \backslash right],$ khi giá trị kì vọng được xác định trên phân phối của $\backslash theta$ và $x$.

Dùng MSE làm hàm nguy cơ, ước lượng Bayes của tham số chưa biết đơn giản là giá trị trung bình của phân phối hậu nghiệm, :$\backslash widehat\{\backslash theta\}(x)\; =\; E[\backslash theta\; |x]=\backslash int\; \backslash theta\; f(\backslash theta\; |x)\backslash ,d\backslash theta.$ Nó còn được gọi là ước lượng sai số trung bình bình phương cực tiểu (MMSE). Hàm nguy cơ Bayes trong trường hợp này là phương sai hậu nghiệm.

Một số hàm nguy cơ khác

Hàm nguy cơ được lựa chọn dựa trên cách người ta xác định khoảng cách giữa giá trị ước lượng và giá trị thật của tham số. MSE là hàm nguy cơ được sử dụng phổ biến nhaast, chủ yếu vì sự đơn giản của nó. Tuy nhiên một số hàm nguy cơ khác cũng được sử dụng tùy lúc. Sau đây là một số ví dụ về chúng. Ta ký hiệu hàm phân phối hậu nghiệm tổng quát là $F$.

• Hàm nguy cơ "tuyến tính" loss function, với $a>0$, nhận giá trị med hậu nghiệm làm ước lượng Bayes: :$L(\backslash theta,\backslash widehat\{\backslash theta\})\; =\; a|\backslash theta-\backslash widehat\{\backslash theta\}|$ :$F(\backslash widehat\{\backslash theta\; \}(x)|X)\; =\; \backslash tfrac\{1\}\{2\}.$