✨Hợp lý cực đại

Ước lượng hợp lý cực đại (trong tiếng Anh thường được nhắc đến với tên MLE, viết tắt cho Maximum Likelihood Estimation) là một phương pháp trong thống kê dùng để ước lượng giá trị tham số của một mô hình xác suất dựa trên những dữ liệu quan sát được. Phương pháp này ước lượng các tham số nói trên bởi những giá trị làm cực đại hóa likelihood function. Các ước lượng thu được cũng được viết tắt là MLE (Maximum Likelihood Estimates).

MLE được sử dụng chung với các phân tích thống kê khác. Lấy ví dụ khi chúng ta muốn ước lượng chiều cao nói chung của chim cánh cụt cái trưởng thành, nhưng lại không thể nào đo được chiều cao của tất cả chim cánh cụt trong một quần thể (do ràng buộc về thời gian hoặc chi phí). Bằng việc giả sử chiều cao trong quần thể được phân phối chuẩn với các tham số (giá trị trung bình và phương sai) chưa biết, chúng ta chỉ cần khảo sát chiều cao của một vài cá thể mẫu trong quần thể và dùng MLE để ước lượng các tham số này. Khi nhìn vào các chiều cao mẫu đã thu thập, có thể hình dung là, phương pháp MLE sẽ tìm ra cách giải thích hợp lý nhất cho những chiều cao nhận được đó.

Theo quan điểm của Suy diễn Bayes, MLE là một trường hợp đặc biệt của Maximum A Posteriori estimation (MAP), phương pháp đưa ra giả thiết về phân phối đều của các tham số. Trong suy diễn tần số, MLE lại là một trong số rất nhiều các phương pháp ước lượng tham số mà không cần dự đoán trước về phân phối. Việc dự đoán trước này được tránh bằng cách không khẳng định về xác suất của các tham số mà chỉ khẳng định về xác suất của các ước lượng, do các ước lượng đã được định nghĩa đầy đủ với các dữ liệu quan sát được và mô hình xác suất.

MLE được nhà toán học R. A. Fisher phát triển vào khoảng năm 1912-1922.

Nguyên lý

Từ quan điểm thống kê, một tập hợp cho trước các quan sát là một mẫu ngẫu nhiên từ một quần thể nào đấy. Mục đích của xấp xỉ hợp lý cực đại là tìm ra một suy luật về quần thể đó mà có thể nhất sinh ra mẫu đấy, đặc biệt là phân phối xác suất chung của các biến ngẫu nhiên $\backslash left\{\; y${1}, y{2}, \ldots \right}, không nhất thiết độc lập và có cùng phân phối.

Ta cho ứng với mỗi phân phối xác suất một vector duy nhất $\backslash theta=[\backslash theta\_1,\; \backslash theta\_2,...,\backslash theta\_k]^T$ các tham số mà đánh số phân phối xác suất với một được tham số hóa $\{\; f(.;\backslash theta)\backslash mid\; \backslash theta\backslash in\backslash Theta\; \}$

Phương pháp MLE được xây dựng dựa trên likelihood function, $\backslash mathcal\; L(\backslash theta\backslash ,;x)$. Ta được cho trước một mô hình xác suất, nói cách khác là một họ các phân phối $\{\; f(\backslash cdot\backslash ,;\backslash theta)\; \backslash mid\; \backslash theta\; \backslash in\; \backslash Theta\; \}$, với $\backslash theta$ là tham số (có thể ở dạng dữ liệu nhiều chiều) cho mô hình. MLE tìm kiếm giá trị của $\backslash theta$ để $\backslash mathcal\; L(\backslash theta\backslash ,;x)$ đạt cực đại. Như đã nói ở trên, có thể hình dung là MLE đi tìm cách giải thích hợp lý cho các dữ liệu quan sát được.

Từ phương pháp này ta có định nghĩa về ước lượng hợp lý cực đại (Maximum Likelihood Estimates) như sau: : $\backslash hat\backslash theta\; \backslash in\; \{\; \backslash underset\{\backslash theta\backslash in\backslash Theta\}\{\backslash operatorname\{arg\backslash ,max\backslash \; \backslash mathcal\; L(\backslash theta\backslash ,;x)\; \},$

Thường thì dùng logarit tự nhiên của likelihood function (còn gọi là log-likelihood) làm hàm mục tiêu sẽ thuận tiện hơn: :$\backslash ell(\backslash theta\backslash ,;x)\; =\; \backslash ln\backslash mathcal\{L\}(\backslash theta\backslash ,;x).$

Ta cũng có thể dùng hàm log-likelihood trung bình: : $\backslash hat\backslash ell(\backslash theta\backslash ,;x)\; =\; \backslash frac1n\; \backslash ln\backslash mathcal\{L(\backslash theta\backslash ,;x)\}.$

Dấu mũ nằm trên $\backslash ell$ là kí hiệu cho estimator. Thật vậy, $\backslash hat\backslash ell$ xấp xỉ log-likelihood kỳ vọng của một quan sát duy nhất trong mô hình.

Lưu ý rằng, dù dùng hàm mục tiêu là likelihood function hay log-likelihood, kết quả cũng như nhau, vì log là hàm tăng ngặt.