Trong toán học thống kê, phân kỳ Kullback–Leibler (hay còn gọi là khoảng cách Kullback–Leibler, entropy tương đối) là một phép đo cách một phân phối xác suất khác biệt so với cái còn lại, phân phối xác suất tham chiếu. Các ứng dụng chứa đặc tính entropy thông tin quan hệ trong các hệ thống thông tin, ngẫu nhiên theo chuỗi thời gian liên tục, và thông tin đạt được khi so sánh các mô hình thống kê suy luận. Tương phản với sự thay đổi thông tin, phân kỳ Kullback–Leibler là một phép đo bất đối xứng phân phối thông minh và vì vậy không đủ điều kiện là một metric thống kê có tính lây lan. Trong trường hợp đơn giản, một phân kỳ Kullback–Leibler có giá trị 0 chỉ ra rằng hai phân phối là giống nhau. Nói cách đơn giản, phân kỳ Kullback–Leibler là một phép đo sự ngạc nhiên, với nhiều ứng dụng khác nhau như thống kê ứng dụng, cơ học chất lưu, khoa học thần kinh và học máy.
👁️
0 | 🔗 | 💖 | ✨ | 🌍 | ⌚
Trong toán học thống kê, **phân kỳ Kullback–Leibler** (hay còn gọi là **khoảng cách Kullback–Leibler**, **entropy tương đối**) là một phép đo cách một phân phối xác suất khác biệt so với cái còn lại,
Trong lý thuyết xác suất và thống kê, **Phân phối Poisson** (Tiếng Anh: _Poisson distribution_) là một phân phối xác suất rời rạc cho biết xác suất xảy ra một số lượng sự kiện trong
thumb|alt=Một biểu đồ minh họa về ví dụ của máy Boltzmann.|Biểu đồ minh họa về một ví dụ của máy Boltzmann. Mỗi cạnh không có hướng đại diện cho sự phụ thuộc. Trong ví dụ
**Lý thuyết thông tin** là một nhánh của toán học ứng dụng và kĩ thuật điện nghiên cứu về đo đạc lượng thông tin. Lý thuyết thông tin được xây dựng bởi Claude E. Shannon
Trong lý thuyết xác suất, **chặn Chernoff**, đặt tên theo Herman Chernoff, cho một chặn trên giảm theo hàm mũ của đuôi phân phối của tổng nhiều biến ngẫu nhiên độc lập. Nó thường mạnh