✨Khoảng cách Jensen-Shannon

Khoảng cách Jensen-Shannon

Trong lý thuyết xác suất và thống kê, khoảng cách Jensen-Shannon là một phương pháp phổ biến để đo sự tương đồng giữa hai phân bố xác suất. Nó dựa trên khoảng cách Kullback-Leibler với một điểm khác biệt quan trọng là nó luôn có giá trị hữu hạn. Căn bậc hai của khoảng cách Jensen-Shannon là một metric.

Định nghĩa

Đặt $M_+^1(A)$ là tập hợp các phân bố xác suất trong đó A là một tập hợp cùng với một σ-đại số gồm các tập con đo được. Cụ thể hơn, ta chỉ xem xét A là tập hợp hữu hạn hoặc đếm được với mọi tập con đều đo được. Khoảng cách Jensen-Shannon (JSD) $M$ +^1(A) \times M+^1(A) \rightarrow [0,\infty{}) là phiên bản đối xứng và trơn của khoảng cách Kullback-Leibler $D(P \parallel Q)$ . Nó được định nghĩa như sau : $JSD(P \parallel Q)= \frac{1}{2}D(P \parallel M)+\frac{1}{2}D(Q \parallel M)$ trong đó $M=\frac{1}{2}(P+Q)$ Nếu A là đếm được thì có định nghĩa tổng quát hơn cho phép so sánh nhiều hơn hai phân bố, như sau: : $JSD(P_1, P_2, \ldots, P$ n) = H\left(\sum{i=1}^n \pi_i Pi\right) - \sum{i=1}^n \pi_i H(P_i) trong đó $\pi_1, \pi_2, \ldots, \pi_n$ là trọng số của các phân bố $P_1, P_2, \ldots, P_n$ và $H(P)$ là entropy Shannon của phân bố $P$ . Trong trường hợp chỉ có hai phân bố mô tả ở trên, : $P_1=P, P_2=Q, \pi_1 = \pi_2 = \frac{1}{2}.\$

Giới hạn

Theo , khoảng cách Jensen-Shannon bị giới hạn bởi 1 khi lôgarit được tính theo cơ số 2. : $0 \leq JSD(P \parallel Q) \leq 1$

Liên hệ với thông tin tương hỗ

Khoảng cách Jensen-Shannon đúng bằng thông tin tương hỗ giữa biến ngẫu nhiên $X$ phân phối theo một phân phối hỗn hợp $M=\frac{P+Q}{2}$ và biến ngẫu nhiên $Z$ trong đó $Z = 1$ nếu $X$ được lấy từ $P$ và $Z = 0$ nếu $X$ được lấy từ $Q$ . : $\begin{align}
I(X; Z) &= H(X) - H(X|Z)\
&= -\sum M \log M + \frac{1}{2} \left[ \sum P \log P + \sum Q \log Q \right] \
&= -\sum \frac{P}{2} \log M - \sum \frac{Q}{2} \log M + \frac{1}{2} \left[ \sum P \log P + \sum Q \log Q \right] \
&= \frac{1}{2} \sum P \left(\log P - \log M\right) + \frac{1}{2} \sum Q \left(\log Q - \log M \right) \
&= JSD(P \parallel Q)
\end{align}$ Từ kết quả trên có thể suy ngay ra khoảng cách Jensen-Shannon nằm trong khoảng từ 0 đến 1 vì thông tin tương hỗ là không âm và bị chặn bởi $H(Z) = 1$ .

Các liên hệ khác

Khoảng cách Jensen-Shannon luôn lớn hơn hoặc bằng bình phương của khoảng cách Hellinger . : $JSD(P \parallel Q) \ge H^2(P, Q)$

👁️ 0 | 🔗 | 💖 | ✨ | 🌍 | ⌚

💫 Khoảng cách Jensen-Shannon

Trong lý thuyết xác suất và thống kê, **khoảng cách Jensen-Shannon** là một phương pháp phổ biến để đo sự tương đồng giữa hai phân bố xác suất. Nó dựa trên khoảng cách Kullback-Leibler với

💫 Khoảng cách Hellinger

Trong lý thuyết xác suất và thống kê, **khoảng cách Hellinger ** là một đại lượng đo sự khác biệt giữa hai phân bố xác suất. Nó là một _f_-khoảng cách. Khoảng cách Hellinger được

💫 Danh sách chủ đề toán học

Bài này nói về từ điển các chủ đề trong toán học. ## 0-9 * -0 * 0 * 6174 ## A * AES * ARCH * ARMA * Ada Lovelace * Adrien-Marie Legendre *

💫 Giao tiếp

**Giao tiếp** thường được định nghĩa là sự truyền tải thông tin. Hiện chưa có thống nhất về định nghĩa chính xác của thuật ngữ, đồng thời có nhiều tranh cãi về việc giao tiếp

💫 Christopher Nolan

**_Ngài_** **Christopher Edward Nolan** (; sinh ngày 30 tháng 7 năm 1970) là một nam nhà làm phim kiêm doanh nhân người Mỹ gốc Anh. Được đánh giá là nhà làm phim tiên phong trong