✨Phân loại bằng thống kê

Phân loại bằng thống kê là một thủ tục thống kê trong đó các thể riêng biệt sẽ được sắp vào từng nhóm dựa trên số lượng thông tin về một hay nhiều tính chất kế thừa của cá thể đó (được xem như là các điểm, các biến, các đặc điểm, v.v...) và dựa vào một tập huấn luyện của các cá thể đã được đánh nhãn sẵn.

Về mặt hình thức, bài toán có thể diễn giải như sau: cho sẵn một tập huấn luyện $\{(\backslash mathbf\{x\_1\},y),\backslash dots,(\backslash mathbf\{x\_n\},\; y)\}$ ta cần tạo ra một phân loại $h:\backslash mathcal\{X\}\backslash rightarrow\backslash mathcal\{Y\}$ mà có thể ánh xạ một đối tượng $\backslash mathbf\{x\}\; \backslash in\; \backslash mathcal\{X\}$ vào nhãn phân loại $y\; \backslash in\; \backslash mathcal\{Y\}$ của nó. Ví dụ, nếu bài toán là lọc spam, thì $\backslash mathbf\{x\_i\}$ là một biểu diễn nào nó cho một thư điện tử và $y$ thì hoặc là "Spam" hoặc "Không Spam".

Các giải thuật phân loại bằng thống kê thường được sử dụng trong các hệ thống nhận dạng mẫu.

Chú ý: trong cộng đồng sinh thái học, thuật ngữ "phân loại" là đồng nghĩa với từ được biết đến (trong ngành học máy) là phân nhóm (clustering). Xem bài viết đó để biết rõ hơn về các kĩ thuật không có giám sát.

Các kĩ thuật phân loại bằng thống kê

Trong khi có rất nhiều phương pháp phân loại, chúng thường buộc phải giải quyết một trong ba vấn đề liên quan đến toán học sau.

Vấn đề đầu tiên là tìm một ánh xạ của một không gian đặc trưng (thường là một không gian vec-tơ đa chiều) đến một tập các nhãn. Điều này là tương đương với việc phân hoạch không gian đặc trưng thành các vùng nhỏ hơn, sau đó gán một nhãn vào mỗi vùng. Các giải thuật dạng này (ví dụ, giải thuật hàng xóm gần nhất) thường không đem lại sự tin cậy hay xác suất class (posterior probability), trừ phi quá trình xử lý sau được áp dụng. Một tập các giải thuật khác để giải quyết vấn đề này trước tiên là áp dụng việc phân mảnh không có giám sát không gian đặc trưng ra, sau đó cố gắng đánh nhãn cho mỗi mảnh (hay vùng) được phân ra đó.

Vấn đề thứ hai là xem xét việc phân loại như là một bài toán về ước lượng, với mục tiêu là ước lượng xem một hàm có dạng :$P(\{\backslash rm\; class\}|\{\backslash vec\; x\})\; =\; f\backslash left(\backslash vec\; x;\backslash vec\; \backslash theta\backslash right)$ với vec-tơ đặc trưng đầu vào là $\backslash vec\; x$, và hàm f là được tham số hóa bởi một số tham số $\backslash vec\; \backslash theta$. Trong hướng tiếp cận Bayes cho vấn đề này, thay vì chọn một tham số vec-tơ đơn lẻ $\backslash vec\; \backslash theta$, kết quả sẽ tích hợp trên mọi thê-ta có thể có, với cách đánh trọng số dựa vào như cách đưa ra tập huấn luyện D: :$P(\{\backslash rm\; class\}|\{\backslash vec\; x\})\; =\; \backslash int\; f\backslash left(\backslash vec\; x;\backslash vec\; \backslash theta\backslash right)P(\backslash vec\; \backslash theta|D)\; d\backslash vec\; \backslash theta$

Bài toán thứ ba liên quan tới bài toán thứ hai, nhưng yêu cầu của nó là ước lượng xác suất có điều kiện-class $P(\backslash vec\; x|\{\backslash rm\; class\})$ và rồi sử dụng quy luật Bayes để đưa về xác suất lớp nhu bài toán số hai.

Các ví dụ về các giải thuật phân loại bao gồm:

• Linear classifier Fisher's linear discriminant Logistic regression Naive Bayes classifier Perceptron
• k hàng xóm gần nhất
• Boosting
• Cây quyết định
• Mạng nơ-ron
• Mạng Bayes
• Support vector machine
• Mô hình Markov ẩn

Lĩnh vực ứng dụng

• Thị giác máy tính Phân tích hình ảnh y học (Medical image analysis) Nhận dạng ký tự quang học
• Nhân dạng tiếng nói
• Nhận dạng chữ viết tay
• Nhận dạng sinh trắc học (Biometric identification)
• Phân loại tài liệu (Document classification)
• Động cơ tìm kiếm trên Internet
• Credit scoring