✨Suy luận thống kê

[[Tập tin:High accuracy Low precision.svg | nhỏ | Biểu đồ này miêu tả độ chính xác cao và độ chính xác thấp bằng cách suy luận, phân tích dữ liệu.
Chú thích:
Màu đỏ: độ chính xác cao
''Màu trắng: độ chính xác thấp]]

Suy luận thống kê là quá trình suy luận suy ra các đặc điểm của một phân phối cơ bản bằng việc phân tích dữ liệu. Phân tích thống kê suy luận suy ra tính chất của tổng thể: điều này bao gồm các giả thuyết thử nghiệm và các ước tính phát sinh. Tổng thể được giả định là lớn hơn so với tạo ra các dữ liệu quan sát, nói cách khác, các dữ liệu quan sát được giả định là lấy mẫu từ một tổng thể lớn hơn.

Thống kê suy luận có thể được so sánh với số liệu thống kê mô tả. Thống kê mô tả chỉ quan tâm tới tính chất của dữ liệu quan sát, và không giả sử các dữ liệu đến từ dữ liệu lớn hơn.

Giới thiệu

Suy luận thống kê giải thích rõ ràng về một tổng thể, sử dụng dữ liệu rút ra từ tổng thẻ thông qua hình thức lấy mẫu. Cho một giả thuyết về tổng thể chúng ta muốn suy ra, suy luận thống kê bao gồm (đầu tiên) mô hình thống kê của một tiến trình tạo ra dữ liệu (thứ hai) mệnh đề suy luận từ mô hình trên.

Konishi & Kitagawa nói rõ "phần lớn các vấn đề trong suy luận tống kê có thể được coi là vấn đề liên quan đến mô hình thống kê". Sir David Cox đã nói "làm thế nào để chuyển từ vấn đề chính để mô hình thống kê được thực hiện thường xuyên là một phần quan trọng nhất của một phân tích".

Kết luận của một suy luận thống kê là một vấn đề cần giải quyết bằng thống kê. Một số hình thức phổ biến nhất của thống kê:

• Một ước lượng điểm, tức là một giá trị đặc biệt xấp xỉ một thông số có tầm quan trọng.
• Ước lượng khoảng thời gian, ví dụ như một khoảng tin cậy (hoặc khoảng ước lượng) là một khoảng thời gian được xây dựng dựa trên một tập hợp dữ liệu rút ra từ một tổng thể, chịu tác động của mẫu lặp lại của một bộ dữ liệu này, như vậy khoảng thời gian đó sẽ chứa các giá trị tham số đúng với xác suất tại mức độ tin cậy nhất định.
• Một khoảng thời gian đáng tin cậy, tức là một tập hợp các giá trị có giới hạn, ví dụ 95% của độ tin cậy.
• Bác bỏ giả thuyết
• Phân nhóm hoặc phân tầng các điểm dữ liệu thành các nhóm.

Các mô hình và các giả thuyết

Bất kỳ kết luận thống kê nào đều phụ thuộc vào giả thuyết. Một mô hình thống kê là một tập hợp các giả thuyết liên quan đến việc tạo ra các dữ liệu quan sát và dữ liệu đồng dạng. Việc mô tả các mô hình thống kê thường nhấn mạnh vào vai trò của số lượng mẫu, điều quan trọng mà ta muốn kiểm tra độ chính xác của suy luận. Thống kê mô tả thường được sử dụng như một bước chuẩn bị trước nhiều kết luận chính thức được đưa ra.

Chấp nhận các mô hình/ giả thuyết

Thống kê phân biệt giữa ba cấp độ của các mô hình giả thuyết

• Đầy đủ tham số: các phân phối xác suất mô tả quá trình dữ liệu tổng thể được mô tả một cách đầy đủ bởi một tập hợp của các phân phối xác suất liên quan đến số hạng hữu hạn các tham số chưa biết. Ví dụ, các phân phối xác suất liên tục có giá trị trung bình, trong đó có thể được ước tính bằng trung bình mẫu hay các ước lượng Hodges-Lehmann-Sen, trong đó có đặc tính tốt khi dữ liệu phát sinh từ mẫu ngẫu nhiên không có nhiều yếu tố.
• Bán tham số: thuật ngữ này thường ngụ ý giả định "ở giữa" hoàn toàn và phương pháp tiếp cận phi tham số. Ví dụ, người ta có thể giả định rằng một phân phối tổng thể có ý nghĩa hữu hạn. Hơn nữa, người ta có thể giả định rằng mức độ phản ứng trung bình trong tổng thể phụ thuộc tuyến tính trên một số tham số đồng biến (giả định một tham số) nhưng không thực hiện bất kỳ giả định tham số mô tả các biến có nghĩa theo nhiều hướng (như sự xuất hiện của mẫu hoặc có thể chấp nhận mẫu của bất kỳ biến ngẫy nhiên nào). Tổng quát hơn, các mô hình bán tham số thường có thể chia thành các "cấu trúc" và véc –tơ "biến thiên ngẫu nhiên". Một vec – tơ được nghiên cứu dưới dạng tham số và không phải là tham số. Các mô hình Cox nổi tiếng là một tập hợp các giả định bán tham số.

Tầm quan trọng của mô hình/ giả thuyết hợp lý

Dù mức độ giả định được thực hiện, suy luận của việc đo độ chính xác của kết luận nói chung đòi hỏi các giả định này là chính xác, tức là các cơ chế tạo ra dữ liệu thực sự đã được quy định một cách phù hợp.

Giả định không chính xác của lấy mẫu ngẫu nhiên "không có nhiều yếu tố" có thể làm mất giá trị suy luận thống kê. Giả thuyết bán tham số và tham số đầy đủ phức tạp cũng đang gây lo ngại. Ví dụ, giả sử mô hình Cox là sai, có thể trong một số trường hợp dẫn đến kết luận sai lầm. Giả định không đúng quy tắc trong tổng thể cũng mất giá trị một số hình thức của suy luận hồi quy. Việc sử dụng bất kỳ một mô hình tham số nào cũng được xem là một cách nghi ngờ bởi hầu hết các chuyên gia trong việc lấy mẫu tổng thể loài người: "hầu hết các nhà thống kê lấy mẫu khi họ xử lý các khoảng tin cậy, hạn chế khoảng tin cậy để báo cáo (người đánh giá) dựa trên các mẫu rất lớn, nơi mà các định lý giới hạn chính đảm bảo rằng (những người đánh giá) sẽ có các phân phối gần như là bình thường". Đặc biệt một phân phối bình thường: "sẽ là một giả định hoàn toàn không thực tế và việc chấp nhận giả thuyết một cách không thận trọng để thực hiện nếu chúng ta đang giải quyết với bất kỳ kiểu tổng thể của kinh tế" Tuy nhiên, đối với kết quả có ý nghĩa thực tế, xấp xỉ tiêu chuẩn cung cấp một xấp xỉ tốt để phân phối các mẫu trung bình khi có 10 (hoặc nhiều hơn) mẫu độc lập, theo nghiên cứu mô phỏng và kinh nghiệm thống kê

Với mẫu lớn vô hạn, hạn chế các kết quả nghiên cứu khoa học như các định lý giới hạn trung tâm mô tả giới hạn phân phối các mẫu thống kê, nếu nó tồn tại. Kết quả hạn chế là không báo cáo về các mẫu hữu hạn, và thực sự không liên quan đến xác mẫu hữu hạn. Tuy nhiên, lý thuyết tiệm cận của các bản phân phối hạn chế thường được đưa ra dẫn chứng để chứng minh với các mẫu hữu hạn. Ví dụ, kết quả hạn chế thường được đưa ra dẫn chứng để biện minh cho phương pháp tổng quát của tầm quan trọng và việc sử dụng các phương trình ước tính tổng quát, được phổ biến trong kinh tế lượng và thống kê sinh học. Độ lớn của sự khác biệt giữa phân phối hạn chế và phân phối chuẩn (các lỗi của xấp xỉ) có thể được đánh giá bằng mô phỏng. Các ứng dụng tự khám phá của giới hạn kết quả với các mẫu giới hạn là thực tế phổ biến trong nhiều ứng dụng, đặc biệt là với mô hình kích thước nhỏ của hàm log – concave likelihood (chẳng hạn như một tham số quan hệ theo cấp số nhân).

Các mô hình ngẫu nhiên

Đối với một bộ dữ liệu được cung cấp bởi một thiết kế ngẫu nhiên, phân phối ngẫu nhiên của một thống kê (theo giả thuyết null) được xác định bằng cách đánh giá kiểm định thống kê cho tất cả các dự định có thể được tạo ra bởi các thiết kế ngẫu nhiên. Trong suy luận thường hay xảy ra, chọn ngẫu nhiên cho phép suy luận dựa trên sự phân phối ngẫu nhiên chứ không phải là một mô hình chủ quan, và điều này là quan trọng đặc biệt trong mẫu khảo sát và thiết kế các thử nghiệm. Suy luận thống kê từ các nghiên cứu ngẫu nhiên cũng đơn giản hơn nhiều hoàn cảnh khác. Trong suy luận Bayesian, chọn ngẫu nhiên cũng có tầm quan trọng: trong mẫu khảo sát, sử dụng các mẫu mà không cần thay thế đảm bảo tính thay đổi của mẫu với tổng thể, tỏng thí nghiệm ngẫu nhiên, chọn ngẫu nhiên đảm bảo một chỗ trống tại giả định ngẫu nhiên cho thông tin cùng tham số.

Mục tiêu ngẫu nhiên cho phép các thủ tục quy nạp đúng. Nhiều thống kê phân tích buộc phân tích thống kê ngẫu nhiên dựa trên cơ sở các dữ liệu đã được tạo ra bởi các thủ tục ngẫu nhiên và được xác định rõ. (tuy nhiên, sự thật là trong các linh vực của khoa học với kiến thức lý thuyết phát triển và kiểm soát thực nghiệm, thử nghiệm ngẫu nhiên có thể làm tăng chi phí của các thử nghiệm mà không cải thiện chất lượng của các kết quả). Tương tự như vậy, kết quả từ các thí nghiệm ngẫu nhiên được đề nghị của cơ quan thống kê hàng đầu như cho phép suy luận với độ tin cậy cao hơn làm nghiên cứu quan sát các hiện tượng tương tự. Tuy nhiên một nghiên cứu quan sát tốt có thể tốt hơn so với một thử nghiệm ngẫu nhiên xấu.

Phân tích thống kê của một thử nghiệm ngẫu nhiên có thể dựa trên các phối hợp ngẫu nhiên trong giao thức thử nghiệm mà không cần một mô hình chính.

Tuy nhiên, bất cứ lúc nào, một số giả thuyết có thể không được kiểm tra bằng cách sử dụng mô hình thống kê khách quan, trong đó mô tả chính xác thí nghiệm ngẫu nhiên hay mẫu ngẫu nhiên. Trong một số trường hơp, các nghiên cứu ngẫu nhiên này là không kinh tế hoặc không đúng với nguyên tắc.

Phân tích dựa trên mô hình thí nghiệm ngẫu nhiên

Đó là tiêu chuẩn tiến hành để tham khảo một mô hình thống kê, thường là một mô hình tuyến tính, khi phân tích các dữ liệu từ các thử nghiệm ngẫu nhiên. Tuy nhiên, các kết hợp tác động đến việc lựa chọn mô hình thống kê. Nó không thể chọn một mô hình thích hợp mà không biết các kết hợp ngẫu nhiên.

Phương pháp luận cho thống kê suy luận

Các trường phái khác nhau của suy luận thống kê đã được thành lập. Những trường phái này hay "mô hình" là không loại trừ lẫn nhau, và phương pháp làm việc tốt dưới một mô hình thường có những cách giải thích hấp dẫn dưới các mô hình khác nhau.

Bandyopadhyay & Forster mô tả bốn mô hình: "(i) thống kê cổ điển hoặc thống kê lỗi, (ii) thống kê Bayes, (iii) thống kê dựa trên cơ sở likelihood and (iv) thống kê dựa trên thông tin của Akaikean và cơ sở thống kê Criterion". Các mô hình cổ điển (hoặc thường xuyên), mô hình Bayes, va các mô hình dựa trên AIC được tóm tắt dưới đây. Các mô hình likelihood về cơ bản là một mô hình đại diện của mô hình AIC.

Suy luận phương pháp mẫu lặp (Frequentist)

Mô hình này hiệu chỉnh việc sản xuất của các mệnh đề (cần làm rõ thuật ngữ phức tạp) bằng cách xem xét (danh nghĩa) lặp lại việc lấy mẫu của bộ dữ liệu tương tự như một phương thức. Bằng cách xem xét các đặc điểm của mẫu theo mẫu lặp lại, các tính chất của bất kì đặc tính của mô hình suy luận thống kê có thể được mô tả - mặc dù trong thực tế định lượng này mang tính thách thức lớn.

Ví dụ về suy luận của mô hình

Giá trị p-value Khoảng tin cậy

Suy luận mô hình, khách quan, và lý thuyết quyết định

Một cách giải thích mô hình suy luận (hoặc suy luận cổ điển) là nó chỉ được áp dụng trong các dạng của tần số xác suất, có nghĩa là các dạng lấy mẫu lặp lại từ một tổng thể. Tuy nhiên, cách tiếp cận của Neyman phát triển một thủ tục dưới dạng xác suất thử nghiệm trước. Đó là trước khi thực hiện một thử nghiệm, một quyết định về một quy tắc cho đến một kết luận như vậy là xác suất đúng được kiểm soát một cách thích hợp: một xác suất như vậy không cần phải có mô hình hoặc giải thích mẫu lặp lại. Ngược lại, suy luận Bayesian hoạt động dưới dạng xác suất có điều kiện (tức là xác suất có điều kiện dưa trên dữ liệu quan sát), so với các xác suất cận biên (nhưng với điều kiện dựa trên tham số chưa biết) được sử dụng trong các mô hình tiếp cận.

Các mô hình thủ tục thử nghiệm ý nghĩa và khoảng tin cậy có thể được xây dựng mà không liên quan đến chức năng tiện ích. Tuy nhiên, một số yếu tố mô hình thống kê, hư lý thuyết quyết định thống kê, để kết hợp các hàm hữu ích. Trong đó, mô hình phát triển của suy luận tốt nhất (ví dụ như tối thiểu sai số ước lượng không chệch, hoặc đồng nhất việc kiểm tra tác động sử dụng các hàm dự kiến, trong đó vai trò của hàm (tiêu cực) là hàm hữu ích. Hàm dự kiến cần phải được nêu rõ trong lý thuyết thống kê để chứng minh rằng một thủ tục thống kê có một thuộc tính tối ưu. Tuy nhiên, hàm dự kiến thường phổ biến cho việc thống kê thuộc tính tối ưu: ví dụ, ước lượng trung bình không chệch là tối ưu dưới giá trị các dạng hàm dự kiến, trong đó họ giảm thiểu tổn thất dự kiến, và bình phương nhỏ nhất là ước lượng bình phương tối ưu dưới các hàm dự kiến sai số bình phương, trong đó giảm thiểu tổn thất dự kiến.

Trong khi đó các nhà thống kê sử dụng mô hình suy luận được chọn cho mình những tham số quan trọng, và các số liệu thống kê ước lượng/ kiểm tra sẽ được sử dụng, sự vắng mặt của các tiện ích rõ ràng hiển nhiên và phân phối trước đã hỗ trợ các thủ tục mô hình để trở nên rọng rãi được xem như "mục đích".

Suy luận Bayes

Các tính toán Bayesian mô tả mức độ tin cậy bằng cách sử dụng "ngôn ngữ" của xác suất, độ tin cậy này là có thể chấp nhận được, lấy tích phân của một, và tuân theo tiên đề xác suất. Suy luận của Bayes sử dụng khoảng tin cậy ở phía sau có sẵn như là cơ sở cho việc thực hiện các mệnh đề thống kê. Có luận cứ khác nhau để sử dụng cho phương pháp Bayesian.

Ví dụ về suy luận Bayesian

Khoảng thời gian đáng tin cậy cho khoảng thời gian ước lượng Các yếu tố Bayes để so sánh mô hình

Suy luận Bayesian, tính chủ quan và thuyết quyết định

Nhiều kết luận Bayesian không đồng nhất được dựa trên bản tóm tắt "bằng trực giác có cơ sở" của hậu nghiệm. Ví dụ, hậu nghiệm có nghĩa là trung bình và phương thức, khoảng mật độ hậu nghiệm cao nhất, và tất cả các yếu tố Bayes có thể được phát triển theo cách này. Trong khi chức năng tiện ích của người sử dụng không cần phải chỉ ra cho các loại suy luận này, các bản tóm tắt làm tất cả phụ thuộc (với một mức độ nào) về niềm tin trước khi công bố và thường được xem như là kết quả chủ quan. (Phương pháp xây dựng trước đó không yêu càu dữ liệu đầu vào bên ngoài đã được đề xuất nhưng chưa được phát triển đầy đủ).

Thông thường, suy luận Bayes được hiệu chỉnh với tham chiếu đến một tiện ích được nêu một cách rõ ràng, hoặc hàm dự kiến, các "quy tắc Bayes" là một trong những tối đa hóa mong đợi dự kiến, trung bình thông qua hàm dự kiến không chắc chắn. Hình thức suy luận Bayesian tự động cung cấp các quyết định tối ưu trong một ý nghĩa lý thuyết quyết định. Giả định được đưa ra, dữ liệu và tiện ích, suy luận Bayesian có thể được thực hiện cho bất kỳ vấn đề cơ bản, mặc dù không phải tất cả thống kê cần có một giải thích Bayessian. Các phân tích không phải là Bayesian chính thức có thể (logic) không liên tục, một tính năng của thủ tục Bayessian mà sử dụng phân tích phù hợp (ví dụ, có thể lấy tích phân từ một) là họ được đảm bảo để được chặt chẽ. Một số những người ủng hộ suy luận Bayes khẳng định suy luận phải trong phạm vi lý thuyết quyết định, và rằng suy luận Bayesian không nên kết luận với việc đánh giá, tổng hợp của độ tin cậy hậu nghiệm.

Suy luận dựa theo AIC

Các mô hình khác để suy luận

Chiều dài mô tả tối thiểu

Nguyên tắc chiều dài mô tả tối thiểu (MDL-Minimum description length) đã được phát triển từ ý tưởng trong lý thuyết thông tin và lý thuyết mức độ phức tạp của Kolmogorov. Nguyên tắc lựa chọn mô hình thống kê là nén dữ liệu một cách tối đa. Tiến trình suy luận không cần giả thuyết trái vơi quy luật hoặc không có căn cứ "cơ chế tổng hợp dữ liệu" hay các mô hình xác suất cho các dữ liệu, như có thể được thực hiện trong các mô hình phương pháp hoặc Bayesian.

Thuy nhiên, nếu một "cơ chế tạo ra dữ liệu" không tồn tại trong thực tế, sau đó nguồn của Shannon ở điểm bắt đầu theo thuyết mã hóa cung cấp các nguyên tắc mô tả chiều dài tối thiểu của dữ liệu, trung bình và tiệm cận. Trong giảm thiểu chiều dài mô tả (mô tả phức tạp), MDL ước tính là đồng dạng để ước lượng Likelihood lớn nhất và ước lượng hậu nghiệm (sử dụng tối đa mức độ đo trong một hệ thống ưu tiên Bayessian). Tuy nhiên, MDL tránh các giả định rằng mô hình xác suất cơ bản được biết đến; nguyên tắc MDL cũng có thể được áp dụng mà không cần giả định, ví dụ như các dữ liệu phát sinh từ mẫu độc lập.

Các nguyên tắc MDL đã được áp dụng trong lý thuyết mã hóa thông tin liên lạc trong lý thuyết dữ liệu, trong hồi quy tuyến tính

Suy luận cơ sở so sánh

Cơ sở so sánh suy luận là một phương pháp tiếp cận các kết luận thống kê dựa trên xác suất chuẩn, còn gọi là "phân phối cơ sở so sành". Trong việc tiếp theo, phương pháp này được gọi gọi là xác định các tính chất yếu, rất hạn chế trong các ứng dụng, và thậm chí là sai lầm. Tuy nhiên lập luận này cũng giống như các cơ sở so sánh chỉ ra rằng một phân phối tin cậy không phải là một phân phối xác suất hợp lệ, và vì điều này đã không có hiệu lực áp dụng cho các khoảng tin cậy, nó không nhất thiết phải làm mất hiệu lực của các kết luận rút ra từ luận điểm cơ sở so sánh.

Suy luận cấu trúc

Phát triển ý tưởng của Fissher và Pitman 1938 – 1939, George A. Barnard phát triển "suy luận cấu trúc" hoặc "suy luận then chốt", một cách tiếp cận việc sử dụng xác suất cố định về nhóm có mối quan hệ. Barnard đã trình bày lại lý lẽ sau suy luận chuẩn trên một lớp hạn chế của mô hình mà những thủ tục "cơ sở so sánh" sẽ được xác định rõ ràng và hữu ích.