Lý thuyết thông tin thuật toán là một lĩnh vực của lý thuyết thông tin và khoa học máy tính liên quan đến mối quan hệ giữa tính toán và thông tin. Theo Gregory Chaitin, đó là "kết quả của việc đưa lý thuyết thông tin của Shannon và lý thuyết tính toán của Turing vào một bình lắc cocktail và lắc mạnh."
Lý thuyết thông tin thuật toán chủ yếu nghiên cứu các biện pháp phức tạp trên các chuỗi (hoặc các cấu trúc dữ liệu khác). Bởi vì hầu hết các đối tượng toán học có thể được mô tả dưới dạng chuỗi hoặc là giới hạn của chuỗi chuỗi, nên nó có thể được sử dụng để nghiên cứu nhiều loại đối tượng toán học, bao gồm cả số nguyên.
Lý thuyết được thành lập bởi Ray Solomonoff,, người đã công bố những ý tưởng cơ bản mà lĩnh vực này dựa trên phát minh của ông về xác suất thuật toán cách thức khắc phục các vấn đề nghiêm trọng liên quan đến việc áp dụng các quy tắc của Bayes trong thống kê. Ông lần đầu tiên mô tả kết quả của mình tại một Hội nghị tại Caltech năm 1960, và trong một báo cáo, tháng 2 năm 1960, "Báo cáo sơ bộ về một lý thuyết chung về suy luận quy nạp".
Lý thuyết thông tin thuật toán sau đó được phát triển độc lập bởi Andrey Kolmogorov, vào năm 1965 và Gregory Chaitin, vào khoảng năm 1966. Có một số biến thể của thông tin thuật toán hoặc độ phức tạp Kolmogorov; một chương trình được sử dụng rộng rãi nhất dựa trên các chương trình tự phân định và chủ yếu là do Leonid Levin (1974).
Per Martin-Löf cũng đóng góp đáng kể vào lý thuyết thông tin về các chuỗi vô hạn. Một cách tiếp cận tiên đề cho lý thuyết thông tin thuật toán dựa trên các tiên đề Blum (Blum 1967) đã được Mark Burgin giới thiệu trong một bài báo được trình bày để xuất bản bởi Andrey Kolmogorov (Burgin 1982). Cách tiếp cận tiên đề bao gồm các công thức khác.
Tổng quan
Lý thuyết thông tin thuật toán chủ yếu nghiên cứu các biện pháp phức tạp trên các chuỗi (hoặc các cấu trúc dữ liệu khác). Bởi vì hầu hết các đối tượng toán học có thể được mô tả dưới dạng chuỗi hoặc là giới hạn của chuỗi chuỗi, nên nó có thể được sử dụng để nghiên cứu nhiều loại đối tượng toán học, bao gồm cả số nguyên.
Một cách không chính thức, từ quan điểm của lý thuyết thông tin thuật toán, nội dung thông tin của một chuỗi tương đương với độ dài của biểu diễn tự chứa có thể nén nhất của chuỗi đó. Một đại diện khép kín về cơ bản là một chương trình, trong một số ngôn ngữ lập trình phổ quát cố định nhưng không liên quan, thì khi chạy, sẽ xuất ra chuỗi gốc.
Từ quan điểm này, một bách khoa toàn thư 3000 trang thực sự chứa ít thông tin hơn 3000 trang của các chữ cái hoàn toàn ngẫu nhiên, mặc dù thực tế là bách khoa toàn thư hữu ích hơn nhiều. Điều này là do để xây dựng lại toàn bộ chuỗi các chữ cái ngẫu nhiên, người ta phải biết, ít nhiều, mỗi chữ cái là gì. Mặt khác, nếu mọi nguyên âm được loại bỏ khỏi bách khoa toàn thư, một người có kiến thức hợp lý về ngôn ngữ tiếng Anh có thể tái tạo lại nó, giống như người Anh có thể tái tạo lại câu "Ths sntnc hs lw nfrmtn cntnt" từ ngữ cảnh và phụ âm.
Không giống như lý thuyết thông tin cổ điển, lý thuyết thông tin thuật toán đưa ra các định nghĩa chính thức, nghiêm ngặt về một chuỗi ngẫu nhiên và một chuỗi vô hạn ngẫu nhiên không phụ thuộc vào trực giác vật lý hoặc triết học về thuyết không xác định hoặc khả năng. (Tập hợp các chuỗi ngẫu nhiên phụ thuộc vào sự lựa chọn của máy Turing phổ dụng được sử dụng để xác định độ phức tạp Kolmogorov, nhưng bất kỳ lựa chọn nào cũng cho kết quả tiệm cận giống hệt nhau vì độ phức tạp Kolmogorov của chuỗi là bất biến phụ thuộc vào hằng số phụ thuộc máy móc. Vì lý do này, tập hợp các chuỗi vô hạn ngẫu nhiên không phụ thuộc vào sự lựa chọn của máy vạn năng.)
Một số kết quả của lý thuyết thông tin thuật toán, chẳng hạn như định lý không hoàn chỉnh của Chaitin, dường như thách thức các trực giác toán học và triết học phổ biến. Đáng chú ý nhất trong số này là việc xây dựng liên tục Chaitin của Ω, một số thực mà diễn tả xác suất mà một máy Turing phổ tự phân chia ranh giới sẽ ngừng khi đầu vào của nó được cung cấp bởi flips một xu công bằng (đôi khi coi là xác suất mà một ngẫu nhiên chương trình máy tính cuối cùng sẽ dừng lại). Mặc dù Ω có thể dễ dàng xác định, trong bất kỳ phù hợp axiomatizable lý thuyết duy nhất có thể tính hữu hạn nhiều chữ số của Ω, vì vậy nó là ở một số cảm giác không thể biết, cung cấp một giới hạn tuyệt đối về kiến thức đó là gợi nhớ đến không đầy đủ Định lý Gödel. Mặc dù các chữ số của Ω không thể được xác định, nhiều tài sản của Ω được biết; ví dụ, nó là một chuỗi ngẫu nhiên theo thuật toán và do đó các chữ số nhị phân của nó được phân bố đều (thực tế nó là bình thường).
Lịch sử
Lý thuyết thông tin thuật toán được thành lập bởi Ray Solomonoff, rằng tất cả các khái niệm ngẫu nhiên này là khác nhau.
👁️
4 | 🔗 | 💖 | ✨ | 🌍 | ⌚
**Lý thuyết thông tin thuật toán** là một lĩnh vực của lý thuyết thông tin và khoa học máy tính liên quan đến mối quan hệ giữa tính toán và thông tin. Theo Gregory Chaitin,
**Lý thuyết thông tin** là một nhánh của toán học ứng dụng và kĩ thuật điện nghiên cứu về đo đạc lượng thông tin. Lý thuyết thông tin được xây dựng bởi Claude E. Shannon
**Entropy thông tin** là một khái niệm mở rộng của entropy trong nhiệt động lực học và cơ học thống kê sang cho lý thuyết thông tin. Entropy thông tin mô tả mức độ hỗn
**Lý thuyết mã hóa** là nghiên cứu về các đặc tính của mã và khả năng thích ứng với các ứng dụng cụ thể của chúng. Mã được sử dụng cho nén dữ liệu, mật
Trong Lý thuyết thông tin, **Định lý mã hóa trên kênh nhiễu** (_tiếng Anh: noisy-channel coding theorem_) đề xuất rằng, cho dù một kênh truyền thông có bị ô nhiễm bởi nhiễu âm bao nhiêu
nhỏ|Mã [[ASCII cho từ " Wikipedia " được biểu thị dưới dạng nhị phân, hệ thống số được sử dụng phổ biến nhất để mã hóa thông tin máy tính văn bản]] **Thông tin** có
**Lý thuyết số** là một ngành của toán học lý thuyết nghiên cứu về tính chất của số nói chung và số nguyên nói riêng, cũng như những lớp rộng hơn các bài toán mà
nhỏ| Để tìm kiếm một mục đã cho trong một danh sách theo thứ tự nhất định, có thể sử dụng cả thuật toán [[Tìm kiếm tuần tự|tìm kiếm nhị phân và tuyến tính (bỏ
**Tin học lý thuyết** là tập hợp các chủ đề của khoa học máy tính tập trung vào các khía cạnh toán học trừu tượng của tính toán, chẳng hạn như lý thuyết tính toán
**Khoa học máy tính lý thuyết** () là một tập hợp con của khoa học máy tính và toán học tập trung vào nhiều chủ đề toán học hơn của điện toán và bao gồm
**Thời đại Thông tin** (còn gọi là **Thời đại Máy tính**, **Thời đại Kỹ thuật số** hoặc **Thời đại Truyền thông mới**) là một giai đoạn trong lịch sử nhân loại với sự chuyển đổi
**Lý thuyết trò chơi**, hoặc gọi **đối sách luận**, **lí luận ván cờ**, là một phân nhánh mới của toán học hiện đại, cũng là một môn học trọng yếu của vận trù học, tác
nhỏ|Lý thuyết biểu diễn nghiên cứu cách các cấu trúc đại số "biến đổi" các đối tượng toán học. Ví dụ đơn giản nhất là cách [[Nhóm nhị diện|nhóm đối xứng của các đa giác
nhỏ|Các vectơ mật độ dòng điện xác suất cảm ứng từ tính được tính toán bằng phương pháp lượng tử trong benzen. **Hóa học lý thuyết** là một nhánh của hóa học trong đó phát
**Xã hội thông tin** là một xã hội nơi việc sử dụng, sáng tạo, phân phối, thao túng và tích hợp thông tin là một hoạt động kinh tế, chính trị và văn hóa quan
[[Tập tin:High accuracy Low precision.svg | nhỏ | Biểu đồ này miêu tả độ chính xác cao và độ chính xác thấp bằng cách suy luận, phân tích dữ liệu.
Chú thích:
_Màu đỏ_: độ chính
nhỏ|[[Đồ thị Cayley của nhóm tự do có hai phần tử sinh. Đây là nhóm hyperbol có biên Gromov là tập Cantor. Tương tự với đồ thị Cayley, nhóm hyperbol và biên của nó là
**Lý thuyết dây** là một thuyết hấp dẫn lượng tử, được xây dựng với mục đích thống nhất tất cả các hạt cơ bản cùng các lực cơ bản của tự nhiên, ngay cả lực
Trong hình học đại số và vật lý lý thuyết, **đối xứng gương** là mối quan hệ giữa các vật thể hình học được gọi là những đa tạp Calabi-Yau. Các đa tạp này có
**Xử lý thông tin** là sự thay đổi (xử lý) thông tin theo bất kỳ cách nào mà người quan sát có thể phát hiện được. Như vậy, đây là một quá trình _mô tả_
nhỏ|Một bản tái hiện màu đen và trắng của Máy tính bảng Yale Babylonia của Bộ sưu tập YBC 7289 (khoảng 1800 Tam giác cân. Máy tính bảng cũng đưa ra một ví dụ trong
**Thuật toán Bellman–Ford** hay **Giải thuật Bellman–Ford** là một thuật toán tính các đường đi ngắn nhất nguồn đơn trong một đồ thị có hướng có trọng số (trong đó một số cung có thể
} ## Bối cảnh thực tế Bài toán tìm đường đi ngắn nhất giữa hai đỉnh của đồ thị liên thông có nhiều ứng dụng thực tế như: * Bài toán chọn hành trình
Sau khi bệnh COVID-19 do chủng mới của virus corona (SARS-CoV-2) gây ra bắt đầu bùng phát, các thuyết âm mưu và thông tin sai lệch về nguồn gốc và quy mô của dịch bệnh
**Hệ thống thông tin quản lý** là hệ thống cung cấp thông tin cho công tác quản lý của tổ chức. Hệ thống bao gồm con người, thiết bị và quy trình thu thập, phân
**Lý thuyết độ phức tạp tính toán** (tiếng Anh: _computational complexity theory_) là một nhánh của lý thuyết tính toán trong lý thuyết khoa học máy tính và toán học tập trung vào phân loại
Khái niệm của vòng phản hồi dùng để điều khiển hành vi động lực của hệ thống: đây là phản hồi âm, vì giá trị cảm biến (sensor) bị trừ đi từ giá trị mong
**Lý thuyết về ràng buộc** (TOC) là một mô hình quản lý mà quan sát bất kỳ hệ thống quản lý nào bị giới hạn trong việc đạt được nhiều mục tiêu hơn bởi một
nhỏ| [[Ổ đĩa cứng|Ổ cứng lưu trữ thông tin ở dạng nhị phân và do đó được coi là một loại phương tiện kỹ thuật số vật lý. ]] **Phương tiện truyền thông kỹ thuật
nhỏ|phải|Hình vẽ một đồ thị có 6 đỉnh và 7 cạnh Trong toán học và tin học, **lý thuyết đồ thị** (tiếng Anh: _graph theory_) nghiên cứu các tính chất của đồ thị. Một cách
phải|nhỏ|[[Lưu đồ thuật toán (thuật toán Euclid) để tính ước số chung lớn nhất (ưcln) của hai số _a_ và _b_ ở các vị trí có tên A và B. Thuật toán tiến hành bằng
**Công nghệ thông tin và truyền thông** (tiếng Anh: _Information and communications technology_, ICT) là cụm từ thường dùng như từ đồng nghĩa rộng hơn cho công nghệ thông tin (IT), nhưng thường là một
Trong vật lý và vũ trụ học, **vật lý kỹ thuật số** là một tập hợp các quan điểm lý thuyết dựa trên tiền đề rằng vũ trụ có thể mô tả bằng thông tin.
Trong tính toán lượng tử, **thuật toán lượng tử** là một thuật toán chạy bằng mô hình thực tế của tính toán lượng tử, mô hình được sử dụng phổ biến nhất là mô hình
thumb|**[[Phép tính lambda** là một hệ thống hình thức để định nghĩa hàm, ứng dụng hàm và đệ quy được Alonzo Church đề xuất vào những năm 193x.]] **Lý thuyết ngôn ngữ lập trình** (thường
thumb|Lý thuyết về dự định hành vi **Lý thuyết hành vi có kế hoạch hay lý thuyết hành vi hoạch định** (Tiếng Anh: **The Theory of Planning Behaviour**) là một lý thuyết thể hiện mối
**Đồ họa thông tin** (tiếng Anh: _infographic_, là từ ghép của Information graphic), là sự kết hợp thông tin ngắn gọn với hình ảnh minh họa và màu sắc sinh động, bắt mắt để có
**Các lý thuyết về nguyên nhân của sự nghèo đói** là nền tảng cho các chiến lược xóa đói giảm nghèo. Trong khi ở các quốc gia phát triển, sự nghèo đói thường bị coi
**Lý thuyết xã hội** là các khung phân tích, hay các mô hình, được sử dụng để nghiên cứu và giải thích các hiện tượng xã hội. Vốn là một công cụ được sử dụng
**Lý thuyết chu kỳ kinh tế thực (lý thuyết RBC)** là một loại mô hình kinh tế vĩ mô tân cổ điển, trong đó các biến động của chu kỳ kinh doanh được tính bằng
:_Bài này chỉ viết về các định nghĩa cơ bản. Để hiểu rộng hơn, xin xem lý thuyết đồ thị. Về ý nghĩa biểu diễn hàm số trên hệ tọa độ, xem đồ thị hàm
thumb|right|Một [[sơ đồ Venn mô phỏng phép giao của hai tập hợp.]] **Lý thuyết tập hợp** (tiếng Anh: _set theory_) là ngành toán học nghiên cứu về tập hợp. Mặc dù bất kỳ đối tượng
Trong lý thuyết trò chơi, **chiến lược **của người chơi là bất kì lựa chọn nào mà người chơi có thể thực hiện, trong bối cảnh kết quả thu được không chỉ phụ thuộc vào
**Trường Đại học Công nghệ Thông tin** ( – **UIT**) là một trung tâm hàng đầu về nghiên cứu khoa học và chuyển giao công nghệ về công nghệ thông tin – truyền thông, được
**Quản lý thông tin cá nhân** (_PIM_) là hoạt động mà mọi người thực hiện để thu thập, tổ chức, duy trì, truy xuất và sử dụng các mục thông tin cá nhân như tài
thumb|right|Dầm thủy tinh dao động này có thể dùng làm mô hình dầm ngàm một đầu và với các điều kiện khác ở đầu tự do như gia tốc, mật độ biến đổi tuyến tính,
**Triết học thông tin** (**philosophy of information**) là một nhánh của triết học nghiên cứu các chủ đề liên quan đến khoa học máy tính, khoa học thông tin và công nghệ thông tin. Môn
Các công cụ **Quản lý quyền kỹ thuật số** (**DRM**) hoặc **các biện pháp bảo vệ công nghệ** (**TPM**) là một tập hợp các công nghệ kiểm soát truy cập để hạn chế việc sử
nhỏ|Một con thiên nga đen (_Cygnus atratus_) ở Úc **Lý thuyết thiên nga đen** hoặc **lý thuyết về các sự kiện thiên nga đen** là một phép ẩn dụ mô tả một sự kiện gây
Trong lý thuyết điều khiển tự động, một **bộ điều khiển** là một thiết bị giám sát và tác động vào các điều kiện làm việc của một hệ động học cho trước. Các điều