✨Độ phức tạp thuật toán

Thời gian mà máy tính khi thực hiện một thuật toán không chỉ phụ thuộc vào bản thân thuật toán đó, ngoài ra còn tùy thuộc từng máy tính. Để đánh giá hiệu quả của một thuật toán, có thể xét số các phép tính phải thực hiện khi thực hiện thuật toán này. Thông thường số các phép tính được thực hiện phụ thuộc vào cỡ của bài toán, tức là độ lớn của đầu vào. Vì thế độ phức tạp thuật toán là một hàm phụ thuộc đầu vào. Tuy nhiên trong những ứng dụng thực tiễn, chúng ta không cần biết chính xác hàm này mà chỉ cần biết một ước lượng đủ tốt của chúng.

Để ước lượng độ phức tạp của một thuật toán ta thường dùng khái niệm bậc O-lớn và bậc Θ (bậc Theta).

Bậc O-lớn

Gọi k là độ lớn đầu vào. Tùy thuộc từng bài toán mà $n$ có thể nhận những giá trị khác nhau. Chẳng hạn, bài toán tính giai thừa thì $n$ chính là số cần tính giai thừa. Nhiều bài toán số trị, chẳng hạn tính sai phân thì $n$ là số chữ số có nghĩa cần đạt được. Trong các phép tính đối với ma trận thì $n$ là số hàng hoặc cột của ma trận.

Độ phức tạp của bài toán phụ thuộc vào $n$. Ở đây ta không chỉ đặc trưng độ phức tạp bởi số lượng phép tính, mà dùng một đại lượng tổng quát là tài nguyên cần dùng $R(n)$. Đó có thể là số lượng phép tính (có thể tính cả số lần truy nhập bộ nhớ, hoặc ghi vào bộ nhớ); nhưng cũng có thể là thời gian thực hiện chương trình (độ phức tạp về thời gian) hoặc dung lượng bộ nhớ cần phải cấp để chạy chương trình (độ phức tạp về không gian).

Xét quan hệ giữa tài nguyên và độ lớn đầu vào, nếu như tìm được hằng số $C>0$, $C$ không phụ thuộc vào $n$, sao cho với $n$ đủ lớn, các hàm $R(n),\; g(n)$ đều dương và ::$R(n)\backslash leq\; C.g(n)$ thì ta nói thuật toán có độ phức tạp cỡ $O(g(n))$.

Diễn giải

Độ phức tạp không phải là độ đo chính xác lượng tài nguyên máy cần dùng, mà đặc trưng cho động thái của hệ thống khi kích thước đầu vào tăng lên. Chẳng hạn với thuật toán có độ phức tạp tuyến tính $O(n)$ (xem phần dưới), nếu kích thước đầu vào tăng gấp đôi thì có thể ước tính rằng tài nguyên cần dùng cũng tăng khoảng gấp đôi. Nhưng với thuật toán có độ phức tạp bình phương $O(n^2)$ thì tài nguyên sẽ tăng gấp bốn. Mặt khác, với thuật toán có độ phức tạp hàm mũ $O(2^n)$ thì chỉ cần công thêm 2 đơn vị vào độ lớn đầu vào cũng đã làm tài nguyên tăng gấp 4 lần (tức là theo cấp số nhân) rồi.

Các độ phức tạp thường gặp đối với các thuật toán thông thường gồm có:

• Độ phức tạp hằng số, $O(1)$. Số phép tính/thời gian chạy/dung lượng bộ nhớ không phụ thuộc vào độ lớn đầu vào. Chẳng hạn như các thao tác hệ thống: đóng, mở Tập tin. đây là những kiến thức không đúng lắm
• Độ phức tạp tuyến tính, $O(n)$. Số phép tính/thời gian chạy/dung lượng bộ nhớ có xu hướng tỉ lệ thuận với độ lớn đầu vào. Chẳng hạn như tính tổng các phần tử của một mảng một chiều.
• Độ phức tạp đa thức, $O(P(n))$, với $P$ là đa thức bậc cao (từ 2 trở lên). Chẳng hạn như các thao tác tính toán với mảng nhiều chiều (tính định thức ma trận).
• Độ phức tạp logarit, $O(\backslash log\; n)$ (chú ý: bậc của nó thấp hơn so với $O(n)$). Chẳng hạn thuật toán Euclid để tìm ước số chung lớn nhất.
• Độ phức tạp hàm mũ, $O(2^n)$. Trường hợp này bất lợi nhất và sẽ rất phi thực tế nếu thực hiện thuật toán với độ phức tạp này.

Lưu ý

Định nghĩa trên mang tính "an toàn" theo nghĩa nó chỉ xét sự tiêu tốn tài nguyên không vượt quá một ngưỡng $g(n)$ nào đó, chứ không nhất thiết đúng bằng $g(n)$ (chú ý dấu bất đẳng thức). Theo đó, một thuật toán có độ phức tạp cỡ $n$ thì đồng thời sẽ có độ phức tạp cỡ $n^2$; với hàm ý rằng thuật toán này không bao giờ có động thái phức tạp hóa vượt qua ngưỡng đa thức bậc hai.

Bậc Ω và Θ

Tương tự như với bậc O-lớn, nếu như tìm được các hằng số $C,\; k\_1,\; k\_2$ đều dương và không phụ thuộc vào $n$, sao cho với $n$ đủ lớn, các hàm $R(n),\; f(n)$ và $h(n)$ đều dương và ::$R(n)\backslash geq\; C\; \backslash cdot\; f(n)$ ::$k\_1\backslash cdot\; h(n)\; \backslash leq\; R(n)\; \backslash leq\; k\_2\backslash cdot\; h(n)$

thì ta nói thuật toán có độ phức tạp cỡ lớn hơn $\backslash Omega(f(n))$, và đúng bằng cỡ $\backslash Theta(h(n))$.

Như vậy nếu xét một cách chặt chẽ, ký hiệu Θ mới biểu thị độ phức tạp của thuật toán một cách chặt chẽ. Tuy nhiên qua một thời gian dài ký hiệu $O(n)$ cũng đã được dùng phổ biến, chẳng hạn .