✨Thử nghiệm A/B

nhỏ|Ví dụ về thử nghiệm A/B trên một trang web. Bằng cách phục vụ ngẫu nhiên khách truy cập hai phiên bản của trang web chỉ khác nhau về thiết kế của một phần tử nút duy nhất, có thể đo lường hiệu quả tương đối của hai thiết kế. Thử nghiệm A/B là một phương pháp nghiên cứu trải nghiệm người dùng. Thử nghiệm A/B bao gồm một thử nghiệm ngẫu nhiên với hai biến thể, A và B. Nó bao gồm việc áp dụng thử nghiệm giả thuyết thống kê hoặc "thử nghiệm giả thuyết hai mẫu" như được sử dụng trong lĩnh vực thống kê. Thử nghiệm A/B là một cách để so sánh hai phiên bản của một biến, thường bằng cách kiểm tra phản ứng của đối tượng đối với biến thể A so với biến thể B, và xác định xem biến thể nào có hiệu quả hơn.

Tổng quan

Thử nghiệm A/B là cách viết tắt của một thử nghiệm có kiểm soát đơn giản.

Thử nghiệm A/B hữu ích để hiểu mức độ tương tác của người dùng và mức độ hài lòng của các tính năng trực tuyến, chẳng hạn như một tính năng hoặc sản phẩm mới. Các trang web truyền thông xã hội lớn như LinkedIn, Facebook và Instagram sử dụng thử nghiệm A/B để khiến trải nghiệm người dùng thành công hơn và cũng như là một cách để cải thiện dịch vụ của họ.

Ngày nay, các thử nghiệm A/B đang được sử dụng để chạy các thử nghiệm phức tạp hơn, chẳng hạn như hiệu ứng mạng khi người dùng ngoại tuyến, cách dịch vụ trực tuyến ảnh hưởng đến hành động của người dùng và cách người dùng ảnh hưởng đến nhau. Nhiều vị trí dựa vào dữ liệu từ các thử nghiệm A/B, vì chúng cho phép các công ty hiểu được sự tăng trưởng, tăng doanh thu và tối ưu hóa sự hài lòng của khách hàng.

Phiên bản A có thể là phiên bản (điều chỉnh) đang được sử dụng, trong khi phiên bản B được sửa đổi tại một vài phương diện (trị liệu). Ví dụ: trên một trang web thương mại điện tử, phễu mua hàng thường là một ứng cử viên tốt cho thử nghiệm A/B, vì ngay cả khi tỷ lệ rớt hàng giảm nhẹ cũng có thể thể hiện doanh thu tăng đáng kể. Những cải tiến đáng kể đôi khi có thể được nhìn thấy thông qua các yếu tố thử nghiệm như sao chép văn bản, bố cục, hình ảnh và màu sắc, nhưng không phải lúc nào cũng vậy. Trong các thử nghiệm này, người dùng chỉ thấy một trong hai phiên bản, vì mục đích là để phát hiện phiên bản nào thích hợp hơn.

Thử nghiệm đa biến hoặc thử nghiệm đa thức tương tự như thử nghiệm A/B, nhưng có thể thử nghiệm nhiều hơn hai phiên bản cùng một lúc hoặc sử dụng nhiều điều chỉnh hơn. Các thử nghiệm A/B đơn giản không hợp lệ cho các tình huống quan sát, bán thực nghiệm hoặc phi thực nghiệm khác, như thường thấy với dữ liệu khảo sát, dữ liệu ngoại tuyến và các hiện tượng phức tạp hơn khác.

Thử nghiệm A/B đã được một số người tiếp thị như là một sự thay đổi trong triết lý và chiến lược kinh doanh trong một số lĩnh vực nhất định, mặc dù cách tiếp cận giống hệt với thiết kế giữa các đối tượng, thường được sử dụng trong nhiều truyền thống nghiên cứu. Thử nghiệm A/B như một triết lý phát triển web đưa lĩnh vực này cùng hàng với một sự chuyển đổi rộng hơn theo hướng thực hành dựa trên bằng chứng. Lợi ích của thử nghiệm A/B được xem là nó có thể được thực hiện liên tục trên hầu hết mọi thứ, đặc biệt là vì hầu hết các phần mềm tự động hóa tiếp thị hiện nay thường đi kèm với khả năng chạy thử nghiệm A/B liên tục.

Thống kê phép thử phổ biến

"Phép thử giả thuyết hai mẫu" thích hợp để so sánh hai mẫu, trong đó các mẫu được chia cho hai trường hợp điều chỉnh trong thử nghiệm. Phép thử Z thích hợp để so sánh các phương tiện trong các điều kiện nghiêm ngặt về tính chuẩn và độ lệch chuẩn đã biết. Phép thử t của Student thích hợp để so sánh các phương tiện trong điều kiện thoải mái khi giả định ít hơn. Phép thử t của Welch giả định ít nhất và do đó là phép thử được sử dụng phổ biến nhất trong kiểm định giả thuyết hai mẫu, trong đó giá trị trung bình của một số liệu được tối ưu hóa. Trong khi giá trị trung bình của biến được tối ưu hóa là lựa chọn phổ biến nhất của ước lượng, thì những cái khác thường được sử dụng.

Để so sánh hai phân phối nhị thức chẳng hạn như tỷ lệ nhấp, người ta sẽ sử dụng phép thử chính xác của Fisher.

Lịch sử

Giống như hầu hết các lĩnh vực khác, việc xác định ngày ra đời của một phương pháp mới là rất khó. Thử nghiệm với các chiến dịch quảng cáo, hay được so sánh với thử nghiệm A/B hiện đại, đã bắt đầu vào đầu thế kỷ XX. Nhà tiên phong quảng cáo Claude Hopkins đã sử dụng phiếu giảm giá khuyến mại để thử nghiệm tính hiệu quả của các chiến dịch của mình. Tuy nhiên, quá trình này, mà Hopkins đã mô tả trong Scientific Advertising của mình, thì không kết hợp các khái niệm như ý nghĩa thống kê và giả thuyết không, cái hay được sử dụng trong kiểm định giả thuyết thống kê. Các phương pháp thống kê hiện đại để đánh giá mức độ quan trọng của dữ liệu mẫu đã được phát triển riêng rẽ trong cùng thời kỳ. Công việc này được thực hiện năm 1908 bởi William Sealy Gosset khi ông thay đổi phép thử Z để tạo ra phép thử của Student.

Với sự phát triển của Internet, đã có những cách mới để lấy mẫu quần thể. Các kỹ sư của Google đã chạy thử nghiệm A/B đầu tiên của họ vào năm 2000 với nỗ lực xác định số lượng kết quả tối ưu để hiển thị trên trang kết quả của công cụ tìm kiếm. Đó là một thực tế ngày càng phổ biến khi các công cụ và chuyên môn phát triển trong lĩnh vực này.

Ví dụ

Một công ty có cơ sở dữ liệu khách hàng gồm 2.000 người quyết định tạo chiến dịch email có mã giảm giá để tạo doanh số bán hàng thông qua trang web của mình. Họ tạo ra hai phiên bản email với lời kêu gọi hành động khác nhau (phần sẽ khuyến khích khách hàng làm điều gì đó - trong trường hợp chiến dịch bán hàng thì là mua hàng) và xác định mã khuyến mại.

• Đối với 1.000 người, họ gửi email với lời kêu gọi hành động rằng "Ưu đãi sẽ kết thúc vào thứ Bảy tuần này! Sử dụng mã A1",
• và cho 1.000 người khác, họ gửi email với lời kêu gọi hành động rằng "Ưu đãi sắp kết thúc! Sử dụng mã B1".

Tất cả các yếu tố khác và bố cục của email đều giống hệt nhau. Sau đó, công ty sẽ theo dõi chiến dịch nào có tỷ lệ thành công cao hơn bằng cách phân tích việc sử dụng các mã khuyến mại. Email sử dụng mã A1 có tỷ lệ phản hồi 5% (50 trong số 1.000 người được gửi email đã sử dụng mã để mua sản phẩm), và email sử dụng mã B1 có tỷ lệ phản hồi 3% (30 người nhận đã sử dụng mã để mua một sản phẩm). Do đó công ty xác định rằng trong trường hợp này, lời kêu gọi hành động đầu tiên hiệu quả hơn và sẽ sử dụng nó trong các đợt bán hàng trong tương lai. Một cách tiếp cận sắc thái hơn sẽ liên quan đến việc áp dụng kiểm định thống kê để xác định xem sự khác biệt về tỷ lệ phản hồi giữa A1 và B1 có ý nghĩa thống kê hay không (nghĩa là, rất có thể sự khác biệt là thật, có thể lặp lại, và không phải do cơ hội ngẫu nhiên).

Trong ví dụ trên, mục đích của thử nghiệm là xác định đâu là cách hiệu quả hơn để khuyến khích khách hàng mua hàng. Tuy nhiên, nếu mục đích của thử nghiệm là xem email nào sẽ tạo ra tỷ lệ nhấp cao hơn, tức là số người thực sự nhấp vào trang web sau khi nhận được email, thì kết quả có thể sẽ khác.

Ví dụ: mặc dù nhiều khách hàng nhận được mã B1 đã truy cập vào trang web, vì lời kêu gọi hành động không nêu rõ ngày kết thúc của chương trình khuyến mại, nhiều người trong số họ có thể không cần phải mua hàng ngay lập tức. Do đó, nếu mục đích của thử nghiệm chỉ đơn giản là xem email nào sẽ mang lại nhiều lưu lượng truy cập hơn cho trang web, thì email chứa mã B1 có thể đã thành công hơn. Thử nghiệm A/B nên có kết quả xác định có thể đo lường được chẳng hạn như số lần bán hàng đã được thực hiện, chuyển đổi tỷ lệ nhấp hoặc số người đăng ký.

Thử nghiệm A/B chính trị

Thử nghiệm A/B được nhiều tập đoàn sử dụng cho hơn, nhưng cũng đang thúc đẩy các chiến dịch chính trị. Năm 2007, chiến dịch tranh cử tổng thống của Barack Obama đã sử dụng thử nghiệm A/B như một cách để thu hút sự chú ý trực tuyến và hiểu những gì cử tri muốn thấy từ ứng cử viên tổng thống.

Chẳng hạn, trong ví dụ trên, phân tích tỷ lệ phản hồi theo giới tính có thể là:

Trong trường hợp này, chúng ta có thể thấy rằng trong khi biến thể A có tỷ lệ phản hồi tổng thể cao hơn, thì biến thể B thực sự có tỷ lệ phản hồi cao hơn với nam giới.

Do đó, công ty có thể chọn một chiến lược phân khúc là kết quả của thử nghiệm A/B, gửi biến thể B cho nam giới và biến thể A cho nữ giới trong tương lai. Trong ví dụ này, chiến lược được phân khúc sẽ làm tăng tỷ lệ phản hồi dự kiến từ $5\backslash \%\; =\; \backslash frac\{40\; +\; 10\}\{500\; +\; 500\}$ đến $6.5\backslash \%\; =\; \backslash frac\{40\; +\; 25\}\{500+500\}$ - tăng 30%.

Điều quan trọng cần lưu ý là nếu mong đợi kết quả được phân khúc từ thử nghiệm A/B thì ngay từ đầu, thử nghiệm phải được thiết kế phù hợp để phân bổ đồng đều trên các thuộc tính khách hàng chính, chẳng hạn như giới tính. Tức là, thử nghiệm phải có cả (a) chứa một mẫu đại diện là nam và nữ và (b) chỉ định nam và nữ một cách ngẫu nhiên cho mỗi "biến thể" (biến thể A so với biến thể B). Nếu không làm như vậy có thể dẫn đến sai lệch thử nghiệm và kết luận không chính xác được rút ra từ thử nghiệm.

Cách tiếp cận phân khúc và nhắm mục tiêu này có thể được tổng quát hóa hơn nữa để bao gồm nhiều thuộc tính khách hàng thay vì một thuộc tính khách hàng duy nhất, ví dụ: tuổi và giới tính của khách hàng, để xác định các mẫu sắc thái hơn có thể tồn tại trong kết quả thử nghiệm.