Maximize Conversion, Minimize Risk. Strategi A/B Testing Menggunakan SimGym & Rollouts

Introduction

 A/B Testing di Shopify adalah sebuah strategi pemasaran yang digunakan untuk menguji hipotesa kita pada suatu tampilan atau desain guna mendapatkan fakta langsung dari pasar. Tujuan utama dari strategi ini adalah untuk menguji data yang berhasil didapatkan di lapangan. Selain itu, ini juga menjadi strategi pemasaran yang efektif untuk efisiensi biaya dalam kampanye pemasaran berbayar, seperti pemasangan iklan di Google Ads, Facebook Ads, dan platform lainnya.

Untuk ekosistem Shopify, terdapat dua alat kuat yang dapat dimanfaatkan untuk melakukan pengujian ini: SimGym dan Rollouts. Keduanya memiliki pendekatan yang sangat berbeda namun saling melengkapi.

1. SimGym: Laboratorium Prediksi Berbasis AI

Visit Shopify SimGym

SimGym adalah hasil kolaborasi infrastruktur antara Shopify dan NVIDIA. Alat ini pada dasarnya adalah lingkungan simulasi yang memungkinkan Anda melakukan pengujian tanpa menyentuh trafik pelanggan asli.

Shopify X Nvidia

• SimGym memungkinkan Anda untuk menguji dan membandingkan dua tema yang berbeda.

• Sistem ini menggunakan agen AI yang bertindak layaknya pelanggan di toko Anda.

• Agen AI ini mampu menelusuri produk, membuka halaman, menambahkan barang ke keranjang belanja, dan menavigasi situs layaknya pelanggan sungguhan.

• Setiap agen AI memiliki personalitas atau karakteristiknya masing-masing.

• Anda disediakan fitur live preview untuk melihat secara langsung bagaimana AI tersebut menavigasi toko Anda.

2. Rollouts: Implementasi Eksperimen Pada Live Store

Berbeda dengan SimGym yang menggunakan simulasi, Rollouts bekerja langsung pada environment produksi (toko yang sedang live). Rollouts melakukan pengujian kepada pengguna nyata di toko Anda dengan tujuan untuk mengetahui bagaimana pembeli berperilaku dan mendapatkan fakta lapangan tentang tampilan mana yang lebih baik.

• Rollouts memungkinkan Anda untuk menjadwalkan A/B testing secara spesifik untuk promosi mendatang, rilis musiman, hingga flash sale dari jauh-jauh hari dengan pengaturan waktu peluncuran otomatis.

• Anda dapat memisahkan trafik (misalnya 50/50) untuk menguji dua perubahan yang berbeda pada sebuah tema.

• Sistem ini dilengkapi dengan kemampuan Rollback; jika tema yang Anda bandingkan ternyata tidak memberikan nilai konversi yang signifikan, Anda dapat dengan mudah mengembalikan perubahan tersebut (rollback changes).

SimGym vs Rollouts: 4 Aspek Perbandingan Utama

Untuk membantu Anda memutuskan kapan harus menggunakan masing-masing alat, berikut adalah perbandingan keduanya dari empat aspek krusial:

1. Siapa yang Mengakses (Who Accessed)

• SimGym: Agen AI (Simulated Shoppers) yang secara otomatis mengakses dua tema berbeda.

• Rollouts: Pelanggan nyata dan pengunjung organik toko Anda.

2. Lingkungan Uji (Environment)

• SimGym: Berjalan pada latar belakang simulasi (Background Simulation) di mana AI bertindak sebagai pelanggan di toko Anda.

• Rollouts: Berjalan di toko Anda yang sudah aktif atau Live Store (Production Ready Store).

3. Tujuan Utama (Purpose)

• SimGym: Mengeksplorasi desain Anda dan memprediksi perilaku pelanggan, lalu memberikan saran yang dapat ditindaklanjuti.

• Rollouts: Difokuskan untuk penjadwalan, menjalankan kampanye yang berbeda, serta melakukan split testing pada trafik nyata.

4. Risiko Konversi (Conversion Risk)

• SimGym: Tidak ada risiko konversi sama sekali karena semua eksperimen berbasis eksplorasi agen AI, sehingga tidak ada pelanggan nyata yang dilibatkan.

• Rollouts: Memiliki risiko; jika ada pembaruan antarmuka (UI) yang secara tidak sengaja menghalangi alur transaksi, hal tersebut akan langsung berdampak pada penjualan toko Anda.

Kesimpulan

Pendekatan terbaik untuk memaksimalkan konversi adalah dengan menggunakan kedua alat ini di tahap yang berbeda:

• Gunakan SimGym sebagai laboratorium Anda. Ini adalah tempat yang tepat untuk memprediksi bagaimana pelanggan bertindak dan bereaksi terhadap dua tema berbeda menggunakan basis pelanggan agen AI.

• Setelah Anda yakin dengan hasilnya, gunakan Rollouts untuk tahap implementasi A/B test. Di sinilah Anda membandingkan satu tema dengan modifikasi gaya yang berbeda menggunakan basis pelanggan organik Anda untuk melihat secara aktual opsi mana yang paling disukai pelanggan.