تست A/B چیست؟ کی جواب می‌دهد، حجم نمونه و راه‌های سریع‌تر

تست A/B (یا تست ای بی) روشی است که در آن دو نسخه از یک صفحه یا یک جزء صفحه را هم‌زمان به دو گروه تصادفی از بازدیدکننده‌های واقعی نشان می‌دهید و با داده می‌سنجید کدام نسخه در یک هدف مشخص، مثل خرید یا ثبت‌نام، بهتر عمل می‌کند. تست A/B به سوال «کدام بهتر است» با عدد جواب می‌دهد، ولی فقط وقتی ترافیک کافی دارید و تقریبا هیچ‌وقت نمی‌گوید «چرا».

تست A/B در سال‌های اخیر به نماد تصمیم‌گیری داده‌محور تبدیل شده و خیلی از تیم‌ها فکر می‌کنند هر تغییری را باید با آن سنجید. واقعیت این است که تست A/B ابزار قدرتمندی است، ولی شرط‌های سختی دارد و برای بسیاری از سایت‌های ایرانی که ترافیک متوسطی دارند، یا جواب نمی‌دهد یا هفته‌ها طول می‌کشد. در این مقاله می‌بینیم تست A/B دقیقا چطور کار می‌کند، چه وقت ارزش اجرا دارد، چقدر نمونه لازم دارد و وقتی شرایطش را ندارید، چه راه سریع‌تری پیش از انتشار وجود دارد.

تست A/B چیست و چطور کار می‌کند

ساختار یک تست A/B ساده است:

1. فرضیه: یک تغییر مشخص و دلیلش را می‌نویسید. مثلا «اگر هزینه ارسال را در صفحه محصول نشان دهیم، کاربرهای کمتری در صفحه پرداخت منصرف می‌شوند».
2. معیار اصلی: یک عدد را انتخاب می‌کنید که موفقیت را نشان دهد؛ مثل نرخ تکمیل خرید.
3. تقسیم تصادفی: بازدیدکننده‌ها به‌طور تصادفی به نسخه A (فعلی) یا نسخه B (جدید) فرستاده می‌شوند و هر کاربر همیشه همان نسخه را می‌بیند.
4. اجرا: تست را تا رسیدن به حجم نمونه از پیش تعیین‌شده ادامه می‌دهید.
5. تحلیل: با آزمون آماری بررسی می‌کنید که تفاوت دو نسخه واقعی است یا ممکن است از شانس باشد.

نکته کلیدی کلمه «تصادفی» است. چون دو گروه در همه چیز جز نسخه‌ای که دیده‌اند شبیه هم هستند، اگر تفاوت معناداری دیدید، می‌توانید آن را به تغییر خودتان نسبت دهید. این همان چیزی است که تست A/B را از مقایسه «قبل و بعد» قابل‌اعتمادتر می‌کند؛ چون در مقایسه قبل و بعد، فصل، تبلیغات و هزار عامل دیگر هم عوض شده‌اند.

یک مثال: دکمه رزرو در سامانه رزرو هتل

فرض کنید یک سامانه رزرو هتل آنلاین می‌خواهد بداند اگر روی دکمه اصلی به‌جای «رزرو کنید» مبلغ کل اقامت نوشته شود، مثلا «رزرو با ۴ میلیون و ۲۰۰ هزار تومان»، کاربرهای بیشتری رزرو را تمام می‌کنند یا نه. فرضیه این است که دیدن مبلغ نهایی از ابتدا، غافلگیری در مرحله پرداخت را کم می‌کند.

تیم تست را طوری تنظیم می‌کند که نیمی از بازدیدکننده‌های صفحه هتل نسخه فعلی و نیم دیگر نسخه جدید را ببینند. معیار اصلی نرخ تکمیل رزرو است. یک معیار محافظ هم تعریف می‌کنند: نرخ لغو رزرو در ۴۸ ساعت بعد، تا مطمئن شوند تغییر فقط رزروهای عجولانه را زیاد نکرده است.

اما قبل از ساختن نسخه B، باید یک سوال ساده‌تر را جواب دهند: آیا اصلا آن‌قدر ترافیک دارند که نتیجه این تست در زمان معقولی معنادار شود؟

حجم نمونه در تست A/B

بیشتر تست‌های A/B ناموفق نه به خاطر فرضیه بد، بلکه به خاطر نمونه ناکافی شکست می‌خورند. حجم نمونه لازم به چهار چیز بستگی دارد:

• نرخ تبدیل فعلی: هر چه کمتر باشد، نمونه بیشتری لازم است.
• کوچک‌ترین تفاوتی که می‌خواهید تشخیص دهید: تشخیص تفاوت کوچک، نمونه خیلی بزرگ‌تری می‌خواهد.
• سطح اطمینان: معمولا ۹۵ درصد.
• توان آماری: معمولا ۸۰ درصد؛ یعنی اگر تفاوت واقعی وجود دارد، چقدر احتمال دارد تست آن را ببیند.

برای اینکه حسی از عددها داشته باشید: اگر نرخ تبدیل فعلی ۳ درصد باشد و بخواهید بهبودی نسبی در حد ۲۰ درصد را ببینید (یعنی از ۳ به ۳٫۶ درصد)، با سطح اطمینان ۹۵ درصد و توان ۸۰ درصد، فرمول‌های استاندارد عددی در حدود ۱۴ هزار بازدیدکننده برای هر نسخه می‌دهند؛ یعنی نزدیک ۲۸ هزار نفر در مجموع. اگر صفحه شما روزی هزار بازدیدکننده دارد، این تست حدود یک ماه طول می‌کشد. برای تفاوت‌های کوچک‌تر، عدد چند برابر می‌شود. پیش از شروع هر تست، با یک ماشین‌حساب حجم نمونه همین محاسبه را برای عددهای خودتان انجام دهید.

نگاه زودهنگام به نتیجه

یکی از رایج‌ترین خطاها این است که هر روز نتیجه را نگاه کنید و به محض اینکه نسخه B «معنادار» شد، تست را متوقف کنید. نوسان عددها در روزهای اول زیاد است و اگر بارها نگاه کنید و در اولین لحظه مساعد بایستید، احتمال نتیجه مثبت کاذب خیلی بالاتر از ۵ درصدی می‌رود که فکر می‌کنید. حجم نمونه را از قبل تعیین کنید و تا رسیدن به آن صبر کنید. بهتر است تست را دست‌کم یک یا دو هفته کامل اجرا کنید تا تفاوت رفتار کاربرها در روزهای مختلف هفته هم پوشش داده شود.

تست A/B کی جواب می‌دهد و کی نه

وقتی تست A/B جواب می‌دهد

• محصول زنده است و صفحه مورد نظر ترافیک کافی دارد.
• یک معیار اصلی روشن و قابل اندازه‌گیری دارید.
• تغییر محدود و مشخص است، پس می‌دانید نتیجه را به چه چیزی نسبت دهید.
• اثر تغییر در زمان کوتاه دیده می‌شود، مثل کلیک یا تکمیل خرید در همان جلسه.

وقتی تست A/B جواب نمی‌دهد

• ترافیک کم است و رسیدن به حجم نمونه ماه‌ها طول می‌کشد.
• هنوز محصولی منتشر نشده و فقط طرح یا پروتوتایپ دارید.
• تغییر بزرگ است، مثل بازطراحی کامل صفحه اصلی. نسخه B ممکن است ببرد، ولی نمی‌دانید کدام بخش از ده تغییر باعثش شده.
• سوال شما «چرا» است. تست A/B می‌گوید کاربرها کمتر خرید کردند، ولی نمی‌گوید چه چیزی گیجشان کرد.
• معیار مهم دیر دیده می‌شود، مثل وفاداری چندماهه.

در این حالت‌ها، روش‌های تحقیق کاربر سریع‌تر و ارزان‌تر به جواب مفید می‌رسند.

اشتباه‌های رایج در تست A/B

• تغییر چند چیز با هم: اگر تیتر، عکس و دکمه را با هم عوض کنید، فقط می‌دانید ترکیب جدید بهتر یا بدتر است.
• چند معیار اصلی: اگر بیست معیار را نگاه کنید، احتمالا یکی از آن‌ها به‌طور تصادفی معنادار می‌شود. معیار اصلی را از قبل انتخاب کنید.
• نادیده گرفتن اثر تازگی: کاربرهای قدیمی گاهی فقط چون چیزی تازه است روی آن کلیک می‌کنند. اثر ممکن است بعد از چند هفته از بین برود.
• تست چیزهای بی‌اهمیت: تست رنگ دکمه روی سایتی که کاربرها اصلا به صفحه محصول نمی‌رسند، وقت تلف کردن است. اول مشکل‌های بزرگ را پیدا کنید.
• تست بدون فرضیه: «ببینیم چه می‌شود» تست نیست. بدون فرضیه، از نتیجه هم چیزی یاد نمی‌گیرید.

تفاوت تست A/B با تست ترجیح و تست ۵ ثانیه

وقتی ترافیک کافی ندارید یا هنوز چیزی منتشر نکرده‌اید، دو روش سریع پیش از انتشار کمک می‌کنند. تست ترجیح دو یا چند طرح را کنار هم به شرکت‌کننده‌ها نشان می‌دهد و می‌پرسد کدام را ترجیح می‌دهند و چرا. تست ۵ ثانیه هر طرح را فقط چند ثانیه نشان می‌دهد و می‌پرسد چه چیزی یادشان مانده و صفحه درباره چه بود.

تست ترجیح و تست ۵ ثانیه جای تست A/B را نمی‌گیرند. ترجیح گفته‌شده همیشه با رفتار واقعی یکی نیست. اما کمک می‌کنند گزینه‌های ضعیف را زود کنار بگذارید و فقط بهترین نسخه را به مرحله ساخت و تست A/B ببرید. برای سایتی با ترافیک کم، همین ترکیب با بررسی ضبط جلسه و نقشه حرارتی بعد از انتشار، معمولا واقع‌بینانه‌ترین راه است.

یک ترتیب عملی: اول تست سریع، بعد تست A/B

1. با ضبط جلسه، نقشه حرارتی یا نظرسنجی، مشکل واقعی را پیدا کنید و فرضیه بنویسید.
2. دو یا سه طرح برای حل آن بسازید.
3. با تست ترجیح و تست ۵ ثانیه، طرح‌های ضعیف را حذف کنید و دلیل‌ها را بخوانید.
4. اگر ترافیک کافی دارید، بهترین طرح را در برابر نسخه فعلی با تست A/B بسنجید. اگر ندارید، منتشر کنید و رفتار واقعی را با داده رفتاری دنبال کنید.
5. نتیجه را ثبت کنید، چه برنده باشد چه بازنده. تست‌های بازنده هم چیزی درباره کاربرهایتان یادتان می‌دهند.

برای اینکه تست A/B را در کنار بقیه کارهای بهبود نرخ تبدیل ببینید، مقاله بهینه‌سازی نرخ تبدیل را هم بخوانید.

پیش از انتشار با یوزر تستینگ

یوزر تستینگ ابزار اجرای تست A/B نیست و ترافیک سایت شما را بین دو نسخه تقسیم نمی‌کند. کاربردش در مرحله پیش و پس از آن است. با تست ترجیح و تست ۵ ثانیه می‌توانید چند طرح را در چند روز بسنجید و دلیل انتخاب کاربرها را هم بخوانید؛ پاسخ‌های متنی فارسی هم خودکار در تم‌ها دسته‌بندی می‌شوند. بعد از انتشار، ضبط جلسه و نقشه حرارتی نشان می‌دهد کاربرها با نسخه جدید واقعا چطور رفتار می‌کنند. پلن رایگان با ۵۰ پاسخ برای اولین تست ترجیح کافی است.