چند شرکت‌کننده برای تست کاربردپذیری کافی است؟

اولین سوالی که تقریبا هر تیمی قبل از تست کاربردپذیری می‌پرسد این است: چند شرکت‌کننده لازم داریم؟ جواب کوتاهی که همه شنیده‌اند «پنج نفر» است. این عدد غلط نیست، ولی فقط برای یک نوع تست درست است و اگر بدون شرطش استفاده شود، یا پول و وقت هدر می‌دهد یا نتیجه‌ای می‌دهد که نمی‌شود رویش تصمیم گرفت.

در این نوشته توضیح می‌دهیم عدد پنج از کجا آمده، کجا جواب می‌دهد و برای روش‌هایی مثل تست درختی، کارت سورتینگ، تست اولین کلیک و تست ترجیح چه عددی منطقی‌تر است.

عدد پنج از کجا آمد

در سال ۱۹۹۳ یاکوب نیلسن و تام لاندور روی داده چند پروژه واقعی حساب کردند که هر کاربر به طور متوسط حدود ۳۱ درصد از مشکلات کاربردپذیری یک رابط را پیدا می‌کند. کاربر دوم بخشی از همان مشکلات را دوباره می‌بیند و فقط چند مورد تازه اضافه می‌کند. کاربر سوم باز هم کمتر. با این حساب، پنج کاربر حدود ۸۵ درصد مشکلات را پیدا می‌کنند و بعد از آن هر نفر اضافه چیز زیادی به فهرست اضافه نمی‌کند.

نکته‌ای که معمولا جا می‌افتد این است که نیلسن نگفت «فقط پنج نفر تست بگیرید و تمام». پیشنهادش این بود که به جای یک تست بزرگ با پانزده نفر، سه دور تست کوچک با پنج نفر بگیرید: مشکلات را پیدا کنید، درستشان کنید و دوباره تست بگیرید. یعنی عدد پنج برای چرخه طراحی و اصلاح است، نه برای گزارش دادن یک عدد قطعی.

پنج نفر برای تست کاربردپذیری کجا کافی است

قاعده پنج نفر برای تست کیفی جواب می‌دهد؛ جایی که دنبال پیدا کردن مشکل هستید، نه اندازه گرفتن آن. مثلا وقتی کاربر را در حال خرید از سایت تماشا می‌کنید و می‌خواهید بفهمید کجا گیر می‌کند. در این حالت اگر سه نفر از پنج نفر سر یک فرم گیر کردند، دیگر لازم نیست ببینید نفر بیستم هم گیر می‌کند یا نه. مشکل واقعی است و باید درست شود.

این قاعده دو شرط دارد که اگر برقرار نباشند، عدد پنج کم است:

• کاربران از یک گروه باشند. اگر محصول شما دو گروه کاملا متفاوت دارد، مثلا فروشنده و خریدار در یک بازارچه آنلاین، برای هر گروه جداگانه سه تا پنج نفر لازم دارید. فروشنده با پنل کاملا متفاوتی کار می‌کند و مشکلاتش ربطی به خریدار ندارد.
• تست روی چند کار مشخص باشد. اگر بخواهید در یک جلسه کل یک اپ بانکی را تست کنید، پنج نفر فقط سطح ماجرا را می‌بینند. بهتر است هر دور تست را روی یک یا دو مسیر مهم متمرکز کنید.

وقتی دنبال عدد هستید، نه مشکل

قصه برای تست کمی فرق می‌کند. اگر می‌خواهید بگویید «۷۰ درصد کاربران مسیر درست را پیدا کردند» یا «طرح دوم بیشتر پسندیده شد»، با پنج نفر نمی‌شود. با پنج نفر، اختلاف یک نفر یعنی بیست درصد تغییر در نتیجه. چنین عددی هیچ‌وقت در جلسه با مدیر محصول دوام نمی‌آورد.

در تست کمی، حجم نمونه یعنی همان تعداد شرکت‌کننده‌ها مستقیم روی حاشیه خطا اثر می‌گذارد؛ یعنی عددی که به دست آورده‌اید چقدر ممکن است با واقعیت فاصله داشته باشد. جدول زیر حاشیه خطای تقریبی را برای یک نتیجه پنجاه پنجاه با اطمینان ۹۵ درصد نشان می‌دهد:

همان‌طور که می‌بینید، از ده نفر به پنجاه نفر، دقت خیلی بهتر می‌شود. ولی از پنجاه به صد نفر، با دو برابر هزینه، فقط چهار درصد دقت اضافه می‌گیرید. برای بیشتر تصمیم‌های طراحی، جایی بین سی تا پنجاه نفر نقطه تعادل خوبی است.

تعداد شرکت‌کننده پیشنهادی برای هر روش

عددهای زیر قانون نیستند. اینها نقطه شروع منطقی هستند که در منابع معتبر و تجربه تیم‌های تحقیق تکرار شده‌اند:

کارت سورتینگ

در کارت سورتینگ دنبال این هستید که کاربران کارت‌ها را چطور کنار هم می‌گذارند. تحقیقی که تام تالیس روی داده کارت سورتینگ انجام داد نشان داد که با حدود پانزده نفر، نتیجه تا حد زیادی همان چیزی است که با نمونه‌های خیلی بزرگ‌تر به دست می‌آید و از آنجا به بعد هر نفر اضافه تغییر کمی ایجاد می‌کند. اگر تعداد کارت‌ها زیاد است یا مخاطب متنوع دارید، تا سی نفر بروید.

تست درختی

خروجی اصلی تست درختی نرخ موفقیت برای هر سوال است. اگر با پانزده نفر بگویید «۶۰ درصد مسیر را پیدا کردند»، این عدد ممکن است در واقعیت ۴۰ یا ۸۰ باشد. برای همین تیم‌هایی که تست درختی را جدی اجرا می‌کنند معمولا زیر سی نفر نمی‌روند و پنجاه نفر را هدف می‌گیرند. مراحل اجرای تست درختی را هم اینجا نوشته‌ایم.

تست اولین کلیک و تست ترجیح

هر دو روش در نهایت یک نسبت به شما می‌دهند: چند درصد اول روی جای درست کلیک کردند، یا چند درصد طرح «الف» را انتخاب کردند. هرچه اختلاف دو گزینه کمتر باشد، نفرات بیشتری لازم دارید تا خیالتان راحت باشد که اختلاف شانسی نیست. با سی نفر، اگر هجده نفر طرح اول و دوازده نفر طرح دوم را انتخاب کنند، این اختلاف به راحتی می‌تواند تصادفی باشد.

وقتی بودجه یا زمان محدود است

بیشتر تیم‌ها نه وقت پنجاه نفر را دارند نه بودجه‌اش را. چند راه برای کنار آمدن با این محدودیت:

1. روش را با سوالتان جور کنید. اگر هنوز نمی‌دانید مشکل کجاست، با پنج نفر تست کیفی شروع کنید. عدد بزرگ را برای وقتی نگه دارید که می‌خواهید بین دو گزینه تصمیم بگیرید.
2. تست را کوتاه کنید. تستی که سه دقیقه طول می‌کشد خیلی راحت‌تر از تست بیست دقیقه‌ای شرکت‌کننده جمع می‌کند. یک تست درختی با پنج سوال بهتر از یک تست با پانزده سوال نیمه‌کاره است.
3. از کاربران خودتان کمک بگیرید. لینک تست را در خبرنامه، کانال یا داخل پنل محصول بگذارید. کاربر واقعی از هر شرکت‌کننده تصادفی ارزشمندتر است.
4. پاسخ‌های ناقص را بشمارید. اگر نصف شرکت‌کننده‌ها وسط تست رها کرده‌اند، خود این یک یافته است. یعنی تست یا خیلی طولانی است یا جایی از آن گیج‌کننده است.

چند اشتباه رایج

• تست کیفی با عدد گزارش دادن. «۴۰ درصد کاربران دکمه را ندیدند» وقتی کل تست پنج نفر بوده، یعنی دو نفر. همین را بنویسید: دو نفر از پنج نفر.
• جمع کردن همه گروه‌ها در یک تست. وقتی کاربر تازه‌کار و حرفه‌ای را با هم تست می‌کنید، مشکلات هر دو گروه در میانگین گم می‌شوند.
• متوقف کردن تست به محض دیدن نتیجه دلخواه. اگر قرار است پنجاه نفر تست بدهند، صبر کنید تا پنجاه نفر کامل شوند. نتیجه ده نفر اول اغلب با نتیجه نهایی فرق دارد.
• نادیده گرفتن کیفیت پاسخ‌ها. کسی که تست ده دقیقه‌ای را در چهل ثانیه تمام کرده، احتمالا فقط کلیک کرده تا تمام شود. بهتر است این پاسخ‌ها را از تحلیل کنار بگذارید.

جمع‌بندی عملی

اگر قرار است فقط یک چیز از این نوشته یادتان بماند، این باشد: اول بپرسید دنبال چه هستید. برای پیدا کردن مشکل، پنج نفر در هر دور و چند دور پشت سر هم. برای اندازه گرفتن و مقایسه، سی تا پنجاه نفر. و اگر مخاطب‌تان چند گروه متفاوت دارد، این عددها را برای هر گروه جداگانه حساب کنید.

در یوزر تستینگ کنار هر شرکت‌کننده یک کلید «لحاظ در تحلیل» هست؛ پاسخ‌هایی را که کیفیت ندارند با یک کلیک از نتایج کنار بگذارید و نمودارها همان لحظه دوباره حساب می‌شوند. اگر هنوز برای انتخاب ابزار مردد هستید، راهنمای انتخاب ابزار تست کاربردپذیری را بخوانید.