پرسشنامه SUS: ده سوال استاندارد، فرمول امتیاز و تفسیر نتیجه

پرسشنامه SUS (مخفف System Usability Scale یا مقیاس کاربردپذیری سیستم) ده جمله استاندارد است که کاربر بعد از کار با یک محصول، موافقتش با هر کدام را از ۱ (کاملا مخالفم) تا ۵ (کاملا موافقم) مشخص می‌کند. از این ده پاسخ با یک فرمول ساده عددی بین ۰ تا ۱۰۰ به دست می‌آید که میانگین شناخته‌شده آن حدود ۶۸ است؛ یعنی امتیاز بالاتر از ۶۸ نشان می‌دهد کاربردپذیری محصول از متوسط بهتر است.

جان بروک SUS را در سال ۱۹۸۶ ساخت تا ابزاری سریع و کم‌هزینه برای سنجش کاربردپذیری داشته باشد. حالا بعد از چند دهه، احتمالا پراستفاده‌ترین پرسشنامه استاندارد در تحقیق کاربر است. دلیلش روشن است: کوتاه است، رایگان است، به نوع محصول وابسته نیست و چون تیم‌های زیادی در دنیا از آن استفاده کرده‌اند، عددش قابل مقایسه است. در این مقاله ده جمله را به فارسی می‌بینید، امتیازدهی را قدم به قدم با یک مثال حساب می‌کنیم و می‌گوییم عدد نهایی را چطور بخوانید و کجا به کار ببرید.

ده سوال استاندارد پرسشنامه SUS به فارسی

جمله‌ها عمدا یکی در میان مثبت و منفی نوشته شده‌اند. جمله‌های فرد (۱، ۳، ۵، ۷ و ۹) لحن مثبت دارند و جمله‌های زوج (۲، ۴، ۶، ۸ و ۱۰) لحن منفی. این چیدمان جلوی پاسخ دادن بی‌دقت را تا حدی می‌گیرد، چون کسی که بدون خواندن به همه جمله‌ها ۵ بدهد، نتیجه‌ای متناقض تحویل می‌دهد و راحت پیدا می‌شود. ترجمه پیشنهادی ما این است و به جای «سیستم» می‌توانید اسم محصول خودتان را بگذارید، مثلا «این اپ» یا «این سایت»:

1. فکر می‌کنم دوست دارم از این سیستم به‌طور مرتب استفاده کنم.
2. این سیستم را بی‌دلیل پیچیده دیدم.
3. فکر می‌کنم استفاده از این سیستم آسان بود.
4. فکر می‌کنم برای استفاده از این سیستم به کمک یک فرد فنی نیاز دارم.
5. به نظرم بخش‌های مختلف این سیستم به‌خوبی با هم جور بودند.
6. به نظرم ناهماهنگی زیادی در این سیستم وجود داشت.
7. تصور می‌کنم بیشتر مردم کار با این سیستم را خیلی سریع یاد می‌گیرند.
8. کار با این سیستم را خیلی دست‌وپاگیر دیدم.
9. موقع استفاده از این سیستم احساس اطمینان زیادی داشتم.
10. قبل از اینکه بتوانم با این سیستم کار کنم، باید چیزهای زیادی یاد می‌گرفتم.

مقیاس پاسخ برای همه جمله‌ها یکی است: ۱ یعنی کاملا مخالفم، ۲ مخالفم، ۳ نظری ندارم، ۴ موافقم و ۵ کاملا موافقم. برچسب دو سر مقیاس را حتما نشان دهید تا کاربر مجبور نباشد حدس بزند ۱ خوب است یا بد.

چند نکته درباره ترجمه

ترجمه را تا جای ممکن نزدیک به متن اصلی نگه دارید. اگر جمله‌ای را بازنویسی کنید، جمله‌ای حذف کنید یا جمله تازه‌ای اضافه کنید، دیگر نمی‌توانید عددتان را با میانگین ۶۸ مقایسه کنید و عملا یک پرسشنامه شخصی ساخته‌اید. تغییری که پژوهش‌ها بی‌خطر بودنش را نشان داده‌اند، گذاشتن «سایت» یا «اپ» به جای «سیستم» است. جمله ۸ هم معمولا دردسر دارد؛ در نسخه انگلیسی بعضی کاربرها معنی کلمه cumbersome را نمی‌دانستند و برای همین نسخه‌هایی با کلمه awkward رایج شد. در فارسی «دست‌وپاگیر» یا «پرزحمت» هر دو قابل فهم‌اند. پیش از اجرای اصلی، پرسشنامه را به دو سه نفر نشان دهید و بپرسید از هر جمله چه فهمیدند.

فرمول امتیازدهی SUS قدم به قدم

فرمول ساده است، ولی اگر یک قدم را جا بیندازید عدد کاملا غلط درمی‌آید. رایج‌ترین اشتباه این است که پاسخ‌ها را مستقیم جمع کنند، در حالی که جمله‌های زوج باید برعکس شوند. ترتیب درست این است:

1. برای جمله‌های فرد (۱، ۳، ۵، ۷ و ۹) از پاسخ کاربر یک واحد کم کنید. پاسخ ۴ می‌شود ۳.
2. برای جمله‌های زوج (۲، ۴، ۶، ۸ و ۱۰) پاسخ کاربر را از ۵ کم کنید. پاسخ ۲ می‌شود ۳.
3. حالا هر جمله امتیازی بین ۰ تا ۴ دارد. هر ده امتیاز را جمع کنید؛ حاصل عددی بین ۰ تا ۴۰ است.
4. مجموع را در ۲٫۵ ضرب کنید تا به عددی بین ۰ تا ۱۰۰ برسید. این عدد امتیاز SUS همان یک نفر است.
5. همین کار را برای هر شرکت‌کننده جدا انجام دهید و در آخر از امتیازها میانگین بگیرید.

اگر کسی به جمله‌ای جواب نداد، توصیه خود بروک این است که پاسخ وسط یعنی ۳ را برایش در نظر بگیرید. بهتر است از اول همه جمله‌ها را اجباری کنید تا این حالت پیش نیاید.

مثال عملی: اپ رزرو نوبت پزشک

فرض کنید یک اپ رزرو نوبت پزشک دارید و از کاربر خواسته‌اید برای هفته آینده نوبت یک متخصص پوست در تهران بگیرد. بعد از تمام شدن کار، پرسشنامه را پر کرده و این پاسخ‌ها را داده است:

مجموع امتیازها ۳۱ است و ۳۱ ضربدر ۲٫۵ می‌شود ۷۷٫۵. پس امتیاز SUS این کاربر ۷۷٫۵ است. اگر هشت نفر دیگر هم همین تست را انجام داده باشند، امتیاز هر نفر را همین‌طور حساب می‌کنید و میانگین نه عدد را گزارش می‌دهید. در صفحه‌گسترده هم کار ساده است: برای هر نفر یک ردیف و برای هر جمله یک ستون بگذارید، دو ستون کمکی برای جمع فردها و زوج‌ها بسازید و فرمول را یک بار بنویسید.

تفسیر امتیاز SUS: عدد ۶۸ یعنی چه؟

مهم‌ترین نکته این است که امتیاز SUS درصد نیست. عدد ۷۰ نه یعنی ۷۰ درصد کاربرها راضی بودند و نه یعنی ۷۰ درصد کارها درست انجام شد. برای فهمیدن عدد باید آن را با یک مرجع مقایسه کرد. جف سارو با جمع کردن نتیجه حدود ۵۰۰ مطالعه نشان داد میانگین امتیاز SUS حدود ۶۸ است و همین عدد حالا خط مرجع رایج است. یک راهنمای تقریبی برای خواندن نتیجه:

• زیر ۵۰: کاربرها با محصول مشکل جدی دارند و احتمالا در تست‌ها هم گیر کردن‌های واضح دیده‌اید.
• بین ۵۰ تا ۶۸: پایین‌تر از متوسط. محصول کار می‌کند، ولی جای بهبود زیادی دارد.
• حدود ۶۸: متوسط. نه نگران‌کننده است و نه چیزی برای افتخار.
• بالای ۸۰: در محدوده محصولاتی که کاربرها واقعا راحت با آن‌ها کار می‌کنند؛ تقریبا جزو ده درصد بالای نتایج.

دو نکته دیگر هم هست. اول اینکه SUS می‌گوید کاربردپذیری چقدر است، نه اینکه مشکل کجاست. عدد ۵۵ به شما نمی‌گوید کدام صفحه را درست کنید. برای همین بهتر است کنار SUS یک سوال باز بگذارید و رفتار کاربر را هم ببینید. دوم اینکه مقایسه درون محصول خودتان معمولا مفیدتر از مقایسه با میانگین جهانی است. اگر SUS نسخه فعلی ۶۲ است و بعد از بازطراحی فرایند رزرو به ۷۱ رسید، این تغییر برای تیم معنای روشنی دارد. برای آشنایی با بقیه شاخص‌هایی که کنار SUS می‌سنجند، مقاله معیارهای کاربردپذیری را ببینید.

پرسشنامه SUS را کی و کجا اجرا کنیم

SUS را می‌شود در دو موقعیت اصلی به کار برد و هر کدام سوال متفاوتی را جواب می‌دهد:

• بعد از تست کاربردپذیری: کاربر چند کار مشخص را انجام داده و حالا تجربه تازه‌ای از محصول دارد. این رایج‌ترین حالت است. پرسشنامه را دقیقا بعد از آخرین کار و پیش از هر گفتگوی دیگری نشان دهید تا حرف‌های شما روی پاسخ اثر نگذارد. روند کامل چنین تستی را در آموزش قدم به قدم تست کاربردپذیری نوشته‌ایم.
• به‌صورت نظرسنجی مستقل: برای کاربرانی که مدتی با محصول کار کرده‌اند، مثلا مشتری‌های فعال یک اپ بانکی. اینجا SUS تصویر کلی تجربه را می‌دهد، نه تجربه یک کار خاص.

درباره تعداد پاسخ هم خبر خوب این است که SUS حتی با نمونه‌های کوچک نسبتا پایدار است و با ده دوازده نفر هم تصویر قابل‌اعتمادی از جهت کلی می‌دهد. ولی اگر می‌خواهید دو نسخه را مقایسه کنید و تفاوتشان کم است، به نمونه بزرگ‌تری نیاز دارید. بحث کامل‌تر را در مقاله چند شرکت‌کننده برای تست کاربردپذیری کافی است ببینید.

اشتباه‌های رایج در اجرای SUS

بیشتر خطاهایی که دیده‌ایم از جای ساده‌ای می‌آید:

• جمله‌های منفی را مثبت کردن تا پرسشنامه «دوستانه‌تر» شود. این کار فرمول را خراب می‌کند. اگر واقعا نسخه تمام‌مثبت می‌خواهید، نسخه مثبت رسمی SUS وجود دارد که فرمول خودش را دارد؛ آن را با نسخه اصلی قاطی نکنید.
• جابه‌جا کردن ترتیب جمله‌ها یا پخش کردن آن‌ها بین سوال‌های دیگر.
• گزارش دادن عدد به‌شکل درصد یا تبدیلش به نمره ۲۰.
• پرسیدن SUS از کسی که محصول را اصلا استفاده نکرده، مثلا فقط یک صفحه فرود دیده است.
• میانگین گرفتن از پاسخ هر جمله به‌جای محاسبه امتیاز هر نفر. تحلیل جمله به جمله برای پیدا کردن سرنخ مفید است، ولی عدد SUS فقط از جمع ده جمله معنا پیدا می‌کند.

ساخت پرسشنامه SUS آنلاین در یوزر تستینگ

در یوزر تستینگ می‌توانید ده جمله را در یک نظرسنجی آنلاین به‌شکل سوال‌های امتیازی یا مقیاسی ۱ تا ۵ بسازید، برچسب دو سر مقیاس را بنویسید، همه را اجباری کنید و ترتیب را ثابت نگه دارید. بعد از جمله دهم یک سوال باز بگذارید، مثلا «اگر یک چیز را در این اپ عوض می‌کردید، چه بود؟». پاسخ‌های متنی فارسی به‌طور خودکار در چند تم دسته‌بندی می‌شوند و همین سرنخ می‌دهد که عدد SUS از کجا آمده است. اگر می‌خواهید SUS دقیقا بعد از یک تجربه مشخص پرسیده شود، می‌توانید یک تست، مثلا تست پروتوتایپ فیگما، را داخل همان نظرسنجی بگذارید تا کاربر اول کار را انجام دهد و بعد به ده جمله برسد. برای اصول کلی‌تر طراحی سوال‌ها هم مقاله پرسشنامه تجربه کاربری را بخوانید. پلن رایگان تا ۱۰ پاسخ را پوشش می‌دهد که برای امتحان کردن پرسشنامه کافی است؛ برای یک دور SUS قابل اتکا روی کاربران فعلی معمولا به پاسخ‌های بیشتری نیاز دارید.