RSS לפוסטים RSS לתגובות 228 מאמרים ו- 1,989 תגובות עד כה מאז 2005

"אתה יכול להקדיש חמש דקות להגיד לנו מה אתה חושב על האתר הזה?" – יתרונות וחסרונות של סקר משתמשים מקוון

אני משתמש קבוע ב-iPlayer של ה-BBC המאפשר לצפות בכל התוכניות ששודרו בערוצי ה-BBC השונים בשבעת הימים האחרונים וגם ברצף שידורים חיים. אתמול כאשר נכנסתי לאתר בערב נתקלתי בהודעה בראש העמוד שהזמינה אותי לקחת חלק בסקר משתמשים. מכיוון שאני מעריך את ה-iPlayer ובמקביל הרחתי פוסט מתקרב החלטתי להקדיש חמש דקות מזמני ולמלא את הסקר. הנה הוא לפניכם.


בלחיצה על התמונה ניתן לצפות בשלבי הסקר השונים החל מהמסך בפינה השמאלית העליונה

כפי שאפשר להתרשם מצילומי המסך, מדובר בסקר מקיף שנועד לאסוף מידע על הרגלי השימוש של המשתמש באתר לצד דיעות על חלקים ופיצ'רים שונים (לא כל המסכים מוצגים בשלמותם עם כל השאלות). ניתוח של מידע באמצעות Google Analytics מספק מידע כמותי חשוב על המבקרים כמו מספר כניסות ואחוז נטישה מדף מסויים אך הוא לא יגיד לנו לדוגמא באיזו מידה אותם מבקרים חושבים שהאתר מוצלח וקל לשימוש. סקר מקוון כמו זה שמילאתי אתמול ב-iPlayer (ואין לי בעיה לשתף את הקוראים בתשובות שלי) הוא אמצעי איסוף מידע שכמו לכל שיטה, יש לו את יתרונות וחסרונות שצריך לקחת בחשבון. הנה כמה מהם.

יתרונות

זול -

בהשוואה לשיטות איסוף מידע כמו ראיונות, תצפיות וקבוצות מיקוד מדובר בשיטה זולה יותר שדורשת התערבות אנושית בניתוח המידע ולא באיסוף שלו. המידע המתקבל הוא כמותי ולא איכותני כך שכמות הזמן שמישהו צריך להשקיע בניתוח שלו היא נמוכה בהשוואה לניתוח ראיונות ותצפיות.

מתקבלת כמות מידע גדולה -

כאשר אנו שולחים איש מחקר לראיין אנשים או לחלק שאלונים לאנשים מספר התגובות הוא לרוב קטן ומבחינה סטטיסטית יכול בקלות להיחשב ללא משמעותי. לעומת זאת, על סקר מקוון יכולים לענות מאה או מאות אלפי אנשים ומה שנקבל בסוף הם גרפים צבעוניים. ברגע שיצרנו את הסקר והעלנו אותו לאוויר הוא פתוח לקהל הרחב. אם יש לנו מזל וכמות גדולה של אנשים מילאה את הסקר לנתונים שנפיק באמצעותו תהיה יותר משמעות כי הם יהיו מבוססים על קבוצה גדולה ומגוונת.

קהל גלובאלי -

ה-iPlayer זמין רק למשתמשים בבריטניה אך סקר משתמשים מקוון מאפשר לנו להגיע לקהל גלובאלי ברחבי העולם. זאת פריבליגיה שכמעט ולא קיימת עם שיטות איסוף מידע אחרות חרף האפשרות הטכנית לבצע ראיונות ותצפיות מרחוק. כאשר מחברים את היתרון הזה עם כמות המידע המתקבלת אי אפשר להתחרות בשיטות האחרות אך היתרון שלהן הוא כמובן באופי האיכותני של המידע המתקבל.

חסרונות

לא תמיד קל לדעת "למה" -

ברגע שמישהו מסמן בסקר את המספר 2 מתוך 10 עבור השאלה "עד כמה אתה חושב שהאתר קל לשימוש?" אנו יודעים שהוא לא חושב שהאתר קל לשימוש אך אין לנו מושג מה הגורמים לכך. ברגע שאנו לא יודעים מדוע למשל 30% מהנשאלים סימנו תשובות בין 2 ל-4 לשאלה הזאת קשה יותר להבין איפה הבעיה ברגע שאנו מבינים שקיימת בעיה. אפשר לטעון שניתן לעצב את הסקר כך שעבור כל שאלה אנו מאפשרים לנשאל לפרט תשובה כתובה כדי להבין את הסיבה מאחורי התשובה. ברמת העיקרון אין בעיה לעשות את זה אך צריך לזכור שהבקשה לפרט יכולה ליצור עומס ויזואלי וקוגנטיבי שעלולים להרתיע את הנשאל והוא יבין שהסקר יכול להפוך בקלות מסקר של חמש דקות לסקר של רבע שעה. בנוסף לזה, ברגע שאנשים מתחילים לכתוב טקסט מישהו צריך לקרוא אותו, לנתח אותו ולהגיע למסקנות. לנתח גרפים זה דבר אחד אך לנתח טקסטים זאת פעולה שיכולה לקחת הרבה זמן.

זמן ויכולת ניתוח -

למרות שניתוח סקר אינו דורש השקעה של זמן כמו ניתוח חמש שעות של ראיונות עם משתמשים או יום של ביצוע תצפיות בסביבת העבודה של משתמשי תוכנה עתידיים, עדיין מדובר במידע שמישהו צריך לדעת איך לנתח בכדי להפיק מסקנות. בחברה גדולה כמו ה-BBC עם מחלקת User Experience קל יותר להפקיד את המשימה על מישהו אך בחברה קטנה יותר או אם מדובר ביועץ עצמאי השקעת הזמן הנדרשת יכולה להיות בעייתית. זאת אחת הסיבות מדוע לעיתים עדיף לצמצם את מספר השאלות בסקר ולא להתפרע עם עשרות שאלות בכדי לנסות לגלות מה אנשים חושבים על כל כפתור. כאשר מתכננים מחקר תמיד קיים פיתוי מנסיוני לנסות לאסוף כמה שיותר מידע גם אם לא תמיד ברור בשביל מה. לאסוף את המידע זה החלק הקל ביחס לתהליך הניתוח שיכול לקחת הרבה זמן ולכן עדיף לפעמים להתפשר ולא ליצור עומס שיהיה קשה להתמודד איתו.

אחוז תגובה -

כאשר אנו מגייסים אנשים לראיונות או קבוצת מיקוד אנו אקטיבים ודואגים ומבטיחים שיהיה לנו מקור מידע. באותה מידה כאשר אנו מחלקים סקרים לאנשים במרכז מסחרי בכדי ללמוד כיצד הם משתמשים בכספומטים במקום אנו אקטיבים ויכולים לנקוט באמצעים שונים בכדי לנסות ולהבטיח שלא נחזור למשרד בידיים ריקות. לעומת זאת, ברגע שאנחנו מעלים סקר מקוון אין לנו שליטה ואנו סומכים על טוב ליבם או מידת השעמום של המשתמשים בכדי שיהיו מוכנים לענות על השאלות. יכול מאוד להיות שכמות האנשים שתענה על הסקר לא תאפשר להפיק מידע סטיסטי שימושי. קיים אלמנט של סיכון שמורגש פחות כאשר אנו מזמינים אנשים לבוא למשרד לראיון.

5 תגובות על “"אתה יכול להקדיש חמש דקות להגיד לנו מה אתה חושב על האתר הזה?" – יתרונות וחסרונות של סקר משתמשים מקוון”

  1. 29/11/2009 בשעה 13:40 ברק דנין

    פוסט מעניין, יש לך רפרנסים לתוצאות של מחקרים כאלה שמוצגות ברשת?

    מוצר מעניין שראיתי (לא זוכר את שמו) לניהול סקרים, נתן פתרון מעניין לבעיית ניתוח הטקסטים. הוא הציג את התשובות בטקסט חופשי כענן תגיות, גודל המילה לפי התדירות שלה במשפטי המגיבים לסקר. הקלקה על אחת המילים בענן הציגה את אוסף המשפטים שהכילה את המשפט הזה, ואם אני לא טועה גם ענן תגיות מצומצם יותר, כך שאפשר היה לעשות drill down על המילים ולסנן כך את המשפטים. אני מניח שיש אמצעי ויזואליזציה נוספים שמאפשרים לחקור טקסט חופשי.

    לגבי התמריץ למגיבים ("אחוז תגובה"), גם כשעושים מחקר אונליין אפשר לתת תמריץ. זה לא יהיה תלושים לקניות או צ'ק כמו שלפעמים נותנים במעבדת שמישות, אבל אפשר לחשוב על תמריצים שלא עולים בכלל, כמו גישה לפיצ'רים חדשים או תוכן שנתפס כבעל ערך על-ידי קהל היעד של השאלון, או תמריצים בעלי שווי כלכלי נמוך. לא תמיד חייבים לסמוך על השעמום של המשתמשים. למשל סקר על Farmville שהיה נותן עוד טרקטור וירטואלי במתנה לכל מי שעונה הוא בעל ערך כלכלי אבל לא עולה לסוקר כלום, למעט אולי הפיתוח הטכני שכרוך בהענקה אוטומטית של טרקטור לכל משיב.

  2. 29/11/2009 בשעה 14:04 אמיר דותן

    אין לי רפרנסים כאלה ברק ואני סקרן למצוא אך נראה לי שזה לא יהיה פשוט היות ומדובר במחקר פנימי. יכול להיות שיש כמה חברות פה ושם שמאמינות בשקיפות מחקרית ולא איכפת להן לחשוף את התוצאות בשביל להראות לקהל שהן קשובות לו.

    אני מסכים לגבי התמריצים ומנית רעיונות טובים. למצוא את התמריץ שנתפס כבעל ערך עבור הקהל אך לא עולה כסף ללקוח לא תמיד יהיה פשוט כמו שאתה יודע :) במקרה של ה-BBC למשל אני חושב למשל שזאת יכולה להיות בעיה רצינית בגלל שמדובר בארגון הממומן על ידי כספי הציבור ואני יכול לדמיין כמה אנשים פה שירימו גבה אם הוא יתחיל לתת לאנשים "מתנות". במקרה של סקר משתמשים אני לא חושב שיש אלטרנטיבה לאיסוף כמות מידע שכזאת ואם פרסום הסקר וניתוח התוצאות הם זולים יחסית אז אין הרבה מה להפסיד חוץ מהמידע שאנו מקווים להשיג. מנסיוני, לטוס למשל למדינה אחרת בשביל קבוצת מיקוד עם אנשים מאוד ספציפים שחצי מהם לא מגיע בסוף מאי אלו סיבות עולה יותר כסף והרבה יותר מעצבן :)

  3. 29/11/2009 בשעה 17:55 טליה אבירן

    פוסט מענין, כרגיל.
    בנוגע לשאלות שהתשובות אליהן לא מניבות תובנות ברורות, ניתן אולי, במקום לאפשר למשתמש להזין טקסט, לבחור מתוך סט מסוים של תשובות מהן כן נוכל לקבל ערך מוסף. למשל אחרי השאלה "עד כמה אתה חושב שהאתר קל לשימוש?" ניתן לשאול אם ענה בשאלה הקודמת תשובה שבין 1-5 אז להציע כמה סיבות הגיוניות לכך. הכל כמובן בגבול הסביר כדי שהמשתמש שלנו לא יתעייף וישאירנו ללא תשובות…

  4. 30/11/2009 בשעה 12:01 אורן

    פוסט מצויין ומקיף, כרגיל.
    החיסרון הכי גדול של סקרים מקוונים בעיני הוא ההטייה המובנית בכלי. לא כל אחד יבחר לענות על סקר, אפילו אם נסביר לו יפה שהסקר ממש קצרצר ומהנה. לדחיית הסקר יכולות להיות מספר סיבות, שבחלקן הן מהותיות לסקר עצמו, למשל, אני בעצמי סרבתי מספר פעמים למלא שאלון בגלל שהאתר או החברה עיצבנו אותי ולא היתה לי שום מוטיבציה לעזור להם.
    אותה סיבה אגב, יכולה גם לשמש מוטיבציה הפוכה, אבל אז נקבל תשובות שמוטות על ידי כעס ורצון לנקום.
    ההטייה העיקרית לדעתי נובעת מכך שאותם משתמשים שימלאו את הסקר הם משתמשים בעלי אוריינטציה טכנולוגית בינונית-גבוהה. מי שגם ככה נמצא במתח או עומס קוגניטיבי מעצם השימוש באינטרנט לא ירצה להאריך את החוויה, אפילו לא למען "הדורות הבאים".
    לכן אני יוצא מנקודת הנחה שקבוצת המדגם מכילה עיוותים מובנים (וחמור מכך, כאלה שאנחנו לא יודעים להעריך ולכן לא יכולים לפצות עליהם על ידי תיקון מלאכותי).
    אני לא בטוח שההנחה שהמדגם "מתאזן" אם הוא מספיק גדול תקפה גם לגבי האינטרנט בגלל שאנחנו משתמשים במדיום מתווך (האינטרנט עצמו) שאינו טריוויאלי עבור חלק מקהלי היעד.
    אלא אם כן יש מחקרים שמראים אחרת :)

    ההצעה של ברק לגבי מתן פרס או תשלום כלשהו יכולה להפחית את בעיית העיוות אבל אז אנחנו פתוחים לעיוותים שנובעים מהפרס עצמו.

    לגבי השאלות שמניבות מידע חלקי, אפשרות אחת היא לנסח את השאלות כך שייתנו מענה מקיף יותר. בדוגמה של "עד כמה האתר קל לשימוש" ניתן למשל להוסיף שאלה שתבחן באילו חלקים באתר המשתמש עשה שימוש וכך תהיה לנו הערכה טובה יותר. ניתן גם לפרק את שאלת קלות השימוש לחלקים קטנים יותר: "כמה קל היה לך למצוא את מה שחיפשת?" וכו'. כמובן שככל שנשאל יותר שאלות השאלון יהיה מדוייק יותר אבל ארוך ומטיש יותר…

    אפשרות אחרת היא לשלב את השאלון עם קריאת הדאטה, כך שנוכל לנתח את תשובותיו של המשתמש ביחד עם המידע שאספנו על פעולותיו. זה כמובן מסובך הרבה יותר, אבל יניב אולי הבנה עמוקה יותר.

    בכל מקרה רצוי כמובן תמיד להסתמך על יותר ממקור אחד של מידע מהמשתמשים שלנו. שאלון און-ליין + גוגל אנליטיקס + תצפיות (בשטח או במעבדה) יניבו כמובן מידע מקיף ואמין יותר. הבעיה היא שלא תמיד יש זמן ותקציב לכל זה. אני חושש שחברות שסוף סוף ישתכנעו שכדאי לבדוק מה חושבים המשתמשים, יבחרו רק באפשרות של סקר און-ליין כי זה קל מהיר וזול, מבלי להבין שבעיות שימושיות קשות עלולות בכלל לא לעלות מהסקר כי המשתמשים שנתקלו בהן כבר מזמן עזבו…

  5. 30/11/2009 בשעה 12:49 אמיר דותן

    היי אורן. אני מסכים ודוגל בגישה של שילוב שיטות איסוף מידע בשביל לפצות על החסרונות של כל שיטה ולקבל תמונה עשירה יותר. כל הדברים הללו כמובן עולים כסף ודורשים השקעה של משאבי בעיקר לצרכי ניתוח והסקת מסקנות אך הראייה צריכה להיות שההשקעה הזאת תחזיר את עצמה פי כמה וכמה אם היא תבטיח את איכות המוצר-שירות וזהו משהו שצריך לדעת להסביר למקבלי ההחלטות שמחזיקים את הכסף. לא פשוט :)

    שתי דוגמאות למאמרים בנושא החזר עבור השקעה בחווית משתמש:
    http://www.amanda.com/resources/ROI/AMA_ROIWhitePaper_28Feb02.pdf
    http://www.uxpassion.com/2009/10/ux-roi-user-experience-return-on-investment/

    לגבי שאלות בסקר לגבי שמישות זה המקום להזכיר את סקר ה-SUS – System Usability Scale שאולי הגיע הזמן לכתוב עליו פוסט נפרד.
    http://en.wikipedia.org/wiki/System_Usability_Scale
    הנה דוגמא אחת: http://www.usabilitynet.org/trump/documents/Suschapt.doc

RSS לתגובות לפוסט זה

הוספת תגובה