RSS לפוסטים RSS לתגובות 228 מאמרים ו- 1,974 תגובות עד כה מאז 2005

האם Userfly מציע גישה פראקטית לאבחון שמישות מרחוק?

אבחון שמישות כולל מגוון שיטות המספקות מידע מסוגים שונים והיישום שלהן מותנה בגורמים כמו תקציב, זמן, גישה לקהל יעד, סוג הפרוייקט, גודל הפרוייקט, השלב בפרוייקט בו נמצאים וכו'. לצד מבחני משתמשים קלאסים ויקרים יחסית המתבצעים בסביבת מעבדה או בשטח, ישנן שיטות זולות יותר המתוארות כ-Discount Usability Evaluation ו-Budget Usability Evaluation. אלה כוללות למשל סקירת מומחה (Heuristic Evaluation) או שימוש באב טיפוס מתכלה וזול כמו Paper prototyping. בשנים האחרונות נראה שהנושא של אבחון שמישות מרחוק באינטרנט (Remote Usability Testing) צובר תאוצה עם שירותים המציעים לספק "תמונת מצב" של השימוש באתר מעבר לנתונים יבשים כמו מספר מבקרים ודפים נצפים. Userfly שהושק לפני חודש הוא האחרון שבהם.

מבחני משתמשים יכולים להתבצע עם כלים מתקדמים כמו Morae המספקים מידע רב על פעולות המשתמש לצד אפשרויות ניתוח מידע שונות או כלים פשוטים וזולים יותר כמו Camtasia ו-Silverback המתרכזים בהקלטת וידאו של המסך. בניגוד לכל השלושה, Userfly אינו מסתמך על הקלטת וידאו ומשתמש בג'אווה סקריפט בכדי לזהות ולתעד את האינטרקציה של המשתמש עם דף אינטרנט.

הרעיון של Remote Usability Evaluation כאשר המשתמשים נמצאים במדינה אחרת למשל אינו חדש, אך כשירות חינמי עם אפשרות תשלום בכדי ליהנות מפיצ'רים נוספים, Userfly כבר נופל תחת הקטגוריה של Remote Budget Usability Evaluation. הרעיון הוא פשוט – שותלים שורת ג'אווה סקריפט אחת בדף אותו רוצים לבדוק ואז עוקבים באתר של Userfly אחר ההקלטות שמצטברות. כאשר מריצים הקלטה רואים את הדף המדובר כדף HTML לכל דבר שנוספו לו בפינה השמאלית העליונה כפתורי Play, Stop ו-Pause ואינדיקטור של זמן ופעולות משתמש כמו לחיצת עכבר. לא רע בכלל, אך האם זהו פתרון פראקטי לאבחון שמישות מרחוק?

אני עדיין מתנסה עם הכלי ומדובר במשהו שיש לו פוטנציאל במיוחד בהוראה לדעתי. האתר בן החודש נמצא בשלב עוברי כאשר עדיין לא קיימת תוכנית תשלום מסודרת. הדמו באתר חביב אך לא מאפשר לאמוד כיצד Userfly מתמודד עם אינטרקציות יותר מורכבות ורכיבים כמו פלאש. באתר מצויין שכל מה שקשור לאג'קס אינו מתועד בהקלטה הסופית. אני תוהה עד כמה Userfly שנשען על ג'אווה סקריפט מסוגל להתמודד עם אתרים גדולים ומורכבים שכוללים יותר מרכיבי טופס ובמקרה ולא, יכול להיות שהוא מתאים לאתרים קטנים-בינוניים פשוטים יחסית וזהו משהו שצריך לקחת בחשבון. זוהי מגבלה אפשרית שלא קיימת בכלים הנשענים על הקלטת וידאו של המסך.

אז האם צריך לשלוח עכשיו מייל למנהל המוצר או למנכ"ל ולהפציר בהם שצריך להתחיל להשתמש ב-Userfly בכדי לאבחן מרחוק את שמישות האתר? לפני שעושים זאת חשוב לקחת בחשבון כמה נקודות חשובות לצד העובדה שמדובר בשירות בסיסי שרק הושק:

  1. מספר ההקלטות
  2. צריך לקחת בחשבון שאם מדובר באתר שמבקרים בו למעלה מחמישה אנשים ביום אתם תמצאו את עצמכם מוצפים בכמות רבה של הקלטות ומישהו יצטרך לשבת ולעבור עליהן בכדי לנסות להבין מה אפשר ללמוד מהן. בין אם מדובר בדגימה אקראית או בחירה יותר מושכלת על סמך משך ההקלטה, מדובר בפעילות שדורשת מעבר לזמן מיומנות ויכולת ניתוח והסקת מקנות. זה לא פשוט לתרגם מידע לממצאים שמובילים למסקנות, בטח כשכל מה שעומד לרשותנו היא הקלטת מסך.

  3. אורך ההקלטות
  4. בהמשך לנקודה הקודמת, חלק מההקלטות יהיו אולי ארוכות יותר מכמה שניות ויכרסמו בצורה מצטברת בזמן שמישהו צריך לשבת ולהבין מה קורה בהן. מצד שני, הקלטות מאוד קצרות יכולות להיות מאוד מבלבלות כאשר רואים את סמן העכבר מרחף במהירות על המסך, פותח שני תפריטים ואז פריט כלשהו נבחר. זה גם זמן טוב לשאול את עצמכם: "מה בדיוק אפשר ללמוד מהקלטה שכזאת?". הנקודה הזאת והקודמת רלוונטיות לכל סוג של מבחן משתמשים וחשוב לזכור שמידע רב ומגוון הוא חשוב ושימושי אך כמות גדולה של מידע איכותני (וידאו, ראיונות וכו') משפיעה בצורה ישירה על משך הזמן שידרש בשביל לנתח אותה. מידע כמותי (פרקי זמן, מספר לחיצות עכבר, מקשים שנלחצו) ניתן לעומת זאת לאסוף ולנתח במהירות.

  5. איכות ההקלטות
  6. מבחינה טכנית, בגלל ש-Userfly מסתמך על ג'אווה סקריפט אז כפי שציינתי יכול להיות שהוא לא יתעד אינטראקציות שונות ובניגוד להקלטת וידאו לא תתקבל תמונה מלאה. אם Userfly יוכל לספק אינדיקציה כלשהי לגבי סוג הפעולות שלא תועדו זהו יהיה חצי פתרון אך לפני שחושבים להשתמש בשירות כדאי מאוד לעשות כמה מבחנים פנימיים בכדי לראות האם וכיצד הוא מסוגל להתמודד עם האתר המיועד.

  7. אפשרויות הרצה בסיסיות
  8. נכון לעכשיו אפשרויות ההרצה מאוד בסיסיות ולא מאפשרות שליטה אלמנטארית הדרושה בכדי לנסות ולהבין מה מתרחש על המסך. מעבר לעצירה וניגון לא ניתן להריץ את ההקלטה קדימה או אחורה וזה הופך את משימת הניתוח לבלתי אפשרית. ציר זמן הוא הכרחי לאבחון שמישות בכדי שניתן יהיה לקפוץ לנקודות זמן שונות ולהריץ סדרת פעולות מספר פעמים (בהילוך איטי אם אפשר) בכדי לפענח מה קורה על המסך. כרגע אני לא יכול לדמיין מישהו עובר על למעלה מעשר הקלטות של יותר מחצי דקה עם אפשרויות ההרצה הקיימות. זה סיזיפי לחלוטין.

  9. מה קורה לעומת למה קרה
  10. אבחון שמישות מחייב לעיתים קרובות הסתמכות על אינטראקציה עם המשתמשים אותם אנו מקליטים בכדי להבין מדוע הם עשו דברים מסויימים לצד ההבנה של מה הם עשו. הקלטת וידאו או הקלטה בסגנון ש-Userfly מספקת מראות לנו מה קרה על המסך אך לא מאפשרות לנו להבין מדוע פעולות מסויימות ננקטו. במבחן משתמשים רגיל, הבודק מעלה שאלות בסוף המבחן או בסיום חלקים ממנו בכדי להבין מהמשתמש מדוע למשל הוא חזר כל פעם לדף הבית אחרי כל פעולה או סירב לאשר את תנאי השימוש באתר. צפייה בהקלטה ללא גישה למשתמש מעלה הרבה שאלות שישארו ללא מענה. בחינת שמישות מרחוק אינה מבטלת אוטומטית מידע חשוב על מניעיו של המשתמש. אם מדובר בסשן חי בו המאבחן נמצא בקשר רציף עם הנבחן הוא יכול להפנות שאלות. אפשר גם לשלוח רשימת שאלות תוך זמן קצר מאוד ולקוות שהמשתמש יזכור מדוע הוא נקט בפעולות אשר נקט.

  11. אי יכולת לראות מה קורה מחוץ לאתר
  12. החיסרון הגדול ביותר לדעתי של כלי כמו Userfly המסתמך על ג'אווה סקריפט לעומת וידאו הוא שההקלטה אינה כוללת את כל מה שקורה מחוץ לסביבת האתר אותו בודקים. הקלטת וידאו באמצעות Camtesia או Silverback לצורך העניין מתעדת את פעולות המשתמש באתרים אחרים וסביבת המחשב בכלל. אלה לעיתים חשובות לא פחות ממה שקורה באתר עצמו. דמיינו מצב בו סמן העכבר בקלטת Userfly לא זז במשך כחמש דקות כי המשתמש מתמודד עם מייל אישור שהגיע ובמקביל משווה מחירים באתר אחר. את כל המידע החיוני הזה אי אפשר ללכוד.

Userfly נמצא בשלב מאוד ראשוני והכוונה שלי היא לא לשפוט את היוזמה אלא לציין מעבר למגבלות של השירות בשלב הנוכחי, את המגבלות והשיקולים הכרוכים בביצוע אבחון שמישות מרחוק. לשירות עצמו ישנן מגבלות טכניות ואחרות שאולי יטופלו בעתיד, אך העיקרון של ניתוח מידע נשאר זהה בין אם מדובר ב-Userfly או Morae כי אנו צריכים לרכז ממצאים ולחשוב כיצד הם יכולים להשפיע על הממשק.

15 תגובות על “האם Userfly מציע גישה פראקטית לאבחון שמישות מרחוק?”

  1. 18/01/2009 בשעה 21:42 מורד שטרן

    היי אמיר!

    חיסרון אחר שאפשר להוסיף הוא שאינך יודע מי המשתמש שבהקלטה שלו אתה צופה, קרי, האם הוא מבוגר ומתקשה באופן כללי להשתמש במערכות טכנולוגיות, האם זה אדם מעט דיסלקט שגם ככה מתקשה בקריאה, וכך הלאה.

    מעבר לכך, בדיקת משתמשים מעבר לים מביאה חסרון נוסף והוא הבדלי התרבות המשפיעים על העיצוב ובעקבותיו קלות תפעול האתר/תוכנה (אני חושב שכתבת על כך בעבר).

    גם לי יצא לכתוב על דבר דומה והוא מיזם קליק טייל של אריק יבילביץ וטל שוורץ (אפילו הגבת שם):http://usabilitytalking.blogli.co.il/archives/107

  2. 18/01/2009 בשעה 21:47 אמיר דותן

    תודה מורד. זכרתי שנתקלתי במשהו דומה אבל לא הצלחתי להיזכר איפה. הנקודות שאתה מציין מאוד נכונות ובהקשר תרבותי מצאתי לפני מספר ימים את מאמר בשם Cultural Differences and Usability Evaluation (קובץ להורדה http://doc.utwente.nl/51012/ ) וזכור לי שקראתי בעבר מחקר שמשווה משתתפים במבחן מיפן וארצות הברית. חשוב לציין שבמבחן משתמשים מרחוק שנעשה בצורה מסודרת, המשתמשים ידועים ומסוננים כך שהרקע שלהם ידוע לנו. במקרה של כלים אינטרנטים כמו Userfly הכל אנונימי וכפי שתיארת, קשה לפרש את הפעולות על המסך ברקע שאין ברשותנו מידע בסיסי.

  3. 19/01/2009 בשעה 0:15 ויטלי

    נשמע לי שבלי אג'קס ועם ג'אווה סקריפט שגם לא משמש לדברים מורכבים וגם נחסם ע"י כל מיני אנטיוירוסים וכמה דפדפנים, הם איחרו את המועד ב4-5 שנים.

    חוץ מזה, מילא חצי מהמתכנתים הם מהודו, אבל שנעשה outsourcing גם למשתמשים? :)

  4. 19/01/2009 בשעה 0:34 אמיר דותן

    :-)

    בגלל זה אני תוהה עד כמה הפתרון הזה באמת פראקטי וישמש אנשים. היוזמה נחמדה ואני בטוח שזה היה אתגר מעניין להרים פרוייקט שכזה אך הערך שלו כאמצעי זול אך יעיל לאבחון שמישות מוטל בספק רב, לפחות בשלב זה.

  5. 19/01/2009 בשעה 12:34 לאה

    מחפשת מישהו שירצה על בדיקות משתמשים מרחוק במסגרת UPA Israel.
    יש המלצות על מישהו?

  6. 23/01/2009 בשעה 20:10 איתי

    אפשר להזכיר גם את usertesting.com שמאפשר לקבל הקלטות של אנשים משתמשים באתר שלך, בהתאם למשימות. אמנם יותר שטחי ממבחן רגיל, אבל עדיף מלעבור על הקלטות בלי קונטקסט.

  7. 24/01/2009 בשעה 13:20 אמיר דותן

    תודה על הלינק איתי. הזכיר לי את http://www.feedbackarmy.com למרות שפה מדובר בסוג של ביקורת מומחה ולא מבחן משתמשים. אני סקרן עד כמה אנשים אכן משתמשים בשירותים של אתרים כאלו. אני לא חושב שהמודעות לשמישות וחווית משתמש מספיק גבוהה אצל הרבה לקוחות ובעלי אתרים בשביל שהם יחפשו אתרים כאלה ויהיו מוכנים להשקיע אפילו סכום זניח במשהו כזה. אני נוטה להאמין שמי שלוקח את האתר שלו מספיק ברצינות ומודע לחשיבות של הבדיקה יחפש איש מקצוע או חברה כלשהי שיעשו את העבודה גם אם מדובר בחברה שממוקמת במדינה אחרת. יש משהו באתרי "אנחנו נבצע לך בדיקת שמישות ב-9.99 שקלים" שפשוט לא מריח כל כך טוב.

  8. 25/01/2009 בשעה 18:45 Tomer Sharon

    Hi all,
    I couldn't resist the temptation to respond.
    I think that both userfly, clicktale, and any other similar tools and "methods" cannot be seriously considered as usability evaluations.
    Amir – the #5 point you have raised is the most critical IMHO. There are many remote evaluation methods, none of them ignores the "why" question.
    Also, there are many types of remote methods and there's a lot of discussion about what is remote and what isn't.
    Anyway, my 2 cents.
    Tomer Sharon
    User experience researcher
    Google NYC

  9. 25/01/2009 בשעה 18:52 אמיר דותן

    היי תומר. טוב "לראות" אותך. אני מקווה שאתה לא מרגיש שבגלל האנגלית התגובות שלך לא רצויות בבלוג :-)

  10. 25/01/2009 בשעה 19:32 Tomer Sharon

    Not at all, Amir.
    As soon as I am in Israel, I am getting a Hebrew Mac keyboard and then I'm game.

  11. 28/02/2009 בשעה 7:04 בעז רוסנו

    היי אמיר
    טוב לראות שלא שכחת את המכורה, ושאתה מגיע לביקור מולדת… :-)

    ולעניננו, האם יש כלי המאפשר הקלטה גם של פעילות בתוך אובייקטים על הדף (כגון פלאש)?

    אחד מהחסרונות הבולטים של clicktale (ואני יודע שהם עובדים על זה) שנובע מהשימוש ב-JS, הוא חוסר היכולת שלהם לנתח ולהציג פעילות משתמשים בממשקי flash עשירים.

  12. 28/02/2009 בשעה 12:58 אמיר דותן

    היי בועז. אני לא מכיר כלי שמאפשר לקבל מידע על אינטראקציה עם סרטון פלאש באותה מידה שניתן לקבל מידע על הקלקות לינקים ב-HTML לדוגמא. זאת סוגייה מעניינת ואני מתאר לעצמי שיש פה עניין של אבטחת מידע ולא נראה לי סביר שאפשר לשאוב מידע כמו הקלקות על קובץ פלאש שלא אתה בעצמך יצרת ויש לך גישה לקובץ מקור. מצד שני, אם מדובר בפרוייקט שאתה מפתח אין שום סיבה מדוע לא לכתוב כמה פונקציות או מחלקות שעוקבות אחר פעילות המשתמש ויכולות לספק דו"ח בסוף מבחן שימוש, בין אם מדובר באב טיפוס או מוצר גמור. אני לא מכיר ספריית מחלקות באקשן סקריפט שהייעוד שלה הוא להקליט פעולות משתמש אך זה נשמע רעיון לא רע בכלל.

  13. 01/03/2009 בשעה 10:15 אבי הראל

    אמיר, שלום,
    המוצר הנדון אינו מיועד ואינו מתיימר לשמש לבדיקות מרחוק.
    אני מצטרף לדעתי של תומר שרון שהנקודה החמישית ברשימה שלך היא קריטית כשמדובר בבדיקות שמישות. המוצר הנדון אינו מאפשר לדעת מרחוק מה התכוון המשתמש לעשות, ובמה הוא מתקשה. לכל היותר מדובר בכלי עזר לבודקי שמישות, כאשר הבודקים חייבים להמצא בסמוך לנבדקים, תוך דיבוב הנבדקים, על פי המתודולוגיות הקלאסיות של בדיקות שמישות.
    גם הטכנולוגיה אינה חדשנית, ומשתמשים בה כבר כעשור במוצרים דומים.
    ההיסטוריה מראה שככלי עצמאי, מוצרים מסוג זה אינם מצליחים להמכר, וצריך לארוז אותם במערכת, כולל מתודולוגיה, על מנת שניתן יהיה להפיק מהם תועלת.

  14. 01/03/2009 בשעה 12:47 אמיר דותן

    היי אבי. בין אם המוצר מתיימר או לא מתיימר לשמש לבדיקות מרחוק בחרתי להשתמש בו כמקרה מבחן ולכן גם הכותרת נוסחה כשאלה. יכול להיות שהוא מתאים ויכול להיות שהוא לא מתאים לבדיקות מרחוק ומהנקודות שאתה העלאת ואני ציינתי בפוסט ישנן מספר בעיות קריטיות שמגבילות מאוד את האפשרות להוות כלי אבחון אפקטיבי מרחוק. המוצר היה פשוט אמצעי לעלות את הנקודות הללו אל פני השטח בהקשר ספציפי.

  15. 05/04/2009 בשעה 11:17 רוית ששון

    שלום לכולם,

    אולי למשהו יש קובץ דוגמא לבדיקת שמישות של אפליקציה

    אודה לכם מאוד

RSS לתגובות לפוסט זה

הוספת תגובה