| הבעיות עליהן דיווחו הבודקים בשלב הקדם-ניסוי | ניתוח הסיבות לבעיות הללו | מסקנות ופתרונות לשלב הניסוי האמיתי | |
| באגים | הבעיה העיקרית עליה דיווחו הבודקים בשלב הקדם-ניסוי היתה של באגים רבים, שהתבטאו במחיקת הטקסט, בשיבושו, בהודעות שגיאה ובקריסת התוכנה. באגים אלו מנעו במקרים רבים את סיום הבדיקה, וגרמו לבזבוז זמן ולתסכול רב של הבודקים. | עקב ההתרעה קצרה לפני ההיערכות לקדם-ניסוי, לא היה מספיק זמן לסיים את שלב הבדיקות של הגירסא העדכנית של התוכנה שיועדה לשימוש בניסוי. | הגירסא לניסוי האמיתי עברה שלב של בדיקות ותיקון הבאגים עליהם דיווחו הבודקים. |
| פער ציפיות | תוכנת EZBD מיועדת להדגים את הפיתרון של השיטה החזותית לבעיות שימושיות המוכרות בשיטה ה"לוגית". התוכנה פותחה בהשקעה של מספר חודשים, בהתנדבות (ללא משכורת), ואינה אמורה להתחרות עם תוכנות דוגמת Word. הבודקים ציפו לתוכנה ברמת גימור הקרובה לזו של עורכי תמלילים מוכרים בשוק. | פער הציפיות נוצר כתוצאה מכך שבקדם-ניסוי נעשתה השוואה בין מוצרי תוכנה, במקום בין שיטות. מלכתחילה, הכוונה היתה לשלב ב-EZBD גם את העריכה בשיטה הכרונולוגית, אבל כוונה זו לא התממשה במסגרת הזמן שהוקצב להיערכות לקדם-ניסוי. | הגירסא לניסוי האמיתי כוללת דף חדש המאפשר עריכת טקסטים בסיסיים בשיטה הכרונולוגית, במקום שימוש בעורך התמלילים המותכן במחשב. בנוסף, המשימות נוסחו מחדש באופןשמבליט את הרצון להשוות בין השיטות ולא בין המוצרים. |
| חוסר היכרות עם השיטה החזותית | הבודקים היו מורגלים לשיטת העריכה הכרונולוגית, והתקשו להסתגל לשיטה החזותית | עקב מגבלת זמן ובעיות תיאום, לא התאפשר להעביר לבודקים בצורה מסודרת הסברים לגבי השיטה החזותית. הבודקים התקשו להבין את ההסברים בתיעוד שסופק במסגרת תוכנת הבדיקה. |
על מנת להקל על הבודקים, המורגלים לשיטה הכרונולוגית, נוספו בגירסה
החדשה פקדים שפועלים באופן דומה לפקדים של תוכנת Word. יש לצפות לכך שלמרות הבאגים בשלב הקדם-ניסוי, הבודקים מכירים כעת במידה מסויימת את עקרונות השיטה החזותית ואת אופן ישומה. למען הסר ספק, רצוי בכל זאת לקיים שלב של הדרכה לקראת הניסוי האמיתי. |
| חוסר היכרות עם פקדי ההפעלה | הבודקים לא הכירו את הסימונים והפקדים של תוכנת EZBD , שהיו במקרים רבים שונים מאלו המוכרים בתוכנות עריכה מקובלות. | עקב מגבלת זמן ובעיות תיאום, לא התאפשר להעביר לבודקים בצורה מסודרת הסברים לגבי פקדי ההפעלה. הבודקים לא עברו שלב תרגול לפני הקדם-ניסוי. | יש לצפות לכך שהבודקים מכירים כעת את פקדי ההפעלה ששימשו לשלב הקדם-ניסוי, אבל יתכנו בעיות בהכרות עם השינויים שנדרשו כתוצאה מלקחי הקדם ניסוי. |
| חוסר בהירות לגבי משימות הניסוי | הבודקים התקשו להבין משימות מסויימות שהוטלו עליהם. | תוכנית הניסוי כללה משימות מורכבות, כגון, הבדלים בשיטת הקינון בשני הכיוונים. בגלל הבאגים, הבודקים לא הגיעו למעשה לבדיקה יסודית של תכונות בסיסיות של שיטה החזותית. | בגירסא לשלב הניסוי האמיתי נתמקד בפונקציות הבסיסיות, ונוותר לפיכך על משימות מורכבות. |
| קשיים בדיווח | חלק מהבודקים טעו ושלחו קבצים לא נכונים או חלקיים | תכנת הניסוי אורגנה בהיררכיה שאינה אופטימלית לניהול קבצי הדיווח | תוכנת הניסוי אורגנה מחדש, על מנת להקל על שלב הכנת הקבצים לדיווח. |
| דיווח חלקי | חלק מהבודקים לא מילאו את שאלון הסיכום | ההערכה היא שחוסר ההתייחסות נבע מהתסכול כתוצאה מהבאגים, שהתבטא בחוסר שיתוף פעולה | תוכנת הניסוי כוללת בדיקה של מעבר על כל השלבים, כולל שאלון הסיכום |
| מעבר לאימייל | ככל הנראה, אצל מספר בודקים היה קושי בשיגור הדיווחים באימייל | קיים קושי לתמוך במצבים המגוונים במגוון של מערכות הפעלה אצל הבודקים | בעיה זו נותרה ללא פתרון |
| ניתוחים סטטיסטיים | קבצי לוג של הבודקים כללו מידע חלקי, ולמעשה הם חסרי שימוש. | פיתוח מודול התוכנה לניהול קבצי לוג לא הסתיים. זיהוי הקבצים נעשה ידנית. | ייעשה מאמץ להגיע לגירסא סבירה של מודול ניהול קבצי הלוג. |