3             מדידה והערכה

מדידה והערכה של תכניות

תכניות התערבות

גורמים שונים בעולם פיתחו שיטות למדידה והערכה של תוכניות בתחום הפער הדיגיטלי והאוריינות הדיגיטלית. תוכניות בעלות אופי שונה יזדקקו לשיטות מדידה שונות, ולכן יש להתאים את מתודולוגיית המדידה לתוכנית ההתערבות המופעלת. איסוף הנתונים יעשה בדרכים אובייקטיביות וסובייקטיביות המתוארת בחלק 3.1

קורסים וסדנאות

א
תגובות ושביעות רצון
שאלות מרכזיות:
האם התכנית רלוונטית?
מה היתה חשיבות התכנית?
האם התכנית קידמה מידע חדש?
האם המשתתפים ימליצו לאחרים להשתתף בתוכנית?
שיטות לאיסוף נתונים
סובייקטיבי: סקרים, ראיונות וקבוצות מיקוד
ב
למידה
שאלות מרכזיות:
האם המשתתפים רכשו את הידע והכלים המוצעים בתוכנית?
האם המשתתפים יודעים איך ליישם את הידע שרכשו?
האם המשתתפים מרגשים בטוחים מספיק לעשות שימוש במה שלמדו?
שיטות לאיסוף נתונים
אובייקטיבי: מדידת ביצועים, תצפית טהורה, עקבות דיגיטליים בהתנדבות ומדדים פסיכופיזיולוגיים
סובייקטיבי: סקרים מקוונים, ראיונות, קבוצות מיקוד ודגימות רנדומליות
ג
יישום
שאלות מרכזיות:
עד כמה המשתתפים מיישמים את מה שלמדו באפקטיביות?
באיזו תדירות מיישמים המשתתפים את מה שלמדו?
איזו תמיכה מקבלים המשתתפים?
שיטות לאיסוף נתונים
אובייקטיבי: דיגיטליים, עקבות דיגיטליים בהתנדבות, מדדים פסיכופיזיולוגיים ותצפית טהורה
סובייקטיבי: דגימות רנדומליות, קבוצות מיקוד, ראיונות וסקרים מקוונים
ד
אימפקט
שאלות מרכזיות:
באיזו מידה יישום הלמידה שיפר את המדדים שהתוכנית נועדה לשפר?
כיצד התוכנית תרמה לשיפור המדדים?
שיטות לאיסוף נתונים
אובייקטיבי: מדידת האינדקס על פי הכלים האובייקטיביים
סובייקטיבי: סקרים של בעלי עניין/שותפים, סקרים של משתתפים: ראיונות, קבוצות מיקוד

התערבויות עקיפות

בניסוי נבחנו ארבע גרסאות שונות של דף הבית שמטרתן לענות על השאלות הבאות:
א
האם ניתן לעודד שימוש בשירותים דיגיטליים ובאתרי מידע בחנויות המחשבים ע״י הפחתת חיכוך?
ב
אילו מסרים משפיעים על משתמשים בחנויות מחשבים להיכנס לאתרים המוצגים בדף הבית?
מסרים חברתיים המעידים על שימוש של אחרים בשירות
מסרים המדגישים את החיסכון בזמן ואת העלות משימוש בשירות לא-   מקוון
מסרים המדגישים את החיסכון הכלכלי
המשתנה התלוי (המשתנה עליו נרצה להשפיע באמצעות ההתערבות) הוא כניסות לאתרים המופיעים באתר הבית. כלומר, נבחן מהו שיעור המשתמשים הנכנסים לכל אחד מהאתרים ללא התערבות ונשווה אותו למספר המשתמשים שנכנסו לכל אתר דרך עמוד הבית.

כדי לבחון את האפקטיביות של שינוי מסך הבית על השימוש בשירותים מקוונים, נשתמש בניסוי במודל Randomized Conltrol Trial הבוחן את ההשפעה של התערבות ע״י שימוש בהקצאה אקראית. בכל יום במהלך תקופת המדידה כל עמדת מחשב תוקצה באופן אקראי לקבוצת הביקורת או לאחת מקבוצות הטיפול.
קבוצת הניסוי
תיאור
דוגמה
קבוצת ביקורת
דף בית עם שורת חיפוש של Google
הפחתת חיכוך
דף בית שמציג ארבעה שירותים: ביטוח לאומי, כל זכות, תשלום חשבון חשמל והזמנת תור לדואר ישראל
“מאות טפסים ושירותים של ביטוח לאומי במקום אחד"
הפחתת חיכוך +מסר חברתי
ליד כל שירות יופיע מסר שמדגיש את השימוש של אחרים בו
“שירות זה פופולרי ביותר בקרב המשתמשים בחנות זו”
הפחתת חיכוך +חסכון בזמן
ליד כל שירות יופיע מסר שמדגיש את החסכון בזמן ואת העלות משימוש בשירות לא-מקוון
“תור בביטוח לאומי עלול לקחת שעות מזמנך. אותו שירות באתר זה ייקח רק כמה דקות”
הפחתת חיכוך +חסכון כלכלי
ליד כל שירות יופיע מסר שמדגיש את החסכון הכלכלי משימוש בו
“שימוש נכון  בשירות המקוון של ביטוח לאומי יכול לחסוך לך מאות שקלים בחודש”