כשאתה קורא את החדשות, זה יכול להרגיש מרגיע כאשר העיתונאי מגבה את הטענה שלו בתוצאות הסקר. אבל לא כל הסקרים אמינים באותה מידה. למרבה המזל יש כמה סימנים מובהקים של סקרים לא אמינים - כמו גם סקרים שאתה יכולמֵעֵיןאֵמוּן. כן, זה ספקטרום.
שוחחנו עם ג'ון כהן, אחד המומחי הסקרים המוכשרים ביותר בארץ. בארבע השנים האחרונות הוא עבד עם ארגונים חדשים כדי לערוך סקריםקצין מחקר ראשי ב- SurveyMonkey. לפני כן הוא היה סגן נשיא למחקר במרכז המחקר Pew ו(במשך שמונה שנים) מנהל הסקרים בוושינגטון פוסט. לדבריו, שינוי הטכנולוגיה למעשה הקשה על הסקרים.
הבעיה
"אנחנו במצב הרבה יותר קשה להערכת סקרים היום מאשר היינו אפילו לפני עשר שנים", אומר כהן. התקשרות לטלפונים סלולריים יכולה לעלותפי שנייםכמו שיחות קוויים. אז סוקרים מודרניים צריכים לעתים קרובות להשתמש בשיטות חדשות. ערוצי חדשות רבים אינם יכולים להרשות לעצמם סקרים משלהם, ולכן הם מסתמכים על סקרים חיצוניים. יש עוד דרכים לסקר מרושל ולא מדויק לחמוק לתקשורת.
בינתיים, מומחים בתחום חלוקים לעתים קרובות על שיטות הסקרים. כמה מהסטנדרטים הטובים ביותר בתעשייה לא מעודכנים. המועצה הלאומית לסקרי ציבור מספקת רשימה של"עשרים שאלות שעיתונאי צריך לשאול על תוצאות הסקר."אבל כפי שכהן מציין, הרשימה הזו לא עודכנה כבר יותר מעשור. מספר המבוגרים ללא גישה לאינטרנט פחת מאז בחצי, והשימוש בטלפונים סלולריים בהצבעות גדל פי שלושה, ושניהם משנים באופן דרסטי את המצב עבור הסוקרים.
סקרים נערכים כעת בכל מיני שיטות זולות יותר, כולל שיחות רובו וצורות מרובות של סקרים מקוונים, שכולם נחשבו חשודים עוד כשהשיחות הביתה היו תקן הזהב. SurveyMonkey, שעובדת עם ארגוני חדשות לביצוע סקרים מקוונים, בוחרת באקראי את המשיבים שלה מתוך 3 מיליון המשתמשים היומיים המשתתפים בסקרים שונים באתר שלה. (הם מסבירים את המתודולוגיה שלהם כאן.)
אבל כפי שכהן מודה, לא כל מומחה סקרים מסכים עם השיטות של SurveyMonkey.דירוג הסוקרים של FiveThirtyEightתן ל-SurveyMonkey ציון C-. בינתיים כהן מאמין ש-FiveThirtyEight מדרג חלק מהסוקרים גבוה מדי, ולפעמים מתגמל אותם על התאמת תוצאות הבחירות גם כשרק התמזל מזלם. וזה הכל בין שני אתרים שיש להםשותפו לסקרים.
מומחי סקרים חולקים גם על כמה עקרונות בסיסיים, כמו האם לנסות לסקור מספר עצום של אנשים המייצגים את האוכלוסייה הכללית (ולאחר מכן לסנן את התוצאות), או אם להתחיל עם האוכלוסייה הספציפית שאתה רוצה, כמו בוחרים רשומים או בעלי נכסים. אז ההגדרה של סקר טוב יכולה להיות תלויה באיזה מומחה אתה שואל. ובכל זאת, מומחים נוטים להסכים לגבי מספר גורמים חשובים, ואתה יכול להשתמש בהם כדי לשפוט את תוצאות הסקר שאתה רואה בחדשות.
הפתרון
ישן כמו ה-NCPPעשרים שאלותהם עדיין נקודת התחלה טובה. הם מיועדים לעיתונאים שכותבים על סקרים - אבל עכשיו כשעוד סקרים גרועים נכנסים לדיווחים בתקשורת, השאלות האלה מועילות לקוראים. הם כוללים "מי שילם על הסקר?" ו"מהי שגיאת הדגימה?" ושאלות עלשנסקר בפועל. (ה-NCPP מרחיב את ההשלכות של כל תשובה.)
כהן מציע כמה שאלות חדשות:האם המשיבים נבחרו באופן אקראי, או שהם "הצטרפו" לסקר המוטמע בכתבה של CNN? האחרון מעוות מאוד את התוצאות, ואם אותם משיבים לא ענו גם על כמה שאלות דמוגרפיות, קשה לבטל את הטיית התוצאות. (כהן אומר שהמשיבים של SurveyMonkey נוטים להיות בעלי השכלה גבוהה יותר, מה ש-SurveyMonkey מתאימה, אבל אחרת הדמוגרפיה שלהם נוטה להתאים לנתוני מפקד האוכלוסין הלאומי.) אז בכל סקר, ובמיוחד כל סקר מקוון, בדקו כיצד נבחרו המשיבים.
כמה אנשים נסקרו?בעוד שסקר עשוי היטב עם גודל מדגם קטן יכול להיות בעל ערך, אומר כהן, אינך יכול לקבל תוצאות אמינות עם פחות מ-100 נשאלים - ובאופן אידיאלי אתה רוצה הרבה יותר.
אז אם אתה רוצה לחלק את התוצאות עבור תת-קבוצות מרובות, אתה צריך להתחיל בסקר של 1,000 אנשים - או יותר טוב, 10,000. אם אתה מסקר 500 אנשים, אבל רק 60 מהם שחורים, אתה לא יכול לקבל תוצאות משמעותיות לגבי אותם 60 משיבים שחורים ולהעמיד פנים שהם מייצגים את הממוצע הארצי. אם אדם בודד שינה את דעתו, זה יעביר את התוצאות שלך ביותר מנקודת אחוז. (כהן אומר שעבור אוכלוסיות נדירות, הסוקרים עשויים להסתפק רק ב-75 נשאלים).
מה היו השאלות שנשאלו בפועל?סוקר מכובד, אומר כהן, יחשוף את שאלותיו ואת תשובותיהם מרובות הברירות. ידיעת אלה יכולה לשנות לחלוטין את משמעות התוצאות.
במהלך מלחמת עיראק, אומר כהן, דו"ח סקר טען ששלושה רבעים מהאמריקאים רצו חיילים אמריקאים לצאת מעיראק תוך שנה. אבל הסקר, שמומן על ידי תורם נגד המלחמה, תוכנן כדי לקבל את התשובה הרצויה. למגיבים היו ארבע אפשרויות: האם הם רצו שהחיילים יעזבו תוך שלושה חודשים, שישה חודשים, שנה, או "ישארו כל עוד צריך?" לא הייתה אפשרות לעזוב חיילים, למשל, בעוד שנתיים או שלוש. אמנם תוצאות הסקר לא היו חסרות ערך (הן כן הראו שאנשים רבים רצו חיילים מעיראק), הן לא באמת התכוונו למה שהכותרות טענו שהן מתכוונות. מה שמוביל לשאלה הבאה:
כיצד מדווחות התוצאות?אם מדווח על סקר עם מעט מאוד פרטים, מה שהופך את זה לבלתי אפשרי לענות על כל שאר השאלות, תהיו חשדניים. ארגוני הסקרים ואמצעי הסקרים הטובים ביותר, כגון Pew, the Post או Quinnipiac University, פתוחים לגבי השיטות שלהם, הנתונים שלהם וכיצד הם מתאימים את הנתונים הללו. בפוסט, הצוות של כהן הפעיל סקרים טלפוניים זה לצד זה עם סקרים מקוונים כדי לבדוק כיצד שיטת הסקרים עיצבה את התוצאות. ואז כשהם מריצים סקר בשיטה אחת, הם יודעים להתאים אותו.
יש סימנים מובהקים של סקר לא מהימן. "אם סקר מדווח עם נקודות עשרוניות, אני ממהר מאוד לבטל אותו", אומר כהן. "אף סקר, לא משנה איך נערך, לא יכול להשיג דיוק של נקודת העשירית לגבי איך אנשים חושבים." בדוק אם ארגון הסקרים מנסה לשאוב תוצאות מתת-קבוצות קטנות של מאגר המשיבים, או שהם מפריזים במשמעות הממצאים שלהם.
במהלך הפריימריז הדמוקרטים ב-2007, הצוות של כהן ב"וושינגטון פוסט" היה הראשון שדיווח כי מצביעים שחורים רבים עוברים מקלינטון לאובמה. הם ראו זאת בסקר עם 136 משיבים שחורים בלבד, אבל בגלל שהם בטחו במתודולוגיה שלהם, ובגלל שהשינוי היה כל כך בולט, הם היו בטוחים שזה לא רעש סטטיסטי. אם המעבר היה גדול בחצי, הם לא היו סומכים על הנתונים מספיק כדי לדווח עליהם.
מה אומרים סקרים אחרים?כהן מאמין שסקר לא מושלם עדיין שימושי לעתים קרובות. אבל כדאי להשוות את זה לסקרים אחרים. סקר טלפוני שנעשה היטב, אפילו של עורך דין חזק, לא צריך בהכרח להידחות.
המפלגות הרפובליקניות והדמוקרטיות מנהלות סקרי דעת קהל, אשר נוטים להיות מוטים לכיוונם כשלוש או ארבע נקודות. אבל, אומר כהן, זה לא בהכרח אומר שהסקרים האישיים מוטים - רק שהמפלגות לא מפרסמות את תוצאות הסקרים שאינן מאששות את השקפותיהן. בממוצע ביחד, הסקרים המפלגתיים האלה עדיין יכולים להניב תוצאה שימושית.
זה יהיה נחמד שעוד סקרים יערכו וידווחו על ידי צדדים שלישיים בלתי משוחדים. אבל בזכות ההוצאה, פשוט אין מספיק כאלה. במהלך העשורים האחרונים, זה נעשה הרבה יותר קשה לגרום לאנשים לקחת סקר, ושיעור ההיענות לסקר הממוצע הוא מתחת ל-10%. אז אנחנו נשארים לקחת את מה שאנחנו יכולים מסקרים מוטים, מדווחים חלקית או פגומים אחרת. FiveThirtyEight תשקלל את הממוצעים שלה כדי להעדיף סוקרים טובים, אבל היא עדיין תביא בחשבון תוצאות מתוצאות רעות, לאחר שתנסה להתאים אותם על סמך שגיאות והטיות ידועות. (מתוךמאות סוקריםהאתר מדרג, הוא אסר רק חמישה.) עדיף לקחת סקר פגום עם גרגר המלח הנכון מאשר להתעלם ממנו לחלוטין.
אפילו למפקד האוכלוסין של ארה"ב, שמפיק את הנתונים הסטטיסטיים הדמוגרפיים שלפיהם נמדדים נתוני הסקרים, יש סטנדרטים משתנים - לפישיפור השאלות ואפשרויות התשובות שלולגבי גזע ואתניות, מפקד האוכלוסין הקשה על השוואה ישירה בין סטטיסטיקות מעשור לעשור. האמת היא שדעת הקהל היא לא קבוע פיזי שאנחנו יכולים למדוד במדויק. הוא בעל ניואנסים, קשה למדוד מבלי להשפיע, ומשתנה כל הזמן. אז אל תתייחסו לשום סקר כאל האמת הבלתי ניתנת לטעות, הנצחית.
