שרון סיפרה בבלוג שלה, בכעס מה, על סקר טלפוני שנכפה עליה ע”י מכון סמית’, כנראה בשרות אגודת הסטודנטים. או האוניברסיטה. או מישהו אחר שיודע את מספרי הטלפון של סטודנטים. היא לא מוכנה שיתקשרו אליה סתם ככה אנשים בלי שנתנה את הסכמתה לכך. יש מידה של צדק בדבריה. היא גם הוסיפה (וחזרה על כך בתגובות) שהיא הקפידה לשקר לסוקר בכל השאלות, כעונש.
עידו קינן הצטרף גם הוא עם המלצות כיצד לנקום בסוקרים טלפוניים.
זה לא שאני לא מבין את הסנטימנט, אבל כמי שתוך זמן לא רב יהיה בצד השני של מכונת הסקרים, כחוקר של התנהגות בוחרים, הגישה הזו מאוד מטרידה אותי. מטריד אותי שאנשים מסויימים אינם מסכימים להשיב – והרבה יותר מטריד אותי שאנשים מסויימים משקרים בכוונה לסוקרים.
כדי שסקר ייצג היטב את האוכלוסיה, הוא צריך להיות סקר על מדגם מקרי, וזה אומר שכל אדם יכול ליפול במדגם בסבירות שווה לכל אדם אחר. אם קבוצה מסויימת של אנשים מסרבת בעקביות להשיב לסקרים, הם לא ייוצגו בסקרים, אם הקבוצה הזו היא חלק מקבוצה גדולה יותר באוכלוסיה, אז האוכלוסיה הזו תיוצג באופן לקוי בסקרים.
האירוניה היא שבגלל שהם לא משיבים על סקרים, אי אפשר אפילו לאפיין אותם. אנחנו לא יודעים אם האנשים שלא משיבים על סקרים מאופיינים בסוג כזה או אחר של התנהגות, אם הם מטים את הסקרים שלנו בסירוב שלהם, באיזה אופן ולאיזה כיוון. חור שחור בידע הסטטיסטי שלנו.
אנשים שמשקרים לסוקרים, כמובן, מחריבים את המידע לחלוטין.
מקור הבעיה, כמו בכל כך הרבה מקרים, הוא בכך שכלי מחקרי נפל לידיים מסחריות. לא קשה להבין את אלו שמתעצבנים כאשר כל שני וחמישי הם מקבלים טלפון כשבצד השני יש סוקר שמזיין להם את השכל במשך עשרות דקות עם אינספור שאלות משמימות על סוג אבקת הכביסה המועדפת עליהם.
מהבחינה הזו, סקרים מחקריים הם הרבה יותר נעימים לכל הצדדים – מכיוון שלחוקרים אין כיסים עמוקים במיוחד, ומכיוון שכל שאלה עולה כסף, השאלונים שלהם קצרים למדי. יחסית.
מצד שני, מכוני הסקרים מעדיפים לגבב כמה סקרים זה על גבי זה כדי לחסוך עלויות, וכך מגדילים את הסיכון שאנשים ינשרו באמצע. מהרבה בחינות הם כורתים את הענף שהם יושבים עליו. בנכונות המתמדת שלהם לקבל על עצמם עוד ועוד סקרים מטופשים ומשמימים, הם גורמים לחלקים גדולים מהציבור להפסיק לענות להם. לא ייקח עוד הרבה זמן עד שמזמיני הסקרים המסחריים יבינו שאין לסקרים האלו ערך (אלא אם הם למטרות שיווק – “86% מהציבור נקבו בשם של המוצר שלנו, שאנחנו מפמפמים לכם כבר חודשים בפרסומות בכל מקום, כמוצר הידוע ביותר בתחומו!”). ברגע שהסקרים כבר לא יעזרו לחברות הפרסום והיצרנים להעריך את השוק בצורה איכותית, הם יזנחו את הכלי הזה וימצאו משהו אפקטיבי יותר.
ואת הגוויה הריקה מתוכן של הסקרים הם ישאירו לנו, החוקרים, שנתקשה יותר מאי פעם למצוא תשובות לשאלות שמעניינות אותנו.
אבל, יגידו שונאי הסקרים – למה זה צריך לעניין אותי מה שמעניין אותך? ולזה כבר אין לי תשובה.
9 תגובות על “סקר אחד שווה אלף שקרים?”
ויגידו שונאי הסקרים מכיוון אחר – לבעיות שאתה מציג אין פתרון, והן מצטרפות לעשרות בעיות אחרות שיש לכלים האלה.
תעבור לשיטות מחקר איכותניות. אפשר לדגום הרבה פחות אנשים, אבל לתשובות שמקבלים יש משמעות.
יש משמעות, אבל אין תוקף חיצוני. נראה לי שבכל זאת יש עוד יתרונות לסקרים. לוותר על שיטות כמותניות לחקר החברה זה לוותר, מעשית, על מדעי החברה והעברת כל התחומים האלו, en masse, חזרה לפקולטה למדעי הרוח.
לדעתי, יש כאן בעיה חמורה יותר. נגיד שאני בעל מפעל מכוניות שמעוניין לדעת אם כדאי לי להוציא לשוק רכב גדול לא בטיחותי וזול או רכב בטוח קטן וזול. לייצר רכב עולה כסף, לכן דבר ראשון שארצה לדעת זה איזה רכב יהיה יותר רווחי לייצר. אחת הדרכים לעשות את זה היא באמצעות סקר. אבל, אם כל ה”שרונים” ישקרו בסקר, ובמקרה דווקא “שרונים” מתאפיינים ברצון לקנות רכב קטן, אני לא אוציא רכב קטן, וגם שרון תפסיד (גם אני, כי השוק שלי יהיה קטן ממה שחשבתי, וגם הסוקר, כי הנתונים שלו יתבררו כלא נכונים ולא אמליץ עליו לבאים אחרי).
לכן, מי שלא עונה לסקרים המסחריים והפוליטיים בכנות יורה לעצמו ברגל.
לשיטות מחקר איכותניות אין תוקף חיצוני זו אמירה די ריקה, בערך כמו להגיד שהתוצאות שלהן ברמת מובהקות נמוכה מדי. תוקף חיצוני (ותוקף בכלל, כשיטה למדידת אמינות התוצאות) זה מושג ששייך לשדה של שיטות המחקר הכמותניות.
אתה מנסה להגיד ששיטות מחקר איכותניות לא מייצגות. אבל גם שיטות מחקר כמותניות לא מייצגות (ע”ע הפוסט שלך), אז מה הפואנטה פה?
איך שולחים לכאן טראקבק?
שתי האגורות שלי בנושא: (1) סקר טלפוני אינו ספאם. (2) מטעי סוקרים בכוונה תחילה הם טרולים לכל דבר
http://www.notes.co.il/joseph/32400.asp
וגם
http://www.notes.co.il/joseph/9822.asp
יוסי, יש בעיה כרגע במערכת הטראקבקים של בלוגלי. כולי תקווה שזה יתוקן בקרוב. זה באמת קצת מציק. אבל לך תתלונן על אנשים שנותנים לך משהו בחינם.
העניין עם סקרים (בעיקר המסחריים שבהם) הוא שבעצם הם מבקשים ממני לתת משהו (את הזמן הפנוי שלי, בדרך כלל בדיוק בשעות שאנשים רוצים לנוח קצת או לבלות זמן עם המשפחה) עבור מטרה מסחרית כלשהי, ובתמורה אני לא מקבל שום דבר.
גרוע מכך, הרבה סקרים הם משעממים פחד, והגרועים שבהם נשמעים כמו פרסומת אחת ארוכה למוצר (אתה משתמש במוצר X? האם אתה מודע ליתרונות של מוצר X? מה לדעתך הדבר הכי טוב לגבי מוצר X? האם היית מוכן לקנות את מוצר X אם הוא היה זמין לך? מה דעתך עם X עם קטשופ?).
אני מבין אנשים שלא מעוניינים להשיב לסקרים האלו. זה לא עניין של “אח גדול”, זה בעיקר עניין של “אני לא משרת את החברות המסחריות”. מי שמשתתף בקבוצות מיקוד מקבל בד”כ תמורה קטנה כלשהי. אבל מסקרים אני לא מקבל כלום.
אם הכי הזה היה מוגבל למחקר אקדמי, אולי יותר אנשים היו מסכימים להשיב – ולו משום שהיו הרבה פחות סקרים. אבל אין מה לעשות, זה המצב שאנחנו נמצאים בו. כסטטיסטיקאי, איזה פתרונות יש למצב הזה?
אגב, ראיתי שלפי הלמ”ס אחוז משקי הבית שיש בהם טלפון קווי ירד בעשור האחרון מ-95 ל-85 אחוז בלבד. גם זה, כמובן, פוגע ביכולת הדגימה של מכוני סקרים. איך מתמודדים עם זה?
דרומי – יש בעיות עם הכלים הכמותניים, אבל הם עדיין הרבה יותר חזקים מאשר כלים איכותניים בהסברת התנהגות. כמו שאמרתי, אם אנחנו מוותרים לגמרי על האפשרות להסביר התנהגות של ציבורים, אין שום פואנטה למדעי החברה. אנחנו עוסקים בהיסטוריה.
חס וחלילה לוותר על האפשרות להסביר התנהגויות. אני אמרתי לוותר? כל מה שאמרתי הוא למקד מחדש את סדרי העדיפויות של נסיונות ההסבר.
בשביל בסיס משותף לדיון אפשר להתחיל מהערך על מחקר איכותי שכתבתי לוויקיפדיה, ועוסק יותר בשאלה ‘למה לא כמותי’ מאשר ‘למה כן איכותי’.
לסיכום רק אגיד שביום שני, אני מקווה להיות שותף – שוב – להוכחה מדוע סקרים פוליטיים הם שטות.
יוסי – זה שתקרא לאנשים בשמות לא יהפוך את המחקר שלך למדוייק יותר. אנשים לא עונים לסקרים טלפוניים, או עונים תשובות שקריות. זו עובדה, והשאלה היא איך מתמודדים איתה.
דרומי, אתה מודע לזה שאתה כתבת שם משפטים כמו “המחקר האיכותי משמש כמתודולוגיה מחקרית לאפיסטמולוגיה פוסט פוזיטיביסטית, היינו, לפרדיגמה הפרשנית-הבנייתית”? אני הבנתי את הכל עד למילה “מחקרית”. השאר, מבחינתי, לוטה בערפל. חוץ מ”היינו”. גם את זה הבנתי. (אבל זה רק הרגיז אותי יותר, בגלל שאחרי ה”היינו” ציפיתי להסבר שאני אבין, ולא לעוד ז’רגון שאין לי מושג מה הוא אומר).
מה קורה ביום שני?
הבעיה שלי עם מחקר איכותי, בעיקר כפי שהוא מוצג בערך שכתבת, הוא שהוא לא מבקש כלל לחקור את העולם החיצון. עושה רושם שיותר מכל, המחקר מבקש לחקור את עולמו הפנימי של החוקר. וזה, ת’אמת, מעניין את התחת שלי. (סליחה על הבוטות).
“החקירה המשמעותית במדעי החברה היא חקירת הקטגוריות” זה בדיוק זה – לחקור את הקטגוריות משמע לחקור את תפיסת המציאות של החוקר (ולכאורה כלל החברה, אבל זו הנחה שאין לה יסוד אם מקבלים את הנחות היסוד האחרות של העקרון הזה). זה מחקר שמתאים לפילוסופיה, לא למדעי החברה.
מה שאני מנסה להגיד הוא שתפיסה כזו, שהמחקר צריך כל הזמן לנסות לערער את הקטגוריות של עצמו, ושבעצם אסור להסתמך על קטגוריות כאלו, בעצם שוללת את התפתחותה של פרדיגמה (במובן הקוניאני), ואם אנחנו מוותרים מראש על פיתוח פרדיגמה, אנחנו מוותרים מראש על הסיכוי ל”מחקר נורמלי”. זה אומר שלעד נמשיך לגרד את פני השטח, להמציא את הגלגל כל פעם מחדש, ואף פעם לא נצליח להגיע לגילויים החשובים באמת. אם לקחת את הדוגמא של קוהן עצמו – חקר החשמל התמזמז במשך שנים רבות כי כל חוקר ניסה לתקוף את הרעיון מכיוון אחר לגמרי. רק אחרי שנוצרה פרדיגמה של חקר החשמל ניתן היה להגיע לגילויים שאפשרו, למעשה, את העולם המודרני.
במדעי החברה הרעיון של פרדיגמה הוא הרבה יותר בעייתי מלכתחילה. הנכונות לוותר על פרדיגמות אינה אלא ויתור מראש על כל משמעות למחקר. ומה הטעם במחקר אם אין לו שום משמעות? מה הטעם ביצירת קטגוריות אם החוקר הבא פשוט ירסק גם אותן? מה התועלת במחקר אם הנחת היסוד של המחקר אינה “הטל ספק!” אלא “אין צורך להטיל ספק, כי אנחנו יודעים שהכל זה הבנייה חברתית בכל מקרה”, ומכאן שתפקיד החוקר הוא רק “לפרק את ההבנייה הזו”. יופי, בשביל זה לטרוח?