تقييم مقترح جديد لكشف تزوير البيانات في الدراسات الاستقصائية

معلومات الكاتب

الكاتب : Aya Hassan

[ad_1]

تم تحديثه في 25 فبراير 2016

تم نشر نسخة من هذه الورقة في المجلة الإحصائية لل IAOS.

بقلم كاتي سيمونز وأندرو ميرسر وستيف شوارزر وكورتني كينيدي

القلق بشأن تزوير البيانات العمر كمهنة استطلاع الرأي العام. ومع ذلك ، من الصعب تحديد مدى تزييف البيانات وعدم توثيقها بشكل جيد. ونتيجة لذلك ، فإن تأثير التزوير على التقديرات الإحصائية غير معروف بشكل أساسي. ومع ذلك ، هناك نهج راسخ لمعالجة مشكلة تزوير البيانات التي تشمل الوقاية ، على سبيل المثال من خلال تدريب القائمين بإجراء المقابلات وتقديم الإشراف عن كثب ، والكشف ، مثل من خلال التقييم الدقيق للأنماط في البيانات الفنية ، والتي يشار إليها أيضًا باسم paradata ، و

في ورقة صدرت مؤخرًا ، اقترح كل من كورياكوس وروبنز (2015) مقاربة جديدة للكشف عن التزوير. يعد هذا الإجراء امتدادًا للطريقة التقليدية للبحث عن التكرارات داخل مجموعات البيانات. ما هو الجديد في منهجهم هو التأكيد على أن وجود المستجيبين الذين يتطابقون مع مجيب آخر على أكثر من 85٪ من الأسئلة ، ما نشير إليه على أنه مباراة عالية ، يشير إلى احتمال التزوير. وتطبق هذه العتبة على مجموعة من مجموعات البيانات الاستقصائية الدولية المتاحة للعموم ، وتخلص إلى أن مجموعات مسح دولية واحدة من كل خمسة تتضمن على الأرجح بيانات مزورة.

من الواضح أن الادعاء بوجود تزوير واسع النطاق في الدراسات الاستقصائية الدولية. ومع ذلك ، فإن التحقيق الشامل الذي أجراه مركز بيو للأبحاث والذي تم تلخيصه في هذا التقرير يجد أن المطالبة غير مدعومة بشكل جيد. تُظهر النتائج أن ميزات المسح الطبيعي الحميدة يمكنها تفسير معدلات تطابق عالية. وعلى وجه التحديد ، فإن العتبة التي يقترحها كورياكوس وروبنز حساسة للغاية لعدد الأسئلة ، وعدد خيارات الاستجابة ، وعدد المستجيبين ، والتجانس بين السكان. بسبب هذه الحساسية لمعلمات متعددة ، في ظل الظروف الواقعية ، من الممكن للمطابقة أن تتطابق مع أي نسبة من الأسئلة حتى عندما تكون بيانات المسح صحيحة وغير فاسدة. بعبارة أخرى ، يشير تحليلنا إلى أن العتبة المقترحة عرضة لتوليد إيجابيات كاذبة - مما يوحي بوجود تزوير عندما لا يكون هناك في الواقع. ربما يكون الدليل الأكثر إقناعاً الذي يلقي ظلالاً من الشك على ادعاء التزوير الواسع النطاق هو الطريقة التي يوحي بها النهج لبعض الاستطلاعات الأمريكية عالية الجودة. وتولد العتبة إيجابيات خاطئة في البيانات التي لا يوجد فيها أي تزوير مشكوك فيه ، ولكن لها خصائص مشابهة للمسوحات الدولية التي يتم التشكيك فيها.

تستمر هذه الورقة كما يلي. أولاً ، نستعرض بإيجاز مشكلة تزوير البيانات في الدراسات الاستقصائية وكيفية معالجتها عادة. ثانيًا ، قمنا بتلخيص حجة "كورياكوز" و "روبنز" حول العتبة المقترحة لتحديد البيانات المزورة ومناقشة مخاوفنا حول أدلةهم. ثالثًا ، نحن نوجز الخطوات البحثية التي اتبعناها لتقييم العتبة المقترحة ثم مراجعة بالتفصيل نتائج تحليلنا. وأخيرًا ، نختتم بمناقشة النتائج والطرق الأخرى التي يعمل بها هذا المجال لتحسين أساليب مراقبة الجودة.

أنا. تزييف البيانات في الاستبيانات

جميع بيانات الاستقصاء ، بغض النظر عن طريقة جمع البيانات ، عرضة لخطأ المسح. غروف وآخرون. (2009) الخطوط العريضة لمصادر الخطأ المختلفة التي يمكن أن تؤثر على المسوحات في إطار إطار الخطأ الإجمالي للمسح. أحدهما يتعلق بشكل خاص بمصدر الخطأ هو تزوير البيانات.

تقرير عام 2003 الصادر عن الجمعية الأمريكية لأبحاث الرأي العام (AAPOR) يحدد مشكلة التزوير في الاستطلاعات كمغادرة مقصودة من الإرشادات أو التعليمات (صفحة 1). يجب أن يعتمد الباحثون على الحيز ، والمقابلات ، وحتى المستجيبين على اتباع إرشادات تصميم المسح وإرشادات الاستبيان. هذا يخلق مشكلة الوكيل الرئيسي الكلاسيكية. توجد في الحوارات الميدانية والمحاورون والمجيبون [the agents] معلومات أفضل عن العمل الميداني وموقف المقابلة مقارنة بالباحثين [the principals] (Kosyakova et al.، 2015، p. 418). بالنسبة للدراسات الاستقصائية المبنية على إجراء المقابلات الشخصية ، ركز البحث على التزوير تقليديًا على أشكال مختلفة من التزوير القائم على المقابلات (مثل إجراء مقابلات كاملة أو "كبح استدامة" ، أو تخطي الأسئلة ، أو تعديل الأسئلة أو الإجابات) ، في حين أن الاستطلاعات وقد شمل التركيز على السلوك الخاطئ للمستجيبين (مثل التبطين المستقيم أو السرعة عبر الاستبيان).

في دراسة مبكرة حول تزوير البيانات ، قال Crespi (1945) إن الابتعاد عن بروتوكولات المقابلة أقل مشكلة الأخلاق ، وأكثر مشكلة معنوية (ص. 431). وقد أوضح كريسبسي ، الذي ركز بشكل رئيسي على المقابلات ، العوامل المختلفة التي قد تثني المحاورين عن أداء واجباتهم بأمانة ، بما في ذلك خصائص الاستبيان (الاستبيانات الطويلة أو المعقدة أو الحساسة) ، والجوانب الإدارية (عدم كفاية الأجور أو عدم كفاية تدريب المحاورين) ، والعوامل الخارجية ( سوء الأحوال الجوية أو الأحياء غير الآمنة أو المناطق التي يصعب الوصول إليها.

لم يتم تحديد مدى مشكلة تزوير البيانات بوضوح ، على الرغم من أننا نعلم بوجود المشكلة (Singer، 2008؛ Loosveldt، 2008). ركزت الدراسات بشكل رئيسي على الأساليب القائمة على المقابلة ، خاصةً الدراسات الاستقصائية الشخصية وجهًا لوجه. تُظهر الأبحاث أن الأشخاص الذين يجرون المقابلات قليلو الخبرة هم أكثر عرضة لتزوير البيانات ، وأن يفعلوا ذلك على نطاق أوسع من المقابلات الأكثر خبرة (Schreiner et al.، 1988؛ Hood & Bushery، 1997). ومع ذلك ، هناك دراسات قليلة فقط تشير إلى تقديرات لحجم التزييف. قيمت هذه الدراسات مسوحات واسعة النطاق ومستعرضة واقترحت أن نسبة المقابلات المزورة نادراً ما تتجاوز 5٪ (Schreiner et al.، 1988؛ Schraepler & Wagner، 2005؛ Li et al.، 2009).

وجود بيانات مزورة حول نتائج المسح غير واضح. الأدلة المقدمة في الأدبيات لا تستنتج بشكل قاطع ما إذا كانت البيانات المزورة تبدل التوزيعات الهامشية أو نتائج الأساليب الإحصائية متعددة المتغيرات (مثل Reuband ، 1990 ؛ Schnell ، 1991 ؛ Diekmann ، 2002 ؛ Schraepler & Wagner ، 2005). ومع ذلك ، فإن كل هذا البحث مبني على دراسات استقصائية شملت فقط نسب صغيرة من البيانات المزورة.

بغض النظر عن مدى تزوير البيانات ، فإن مجال الرأي العام مهتم للغاية بمعالجة المشكلة. النهج القياسي ذو شقين: الوقاية والكشف (AAPOR، 2003؛ Lyberg & Biemer، 2008؛ Lyberg & Stukel، 2010). تشمل الوقاية تطوير علاقة مع البائعين ، وإجراء المقابلات التدريبية بعناية حول أهداف وبروتوكولات وتصميم دراسة استقصائية معينة ، فضلاً عن المبادئ والممارسات العامة لإجراء المقابلات ، ومكافأة المقابلات بالشكل الملائم ، والحد من عدد المقابلات التي يُجريها أي محاضر معين ، الإشراف على مجموعة فرعية من المقابلات لكل من يجري معهم المقابلات ، وأخيرًا إعادة الاتصال أو إعادة المقابلات ، وعادةً ما يشار إليها على أنها تدقيق ظاهري ، ومجموعة فرعية من المقابلات مع كل من يجري معهم المقابلة للتحقق من اكتمالها وإجرائها كما هو موثق. لكن الوقاية يمكن أن تكون مكلفة. وعلى الرغم من أنها يمكن أن تكون فعالة للغاية ، إلا أنها ليست ضمانًا لبيانات صالحة تمامًا (Koch، 1995؛ Hood & Bushery، 1997).

طرق الكشف تخدم غرضين. أولاً ، تساعد في تقييم أداء طرق الوقاية المكلفة. ﺛﺎﻧﯾﺎ ، ﯾﻣﮐن اﺳﺗﺧداﻣﮭﺎ ﻟﺗﺣدﯾد اﻟﻣﻘﺎﺑﻼت اﻟﻣزورة اﻟﺗﻲ اﻧزﻟﻘت ﺑﻌد ﺗداﺑﯾر وﻗﺎﺋﯾﺔ (Bredl et al.، 2012؛ Diakité، 2013؛ Menold & Kemper، 2013؛ Winker et al.، 2013). تستلزم أساليب الكشف تقييم المؤشرات الرئيسية ، بما في ذلك paradata (طول المقابلة ، الطوابع الزمنية ، الترميز الجغرافي ، توقيت المقابلات) ، البيانات المتعلقة بالباحثين (الخبرة ، عبء العمل اليومي ، معدلات النجاح) ، والبيانات المتعلقة بالمقابلة (خصائص المستجيبين ، والتسجيلات المقابلة ، التحقق من نتائج المراجعة) ، بالإضافة إلى تحليل هيكل الاستجابات (قانون بنفورد ، حالات الرفض ، القيم المتطرفة ، تماسك الاستجابات ، الاتساق في السلسلة الزمنية ، التكرارات).

لكن طرق الكشف مجرد وضع علامة على البيانات التي قد تكون مشبوهة. إن تحديد البيانات المزورة ليس نتيجة قياس واحد ، بل هو تقييم للجوانب المختلفة في بيئة الدراسة المحددة التي يدير فيها القائمون على المقابلات أعمالهم. يستنتج القاضي و Schechter (2009) من تحليلهم لبيانات المسح أن العديد من العوامل قد تسهم في أنماط البحث المشبوهة في البيانات ، وأنه لا ينبغي استخدام طرق الكشف "في العزلة عند الحكم على جودة مجموعة البيانات" (ص 24). تتطلب جميع المخاوف متابعة مكثفة مع البائعين لتحديد التفسير الأساسي للأنماط.

يقترح Kuriakose و Robbins طريقة اكتشاف جديدة ، مما يشير إلى وجود عتبة صلبة لعدد من المطابقات العالية في مجموعة بيانات لإعلام البيانات المزورة. يوضح القسم التالي حججهم.

II.a Kuriakose and Robbins 'Procedure and Threshold

في ورقتهم ، فإن Kuriakose و Robbins يهتمون بنوع محدد من التزوير المحتمل حيث المقابلات أو المشرفين أو حتى المكتب الرئيسي شركة المسح استنساخ ردود المقابلات الصالحة للوصول إلى حجم العينة المطلوب. لتفادي الاكتشاف ، يقوم المُعالج (المُحَسِّن) بتعديل الإجابات على بعض الأسئلة لكل مُجيب بحيث لا يكون المدعى عليهم نسخًا مكررة لبعضهم البعض.

مع هذا النموذج من التزوير في الأذهان ، يقوم المؤلفون بتطوير أداة للبرنامج الإحصائي Stata تحدد النسبة المئوية القصوى من الأسئلة التي يتطابق فيها كل مُجيب مع أي مستجيب آخر في مجموعة البيانات. إذا كان المستفتى A يطابق المستفتى B على 75٪ من الأسئلة ويتطابق مع المستجيب C على 25٪ من الأسئلة ، فإن الحد الأقصى لإحصائية مطابقة النسبة المئوية للمستجيب A هو 75٪. يوضح الجدول هذا المثال.

يجادل كورياكوز وروبنز بأن اثنين من المستجيبين الذين يتطابقون مع نسبة عالية من الأسئلة يجب أن يكونوا حدثًا نادرًا في البيانات الصحيحة. وهم يقدمون قضيتهم لهذا الاستنتاج على أساس مراجعة أدبيات الرأي العام ، والمحاكاة بالبيانات الاصطناعية وتحليل البيانات الأمريكية من الدراسات الوطنية الأمريكية التي تحظى بالاحترام والموثوقية على نطاق واسع (ANES) والمسح الاجتماعي العام (GSS).

يستشهد المؤلفان بكونفيرس (1964) وزالر (1992) ، وهما باحثان ساعدان في تأسيس الحكمة التقليدية بأن المعتقدات السياسية للأفراد لا يتم الاحتفاظ بها إلا بشكل ضعيف ونادراً ما يتم تنظيمها بشكل منسق على أسس إيديولوجية. ولهذا السبب ، يميل المستجيبون إلى أن يكونوا غير متسقين في إجاباتهم على أسئلة استطلاع حول مواضيع مشابهة ، ليس فقط مع مرور الوقت بل حتى داخل نفس الاستطلاع. يوسع كورياكوز وروبنز هذا المنطق ليجادلوا أن اثنين من المستجيبين الذين يشتركون في نفس المواقف من غير المرجح أن يقدموا ردودًا متشابهة باستمرار على أسئلة الاستطلاع.

لتطوير هذه التوقعات النظرية ، أجرى كوراكوز وروبنز محاكاة مونت كارلو ببيانات تركيبية. يمكن أن تكون المحاكاة بالبيانات التركيبية مفيدة لفهم العمليات الإحصائية المعقدة التي يصعب مراقبتها في بيانات العالم الحقيقي. بيد أن العائق المحتمل لاستخدام البيانات التركيبية هو أن التنبؤات الناتجة قد يكون لها تأثير ضعيف على الواقع إذا لم تكن افتراضات الباحثين تمثل بشكل معقول بنية بيانات العالم الحقيقي.

بالنسبة لمحاكاتها الأولى ، تم إنشاء Kuriakose و Robbins عشوائياً. 100000 مجموعة بيانات اصطناعية يحتوي كل منها على 1000 مستجيب و 100 متغير مستقل. تم تعيين المتغيرات عشوائيا بقيمة 1 أو 0 لكل مستجيب. لا يتم تحديد احتمال أي قيمة تسقط في 1 أو 0 في الورقة ، على الرغم من أنه يبدو أنه بالنسبة لكل المتغيرات المحاكاة ، فإن النتيجة تكون متساوية ، وهذا يعني أن كل متغير له قيمة وسطية تبلغ 0.5. ثم قام الباحثون بحساب الحد الأقصى لإحصائية مطابقة النسبة المئوية لكل مشارك. في هذه المحاكاة ، وجدوا أن هذه الإحصائية لها متوسط ​​66٪ ولا تتعدى 85٪ أكثر من 100000 محاكاة تقريبًا.

بينما يناقش كورياكوز وروبنز ، افترضت المحاكاة الأولى أن المتغيرات في مجموعة البيانات كانت مستقلة عن بعضها البعض ، هو موقف مختلف تمامًا عن بيانات المسح الفعلي. ولمعالجة هذا القيد ، كرروا هذه المحاكاة باستخدام مصفوفة ارتباط تم تكوينها عشوائياً لاختبار الحالة التي تكون فيها المتغيرات غير مستقلة وتجد أن الحد الأقصى لمطابقة النسبة المئوية مرة أخرى لا يتجاوز 85٪ ، على الرغم من أن القيمة المتوسطة أعلى من عندما تكون المتغيرات مستقل. يقترح Kuriakose و Robbins أنه بالمقارنة مع دراسة استقصائية حقيقية ، فإن عمليات المحاكاة الخاصة بهم هي اختبار متحفظ لمطابقة النسبة المئوية القصوى في مجموعة بيانات لأن معظم الاستطلاعات تستخدم أسئلة تتكون من أكثر من قيمتين. أي أنهم يتوقعون أنه ، في المتوسط ​​، يجب أن يكون المحاكاة أعلى نسبة مئوية من التطابقات أكبر مما يحدث في الواقع مع البيانات غير المزعومة.

للتحقق من صحة نتائج محاكاةهم ، يحسب Kuriakose و Robbins الحد الأقصى لإحصائية مطابقة النسبة المئوية على مجموعات البيانات من اثنين الدراسات التي أجريت في الولايات المتحدة - جميع الموجات المتاحة من الدراسات الانتخابية الوطنية الأمريكية (ANES ، 1948 حتى 2012) والمسح الاجتماعي العام (GSS ، 1972 إلى 2014) التي تضمنت على الأقل 100 سؤال. في جميع مجموعات البيانات هذه ، وجد المؤلفون 35 مستجيباً يقابلون مستجيبًا آخر على أكثر من 85٪ من الأسئلة ، والتي تمثل أقل من 0.05٪ من جميع المستجيبين.

يعتبر كورياكوس وروبنز هذه النتائج تأكيدًا على نتائج محاكية ، وخلص إلى أن الحد المعقول لتحديد التزوير المحتمل هو النسبة المئوية للمستجيبين الذين يتطابقون مع مستجيب آخر على أكثر من 85٪ من جميع المتغيرات الأساسية. يجادل المؤلفان بأن وجود أكثر من 5٪ من المستجيبين في مجموعة بيانات تعتبر مطابقة عالية وفقًا لعتبة 85٪ ، يشير إلى تزوير البيانات على الأرجح. التحديات التي يواجهها جميع الباحثين في جمع بيانات المسح عالية الجودة محليًا ودوليًا ، يعد جهد كورياكوز وروبنز لتطوير أداة تشخيصية جديدة جزءًا من خط البحث الهام. ومع ذلك ، فإن المنطق وراء نهج المؤلفين له عيبان رئيسيان. الأول هو أن الافتراضات الرياضية التي تدعم حجتهم غير مناسبة. والثاني هو أن عمليات المحاكاة الخاصة بهم ، والتي تعد واحدة من الأسس الرئيسية لعتبة محددة ، غير محددة وتشبه إلى حد ما بيانات المسح في العالم الحقيقي.

توقعات كورياكوس وروبنز النظرية الأولية حول ما إذا كان اثنان من المستجيبين سيعطيان إجابات متطابقة. إلى مجموعة فرعية من الأسئلة (85 ٪) تستند إلى احتمال وجود اثنين من المستجيبين إعطاء إجابات متطابقة لجميع الأسئلة. لاحظ المؤلفون أن اثنين من المستجيبين الذين لديهم فرصة بنسبة 95٪ للاتفاق على كل سؤال من 100 سؤال سوف يتطابقون مع كل 100 سؤال أقل من 1٪ من الوقت (صفحة 4). ومع ذلك ، فإن ما لا يعالجه المؤلفون هو أن احتمالية المطابقة على مجموعة فرعية من الأسئلة ، مثل 85٪ ، أعلى بشكل كبير من احتمال المطابقة على جميع الأسئلة. على سبيل المثال ، في استطلاع 100 سؤال ، هناك مجموعة واحدة فقط من الأسئلة التي تسمح لمطابقتين بمطابقة كل الأسئلة المائة. ولكن هناك 3.1 × 10 ¹⁷ مجموعات مختلفة من الأسئلة التي تسمح لمطابقتين بمطابقة ما لا يقل عن 85 من الأسئلة. هذا يعني أن اثنين من المستجيبين الذين لديهم فرصة بنسبة 95٪ للاتفاق على كل سؤال من 100 سؤال سيتفقون على 85 من هذه الأسئلة على الأقل خلال 99٪ من الوقت.

يشير هذا إلى ضعف أكبر في النهج الذي اتخذته Kuriakose و روبنز - أي أن المؤلفين لا يقوموا بشكل منهجي بتقييم خصائص المسح التي من شأنها أن تتسبب في اختلاف احتمالات التطابق الكبير ، مثل حجم العينة ، أو عدد الأسئلة ، أو عدد خيارات الاستجابة أو التجانس بين السكان. هذه المعلمات لها تأثير مباشر على عدد مجموعات الاستجابة المحتملة بالإضافة إلى عدد المستجيبين الذين لديهم تطابق محتمل.

يؤكد Kuriakose و Robbins أن محاكاة مونت كارلو الخاصة بهم تقدم تقديرًا متحفظًا لتوزيع الحد الأقصى مباراة إحصائية. ولكن كما سنوضح ، فقد اختاروا ظروفًا محددة جدًا لعمليات المحاكاة - 100 سؤال ، 1000 سؤال ، 0.5 تعني جميع المتغيرات - التي أدت بهم إلى العثور على القليل من التطابقات العالية. وعلى وجه الخصوص ، فإن الافتراض القائل بأن جميع المتغيرات لها متوسط ​​0.5 لا يشبه إلى حد كبير الواقع. في معظم استطلاعات الرأي العام ، تكون بعض النسب أقرب إلى الصفر أو الواحد ، مما يعكس حقيقة أن هناك غالباً آراء أو تصورات أغلبية حول الموضوعات التي تمت دراستها في الاستطلاعات. بافتراض أن متوسط ​​كل سؤال في المسح هو 0.5 يقلل من مدى التشابه الطبيعي بين المستجيبين.

نظرًا لقلقنا من ادعاء المؤلفين بالتزوير على نطاق واسع في الاستطلاعات الدولية ولكن أيضًا شكوكنا بشأن الحجج التي تقوم عليها العتبة المقترحة ، تابعنا تصميم البحوث متعددة الخطوات لفهم تماما ما إذا كان وجود تطابقات عالية في مجموعة بيانات المسح هو نتيجة للغش أو من خصائص المسح المختلفة.

ثالثا. تقدير العتبة

قمنا بتقييم حساسية العتبة المقترحة لمعلمات إضافية لم يتم اختبارها في الورقة الأصلية في محاولة لفهم أفضل لكيفية عمل الإحصاء الاستجابة للتغير في ظروف المسح في العالم الحقيقي. المعلمة الأولى هي عدد الأسئلة. بوجود المزيد من الأسئلة ، يجب أن يتراجع احتمال أن يتجاوب اثنان من المستجيبين مع نسبة كبيرة من تلك الأسئلة. والثاني هو عدد خيارات الاستجابة في الأسئلة. مع وجود خيارات استجابة أكثر ، فإن المستجيبين أقل احتمالية لإعطاء نفس الإجابة مثل شخص آخر. والثالث هو عدد المستفتيين. مع وجود عدد أكبر من المستجيبين في مجموعة البيانات ، هناك المزيد من الفرص للمُجيبين للتوافق. الرابع هو التجانس داخل العينة. عندما يؤدي محتوى المسح أو السكان الذين يتم مسحهم إلى تجانس أكبر للرأي ، سواء في العينة الكاملة أو بين مجموعات فرعية معينة ، يجب أن يزيد احتمال وجود تطابق بين اثنين من المستجيبين. يلخص الجدول هذه التوقعات.

قمنا بتقييم تأثير هذه المعلمات الأربع على النسبة المئوية للمطابقات العالية في مجموعات البيانات باستخدام عمليات المحاكاة باستخدام البيانات التركيبية وبيانات المسح الفعلي ، بالإضافة إلى تحليل الدراسات الاستقصائية الأمريكية والدولية ذات الجودة العالية. وجدنا أن عتبة Kuriakose و Robbins حساسة للغاية لجميع المعلمات الأربعة التي نوقشت أعلاه. نظرًا لأنه من الممكن الحصول على أقصى نسبة مئوية من التطابقات مع البيانات غير المُضمنة في بعض الشروط الشائعة إلى حدٍ ما ، يشير تحليلنا إلى أنه من غير المناسب استخدام حد واحد لإحصائية مطابقة النسبة المئوية القصوى لتحديد التزوير.

عمليات المحاكاة باستخدام البيانات التركيبية [19659038] المحاكاة مفيدة لأنها تسمح للباحث بإجراء تحليل في بيئة مسيطر عليها للغاية. يمكننا تحديد شروط المعلمات التي نعتقد أنها مهمة وتقييم كيفية تغير إحصائية عندما نختلف واحدًا فقط من هذه المعلمات. يسمح لنا هذا النوع من التحليل بتطوير توقعات نظرية حول كيفية تصرف البيانات في العالم الحقيقي. ومع ذلك ، هناك قيد خطير لاستخدام البيانات التركيبية لهذا النوع من التحليل ، وهو أنه إذا اختلفت الافتراضات اختلافًا كبيرًا عن مواقف العالم الحقيقي ، فقد لا تكون التوقعات النظرية المستمدة منها مفيدة جدًا.

كررنا Kuriakose و Robbins المحاكاة التي تستخدم المتغيرات الثنائية المستقلة حيث كان متوسط ​​كل متغير 0.5. لقد قمنا بتوسيع نطاق تحليلاتهم عن طريق تغيير عدد الأسئلة وعدد المستجيبين ومتوسط ​​المتغيرات. بالنسبة لعدد الأسئلة ، اختبرنا قيم تتراوح من 20 إلى 120 بزيادات 20. بالنسبة إلى عدد المستجيبين ، قمنا باختبار القيم من 500 إلى 2500 بزيادات قدرها 500. لقد أجرينا هذه المجموعة من المحاكاة مرتين. في المرة الأولى التي نضع فيها متوسط ​​كل متغير عند 0.5 ، يتوافق مع نهج Kuriakose و Robbins. في المرة الثانية ، نحدد متوسط ​​كل متغير بشكل عشوائي من توزيع منتظم بين 0 و 1. هذا الشرط الثاني أكثر شبهاً بواقع بيانات المسح ، حيث تكون بعض المتغيرات تقترب من 0.5 في حين أن البعض الآخر يعني أن الاقتراب من التطرف إما 0 أو 1. تمثل المتغيرات ذات الوسائل الأقرب إلى 0 أو 1 نوع الأسئلة في الاستطلاعات حيث يكون المستجيبون أكثر تجانسا في آرائهم.

محاكاة مع بيانات المسح

في حين أن الممارسة الرياضية المحضة لعمليات المحاكاة مع البيانات الاصطناعية يمكن أن يكون مفيدا لتطوير التوقعات النظرية الأساسية ، والقلق من أن البيانات الاصطناعية لا تمثل بيانات المسح الفعلي بشكل كاف هو وجود قيود خطيرة. ولمعالجة ذلك ، أجرينا أيضًا عمليات محاكاة مع بيانات المسح الفعلي لفهم تأثير المعايير المختلفة في الظروف الواقعية. استخدمنا الدراسة الأمريكية الوطنية للانتخابات 2012 والدراسات الاستقصائية العربية حول باروميو ويف 3 لبنان كأساس لعمليات محاكاة إضافية. هذه استقصاءان عاليان الجودة يستندان إلى عتبة Kuriakose و Robbins ويفترض أنهما خاليان من الازدواجية. يحتوي المسحان على أحجام عينات كبيرة ، مع ما بين 1000 و 2000 حالة ، واستبيانات مطولة ، مع ما يقرب من 200 سؤال جوهري أو أكثر. يسمح لنا حجم الاستطلاعات بتحديد عينات فرعية عشوائية من الأسئلة والمستجيبين من جميع الأسئلة وجميع المستفتيين المتاحين. من خلال القيام بذلك ، نحن قادرون على تغيير البارامترات الرئيسية في بيئة شبه متحكم بها باستخدام بيانات المسح في العالم الحقيقي حيث تكون المتغيرات والمستجيبون مرتبطين الآن. استبعدنا أي أسئلة أكثر من 10٪ من المشاركين في الاستطلاع لديهم قيم ناقصة.

باستخدام هذه الطريقة ، قمنا أيضًا بتقييم تأثير عدد خيارات الاستجابة في الأسئلة باستخدام ANES. أجرينا عمليات محاكاة مماثلة لتلك الموضحة أعلاه والتي تختلف من حيث عدد الأسئلة وحجم العينة ، ولكن أيضًا المتغيرات التي تم أخذ عينات منها بشكل عشوائي استنادًا إلى عدد خيارات الاستجابة. لقد قمنا بذلك من أجل شرائح متداخلة من نطاق خيارات الاستجابة (على سبيل المثال ، متغيرات مع خيارين للاستجابة لأربعة ، مع ثلاثة إلى خمسة خيارات استجابة ، إلخ.).

تقييم بيانات المسح الأمريكية عالية الجودة

أخيراً ، نحن استكشاف بعمق أكبر تأثير تجانس السكان على النسبة المئوية للمباريات العالية. سيتأثر التجانس الأساسي لسكان ما بمحتوى الاستبيان - من المرجح أن يتفق المستجيبون على بعض القضايا أكثر من القضايا الأخرى - والاتفاق الطبيعي داخل المجموعات الفرعية من السكان - بعض المجموعات من المستجيبين أكثر ميلا للاتفاق مع كل

من أجل تقييم محتوى المسح ، قمنا بمقارنة النسبة المئوية للمطابقات العالية في بيانات المسح المحلية من مركز بيو للأبحاث بالتوقعات النظرية المستمدة من عمليات المحاكاة المبنية على ANES. إن بيانات الاستقصاء التي استخدمناها في العالم الحقيقي تشبه الأنيس في أنه لا يوجد سوى قدر ضئيل من القلق بشأن وجود بيانات مزورة ، حيث أن الاستقصاءات عبارة عن استقصاءات هاتفية عشوائية عبر الهاتف الرقمي مع مراقبة ومعاينة المحققين بصورة مركزية وحيوية وجمع بيانات الاتصال التفصيلية. فهي على عكس ANES في أن لديهم استبيانات أقصر على عدد قليل من المواضيع المركزة. بالنسبة للتحليل ، راجعنا أربع دراسات استقصائية سياسية أجراها مركز بيو للأبحاث في عامي 2014 و 2015 ، بما في ذلك الاستقصاء السياسي الاستقطابي الكبير ونموذج 2014 ، ومسح الانتخابات لشهر أكتوبر 2014 واثنين من الاستطلاعات الشهرية النموذجية من عام 2015 التي غطت القضايا السياسية الرئيسية في الأخبار في الوقت. يختلف المحتوى المشمول عبر جميع هذه الاستطلاعات بشكل كبير ، ولكن الدراسات الاستقصائية الشهرية تميل إلى التركيز على عدد قليل من القضايا الرئيسية ذات الأهمية الإخبارية.

لفهم تأثير التجانس السكاني بين المجموعات الفرعية على وجود مباريات عالية ، استخدمنا الأربعة المسوحات السياسية الموصوفة أعلاه وكذلك دراسة المشهد الديني لعام 2014 التي أجراها مركز بيو للأبحاث ، وهو مسح هاتف تمثيلي وطني لـ 35،071 بالغًا أمريكيًا مع 41 سؤالًا جوهريًا تم طرحه من جميع المستجيبين. أجريت جمع البيانات لدراسة المناظر الطبيعية من قبل ثلاث شركات أبحاث مختلفة. بشكل عام ، السكان الأمريكيون متنوعون للغاية. ولكنه يشمل أيضًا جيوبًا متميزة من مجموعات فرعية أكثر تجانسًا فيما يتعلق بالموضوعات المختلفة التي يغطيها كل استطلاع. تسأل المسوحات السياسية عن مجموعة من القضايا التي تستقطب الديموقراطيين والجمهوريين ، مما يمكننا من تقييم كيف تختلف النسبة المئوية للمباريات العالية بين المجموعات الحزبية. تشمل دراسة المناظر الطبيعية الدينية ، من بين أمور أخرى ، أسئلة عن الهوية والمعتقدات والممارسات الدينية. يسمح لنا الحجم الكبير من الاستطلاع بتحليل المجموعات الدينية الصغيرة نسبياً والمتجانسة من السكان ، مثل المورمون ، مع حجم عينة قوي.

III.b النتائج: محاكاة مع البيانات الاصطناعية

أجرينا محاكاة باستخدام البيانات الاصطناعية لتوليد التوقعات النظرية الأولية لما يجب أن نراه في بيانات المسح في العالم الحقيقي عندما يتعلق الأمر بوجود تطابقات عالية. مددت أول محاكاة لدينا النهج الذي اتخذته Kuriakose و Robbins من خلال الحفاظ على الوسائل المتغيرة عند 0.5 ، ولكن اختبار الاختلافات في عدد الأسئلة وعدد المستفتيين المدرجة في كل مسح. بالنسبة لكل استطلاع تم إجراؤه ، قمنا بحساب نسبة المستفتيين المصنفين كمطابقة عالية ، أي أن المستفتى يطابق مستجيبًا آخر على أكثر من 85٪ من الأسئلة. تم تكرار كل مجموعة من حجم العينة وعدد المستجيبين 1000 مرة.

عندما يتم تحديد الوسائل المتغيرة عند 0.5 ، لا يوجد أي مستجيبين مصنفة على أنها مطابقة عالية في أي من عمليات المحاكاة مع 100 سؤال أو أكثر ، وعدد قليل فقط من الأسئلة يفي بعتبة 85٪ مع 40 أو 60 سؤالًا ، بغض النظر عن حجم العينة. فقط في 20 سؤالًا ، تتأهل نسبة كبيرة من المستجيبين للمباريات العالية ، بمتوسط ​​10٪ عندما يكون حجم العينة 500 ومتوسط ​​40٪ عندما يكون حجم العينة 2500. وتتوافق نتائج مجموعات البيانات التي تحتوي على 100 متغير و 1000 مستجيب مع محاكاة Kuriakose و Robbins. الرسم البياني لكل هذه المحاكيات موجود في الملحق أ.

ومع ذلك ، فعندما يتم السماح للمتغيرات باختلاف العشوائيات ، تظهر صورة مختلفة تمامًا. يقارن الشكل 1 نتائج عمليات المحاكاة هذه عند تعيين حجم العينة على 1000 (يحتوي الملحق أ على رسوم بيانية لجميع عمليات المحاكاة). عندما تتنوع الوسائل عبر الأسئلة ، فإن نسبة المستجيبين المؤهلين كمعاريات عالية تزداد بشكل كبير. مع 20 سؤال ، كان متوسط ​​الاستطلاع 91 ٪ من المباريات المرتفعة ، بينما في 60 سؤال ، كان مسح الوسط 15 ٪. حتى عند 120 سؤالًا ، أكثر من ثلث عمليات المحاكاة تحتوي على تطابقات عالية ، تتراوح من 2٪ إلى 14٪.

في اختباراتهم ، اختبر Kuriakose و Robbins مجموعة واحدة من معلمات الاستطلاع - 1000 مستجيب و 100 سؤال ثنائي بالوسائل ضمنيًا ثابتًا عند 0.5. توضح عمليات المحاكاة الإضافية التي أجريناها أن نتائجهم تتسم بدرجة عالية من الحساسية تجاه اختيارهم للمعلمات. يمكن أن يتوقع من المسوح التي تكون أكثر شبهاً ببعضها ، استطلاعات ذات أسئلة أقل ، وعينات أكبر أو عناصر ذات مستويات عالية من اتفاق المستجيبين. علاوة على ذلك ، تظل هذه المحاكاة البيانات الاصطناعية غير واقعية للغاية. الأسئلة تحتوي فقط على فئتين للاستجابة وكلها مستقلة. هذا ليس أساسًا مناسبًا لتوليد فرضيات حول ما يجب توقعه في الممارسة ، حيث أن الأسئلة غالبًا ما تكون مترابطة مع بعضها البعض ، وكثيرًا ما تتضمن خيارات استجابة أكثر.

III.c النتائج: محاكاة مع بيانات المسح الفعلي

بالترتيب لتكرار ظروف استطلاع أكثر واقعية مع الاحتفاظ بالتحكم في ميزات الاستطلاع ، أجرينا محاكاة إضافية باستخدام بيانات من استطلاع ما قبل الانتخابات لعام 2012 ANES ومسح Barometer Wave III لبنان العربي عن طريق اختيار مجموعات الأسئلة والمجيبين بشكل عشوائي في مجموعات مختلفة . هذه هي الاستطلاعات التي تشمل العديد من الأسئلة مع أكثر من خيارين للاستجابة ، حيث تعكس الارتباطات بين الأسئلة وأوجه التشابه بين المستجيبين تلك الخاصة بالسكان الفعليين.

أولاً ، استخدمنا بيانات ANES لتقييم كيفية مشاركة النتائج العالية في استطلاع ترتبط بعدد فئات الإجابات في أسئلة الاستطلاع. لقد فعلنا ذلك من خلال تنفيذ عمليات المحاكاة التي تفاوتت عدد خيارات الإجابة لكل سؤال بالإضافة إلى عدد الأسئلة وحجم العينة. بدلاً من الاختيار عشوائياً من جميع الأسئلة الممكنة في الاستبيان ، تختار هذه المحاكاة عشوائياً من الأسئلة التي تحتوي على فئتين إلى أربع ، أو ثلاث إلى خمس ، أو أربع إلى ست أو خمس إلى سبع فئات استجابة. يحتوي الشكل 2 على نتائج مجموعات البيانات مع 1000 مستجيب.

كما هو الحال مع عمليات المحاكاة التركيبية ، لا يزال عدد الأسئلة والمستجيبين يؤثر على النسبة المئوية للمباريات العالية. ونجد أيضًا أنه مع انخفاض عدد خيارات الاستجابة ، تزداد نسبة المطابقات الكبيرة بشكل كبير. كما هو متوقع ، يختلف هذا أيضًا مع عدد الأسئلة وحجم العينة ، ولكن عندما يكون هناك خياران أو أربعة خيارات استجابة فقط ، تتراوح النسبة المئوية المتوسطة للمطابقات العالية من 87٪ عندما يكون هناك 20 سؤالًا إلى 25٪ عندما يكون هناك 80 سؤالًا . هذا يؤكد ما قد نتوقعه بشكل بديهي - أن نسبة المطابقات العالية في المسح ستكون حساسة ليس فقط لعدد الأسئلة ، ولكن أيضًا لأنواع الأسئلة المضمنة في الاستبيان. ستشمل معظم الاستطلاعات مزيجًا من الأسئلة مع عدد مختلف من خيارات الاستجابة التي تتراوح من عدد قليل إلى العديد. بالنسبة لأي استبيان معين ، فإن تفاصيل هذا التوزيع تعد عاملاً هامًا آخر لتحديد عدد المطابقات العالية التي ستكون موجودة.

نتائج يمثل خيارين إلى أربعة خيارات استجابة أيضا خروج كبير من النتائج التي تم الحصول عليها مع محاكاة البيانات الاصطناعية. باستخدام البيانات التركيبية ، عندما يكون عدد المستجيبين هو 1000 ، يتم تحديد وسائل المتغير عند 0.5 ، وعدد الأسئلة هو 80 وعدد خيارات الاستجابة هو اثنان ، ولا توجد تطابقات عالية في ظل هذه الظروف. Under the same conditions in the ANES (with the exception of 0.5 means), the median percentage of high matches across 1,000 replications is 25%. This comparison re-emphasizes that, contrary to Kuriakose and Robbins’ assertion, their simulations are not a conservative estimate of the percentage of high matches in real-world survey data. Furthermore, this comparison suggests that a threshold based on simulations with synthetic data is not relevant for what we should see in real-world data.

We also conducted comparable simulations with the Arab Barometer Wave III Lebanon survey which was fielded in 2013. The purpose of this comparison is to evaluate the presence of high matches under various conditions in a nonfalsified dataset that surveyed a different population. Figure 3 contains a comparison of simulations drawn from the ANES and the Arab Barometer surveys with a sample size of 1,000 and varying the number of questions between 20 and 120 questions. In this set of simulations, the number of response options in the questions is allowed to vary.

We see very different distributions of high matches in the ANES and Arab Barometer surveys. Whereas the percentage of high matches in the ANES is nearly zero for all but the 20-question condition, the Lebanon simulations reflect a higher proportion of high matches, even at 100 or 120 questions. This indicates that the probability of any two respondents matching on over 85% of questions depends not just on the number of respondents or the number of questions, but also on the particular survey content and the population being surveyed. In other words, a threshold based on the ANES and other surveys conducted in the United States does not necessarily generalize to other countries. Even within a single country, there is no a priori reason to believe the distribution of high matches observed on one survey should be similar to another survey with different content.

III.d  Results: Pew Research Center U.S. Survey Data

In this next section, we evaluate the impact of population homogeneity – due either to content or subgroup agreement – on the percentage of high matches using domestic surveys from Pew Research Center. The advantages of this phase of the research are twofold. One, we can evaluate the variation in the percentage of high matches under a variety of real-world conditions, and compare these results with the theoretical expectations derived from the simulations with the synthetic data and the ANES data. Two, since these surveys are high-quality telephone surveys with live interviewer monitoring and collection of detailed contact data we have little reason to suspect the presence of data falsification. Therefore the differences we see between the theoretical expectations and the real-world data are more likely explained by population homogeneity than by fraudulent data.

Evaluating the impact of questionnaire content

The four political surveys we analyzed have a relatively modest number of questions asked of the entire sample (about 30 to 50). The number of respondents ranges between 1,500 and 2,000 for the three monthly surveys, and is 10,000 for the Polarization study. The table reports the percentage of respondents that match another respondent on more than 85% of substantive variables for each of the four surveys analyzed, along with the parameters for each survey, including number of respondents, number of questions and percentage of questions with five or more response options.

Overall, across the four surveys, there are substantial percentages of high matches in the full sample, ranging from 12% in the September 2015 survey to 39% in the 2014 Polarization study. In large part, the number of high matches is likely driven by the low number of questions typically asked, the relatively low number of response options and the large sample sizes, especially in the Polarization study.

Nonetheless, in the July 2015 survey with 52 questions and 2,002 respondents, we find 13% of the sample is a high match. In the simulations with the synthetic data with 0.5 means, as well as the simulations with the ANES data, the median percentage of high matches across 1,000 replications with these conditions is 0. Given that there is little concern about the presence of data falsification in the July 2015 survey, this comparison reveals that the content and context of the questionnaire can have a significant impact on the percentage of high matches in a dataset. The findings also suggest that a single threshold for the maximum percent match statistic based on simulations with synthetic data and the ANES may not be appropriate.

Evaluating the impact of population homogeneity

To understand the effect of population homogeneity on the percentage of high matches in a dataset due to subgroup agreement, we evaluated how the percentage of high matches varies by partisan group in the four political surveys. The table shows the percentage of respondents in each partisan group for each survey that is a high match. People who identify with a political party tend to be more polarized and firm in their political beliefs than those who say they are independent, and therefore we expect higher levels of homogeneity among partisans. Indeed, we find that Republicans and Democrats tend to have higher percentages of high matches than independents, though the exact percentage varies by survey. We also find variation in the percentage of high matches by partisan group across surveys that is consistent with the content on and the political context of the survey. For example, the 2014 election led to widespread gains for the Republican Party. In the October 2014 election-focused survey, Republicans had the highest percentage of high matches, indicating a high level of homogeneity within the group heading into the election.

We also investigated the impact of population homogeneity using the 2014 Religious Landscape Study, which is a very large survey of 35,071 respondents covering several issues, including religious identity and beliefs. Since the percent match tool developed by Kuriakose and Robbins is unable to process a dataset of this size, we evaluated 10 random samples from the dataset of roughly 1,000 respondents each to get a sense for the number of high matches overall. The highest percentage of respondents that match another respondent on more than 85% of the substantive variables in any of the 10 random samples is 6%. In addition, we analyzed random samples of approximately 1,000 respondents for each of the three fieldhouses that conducted the survey. Each fieldhouse exhibits relatively similar percentages of high matches, ranging between 4% and 7%. This bolsters the argument that this data is not falsified.

Once we look at specific religious subgroups, however, the percentage of high matches increases considerably. We analyzed four religious subgroups separately using the same set of 41 questions. In this set of 41 questions, 54% of the questions have five or more response options. The table lists the percentage of high matches and number of respondents for each of the four different religious groups. Mormons have the highest percentage, with 39% of respondents that are a high match. Atheists have 33% high matches and Southern Baptists have 31% high matches. On many religion surveys, these three religious groups tend to be more homogeneous in their beliefs and practices than other American religious groups. Jews, on the other hand, have very few high matches (1%). As with the partisan differences on the political survey, the religious differences on this survey suggest that homogeneity within specific populations can drive up the percentage of high matches in the dataset without indicating the presence of falsified data.

The findings from both the political surveys and the RLS indicate that even in high-quality datasets in the U.S. conducted under rigorous quality controls, there is considerable variation in the percentage of high matches. This variation is driven in part by the topics covered by the survey and the homogeneity of the population, or subgroups of the population, on those topics. The ANES surveys are conducted with a very diverse population using a varied and long questionnaire. The findings in this section, along with the results of the simulations discussed earlier, suggest that it is inappropriate to apply a threshold based on analysis of the ANES to other populations and other types of questionnaires.

IV. Discussion

Kuriakose and Robbins assert in their paper that two respondents that match on a high percentage of questions should be a rare occurrence in valid data, and that the presence of respondents that match on more than 85% of questions is an indication of falsification. They make their case for this conclusion based on a review of public opinion literature, simulations with synthetic data and analysis of data from the American National Elections Study and the General Social Survey.

However, the assumptions underpinning their argument – and the datasets they used to develop their threshold – raise some serious questions about whether high matches in a dataset are a definitive indicator of falsification or whether high matches may result from various permutations of the characteristics of the survey. The goal of this paper was to understand the conditions under which high matches may be present in valid survey data.

Using synthetic simulations as well as high-quality domestic and international datasets, we show that the percentage of high matches varies widely across datasets and is influenced by a variety of factors. The characteristics of a survey, such as the number of questions, the number of response options, the number of respondents, and the homogeneity of the population, or subgroups therein, all affect the percentage of high matches in a dataset. The results show that it is possible to obtain any value of the maximum percent match statistic in nonfalsified data, depending on the survey parameters. Thus, setting a threshold for the statistic and applying it uniformly across surveys is a flawed approach for detecting falsification. In fact, eliminating respondents from a dataset based on this measure may introduce selection bias into survey data and serve to reduce data quality, rather than improve it.

The sensitivity of Kuriakose and Robbins’ threshold to these characteristics highlights the need to understand the study-specific environment of a survey to evaluate the meaning of any statistical assessment of the data. Bredl et al. (2011) highlight this by concluding that “one has to keep in mind that striking indicator values are not necessarily caused by data fabrication but may also be the result of “conventional” interviewer effects or cluster-related design effects [spatial homogeneity]” (p.20). Any data quality assessment needs to take into account the specific design characteristics, as well as the specific conditions of a survey before drawing conclusions.

Nonetheless, Kuriakose and Robbins are taking part in an important discussion about how to improve detection methods for data falsification. The use of new technologies for face-to-face surveys, such as devices for computer-assisted personal interviewing (CAPI), present many new possibilities when it comes to ensuring data quality through prevention and detection methods. CAPI makes it much easier to collect data on important aspects of the survey process beyond substantive data (i.e. paradata or auxiliary data). These data can be converted from a byproduct of the survey into a primary analytical tool for assessing survey quality.

One especially promising innovation is the measurement of time throughout the survey in face-to-face studies. This includes the overall length of a survey, from start to finish, but also the time it takes to go through sections of the questionnaire, or to answer a specific question. The measurement of section timings can be used to evaluate whether the respondent or interviewer may have had unusual difficulties with a particular section, or whether the interviewer may not have taken the appropriate amount of time to ask certain questions. Another interesting avenue for detection of falsified data through CAPI is the use of audio recordings at random points in the interview. This allows the researcher to review whether the respondent and/or interviewer were speaking and whether the same respondent is answering the questions throughout the survey. Other aspects that could be efficiently embedded in a computer-assisted interviewing environment are within household selection procedures, as well as the collection of geographical tracking information. The community is still exploring how to use this kind of information in the most effective way.

Still, even these new approaches would need to be evaluated along with a variety of other indicators. Any ex-post statistical analysis of data has its limitations. Thus, researchers should try to involve vendors in the assessment of the quality of the data.

Engaging vendors in the assessment of suspicious data provides two benefits. First, it helps to reduce the information gap created by the principal-agent dilemma by allowing researchers to learn something about the specific conditions under which interviewers were operating. This will contribute to the overall interpretation of the data itself, but will also help with the evaluation of suspicious data patterns. Second, involving vendors closes the circle of prevention and detection and places the whole assessment in the wider context of quality assurance. The involvement of vendors allows the vendor and the researcher to evaluate and learn for future projects. The findings from detection measures should inform the design and structure of future questionnaires, lead to new approaches to incentivize interviewers, and assist with the development of new prevention and detection methods.

[ad_2]