التطبيق العملي لمفاهيم الصلاحية في اختيار الأداة

يحتاج مستهلكو أدوات القياس أو الاختبار النفسي التي تم تطويرها مسبقاً في الممارسة السريرية أو البحث أو التعليم، إلى تقييم الأدلة التي تدعم صحة التفسيرات التي يحاولون إجراءها بعناية، قد لا تحتوي الدرجات من أداة شعبية على دليل لتبرير استخدامها، يستشهد العديد من الباحثين بأدلة من مصدر واحد أو مصدرين فقط مثل الموثوقية أو الارتباط مع درجات أداة أخرى؛ لدعم صحة التفسيرات.

التطبيق العملي لمفاهيم الصلاحية في اختيار الأداة:

تتوفر بعض أدلة عملية الاستجابة كشف استجواب المريض عن القليل من الغموض في الصياغة، باستثناء سؤال واحد تم تعديله لاحقاً، الدرجات من الإدارة الذاتية أو المقابلة متشابهة، كما أنّ الهيكل الداخلي مدعوم بالاتساق الداخلي الجيد إلى الممتاز وموثوقية إعادة الاختبار، على الرغم من عدم تأكيد جميع الدراسات هذا، يؤكد تحليل العامل على مقياسين فرعيين نظريين.

عند تطوير أدوات القياس النفسي، يجب الانتباه مرة أخرى إلى كل فئة من أدلة الصلاحية بدورها، لتوضيح تطبيق هذه المبادئ سنناقش كيف يمكن تخطيط الأدلة وجمعها وتوثيقها عند تطوير تقييم الأداء السريري للمقيمين في الطب الباطني، تتمثل الخطوة الأولى في تطوير أي أداة في تحديد البنية والمحتوى المقابل، يمكننا النظر في أهداف برنامج الإقامة والأهداف المنشورة الأخرى مثل لجنة الاعتماد لكفاءات التعليم الطبي العالي، كذلك البحث في الأدبيات حول مؤهلات الأطباء المثاليين أو مقابلة أعضاء هيئة التدريس والمقيمين.

يجب علينا أيضاً البحث في الأدبيات عن أدوات منشورة مسبقاً والتي يمكن استخدامها حرفياً أو تكييفها، من الموضوعات المحددة سنطور مخطط لتوجيه إنشاء الأسئلة الفردية، من الأفضل كتابة الأسئلة من قبل أعضاء هيئة التدريس المدربين على كتابة الأسئلة، ثمّ التحقق من الوضوح من قبل أعضاء هيئة التدريس الآخرين، بالنسبة لعملية الاستجابة سنضمن أن يكون تنسيق الاستجابة مألوف لأعضاء هيئة التدريس أو إذا لم يكن الأمر كذلك.

على سبيل المثال إذا استخدمنا النماذج المعتمدة على الكمبيوتر، فإنّ أعضاء هيئة التدريس لديهم فرصة للتدرب على التنسيق الجديد، يجب أن يتلقى أعضاء هيئة التدريس تدريب في كل من تقييم المتعلم بشكل عام وشكلنا على وجه التحديد، مع إتاحة الفرصة لطرح الأسئلة، سنضمن تدابير أمنية وطرق تسجيل دقيقة، يمكننا أيضاً إجراء دراسة تجريبية نطلب فيها من أعضاء هيئة التدريس التفكير بصوت عالي أثناء ملاحظة وتقييم العديد من المقيمين.

فيما يتعلق بالهيكل الداخلي تعد الموثوقية بين المقيمين أمر بالغ الأهمية، لذلك سنحتاج إلى بيانات لحساب هذه الإحصائية، الاتساق الداخلي ذو أهمية ثانوية لتصنيفات الأداء ولكن هذا التحليل والعوامل سيكونان مفيدان للتحقق من أنّ الموضوعات أو التركيبات التي حددناها أثناء التطوير صحيحة من الناحية العملية، بالنسبة للعلاقات مع المتغيرات يمكننا ربط نتائج أدواتنا مع نتائج أداة أخرى لتقييم الأداء السريري.

مع ذلك إنّ هذه المقارنة جيدة فقط مثل الأداة التي يتم إجراء المقارنة بها، بالتالي فإنّ مقارنة درجاتنا أداة ذات أدلة داعمة قليلة وسيكون لها قيمة محدودة، بدلاً من ذلك يمكننا مقارنة النتائج من أداتنا مع درجات الامتحان التجريبي أو درجات امتحان أثناء التدريب أو أي متغير آخر نعتقد أنّه مرتبط بالأداء السريري، يمكننا أيضاً التخطيط لمقارنة النتائج بين المجموعات الفرعية المختلفة، على سبيل المثال إذا توقعنا تحسن الأداء بمرور الوقت، فيمكننا مقارنة الدرجات بين سنوات الدراسات العليا.

إذا وضعنا حد أدنى لدرجة النجاح التي سيتم اتخاذ إجراء علاجي دونها، يجب أن نوثق بوضوح كيفية تحديد هذه الدرجة في الاختبار، إذا كشف تحليل المجموعة الفرعية عن علاقات غير متوقعة وتمّ تصنيف مجموعة أقلية باستمرار على أنّها أقل من المجموعات الأخرى، فيجب علينا التحقُّق ممّا إذا كانت هذه النتيجة تنعكس على صحة الاختبار، أخيراً إذا تلقى السكان ذوو الدرجات المنخفضة إجراء علاجي، فيمكننا إجراء متابعة لتحديد ما إذا كان هذا التدخل فعال، ممّا يدعم الاستنتاج بأنّ التدخل كان مبرر.

يجب أن يكون واضح الآن أنّ جمع أدلة الصلاحية في الاختبارات النفسية، يتطلب بعد النظر والتخطيط الدقيق، الكثير من البيانات المذكورة أعلاه لن تكون متاحة بدون جهد واعي، نحن نشجع مطوري أو الباحثين في أدوات القياس النفسي على استخدام المصادر الخمسة لأدلة الصلاحية بشكل منهجي كإطار عمل عند تطوير أو تقييم الأدوات.

يعد الفهم الواضح للصلاحية والموثوقية في التقييم النفسي ضروري للممارسين في بيئات متنوعة، كما لاحظ فوستر وكون أنّ العلم يعتمد على كفاية قياسه، توفر التدابير الضعيفة أساس ضعيف للبحث والمساعي السريرية، تتعلق الصلاحية بالدرجة التي تعكس بها الدرجات البنية الأساسية المقصودة، كما تشير إلى تفسير النتائج بدلاً من الأداة نفسها، من الأفضل النظر إليها على أنّها حجة منظمة بعناية يتم فيها تجميع الأدلة لدعم أو دحض التفسيرات المقترحة للنتائج.

النتائج القابلة للتكرار (الموثوقة) ضرورية، إلّا أنّها ليست كافية لاستخلاص استنتاجات صحيحة، على الرغم من أنّ هذه المراجعة ركزت على أدوات القياس النفسي، فإنّ العديد من المفاهيم التي نوقشت هنا والتي ترتبط بالاختبارات، لها آثار على تطبيقات الرعاية الصحية الأخرى مثل اتفاق المقيم في الأشعة.

كذلك مقاييس شدة المرض وأشكال تجريد البيانات، حتى المسارات السريرية سيؤدي الاهتمام المتزايد بالتجميع والتقييم المنهجي لأدلّة الصلاحية إلى تحسين التقييمات في الاختبار والتعليم ورعاية الأشخاص الذين يقومون بالاختبار.

تفسير مؤشرات الموثوقية وتحليل العوامل:

عادة ما يتم الإبلاغ عن الموثوقية كمعامل في الاختبار النفسي، حيث تتراوح نسبته من 0 إلى 1، يمكن تفسير معامل الموثوقية على أنّه الارتباط بين الدرجات في إدارتين من نفس الأداة، في الواقع يتم عادةً حساب اختبار وإعادة الاختبار وموثوقية النموذج البديل باستخدام الاختبارات الإحصائية للارتباط، يمكن أيضاً تفسير معامل الموثوقية على أنّه نسبة تباين النتيجة، التي يتم تفسيرها من خلال الاختلافات بين الموضوعات.

يتم تفسير الباقي من خلال مزيج من الخطأ العشوائي والمنهجي، لا تمثل القيمة صفر؛ أي ارتباط كل الأخطاء، بينما يمثل 1 ارتباط مثالي (كل التباين المنسوب إلى الموضوعات)، تختلف القيم المقبولة وفقاً للغرض من الأداة، بالنسبة للإعدادات عالية المخاطر على سبيل المثال فحص الترخيص، يجب أن تكون الموثوقية أكبر من 0.9، بينما قد تكون القيم الأقل أهمية عند 0.8 أو 0.7 مقبولة.

إنّ تفسير معاملات الموثوقية يختلف عن تفسير معاملات الارتباط في التطبيقات الأخرى، حيث غالباً ما تعتبر القيمة 0.6 عالية جداً، يمكن تحسين الموثوقية المنخفضة عن طريق زيادة عدد العناصر أو المراقبين باستخدام عناصر ذات صعوبة متوسطة، يمكن تقدير التحسّن المتوقع من إضافة العناصر باستخدام صيغة نبوءة سبيرمان براون الموصوفة في مكان آخر.