تسمح تقنيات (EDA) بالمعالجة الفعالة لمصادر البيانات وتمكين علماء البيانات من العثور على الإجابات التي يحتاجون إليها من خلال اكتشاف أنماط البيانات أو اكتشاف الحالات الشاذة أو التحقق من الافتراضات أو اختبار الفرضية.
كيف يتم إجراء تحليل البيانات الاستكشافية باستخدام لغات البرمجة
يقوم متخصصو البيانات بإجراء تحليل استكشافي للبيانات باستخدام لغات البرمجة النصية الشائعة للإحصاءات مثل: (Python) و(R) وللحصول على (EDA) الفعال يعتمد متخصصو البيانات أيضًا مجموعة متنوعة من أدوات ذكاء الأعمال (BI)، بما في ذلك (Qlik Sense) و(IBM Cognos) و(Tableau).
تتيح لغات البرمجة (Python) و(R) للمحللين تحليل البيانات بشكل أفضل ومعالجتها باستخدام المكتبات والحزم مثل: (Plotly) أو (Seaborn) أو (Matplotlib)، حيث توفر أدوات ذكاء الأعمال التي تتضمن لوحات معلومات تفاعلية وأمانًا قويًا وميزات تصور متقدمة لمعالجات البيانات عرضًا شاملاً للبيانات التي تساعدهم في تطوير نماذج التعلم الآلي (ML)، وكما تتضمن خطوات تحليل البيانات الاستكشافية التي يفكر فيها المحللون عند أداء (EDA) ما يلي:
- طرح الأسئلة الصحيحة المتعلقة بهدف تحليل البيانات.
- الحصول على معرفة متعمقة حول مجالات المشكلة.
- وضع أهداف واضحة تتماشى مع النتائج المرجوة.
أهمية تحليل البيانات الاستكشافية باستخدام لغات البرمجة
غالبًا ما يجري علماء البيانات تحليلًا استكشافيًا للبيانات في بيئات البرمجة النصية باستخدام حلقة قراءة وتقييم وطباعة (REPL) مثل (MATLAB)، حيث تتطلب تجربة المستخدم هذه إدارة جادة للتنفيذ وتولد تواريخ طويلة لاستجابات الأوامر غير المرغوب فيها وكما يتم اعتماد البديل المتمثل في البرمجة الحية، وهي تجربة المستخدم التي يقوم فيها المستخدم بالتعديل على الفور وتحديث نتائج البرنامج النصي تلقائيًا وهو تأثير “تموج” مألوف من جداول البيانات.
يُعد كل من (Python) و(R) مناسبين لـ (EDA)، لكنّ (Python) له ميزة على السابق نظرًا لسهولة استخدامه وقابليته للقراءة ونظرًا لأنّ (EDA) يتم إجراؤه في الغالب مع التصور ويركز جزء منه على الإحصائيات، حيث يكون (R) هو الأفضل في كل من التصور والإحصاءات يمكن للمرء اختيار (R) لـ (EDA).
