آيه الحصان

تصفية البيانات هي عملية اختيار جزء أصغر من مجموعة البيانات الخاصة واستعمال تلك المجموعة الفرعية للعرض أو التحليل والتصفية بشكل عام مؤقتة ويتم الاحتفاظ بمجموعة البيانات الكاملة ولكن يتم استخدام جزء منها فقط للحساب.

إنّ الحوسبة هي مجال متعدد يستخدم علوم البيانات والتكنولوجيا الرقمية لحل المشكلات عبر مجموعة واسعة من المجالات بما في الترميز في البيانات والبناء على المعرفة العلمية الأساسية.

على غرار العديد من الطرق الفريدة لإنشاء البيانات هناك أيضًا مجموعة مقابلة من أنواع البيانات المختلفة تُعد أنواع البيانات مهمة في تحديد كيفية قياس البيانات واستخدامها في النهاية لعمل افتراضات.

التحليلات التشخيصية هي شكل من أشكال التحليلات المتقدمة التي تفحص البيانات أو المحتوى للإجابة على السؤال "لماذا حدث ذلك؟" ,يتميز بتقنيات مثل التنقيب واكتشاف البيانات واستخراج البيانات والارتباطات.

يتم استخدام خطوط أنابيب البيانات لأداء تكامل البيانات ويمكن تقسيم احتياجات وحالات استخدام هذه للتحليلات والتطبيقات والعمليات إلى فئتين أساسيتين البيانات التاريخية أو البيانات في الوقت الفعلي.

التحليلات الوصفية هي أبسط أنماط تحليل البيانات وتتضمن تلخيص الميزات والخصائص الرئيسية لفئات البيانات وتعتمد التحليلات الوصفية على المقاييس الإحصائية للتوزيع والاتجاه الرئيسي والتباين.

إنّ العديد من الشركات تتعامل مع ترحيل البيانات الهائل كمهمة منخفضة المستوى بنقرتين، وبغض النظر عن النهج التي تتبعه عملية ترحيل البيانات إلّا أنّه يمر مشروع ترحيل البيانات بنفس المراحل الرئيسية.

تُستخدم تحليلات البيانات على نطاق واسع في كل قطاع في القرن الحادي والعشرين، ويقوم محلل البيانات بجمع البيانات ومعالجتها ويحلل مجموعات البيانات الكبيرة لاستخلاص رؤى ذات مغزى من البيانات الأولية.

إنّ برامج عملية تنظيف البيانات تقوم بإلغاء البيانات المكررة وإزالتها تلقائيًا والتحقق من صحة العنوان ومعلومات البريد الإلكتروني والتعامل مع تحويل البيانات وتوفير خوارزميات مطابقة وما إلى ذلك.

يُعد تحديد الأخطاء وتصحيحها أمرًا ضروريًا للعلم ممّا يؤدي إلى ظهور مبدأ مفاده أن العلم يصحح نفسه بنفسه، ومع تنامي كمية البيانات تزداد فرص حدوث أخطاء في نقل البيانات. 

تحدث معالجة البيانات بعد مرحلة جمع البيانات في خط أنابيب البيانات، وفي مرحلة المعالجة يتم إعداد البيانات للاستعمال ثم تخزينها في نظام يمكن الوصول إليه.

تسمى عملية تحويل البيانات الأولية باستخدام وسيط مثل الأدوات اليدوية أو الآلية إلى معلومات مخرجات ذات مغزى معالجة البيانات، والوظيفة الأساسية لهذه المعالجة هي التحقق من الصحة والفرز والتلخيص والتجميع والتحليل والتصنيف.

يُعد فهم أهمية معالجة البيانات أمرًا بالغ الأهمية لجميع الشركات، ويمكن أن يساعد التعرف على معالجة البيانات وأنواع المعالجة المختلفة في جمع البيانات وتنسيقها وتحليلها للشركات. 

يمكن أن يتوفر هناك العديد من الأخطاء في البيانات القادمة من أشياء مثل إدخال البيانات السيئة ومصدر البيانات وعدم تطابق المصدر والوجهة والحساب غير الصحيح وعند حدوث ذلك يجب تنظيف البيانات.

تعني المعالجة الميكانيكية أي عملية أو إجراء آخر يتم التعامل معه على جهاز والذي قد يشمل على سبيل المثال آلة تصوير أو كمبيوتر أو مسجل أو معالج شريطي أو أي جهاز آلي آخر.

تقوم بيئة الأعمال اليوم بطبيعتها على البيانات، وتحليلات البيانات بدورها هي عملية الوصول إلى الاتجاهات والأنماط في كميات كبيرة من البيانات لوضع قرارات ذكية.

يمكن إجراء معظم جوانب تنظيف البيانات من خلال استخدام أدوات البرامج ولكن يجب إجراء جزء منها يدويًا وعلى الرغم من أنّ هذا يمكن أن يجعل تنظيف البيانات مهمة شاقة إلّا أنّه جزء أساسي من إدارة البيانات.

إنّ خطة تحليل البيانات هي خارطة طريق لكيفية تنظيم وتحليل بيانات الاستطلاع وينبغي أن تساعد على تحقيق ثلاثة أهداف تتعلق بالهدف الذي حددته قبل بدء الاستطلاع.

تختلف العملية والنتيجة بين تنظيف البيانات وتحويل البيانات، أثناء تنظيف البيانات يتم فحص مجموعة البيانات وتوصيفها ومن خلال التفتيش يتم الكشف عن الأخطاء ثم يتم تعديل الأخطاء ومعالجة التناقضات.

يتم تعريف بيانات التسلسل في استخراج البيانات على أنّها بيانات تعتمد فيها النقاط في مجموعة البيانات على النقاط الأخرى في مجموعة البيانات، وتمثل كل نقطة ملاحظة في نقطة زمنية محددة.

تعتبر عناصر علم البيانات بمثابة مقدمة لعلوم البيانات للأشخاص الذين ليس لديهم خبرة في البرمجة، الهدف هو تقديم مجموعة فرعية صغيرة وقوية من (Python) تتيح القيام بعمل حقيقي في علم البيانات بأسرع ما يمكن.

من الضروري أن يكون هناك فهم أعمق لأي شيء واسع، وستساعد الخصائص في فك تشفير البيانات الضخمة ويمكن التحكم فيها في فترة زمنية مناسبة ممّا يسمح باستخراج القيمة منها وإجراء تحليل في الوقت الفعلي.

في علم التحليلات والبيانات (عندما نقوم بذلك بشكل جيد) نميل إلى استخدام الكثير من النظرية، وفي التدريب الإحصائي التقليدي تصبح أشياء مثل نظرية الحد المركزي وقانون الأعداد الكبيرة (وتنوعاتها العديدة) متأصلة بعمق في تفكيرنا.

تحتاج البيانات المهيكلة إلى نموذج بيانات ومستودع بيانات والذي يكون عادةً كميات بيانات، وينظم نموذج البيانات عناصر البيانات ويحدد كيفية ارتباطها ببعضها البعض.

عندما تتم مناقشة علم البيانات اليوم فعادةً ما يتعلق الأمر بأحدث وأكبر خوارزمية التعلم العميق أو التعلم الآلي والتنبؤ، ولكن يجب على عالم البيانات إنشاء واستيعاب العديد من المفاهيم والممارسات الأساسية لتنبؤ البيانات.

يتطلب تنفيذ عملية علم البيانات هذه الوصول إلى العديد من مجموعات البياناتأي  الكبيرة والصغيرة ممّا يوفر فرصًا وتحديات جديدة لعلوم البيانات، وقد تحتاج عمليات علم البيانات إلى تفاعل المستخدم والعمليات اليدوية الأخرى أو أن تكون مؤتمتة بالكامل.

يتم تطوير العديد من الأساليب والتقنيات لإعداد البيانات واستكشاف البيانات هو الخطوة الأولى في تحليل البيانات، والتي تنطوي على استعمال أدوات تصور البيانات والتقنيات الإحصائية للكشف عن خصائص مجموعة البيانات والأنماط الأولية.

لم يكن التنبؤ بالأهداف والفرص المستقبلية أسهل من أي وقت مضى باستخدام التحليلات التنبؤية، والنتائج دقيقة للغاية وأكثر موثوقية من الأدوات الموجودة، وإنها إحدى الأدوات الأساسية لكل نشاط تجاري لتقديم حلول شاملة وتحقيق أقصى قدر من الأرباح.

يشير تحليل البيانات المكانية إلى مجموعة من التقنيات المصممة لإيجاد النمط واكتشاف الحالات الشاذة أو اختبار الفرضيات والنظريات بناءً على البيانات المكانية.

تُستخدم برامج استخراج البيانات لاسترداد البيانات المهيكلة والضعيفة التنظيم وغير المهيكلة من مجموعة متنوعة من المصادر للتخزين أو المزيد من تحويل البيانات.