أساسيات علم البيانات

ينقل خط أنابيب البيانات البيانات بين الأنظمة، حيث تتضمن خطوط أنابيب البيانات سلسلة من خطوات معالجة البيانات لنقل البيانات، وقد تتضمن هذه الخطوات نسخ البيانات وتوحيدها وضمها مع مصادر البيانات.

عادة ما يتم إجراء تنظيف البيانات بالتزامن مع تطبيق الحد الأدنى من معايير الجودة، وسيتم قياس جودة جميع البيانات مقابل تلك المعايير الدنيا والعمل وفقًا لذلك.

تأتي البيانات في مجموعة متنوعة من الأشكال والأحجام، حيث تستخدم توزيعات البيانات لدراسة وفهم البيانات والعديد من النماذج مبنية حول افتراضات أنّ البيانات تتبع توزيعًا معينًا وعادةً ما تفترض النماذج الخطية دائمًا التوزيع الطبيعي للبيانات.

يقوم خط أنابيب البيانات بجمع وتخزين البيانات الخاصة في موقع مركزي مع توفير الوصول لجميع المستخدمين من نقاط مختلفة وبصرف النظر عن توفير مصدر واحد للحقيقة يمكن أن تدعم خطوط البيانات أيضًا التعاون متعدد الوظائف.

تم إعداد التصنيف لتحليل البيانات التي تم جمعها بينما يتم استخدام الجدولة لتقديم البيانات التي تم جمعها، ويتمثل الاختلاف الرئيسي بين التصنيف والجدولة في كيفية استخدامهم للبيانات.

هناك الكثير من برامج تحليل البيانات المتاحة، ومثلما يوجد الكثير من البيانات هناك أيضًا الكثير من البرامج والأدوات المتاحة للعمل معها تخزن مستودعات البيانات المستندة إلى السحابة كميات هائلة من بيانات الأعمال.

النماذج التنبؤية تحلل الأداء السابق لتقييم مدى احتمالية أن يعرض العميل سلوكًا معينًا في المستقبل، وتشمل هذه الفئة أيضًا النماذج التي تبحث عن أنماط بيانات دقيقة للإجابة على الأسئلة المتعلقة بالأداء.

تُعد الصيانة التنبؤية والتحليلات التنبؤية جزءًا من كل محادثة تقريبًا في التصنيع هذه الأيام وغالبًا ما يتم استخدام الكلمات بالتبادل والصيانة التنبؤية هي مجال متنامي مع استمرار تطوير خيارات الاتصال وجمع البيانات.

البيانات الوصفية هي "معلومات حول البيانات"، وبرينستون يوفر الحصول على أداة برمجية شاملة ستمكّن مسؤولي البيانات من تنظيم البيانات في مجموعات البيانات الخاصة بهم وإتاحتها.

يُعد تنظيف البيانات عملية أساسية في علم البيانات لأنّه يساعد على تحقيق جودة البيانات ونقائها، وبما أنّ المؤسسات أصبحت مدفوعة بشكل كبير بالبيانات فإنّ الوصول إلى المعلومات الدقيقة وبيانات الجودة أمر أساسي في عملية صنع القرار.

الرياضيات هي حجر الأساس لأي تخصص علمي معاصر، وتمتلك جميع تقنيات علوم البيانات الحديثة تقريبًا بما في ذلك التعلم الآلي أساسًا رياضيًا عميقًا.

اجتذبت حسابات الكم والمعلومات الكمومية اهتمامًا كبيرًا على حدود متعددة من المجالات العلمية ويضم علم البيانات بين الأساليب الإحصائية والخوارزميات الحسابية ومعلومات علوم المجال لاستخراج المعرفة والرؤى من البيانات الضخمة.

تحدد لغة (HTML) بنية محتوى الويب المعروض في مستعرض ويب، وبالتالي إذا كانت مجموعة البيانات تتطلب استخراج معلومات من موقع ويب فيجب العثور على المحتوى في (HTML) واسترداده منه.

قد يشتمل نظام تخزين البيانات على مكون مدير تخزين البيانات الذي يتعامل مع الطلبات الواردة من التطبيقات للبيانات المخزنة في واحد أو أكثر من مكونات تخزين البيانات بطريقة سلسة.

أنّ التحليلات المعززة هي استخدام التقنيات التمكينية مثل التعلم الآلي والذكاء الاصطناعي للمساعدة في إعداد البيانات وإنشاء الرؤى وشرح البصيرة لزيادة كيفية استكشاف الأشخاص للبيانات وتحليلها في منصات التحليلات وذكاء الأعمال.

تشير خوارزمية (Apriori) إلى الخوارزمية المستخدمة لحساب الارتباط بين الكائنات، ويعني كيفية ارتباط كائنين أو أكثر ببعضهما البعض وإنّها خوارزمية تميل إلى عملية تحليل للبيانات.

مع التقدم التكنولوجي العديدة وانتشارها الهائل ينتج كمية هائلة من البيانات النصية غير المهيكلة رقميًا، حيث يحتوي هذا النوع من البيانات على معلومات ومعرفة قيمة.

يُعد التعلم الآلي مقابل تحليلات البيانات أحد أكثر الموضوعات التي يتم الحديث عنها بين مصطلحات علوم البيانات، بحيث يقوم كلا المجالين على البيانات وهما من بين القطاعات الأكثر طلبًا. 

إنّ التحليل متعدد الأبعاد هو تحليل كائنات الأبعاد المنظمة في تسلسلات هرمية ذات مغزى، ويسمح التحليل متعدد الأبعاد للمستخدمين بمراقبة البيانات من وجهات نظر مختلفة وهذا يمكنهم من تحديد الاتجاهات أو الاستثناءات في البيانات.

تشير التحليلات إلى عملية تحليل البيانات الخام أو الإحصائيات من أجل اكتشاف أنماطها ذات المعنى والتواصل معها وتفسيرها والتحليلات مفيدة للشركات في صنع القرار وتطوير الأداء وغير ذلك الكثير.

بينما يتضمن الذكاء الاصطناعي تحليل البيانات ووضع الافتراضات والسعي لعمل تنبؤات تتجاوز قدرة البشر تعمل تحليلات البيانات من خلال اكتشاف الأنماط بناءً على البيانات التاريخية لتوقع الأحداث المستقبلية.

يُعد التنقيب عن النص أحد مكونات التنقيب عن البيانات الذي يتعامل بشكل خاص مع بيانات النص غير المهيكلة، ويمكن استخدام التنقيب عن النص كخطوة معالجة مسبقة لاستخراج البيانات أو كعملية قائمة بذاتها لمهام محددة.

 يتضمن التحليل الدلالي الحصول على معنى البيانات وتسمى الطريقة المنطقية ومن التحليلات الممكنة لمرحلة بناء الجملة، حيث يتضمن فهم العلاقة بين الكلمات مثل الارتباط الدلالي أي عند استخدام كلمات مختلفة بطرق متشابهة.

التنقيب عن النص هو تطبيق التقنيات على البيانات النصية بهدف استنتاج المعلومات من البيانات، وتكمن مشكلة تحليل نصوص في أنّ الجمل أو النصوص الأطول ليست بيانات رقمية ولا فئوية.

يشير تنقيب النص إلى عملية جمع رؤى ذات مغزى من بيانات النص الخام وإنّه يعني استخراج بيانات المستخدم وهناك حاجة لوسيلة أفضل وأسرع لتنقيب النصوص وذلك باعتماد أدوات التنقيب عن النصوص الشاملة.

البيانات المستمرة هي البيانات التي يمكن قياسها على مقياس لانهائي ويمكن أن تأخذ أي قيمة بين رقمين مهما كانت صغيرة ويمكن أن يكون المقياس تقريبًا أي قيمة على المقياس.

تصفية البيانات هي عملية اختيار جزء أصغر من مجموعة البيانات الخاصة واستعمال تلك المجموعة الفرعية للعرض أو التحليل والتصفية بشكل عام مؤقتة ويتم الاحتفاظ بمجموعة البيانات الكاملة ولكن يتم استخدام جزء منها فقط للحساب.

إنّ الحوسبة هي مجال متعدد يستخدم علوم البيانات والتكنولوجيا الرقمية لحل المشكلات عبر مجموعة واسعة من المجالات بما في الترميز في البيانات والبناء على المعرفة العلمية الأساسية.

على غرار العديد من الطرق الفريدة لإنشاء البيانات هناك أيضًا مجموعة مقابلة من أنواع البيانات المختلفة تُعد أنواع البيانات مهمة في تحديد كيفية قياس البيانات واستخدامها في النهاية لعمل افتراضات.

التحليلات التشخيصية هي شكل من أشكال التحليلات المتقدمة التي تفحص البيانات أو المحتوى للإجابة على السؤال "لماذا حدث ذلك؟" ,يتميز بتقنيات مثل التنقيب واكتشاف البيانات واستخراج البيانات والارتباطات.