كيفية عمل تقنية تكامل البيانات

اقرأ في هذا المقال


تكامل البيانات هو عملية دمج البيانات من مصادر مختلفة في عرض واحد مرتبط ويبدأ الدمج بعملية الحذف ويتضمن خطوات مثل: التنظيف ورسم خرائط (ETL) وتحويل البيانات.

مبدأ عمل تقنية تكامل البيانات

  • يمكّن تكامل البيانات في النهاية أدوات التحليلات من إنتاج ذكاء أعمال فعّال وقابل للتنفيذ، ولا يوجد نهج عالمي لتكامل البيانات ومع ذلك تتضمن حلول تكامل البيانات عادةً بعض العناصر المشتركة، بما في ذلك شبكة من مصادر البيانات وخادم رئيسي وعملاء يصلون إلى البيانات من الخادم الرئيسي.
  • في عملية تكامل البيانات النموذجية يرسل العميل طلبًا إلى الخادم الرئيسي للحصول على البيانات ثم يأخذ الخادم الرئيسي البيانات المطلوبة من المصادر الداخلية والخارجية، كما يتم استخراج البيانات من المصادر ثم يتم دمجها في مجموعة بيانات واحدة متماسكة ويتم تقديم هذا مرة أخرى إلى العميل للاستخدام.
  • حتى إذا كانت الشركة تتلقى جميع البيانات التي تحتاجها فغالبًا ما توجد هذه البيانات في عدد من مصادر البيانات المنفصلة قد تتضمن البيانات التي يجب دمجها بيانات من أنظمة حركة مرور الويب، وغالبًا ما تحتاج المعلومات من جميع هذه المصادر المختلفة إلى أن يتم تجميعها معًا لتلبية الاحتياجات التحليلية أو الإجراءات التشغيلية، ولا يمكن أن يكون ذلك مهمة صغيرة لمهندسي البيانات أو المطورين لجمعهم جميعًا معًا.
  • عندما تتخذ الشركة تدابير لدمج بياناتها بشكل صحيح فإنها تقلل بشكل كبير من الوقت الذي تستغرقه لإعداد تلك البيانات وتحليلها، وتعمل أتمتة طرق العرض الموحدة على تقليل الحاجة إلى جمع البيانات يدويًا ولم يعد الموظفون بحاجة إلى إنشاء اتصالات من البداية متى احتاجوا إلى تشغيل تقرير أو إنشاء تطبيق.
  • كما يتم استخدام الأدوات الصحيحة بدلاً من الترميز اليدوي للتكامل، وبالإضافة إلى ذلك بدون حل تكامل البيانات الذي يزامن البيانات يجب إعادة إصدار التقارير بشكل دوري لحساب أي تغييرات، ومع ذلك باستخدام التحديثات التلقائية يمكن تشغيل التقارير بسهولة في الوقت الفعلي كلما دعت الحاجة إليها.

المصدر: Foundations of Data Science By Avrim Blum, John Hopcroft, Ravindran Kannan / First EditionIntroducing Data Science: Big data, machine learning, and more, using Python tools By Davy Cielen, Arno Meysman / First EditionAn Introduction to Data Science By Jeffrey S. Saltz, Jeffrey M. Stanton / First EditionData Science from Scratch: First Principles with Python by Joel Grus / 2nd Edition


شارك المقالة: