يتم استخدام خطوط أنابيب البيانات لأداء تكامل البيانات ويمكن تقسيم احتياجات وحالات استخدام هذه الخطوط للتحليلات والتطبيقات والعمليات إلى فئتين أساسيتين البيانات التاريخية أو البيانات في الوقت الفعلي.
ما هي حالات استخدام خطوط أنابيب البيانات
1- معالجة الدُفعات والبيانات التاريخية
- تُستخدم البيانات التاريخية عادةً في (BI) وتحليلات البيانات لاستكشاف وتحليل واكتساب رؤى حول الأنشطة والمعلومات التي حدثت في الماضي لذلك تُعد معالجة الدُفعات التقليدية، حيث يتم استخراج البيانات وتحويلها وتحميلها بشكل دوري إلى نظام مستهدف كافية.
- يمكن جدولة هذه الدُفعات لتحدث تلقائيًا ويمكن تشغيلها بواسطة استعلام مستخدم أو بواسطة تطبيق وتتيح المعالجة المجمعة إجراء تحليل معقد لمجموعات البيانات الكبيرة.
- يمكن أن تدعم خطوط أنابيب (ETL) حالات الاستخدام التي يمكن أن تقوم على البيانات التاريخية وهي مناسبة بشكل خاص لمجموعات البيانات الصغيرة التي تتطلب تحويلات معقدة.
2- تدفق البيانات في الوقت الفعلي
- يتم استخدام خطوط تدفق البيانات عندما تتطلب التحليلات أو التطبيق أو العملية التجارية تدفق البيانات وتحديثها باستمرار، وبدلاً من تحميل البيانات على دفعات، تنقل خطوط الأنابيب المتدفقة البيانات بشكل مستمر في الوقت الفعلي من المصدر إلى الهدف.
- تتمثل الفوائد الرئيسية لخطوط الأنابيب المتدفقة في أنّه يمكن للمستخدمين تحليل مجموعة البيانات الكاملة الخاصة بهم أو الإبلاغ عنها، بما في ذلك البيانات في الوقت الفعلي ودون الحاجة إلى انتظار تكنولوجيا المعلومات لاستخراج المزيد من البيانات وتحويلها وتحميلها.
- بالإضافة إلى ذلك هناك تكلفة أقل وصيانة أقل من خطوط الأنابيب الموجهة بالدُفعات، توفر الأنظمة الأساسية المستندة إلى السحابة تكاليف أقل بكثير لتخزين البيانات ومعالجتها.
3- خط أنابيب بيانات AWS
إنّ خط أنابيب بيانات (AWS) هو خدمة ويب تقدمها (Amazon)، حيث تتيح هذه الخدمة نقل البيانات وتحويلها بسهولة داخل نظام (AWS) البيئي، مثل: أرشفة سجلات خادم الويب إلى (Amazon S3) أو إنشاء تقارير حركة المرور عن طريق تشغيل مجموعة (Amazon EMR) الأسبوعية فوق تلك السجلات.
