يمكن أن تتدفق البيانات في اتجاهات مختلفة ذهابًا وإيابًا بين الأنظمة وقد يكون من الصعب معرفة كل بيانات الأماكن وأين تبقى وعلاوةً على ذلك إذا كانت العملية تتضمن معلومات مهمة فستصبح الأمور أكثر تعقيدًا.
عملية تدفق البيانات في تحليلات البيانات
- يتم إنشاء البيانات في الوقت المناسب من مواقع الويب وتطبيقات الأجهزة المحمولة وأجهزة إنترنت الأشياء وأعباء العمل الأخرى ويعد التقاط هذه البيانات ومعالجتها وتحليلها أولوية لجميع الشركات، ولكن لا تكون البيانات من هذه الأنظمة في كثير من الأحيان بالتنسيق الذي يفضي إلى التحليل أو الاستخدام الفعال من قبل الأنظمة الرئيسية، وهنا يأتي دور (Dataflow) بحيث يتم استخدام (Dataflow) لمعالجة وإثراء الدُفعات أو بيانات الدفق لحالات الاستخدام مثل: التحليل أو التعلم الآلي أو تخزين البيانات.
- لإنشاء تدفق بيانات يمكن إضافة خطوات، حيث تؤدي كل خطوة وظيفة محددة وعلى سبيل المثال إضافة البيانات وضم الجداول ودمج الأعمدة وتحويل البيانات وحفظ البيانات الخاصة، واستخدام محرر تدفق البيانات لإضافة الخطوات وتكوينها ويتم التحقق من صحة كل خطوة عند إضافتها أو تغييرها، وعندما تقوم بتكوين تدفق البيانات فإنّها تقوم بتنفيذه لإنتاج مجموعة بيانات أو تحديثها.
- باستخدام تدفقات البيانات يمكن تنظيم البيانات من مجموعات البيانات أو نطاقات الموضوعات أو اتصالات قاعدة البيانات، ويمكن تنفيذ تدفقات البيانات بشكل فردي أو في تسلسل، كما يمكن تضمين مصادر بيانات متعددة في تدفق بيانات وتحديد كيفية الانضمام إليها.
- يمكن حفظ بيانات الإخراج من تدفق البيانات إما في مجموعة بيانات أو في أحد أنواع قواعد البيانات المدعومة، وإذا تم حفظ البيانات في قاعدة بيانات، يمكن تحويل مصدر البيانات عن طريق الكتابة فوقه ببيانات من تدفق البيانات ويجب أن يُعد مصدر البيانات وجداول تدفق البيانات في نفس قاعدة البيانات وأن يكون لها نفس الاسم، وقبل أن تبدأ يجب إنشاء اتصال بأحد أنواع قواعد البيانات المدعومة.
