التقنيات المستخدمة مع البيانات الضخمة

تعتبر البيانات الضخمة خطوة مهمة من خطوات تطور تقنيات المعلومات والاتصالات، وتحمل تقنية البيانات الضخمة المقدرة على معالجة البيانات من مختلف تقنيات إنترنت الأشياء، وأجهزة الاستشعار الخاصة بها، ومواقع الإنترنت باختلاها وبيانات مواقع التواصل الاجتماعي، والذي يسمح بوجود ارتباطات بين مجموعة من البيانات المستقلة، لكشف جوانب عديدة، ومنها علي سبيل المثال التنبؤ للاتجاهات التجارية للشركات، ومكافحة الجريمة في المجال الأمني وغيرها، كما توفر التنبؤات لصانعي القرار أدوات مبتكرة، لفهم أفضل للظروف وبالتالي اتخاذ قرارات صحيحة تحقق الأهداف المطلوبة.

ما هي البيانات الضخمة؟

البيانات الضخمة هي أي مجموعة من البيانات التي يتم توليدها بسرعة عالية، والتي قد تصل إلى سرعة الوقت الفعلي (Real Time)، حيث يتم جمعها من عدة مصادر كرسائل البريد الإلكتروني ومواقع التواصل الاجتماعي باختلافها، وكما أنّ لها أشكال متعددة لتشمل كل من الصور والنصوص والصوت والفيدوهات.
وهي بأحجام هائلة تزيد القدرة على معالجتها، باستخدام أدوات قواعد البيانات التقليدية من معاجة وتخزين وتحليل لهذه البيانات الضخمة، حيث تنشأ البيانات الضخمة عن طريق كل شئ من حولنا، وفي كل الأوقات كل عملية رقمية لها مصادر متعددة في السرعة والحجم والتنوع، ولكي نستخرج منفعة معنوية من البيانات الضخمة نحتاج إلي معالجة مثالية وقدرات تحليلية ومهارات.

البيانات الضخمة والتقنيات الذكية:

فهي بذلك بحجم يفوق قدرة أدوات قواعد البيانات التقليدية، والتدفق الهائل لإتاحة البيانات الضخمة خصوصاً مع التوجه الكبير لتقنيات الذكاء الاصطناعي وإنترنت الأشياء، ويطلق مصطلح البيانات الضخمة على مجموعة من حزم البيانات الضخمة والمعقدة والتي يصعب التعامل معها من خلال نظم إدارة قواعد البيانات التقليدية من كافة النواحي، فكل تبادل في وسائل التواصل الاجتماعي ينتج لنا البيانات الضخمة، تتناقلها الأنظمة وأجهزة الاستشعار، والأجهزة النقالة البيانات الضخمة لها مصادر متعددة في السرعة والحجم والتنوع ولكي نستخرج منفعة معنوية من البيانات الضخمة نحتاج إلي معالجة مثالية وقدرات تحليلية ومهارات.

أهمية البيانات الضخمة Big data:

البيانات الضخمة لها أهمية عالية فهي تسمح للشركات بزيادة الكفاءة والربح وتقليل الخسائر بناء علي المعلومات المستخرجة من قواعد بيانات العملاء، وإتخاذ القرارات المناسبة والملائمة داخل الشركة بعد معالجتها وتحليلها، فباستخدام تقنيات و أدوات تحليل البيانات الضخمة استطاعت وول مارت  تحسين نتائج البحث عن منتجاتها عبر الإنترنت بنسبة 10-15%.

ما هي التقنيات المستخدمة مع البيانات الضخمة؟

تتكون الأدوات التي تتعامل مع البيانات الضخمة من ثلاثة أجزاء رئيسية وهي:

• أدوات التنقيب عن البيانات (Data Mining).
  
• أدوات التحليل (Data Analysis).
  
• أخيراً أدوات عرض النتائج (Dashboard).
  

يوجد العديد من الأدوات والتقنيات التي تستخدم للوصول إلى البيانات الضخمة وتحليلها بيانات النظام مثل (MapReduce) و(Hadoop) و(HPCC)، إلا أن (Hadoop) يعتبرمن أشهر هذه الأدوات، وهو منصة مفتوحة المصدر (open source)، وهي خاصة بالبرمجة ومكتوبة بلغة (Java) تستخدم لتخزين ومُعالجة البيانات الضخمة بشكل موزع، أي أن تخزين هذه البيانات الضخمة تكون على عدة أجهزة، ومن ثم توزع عملية المعالجة على هذه الأجهزة لتسريع نتيجة المعالجة، وتعود أو تستدعى كحزمة واحدة وتستخدم (Hadoop) من قبل شركة لينكد إن.

تطبيقات البيانات الضخمة:

في قطاع الشركات والمؤسسات:

أغلب الشركات والمؤسسات حول العالم تمتلك كميات هائلة من البيانات المخزنة في أنظمة الكمبيوتر، والتي معظمها يعتبر غير مهيكل، ولكي نفهم الأنماط الموجودة في هذه البيانات، كما يجب أن تطبق هذه الشركات والمؤسسات نماذج إحصائية لإلتقاط ومعالجة كميات ضخمة من البيانات غير المهيكلة، وتسمى هذه العملية بالبيانات الضخمة.

ونسبة لأن أغلب الشركات والمؤسسات قد تمتلك عدد محدود من الموظفين أو قد ينقصها القدرة الحسابية الكافية لإدارة وتحليل بياناتهم بكفائة عالية، وبالإضافةً لطبيعة البيانات المختلفة وزيادة أحجامها أصبح الإستعانة بأدوات البيانات الضخمة من خلال الحوسبة السحابية (Cloud Computing) أمراً مهم لا بد منه، والذي مكن المختصين بتطوير الخدمات الحكومية من رصد مدى رضا المواطنين عن الخدمات المقدمة لهم وعلي ضوء النتائج المحللة يتم عمل التطوير والتحسين، ومن مصادر البيانات الضخمة البيانات المخزنة في قواعد البيانات الحكومية من التعداد السكاني.

في المجال الطبي:

أصبح باستطاعة القطاع الطبي ومختلف المستشفيات والأطباء والمراكز الطبية الاستفادة من البيانات الضخمة في دراسة أعراض المرضى وسلوكياتهم، وذلك من خلال تحليل بياناتهم الطبية من خلال الأجهزة القابلة للإرتداء، والبيانات الموجودة في ملفاتهم الطبية، والزيارات التي قاموا بها، وكذلك  يتيح تحليل  البيانات الضخمة تقديم خدمات طبية أفضل، ومعالجة مواطن القصور في نظم تقديم الرعاية الطبية، وتقليل وقت الانتظار في أقسام الطوارئ. وكذلك تستخدم البيانات الضخمة في صناعة الأدوية وتوزيعها وتسعيرها وزياد المبيعات في مناطق معينة.

في التعليم:

نستطيع تطوير وتحسين العملة التعليمة من خلال تحليل البيانات الضخمة في التعليم، حيث يتم جمعها من مختلف القطاعات التعلمية، لتشمل بذلك البيانات الخاصة بالطلاب وخبرات تعلمهم، وكذلك مختلف التفاعلات الاجتماعية في قطاعات التعلم بمختلف المراحل الدراسية، وأنشطة التعلم من نصوص وفيديوهات ووسائط، ليتم بذلك تحسين التعليم وتصميم بيئات تعلم تصميم مخصص وفقاً لاحتياجات محددة للطلاب، وكذلك تحسين تعلم الطلاب من خلال التعلم الكيفي أو التعليم القائم علي الكفاءة، وكذلك العمل على تقليل التكاليف الإجمالية للطلاب والمؤسسات، استخدام البيئات القائمة والمعلومات المعقدة في صنع القرارات وتحديد السياسات.

في المجال الاقتصادي:

مع التقدم التقني الذي نشهدة أصبح بإمكان الشركات والهيئات قيامها بالاستفادة من تحليل حركة العملاء، وتشمل بذلك كافة العمليات الخاصة بهم من شراء وبيع بدقة، ليتمكنوا من معرفة السلع الأكثر حاجة وتوجه لهم، واقتراح سلع معينة لعملائهم بناء على عمليات الشراء السابقة لهم، وكذلك القدرة علي تحديد المميزين من العملاء ومن هم بحاجة لمساعدة أو لتحديد توجهاتهم، وكذلك تقوم بتحليل بيانات مستخدمي شبكات التواصل الاجتماعي أو البريد الإلكتروني من خلال ميولهم وتفضيلاتهم  للاستفادة منها في التسويق لجلب أكبر ربح ممكن للشركة.

في المجال العسكري:

مع الازدياد الكبير في حجم البيانات في القطاع العسكري، وذلك عن طريق استخدامهم لأنظامة الأتمتة وتقنيات إنترنت الأشياء، حيث تم تطوير العديد من التقنيات الذكية والروبوتات العسكرية، وبذلك أسهمت في مجالات في مجالات أمن البلاد، وأمن الشبكات بنمو البيانات المرتبطة بالمجال العسكري، والتي تولدها كذلك الكثير من العمليات العسكرية، وتحليل هذه البيانات يساعد في تعزيز والحفاظ علي الأمن وتحليل سلوكيات العسكريين بعد جمع بياناتهم.

وبذلك أصبح لتقنيات المعلومات والاتصالات دورها الفعال في تمكين تقنياتها وأدواتها، لجمع ولتحليل ومعالجة البيانات الضخمة (Big Data)، لتقوم بالتالي بإمكانية الحصول عليها للاستفادة منها من مختلف هذه الأنظمة في العديد من المجالات، ومن ثم معالجتها واستخدامها بغرض تطوير المنتجات أو إستحداث منتجات جديدة، أو توفير المعلومات اللازمة لمساعدة متخذي القرار، وتحسين عملية التسويق الإلكتروني، تطوير الأدوية، المساعدة في اكتشاف الأمراض وتحقيق الأمن في البلدان وتحسين العملية التعليمية وتطويرها.