اقرأ في هذا المقال
البيانات الضخمة Big Data:
مع التقدم التقني في عالمنا الرقمي وازياد الأعداد الهائلة من البيانات، عن طريق ازدياد الأجهزة الحديثة والتقنيات القابلة للإرتداء، وكما أنّ كل بحث يتم على محركات البحث باختلافها، وفي كل دقيقة يقضيها المستخدمون على مواقع التواصل الاجتماعي، وغير ذلك من الأنشطة الرقمية الأخرى، والآن مع انتشار أجهزة المنازل الذكية سيصبح العالم آلية موجهة لجمع البيانات. وقد بين مصطلح البيانات الضخمة إلى كميات هائلة من المعلومات المختلفة، التي يصعب جمعها وتقييمها عبر التقنيات التقليدية، بالإضافة إلى أنها تتميز بالحاجة للمعالجة السريعة، بحيث يمكن من خلالها عرض النقاط المشتركة والتوجهات والأنماط في سلوك المجموعة المستهدفة.
هل يتم مراقبة البيانات الضخمة؟
أن تتم عمليات المراقبة للبيانات الهائلة تُعد عملية صعبة وليست بهذه السهولة، وذلك لما تحمله من عناصر عديدة بأهمية كبيرة بدايةً من الأمان والخصوصية، وحتى تلبية معايير الامتثال والاستخدام الأخلاقي للبيانات، وعندما يتعلق الأمر بالبيانات الضخمة فإن المشكلات والتحديات تزداد حجمًا؛ لأن البيانات غير منظمة، ولا يمكن التنبؤ بها، حيث تشير الإحصائيات إلى أن الرقم قد تجاوز نحو 44 تريليون جيجابايت من البيانات.
أهمية البيانات الضخمة والتقنيات الحديثة في الشركات والمؤسسات:
البيانات الضخمة يعبر عن الحجم الهائل من البيانات المُهيكلة والشبه مهيكلة وغير المهيكلة، والتي يمكن استخراجها من المعلومات واستخدامها في مشروعات التعلم الآليللذكاء الاصطناعي وإنترنت الأشياء. وغيرها من تطبيقات التحليلات الحديثة، فإن البيانات الضخمة تعتمد على مجموعة من حزم البيانات الكبيرة والمعقّدة والتي يصعب التعامل معها من خلال نظم إدارة قواعد البيانات التقليدية من كافة النواحي لتشكل بذلك التخزين، البحث، التمثيل، التحليل.
أهمية التعامل والاستفادة من البيانات الضخمة في العديد من القطاعات والتخصصات، ومن مميزات تحليلات البيانات الضخمة وهو المقدرة على معرفة أساليب التزوير وخاصة في صناعة الخدمات المالية، حيث أنّ معظم المتاجر الكبيرة حول العالم والأسواق التجارية التي تتعامل مع بطاقات العملاء العدد الهائل منها، فلا بد من الاستفادة من هذه البيانات والقيام بمعالجتها بطريقة تساعدها على فهم المشترين بشكل أفضل، وكما تستخدم المؤسسات بيانات كبيرة لتحسين عملية صنع القرار وتحسين خدمة العملاء، غالبًا ما تكون زيادة الإيرادات هي النتيجة الطبيعية.
ما هي أبرز التحديات التي تواجهها الشركات عند استخدام البيانات الضخمة؟
تواجه المؤسسات التجارية الكبرى صعوبات كثيرة لاكتشاف طرق اللازمة لتخزين البيانات وإدارتها، ليتم الاستفادة منها واستخدامها وتحليلها، لتنمية أدائها لتحقيق أقصى استفادة منها، وقد أوضح استطلاع رأي قامت به مؤسسة (NewVantage Partners) أن نحو 37.1% فقط من الشركات تعتقد أنها ناجحة في محاولة استخدام البيانات الضخمة، في حين تعتقد 71.7% من الشركات أنها لم تقم بعد بصياغة ثقافة الاعتماد على البيانات، ونسبة 53.1% من الشركات صرحت بأنها لم تتعامل بعدُ مع البيانات كأصل تجاري.
لذلك لا بد أن تقوم الشركات بالعمل على إدراك الصعوبات التي تواجهها والتعامل مع البيانات الضخمة واستثمارها، والحلول التي نحتاج لاتباعها لمواجة هذه الصعوبات. وفيما يلي أهم خمس صوبات تواجهها الشركات عند استخدام البيانات الضخمة، وطرق حلها:
1- عدم فهم أهمية البيانات الضخمة:
هناك العديد من الحالات التي تواجه فيها المؤسسات صعوبات في إدراك الأساسيات، ومعرفة ماهية البيانات الضخمة لإمكانية الاستفادة منها ومعرفة البنية التحتية التي تحتاج اعتمادها، وحين تفتقد هذه المؤسسات الفهم الواضح لكل هذه الأساسيات سيفشل مشروع تبني البيانات الضخمة، وقد تُضيع الشركات الكثير من الوقت، والموارد على أشياء لا تعرف كيفية استخدامها، وكما أن التحدي الأكبر يتمثل في الموظفين، وتدريبهم، فإذا كان الموظفون لا يدركون فوائد البيانات الضخمة، أو لا يرغبون في تغيير منهجية العمليات الحالية من أجل تبنيها، فسيقومون بمقاومتها، ومن ثَمَّ إعاقة تقدم الشركة.
الحل:
بسبب أهمية هذه البيانات الضخمة وأثرها الفعال للشركات، لا بد من تمكينها في الشركات وتبنيها من قبل أصحاب القرار والمسؤولين، وبالتالي إيصال هذه الأهمية ومدى فعاليها في العمل للموظفين على حسب مناصبهم الوظيفية، لضمان فهم أهمية الأمر وقبوله من جميع المستويات، لذلك تحتاج أقسام تكنولوجيا المعلومات إلى تنظيم العديد من الدورات التدريبية والورش. ولمعرفة المزيد عن قبول الإستراتيجيات الجديدة للبيانات، يجب مراقبة طريقة تطبيق الموظفين لها، ولكن يجب ألا تُبالغ الإدارة في السيطرة؛ لأن ذلك قد يكون له تأثير سلبي.
2- جودة البيانات:
من الصعوبات التي تواجهها المؤسسات تكامل البيانات، وذلك لأن البيانات التي تحتاج إلى تحليلها هي قادمة من مصادر مختلفة، وفي مجموعة مختلفة من التنسيقات المتعددة، حيث تحتاج شركات التجارة الإلكترونية مثلاً إلى تحليل البيانات من سجلات المواقع الإلكترونية ومراكز الاتصال ومواقع المنافسين، ومن الواضح أن تنسيقات البيانات ستكون مختلفة وتصعب مطابقتها.
كما أن هناك صعوبات أخرى وهي البيانات عدم الموثوق بها، وذلك بسبب إن البيانات الضخمة لا تحمل الدّقة الكافية بنسبة كاملة، وذلك ليس لأنها يمكن أن تحمل العديد من المعلومات الخاطئة وحسب، بل لأنها يمكن أن تكون مكررة، وكما أنها قد تحتوي على العديد من تناقضات. ومن غير المحتمل أن توفر البيانات ذات الجودة المتدنية أي معلومات مفيدة، أو فرصًا مهمة، بل قد تؤدي المعلومات غير الدقيقة إلى زيادة خطر اتخاذ قرارات تجارية خاطئة تضر بالشركة.
الحل:
هناك مجموعة كاملة من التقنيات المحددة لعمليات تدقيق واسترجاع البيانات، واتخاذ الإجراءات المناسبة لضمان من الحفاظ على جودة البيانات على المدى الطويل، وكما تستطيع المؤسسات ايجاد التقنيات الخاصة بالأتمتة التي يمكن أن تؤدي مهام إعداد البيانات، ويمكن تحديد البيانات التي لا تحتاجها مطلقًا، من خلال إنشاء عمليات مؤتمتة لفحص البيانات الضارة في بداية عمليات الجمع؛ للتخلص من هذه البيانات قبل أن تصل إلى الشبكة.
3- إنفاق الكثير من المال:
تمكين البيانات الضخمة في المؤسسات والقطاعات يحتاج الكثير من النفقات وبالتالي دخل أكبر، فلا بد من أخذ تكاليف الأجهزة الجديدة بالاعتبار، وكذلك الحاجه لتعيين طاقم جديد من الموظفين المختصين بالبيانات الضخمة ليشمل ذلك كل من مديري النظم، المطورين وبكفاءة عالية. وبالرغم من أن الأنظمة اللازمة مفتوحة المصدر، إلا أنك لا تزال بحاجة إلى دفع تكاليف تطوير البرامج الجديدة وإعدادها وصيانتها، وإذا قررت الاعتماد على أحد حلول البيانات الضخمة المستندة إلى الخدمات السحابية، فستظل بحاجة إلى تعيين موظفين، ودفع تكاليف الخدمات السحابية وتطوير حلول البيانات الضخمة، بالإضافة إلى إعداد وصيانة الأُطر اللازمة للعمل.
الحل:
في الواقع يعتمد الحل هنا على أهداف مؤسستك وعلى الحاجات التقنية المحددة لذلك، فعلى سبيل المثال: الشركات التي تحتاج مرونة أكبر تستطيع الاستفادة من التقنيات السحابية في ذلك، في المقابل فأن الشركات ذات المتطلبات الأمنية العالية يمكنها الاعتماد على حلول البرمجيات الداخلية (On-premises software)، ويوجد كذلك حلول مختلطة، بحيث تُخزن أجزاء من البيانات، وتعالج اعتمادًا على الحلول السحابية، وكذلك يعتمد على البرمجيات الداخلية، التي يمكن أن تكون أيضًا فعالة من حيث التكلفة. أو يمكن اللجوء إلى استراتيجيات بحيرات البيانات (Data lakes)، أو الخوارزميات المُحسنة، وإذا تم ذلك بشكل صحيح يمكن أن يوفر أيضًا الكثير من المال.
بحيرات البيانات والخوارزميات المُحسنة:
- يمكن أن توفر بحيرات البيانات فرص تخزين رخيصة للبيانات، التي لا تحتاج إلى تحليل في الوقت الحالي.
- الخوارزميات المحسّنة يمكن أن تقلل من استهلاك الطاقة الحاسوبية بمقدار 5 إلى 100 مرة، أو أكثر.
4- مشاكل الترقية والتكامل:
الخاصية الأكثر تميزاً في البيانات الضخمة هي المقدرة الكبيرة على الازياد، لذلك تظهر الحاجة إلى دمج البيانات من أقسام العمل المختلفة، وبهذا قد يتجه البعض لتطوير حلول خاصة وتعديلها للترقية (upgrade)، بدون الحاجة إلى جهود إضافية، ولكن المشكلة الأساسية ليست إدخال قدرات معالجة، وتخزين جديدة، ولكن التعقيد يكمن في القدرة على التوسع، مع الحفاظ على مستوى أداء نظامك، وإبقاء الأمر في حدود الميزانية.
الحل:
الخطوات الأولى والمهمة لتفادي هذه التحديات الممكنة هي إيجاد بنية مناسبة لاحتياجات البيانات الضخمة، بالإضافة إلى خطوة مهمة جداً وهي تطوير خوارزميات البيانات الضخمة المخصصة لشركتك أو مؤسستك تراعي رفع المستوى في المستقبل. وكما لا بد من التخطيط لصيانة ودعم الأنظمة، بحيث يمكن متابعة أي تغييرات متعلقة بنمو البيانات بشكل صحيح، وعلاوة على ذلك فإن إجراء عمليات تدقيق منتظمة للأداء يمكن أن يساعد في تحديد نقاط الضعف، ومعالجتها في الوقت المناسب.
5- المشاكل الأمنية:
في الكثيرمن الحالات يتم تأجيل خطوة تمكين البيانات الضخمة في موضوعَ الأمن الإلكتروني إلى مراحل مؤجلة، وبالتأكيد هذا الأمر بالغ الأهمية ويشكل العديد من المخاطر في إمكانية لوصول إلى هذه البايانات الهائلة، حيث تتطور تقنيات البيانات الضخمة، لكن ميزات الأمان الخاصة بها لا تزال مهملة.
الحل:
لا بد من الاهتمام بتوفير جميع ما يلزم لتوفير الأمن والحماية للبيانات وإعطائه أهمية كبرى، وذلك لأنّ أمن البيانات أمر أساسي خاصة في مرحلة تصميم بنية الحل الخاص بالشركة، تجنبًا لحدوث أي شيء غير متوقع قد يؤدي إلى فشل المشروع بالكامل، وتهديد أمن الشركة نفسها.
