كيف تختلف البيانات المظلمة عن غيرها من البيانات؟
تقوم المنظمات غالباً بجمع ومعالجة وتخزين الكثير من المعلومات في السياق الطبيعي لعملياتها، ومع ذلك، من الممكن أن تكون نفس البيانات مفيدة لتخطيط خرائط طريق المنتج، أو المساعدة في اتخاذ قرارات العمل، أو تحسين العمليات. وهذا ممكن اليوم بسبب التقنيات الحديثة للتعلم الآلي وتحليلات البيانات، وقد أشارت الدراسة إلى أن معظم بيانات المؤسسات هي في الحقيقة “بيانات مظلمة” (Dark Data) ويعني هذا المصطلح البيانات غير منتظمة التخزين التي لا يمكن للشركات تجميعها والاستفادة منها رغم أهميتها.
فإنّ البيانات هنا ببساطة بيانات متوفرة للمؤسسات ولكنها غير مستخدمة، حيث أنّ مصطلح “الظلام” لا يقصد بة الشيء الشرير أو الغير قانوني. وكما أنّ الأمر لا يتعلق بالأمن أو الخصوصية على وجه التحديد، بدلاً من ذلك، فإنّ الأمر يتعلق بالبيانات المخفية عن العرض، والتي يصعب الوصول إليها أو تحليلها، ويسهل تجاهلها.
ما هي البيانات المظلمة؟
هي البيانات التي يتم الحصول عليها من خلال عمليات شبكة الكمبيوتر المختلفة، ولكن لا يتم استخدامها بأي شكل من الأشكال لاستخلاص رؤى أو اتخاذ قرارات، أو كما قدمت شركة (Gartner) المصطلح في عام 2013 البيانات المظلمة، بأنها جمع أصول المعلومات ومعالجتها وتخزينها أثناء أنشطة الأعمال العادية، ولكنهم يفشلون عمومًا في استخدامها لأغراض أخرى (على سبيل المثال التحليلات والعلاقات التجارية وتوليد الدخل المباشر). وغالبًا ما تحتفظ المنظمات بالبيانات المظلمة لأغراض الامتثال فقط.
عادةً ما يتسبب تخزين البيانات وتأمينها في زيادة التكاليف (وفي بعض الأحيان مخاطر أكبر) عن القيمة، فهي أصل من الأصول لا يتم استخدامه على النحو المطلوب فهو يتطلب نهجاً أكثر تطوراً في كيفية قيام المؤسسات بجمع المعلومات وإدارتها وتحليلها، ومع ذلك فإن أغلب قادة الأعمال قد أشاروا إلى التردد والخوف من الخوض في هذا الأمر.
وفقًا لمؤسسة البيانات الدولية (IDC)، فإنّه لا يتم تحليل قرابة 90٪ من البيانات غير المهيكلة أبدًا، أو كما تسمى باسم البيانات المظلمة، وعلى الرغم من أن فئات البيانات المظلمة قد تختلف عبر الشركات، إلا أن الفئات التالية من البيانات غير المهيكلة تعتبر عادةً بيانات مظلمة:
- معلومات العميل.
- ملفات الدخول.
- بيانات المسح الخام.
- معلومات الموظف السابقة.
- القوائم المالية.
- ملاحظات أو عروض تقديمية.
- مراسلات البريد الإلكتروني.
- معلومات الحساب.
- الإصدارات القديمة من المستندات ذات الصلة.
في عام 2015 قد أشارت شركة (IBM) إلى عدم استخدام 90٪ من بيانات القادمة من أجهزة الاستشعار في تقنيات إنترنت الأشياء، بالإضافة إلى ذلك فإنّ 60٪ من هذه البيانات تفقد قيمتها خلال أجزاء من الثانية، لذلك فإن التقنيات التي تسمح لنا بمعالجة هذه البيانات في الوقت الفعلي تقريبًا هي أمر بالغ الأهمية، وإذا لم يكن الأمر كذلك، فستنتهي إلى ببيانات مظلمة.
وكما بينت دراسة أجرتها (Veritas) قد ضمت 22 دولة أن 52٪ من جميع البيانات التي جمعتها المنظمات مظلمة، ويقولون إنها بيانات “تحت خط رؤية الإدارة العليا”. في مايو 2017 تستحوذ شركة أبل على (Lattice Data) المتخصصة في البيانات المظلمة، والتي قامت بدورها بتسويق (DeepDive)، وهي أداة تم تطويرها في جامعة ستانفورد. حيث تستخدم التعلم الآلي لتحويل البيانات المظلمة إلى بيانات منظمة يمكن دمجها في مصادر البيانات المنظمة الحالية. و هي أيضاً تمكن من استخراج العلاقات وصنع الاستدلالات.
كيف تختلف البيانات المظلمة عن البيانات غير المهيكلة:
في الواقع عادة ما تكون البيانات المظلمة غير منظمة، وذلك لأن البيانات غير المهيكلة يصعب تحليلها، حيث تُعد البيانات غير المهيكلة “مظلمة” عندما لا تملك المؤسسات المعرفة اللازمة لتحليلها والحصول على رؤى. ومع ذلك، يمكن أن تكون البيانات المنظمة كذلك جزءً من البيانات المظلمة، على سبيل المثال، قد توجد مجموعتان من مجموعات البيانات المهيكلة بشكل مستقل في أعداد من قواعد البيانات الخاصة بهما، وإذا تم دمجها، فإنه من الممكن الحصول على رؤى جديدة، وقد لا يكون الجمع بين مجموعتي بيانات أمر تافه، خاصةً عند وجودهما في تنسيقات مختلفة أو تخزينها في أنظمة مختلفة أو التحكم فيهما من قبل فرق مختلفة.
وبصورة عامة، يمكن أن تكون البيانات المظلمة منظمة أو غير منظمة، ولكنها تشترك في بعض الخصائص العامة. حيث تكون هذه البيانات زائدة عن الحاجة أو قديمة أو أنها ليست بالأهمية المطلوبة، أي إنها ليست مجرد بيانات قيّمة لا يتم استخدامها ولكنها تتضمن بيانات غير مجدية تشغل مساحة تخزين.
