ما المقصود بالمجال الديناميكي في علم البيانات

تتزايد الأبحاث حول علوم البيانات باستمرار، حيث يتم تحديد إمكانات جديدة في البيانات التي تجمعها المؤسسات وتحافظ عليها، ومن الناحية التاريخية اكتشف علماء البيانات أدوات وتقنيات جديدة لتعديل قيمة من البيانات على أساس تجريبي.

ما هو المجال الديناميكي في علم البيانات

بعد أن تتم عملية الإثبات التجريبي للمفهوم في قيمة البيانات ستستثمر المؤسسات عادةً في إعادة هيكلة ودعم الأدوات والتقنيات الجديدة، ونظراً لأنّ إعادة هيكلة أو تعديل نظام بيئي وظيفي للبيانات أمر صعب فغالباً ما يتم استضافة عبء عمل (Data Science) المطور حديثًا، من قبل قسم تكنولوجيا المعلومات الداخلي بطريقة مجزأة ومخصصة ومعقولة وعلى سبيل المثال من خلال خادم مخصص.

تعمل هذه الحلول المتخصصة والموارد المخصصة على زيادة التكاليف الفنية وتقليل فرص مشاركة الموارد وإعادة استخدام الخوارزميات، وتعمل محتويات البرامج على حل مشكلة تشغيل البرنامج بشكل موثوق بغض النظر عن بيئة الحوسبة الأساسية، وعلى سبيل المثال تدعم محتويات البرامج قابلية النقل من بيئة حوسبة إلى بيئة حوسبة أخرى، مثل من بيئة تطوير إلى بيئة اختبار وأخيراً إلى بيئة إنتاج.

كما يمكن أن تتراوح البيئات من جهاز كمبيوتر مستقل وعلى سبيل المثال كمبيوتر محمول إلى جهاز افتراضي يتم تنفيذه في بيئة الحوسبة السحابية الخاصة أو العامة، وتتضمن محتويات البرنامج بيئة وقت تشغيل كاملة يتطلبها تطبيق البرنامج للتنفيذ مجمعة معًا، وبالإضافة إلى تطبيق البرنامج يمكن أن تتضمن بيئة وقت التشغيل الخاصة به جميع التبعيات والمكتبات والثنائيات الأخرى.

قد تتضمن بيئة وقت التشغيل كذلك ملفات التكوين المطلوبة لتشغيل تطبيق البرنامج، حيث من خلال تضمين النظام الأساسي للتطبيق وتبعياته داخل محتويات البرنامج، يتم التخلص من الاختلافات في نظام تشغيل بيئة التنفيذ الأساسية أو البنية التحتية الأساسية الأخرى.

المجال الديناميكي لبيئة الحوسبة الأساسية في علم البيانات

لا تزال بيئة الحوسبة الأساسية تدير نظام تشغيل واحد وتشارك كل محتوى في نواة نظام التشغيل مع أي محتويات أخرى، كما تتم قراءة الأجزاء المشتركة من نظام التشغيل فقط بحيث لا يمكن لمحتويات البرامج الفردية أن تتداخل مع وظائف محتويات البرامج الأخرى، بحيث يحتوي كل محتوى برامج على منفذ وصول مخصص خاص بها للكتابة في بيئة الحوسبة.

يسمح هذا للبرنامج بأن يكون أكثر خفة واستخدام موارد أقل بكثير من الأجهزة الافتراضية، وكما يتم تطبيق تقنية محتويات البرامج لإنتاج مثيلات تجريبية لعلوم البيانات من شأنه أن يسمح للمؤسسات بعزل الجهود التجريبية، مع توفير نظام أساسي للتطوير في نفس الوقت جزءًا لا يتجزأ من النظام البيئي لبيانات المنظمة.

بالإضافة إلى ذلك يمكن أتمتة تنفيذ التجارب المعزولة من خلال تلقي الخدمات المصغرة وخطوط النشر وتنسيق توفير الأجهزة وتبسيط التنفيذ، وعلاوةً على ذلك قد يتم تحميل المثيلات المعزولة بشكل متوازن لتجنب التعارض مع أداء التحليلات النشط داخل النظام البيئي للبيانات.

كيفية عمل البرامج الديناميكية في علم البيانات

يستخدم النظام البيئي للتطوير خدمة محتوى البرامج، حيث تؤدي خدمة محتوى البرامج مجموعة متنوعة من الوظائف نيابةً عن صور محتوى البرامج التي يتم تنفيذها داخل بيئة التحليلات السحابية، مثل بناء محتويات البرامج وتشغيل المحتويات مثل: تنفيذ صور البرامج والتحميل وتنزيل محتويات البرامج، وجدولة تنفيذ صورة محتويات البرامج، ونشر صورة محتويات برنامج موازنة التحميل.

كما يتم تنفيذ خدمة محتوى البرامج أعلى نظام تشغيل البيئة المضيفة، ممّا يؤدي إلى عزل مساحات الكتابة وتمكين اتصالات صورة محتوى البرامج مع نظام تشغيل البيئة المضيفة، وفي بعض عمليات التنفيذ يتم تزويد كل مطور لعلوم البيانات يتفاعل مع النظام الإيكولوجي؛ للتطوير بمساحة عمل للمطورين في محتويات لتطوير التطبيقات واختبار البرامج النصية لتشغيل التطبيقات.

كما أنّ المطورون يعملون داخل مساحة عمل المطور المحتوى بحيث يطورون محتويات البرامج كنظام ملفات ومعلمات لاستخدامها في وقت التشغيل للتنفيذ كصورة برنامج في وقت التشغيل، وعلى وجه الخصوص قد يتم توفير مساحة عمل المطور في محتوى بيئة (VM)، تم إطلاقها على منصة نظام تشغيل حوسبة مشتركة مثل نظام (Windows®)، بواسطة شركة (Microsoft Corporation of Redmond).

تحاكي بيئات الآلة الافتراضية أنظمة الحوسبة، حيث يمكنهم توفير الوظائف اللازمة لتنفيذ نظام تشغيل كامل وكما يستخدم برنامج (Hypervisor) تنفيذ نظام التشغيل الأصلي كتكوين نظام التشغيل الأساسي لنظام الحوسبة الذي يقوم بتشغيل الجهاز الظاهري؛ لإدارة مشاركة موارد نظام الحوسبة مثل موارد الأجهزة، ممّا يسمح بوجود عدة بيئات (VM) معزولة على نفس الجهاز المادي دون وعي من بعضها البعض.

ملاحظة:“VM” هي احتصار لـ “Virtual-Machine”.

مبدأ عمل أداة إدارة المطورين في علم البيانات

يمكن إطلاق بيئة (VM) باستخدام أداة إدارة المطورين لإدارة بيئة المطور، بحيث توفر أداة لبناء وصيانة بيئات تطوير افتراضية محمولة، وكما تدير أداة إدارة التطوير تكوينات بيئة التطوير ممّا يزيد من إنتاجية عالم البيانات ويمكن أن تتضمن التكوينات:

• تكوين المجلدات المشتركة بين المطورين.

• تكوين أذونات الملفات.

• إدارة اسم المضيف للأجهزة الافتراضية.

• إعداد تكوين الشبكة وإدارة تعريف المستخدم.

• إدارة المنفذ للتواصل مع أنظمة الحوسبة عن بُعد.

كيفية عمل أداة إدارة المطورين

تعمل أداة إدارة المطورين على توفير بيئة قائمة بذاتها بالكامل يتم نسخها بشكل متماثل عبر جميع أنظمة المطورين كأنظمة تشغيل الضيف، مثل أن تستخدم تطبيقات المطور مجموعة أدوات مشتركة وبيئة تطوير ممّا يضمن قواعد كود المطورين سيكونون أثناء العملية مع بعضهم البعض، ومع بيئة أكبر للاختبار وإطلاق التطبيق وقد تتفاعل أداة إدارة المطورين مع أدوات برمجية أخرى لإنشاء البيئة الافتراضية.

باستخدام أداة إدارة المطورين يمكن لمطور علوم البيانات استدعاء واجهة برمجة التطبيقات (API) وتشغيل مثيل لنظام تشغيل متعدد الضيف (OS) على نظام التشغيل المضيف، وقد تقوم أداة إدارة المطورين بتشغيل أداة إدارة الآلة الافتراضية، والتي تنشئ بيئة الآلة الافتراضية على جهاز الحوسبة المثبت مع نظام التشغيل الأساسي.

قد تتضمن أداة إدارة الآلة الافتراضية برنامج (Hypervisor) قادر على التشغيل البيني مع نظام التشغيل الأصلي لمنصة الحوسبة الخاصة بالمطور، وقد يتم تكوين أداة إدارة الجهاز الظاهري لإنشاء وإدارة الجهاز الظاهري على جهاز الحوسبة المضيفة للمطور، وقد يستضيف الجهاز المضيف عدة أجهزة افتراضية للضيوف حيث يمكن لكل مستخدم العمل بشكل مستقل داخل بيئة (VM) الخاصة به، دون معرفة الأجهزة الظاهرية للضيف الأخرى التي تم إنشاؤها على نفس نظام التشغيل المضيف.

ملاحظة:“API” هي احتصار لـ “Application-Programming-Interface”.

ما هي أداة إدارة الجهاز الظاهري في علم البيانات

قد تستخدم أداة إدارة الجهاز الظاهري المحاكاة الافتراضية المستندة إلى البرامج لإعادة تكوين رمز نظام التشغيل الضيف وتجنب التعارض مع بيئات (VM) الضيف الأخرى، وبالإضافة إلى ذلك قد تقوم أداة إدارة الجهاز الظاهري بفرض المحاكاة الافتراضية للأجهزة، حيث يتم تنفيذ كل نظام تشغيل (VM) ضيف في مساحة عنوان مختلفة على الأجهزة الأساسية.

يمكن لأداة إدارة الآلة الافتراضية محاكاة أجهزة التخزين المادية كالأقراص الافتراضية لاستخدامها بواسطة الجهاز الظاهري الضيف (OS) في قراءة البيانات وكتابتها، وقد تقوم أداة إدارة الآلة الافتراضية بإدارة الاتصالات مع أجهزة الحوسبة البعيدة والموارد من خلال المحاكاة الافتراضية للمنافذ، وقد تحاكي أداة إدارة الجهاز الظاهري منافذ بطاقة الشبكة ووحدات تحكم (USB) والواجهات الأخرى، والتي تسمح للمستخدم الضيف بالوصول إلى الأجهزة الخارجية أو أنظمة الحوسبة المتصلة بالشبكة.

عند تسجيل الدخول إلى بيئة الجهاز الظاهري يقوم المطور بفحص قالب مشروع أساسي من نظام التحكم ويمكن الاحتفاظ بنظام التحكم في بيئة التحليلات السحابية، حيث يوفر نموذج لتطبيقات المطور بما في ذلك بعض الملفات الموجودة في بنية دليل معينة، مثل: كود التطبيق وخوارزميات الاختبار الآلي التي يتم تخزينها في مساحات منفصلة ومخصصة داخل التخزين.

ملاحظة:“OS” هي احتصار لـ “operating-system”.

ملاحظة:“USB” هي احتصار لـ “Universal Serial Bus”.

إنّ المجال الديناميكي في علم البيانات يستخدم لنماذج وطرق مختلفة للحصول على المعلومات وعلم البيانات عبارة عن مجموعة من الأدوات المختلفة، ومبادئ التعلم الآلي والخوارزمية بهدف العثور على الأنماط من البيانات الأولية.