اقرأ في هذا المقال
- ما هي هجمات تسمم البيانات
- الوسائل الرئيسية لتنفيذ هجوم التسمم
- صياغة هجوم التسمم
- هجمات التسمم على التعلم الآلي
لتسميم نظام ذكاء اصطناعي، يجب على المهاجم تعريض عملية التعلم للخطر بطريقة يفشل فيها النموذج في مدخلات معينة يختارها المهاجم، أو أن يتعلم بابًا خلفيًا يمكن للمهاجم استخدامه للتحكم في النموذج في المستقبل، أحد الدوافع هو تسميم النموذج بحيث يفشل في مهمة أو أنواع معينة من المدخلات، على سبيل المثال، إذا كان الجيش يقوم بتدريب نظام ذكاء اصطناعي لاكتشاف طائرات العدو، فقد يحاول العدو تسميم النموذج الذي تم تعلمه بحيث يفشل في التعرف على طائرات معينة.
ما هي هجمات تسمم البيانات
هجمات التسمم هي الفئة الثانية من هجمات الذكاء الاصطناعي، في هجمات التسمم يسعى المهاجم إلى إتلاف نموذج الذكاء الاصطناعي نفسه بحيث يصبح معيبًا بطبيعته بمجرد نشره ويمكن للمهاجم التحكم فيه بسهولة، على عكس هجمات الإدخال، تحدث هجمات تسمم النماذج أثناء تعلم النموذج، مما يعرض نظام الذكاء الاصطناعي نفسه للخطر بشكل أساسي.
الوسائل الرئيسية لتنفيذ هجوم التسمم
- البيانات: هي وسيلة رئيسية يمكن من خلالها تنفيذ هجوم تسمم، نظرًا لأن المعلومات الموجودة في مجموعة البيانات يتم تقطيرها في نظام الذكاء الاصطناعي، فسيتم توريث أي مشاكل في مجموعة البيانات بواسطة النموذج الذي تم تدريبه على ذلك، حيث يمكن اختراق البيانات بطرق متعددة، تتمثل إحدى الطرق في إتلاف مجموعة بيانات صالحة بخلاف ذلك، من خلال تبديل البيانات الصالحة بالبيانات التالفة، يصبح نموذج التعلم الآلي الذي يقوم عليه نظام الذكاء الاصطناعي نفسه مسمومًا أثناء عملية التعلم.
- مهاجمة عملية جمع مجموعة البيانات: وهي العملية التي يتم فيها الحصول على البيانات، حيث يؤدي هذا إلى تسمم البيانات بشكل فعال من البداية، تمثل القدرة على مهاجمة عملية جمع مجموعة البيانات بداية حقبة جديدة من المواقف تجاه البيانات، في الوقت الحاضر، يُنظر إلى البيانات عمومًا على أنها تمثيل حقيقي للعالم، وقد تم استخدامها بنجاح لتعليم أنظمة الذكاء الاصطناعي أداء المهام في هذا العالم، نتيجة لذلك، تشبه ممارسات جمع البيانات اليوم شبكة السحب، حيث يتم جمع كل ما يمكن جمعه، والسبب في ذلك هو الذكاء الاصطناعي مدعوم بالكامل تقريبًا بالبيانات، ويرتبط الحصول على المزيد من البيانات بشكل عام بأداء أفضل لنظام الذكاء الاصطناعي.
صياغة هجوم التسمم
لتنفيذ هجوم تسمم، يستهدف المهاجم أحد الأصول المستخدمة في عملية التعلم، إما مجموعة البيانات المستخدمة لتعلم النموذج أو الخوارزمية المستخدمة لتعلم النموذج أو النموذج نفسه، بغض النظر عن الطريقة، فإن النتيجة النهائية هي نموذج به نقطة ضعف خفية أو باب خلفي يمكن مهاجمته لاحقًا من خلال استغلال هذا الضعف المعروف.
تسمم مجموعة البيانات
الطريقة الأكثر مباشرة لتسميم النموذج هي عبر مجموعة البيانات، يعتمد النموذج كليًا على مجموعة البيانات لكل ما لديه من معلومات والقيام بتسميم مجموعة البيانات وتسميم النموذج، حيث يمكن للمهاجم القيام بذلك عن طريق إدخال بيانات غير صحيحة أو خاطئة في مجموعة البيانات، نظرًا لأن خوارزميات التعلم الآلي تتعلم نموذجًا عن طريق التعرف على الأنماط في مجموعة البيانات هذه، فإن البيانات المسمومة ستؤدي إلى تعطيل عملية التعلم، مما يؤدي إلى نموذج فاسد، على سبيل المثال، ربط الأنماط بالنتائج التي تم تسميتها بشكل خاطئ والتي تخدم غرض المهاجم، بدلاً من ذلك، كما يمكن للخصم تغيير سلوكه بحيث تكون البيانات التي تم جمعها في المقام الأول خاطئة.
قد يكون اكتشاف البيانات المسمومة من أجل إيقاف هجمات التسمم أمرًا صعبًا للغاية نظرًا لحجم مجموعات البيانات، حيث تحتوي مجموعات البيانات بشكل روتيني على ملايين العينات، تأتي هذه العينات في كثير من الأحيان من مصادر عامة وليس من جهود جمع خاصة، حتى في حالة جمع مجموعة البيانات بشكل خاص والتحقق منها، كما قد يخترق المهاجم النظام حيث يتم تخزين البيانات ويقدم عينات سامة، أو يسعى لإفساد العينات الصالحة.
تسمم الخوارزمية
هناك طريقة أخرى لتنفيذ هجوم تسمم تستفيد من نقاط الضعف في الخوارزميات المستخدمة لتعلم النموذج، يتجلى هذا التهديد بشكل خاص في (Federated Learning)، وهي خوارزمية جديدة للتعلم الآلي متطورة آخذة في الظهور، حيث ان التعلم المتحد هو طريقة لتدريب نماذج التعلم الآلي مع حماية خصوصية بيانات الفرد، بدلاً من الجمع المركزي للبيانات التي يحتمل أن تكون حساسة من مجموعة من المستخدمين ثم دمج بياناتهم في مجموعة بيانات واحدة، يقوم التعلم الموحد بدلاً من ذلك بتدريب مجموعة من النماذج الصغيرة مباشرةً على جهاز كل مستخدم، ثم يجمع هذه النماذج الصغيرة معًا لتشكيل النموذج النهائي، نظرًا لأن بيانات المستخدمين لا تترك أجهزتهم أبدًا، فإن خصوصيتهم محمية ويتم تهدئة مخاوفهم من أن الشركات قد تسيء استخدام بياناتهم بمجرد جمعها.
يُنظر إلى التعلم الموحد باعتباره حلاً رائدًا محتملاً لمشاكل السياسة العامة المعقدة المحيطة بخصوصية المستخدم وبياناته، حيث يتيح للشركات الاستمرار في تحليل بيانات المستخدم واستخدامها دون الحاجة إلى جمع تلك البيانات، ومع ذلك، هناك ضعف في خوارزمية التعلم الفيدرالي يجعلها عرضة لهجمات التسمم النموذجية، نظرًا لأن المهاجمين يتحكمون في بياناتهم الخاصة على أجهزتهم، فيمكنهم معالجة البيانات والخوارزمية التي تعمل على أجهزتهم من أجل إفساد النموذج، تم بالفعل إثبات الهجمات التي تثبت بابًا خلفيا معينًا في النماذج، وكذلك تلك التي تؤدي إلى تدهور النموذج بشكل عام.
نموذج التسمم الفاسد
السبيل الأخير لتسميم النموذج هو ببساطة استبدال النموذج الأصلي بنموذج فاسد، هذا أمر بسيط للقيام بهجوم إلكتروني تقليدي، بمجرد التدريب، يكون النموذج مجرد ملف يعيش داخل جهاز كمبيوتر، لا يختلف عن صورة أو مستند (PDF) يمكن للمهاجمين اختراق الأنظمة التي تحتوي على هذه النماذج، ثم تعديل ملف النموذج أو استبداله بالكامل بملف نموذج تالف، في هذا الصدد، حتى إذا تم تدريب النموذج بشكل صحيح باستخدام مجموعة بيانات تم التحقق منها بدقة ووجد أنها غير مسمومة، فلا يزال من الممكن استبدال هذا النموذج بنموذج مسموم في نقاط مختلفة في خط أنابيب التوزيع.
هجمات التسمم على التعلم الآلي
تمت دراسة كل من التعلم الآلي والتعلم العدائي على نطاق واسع، ومع ذلك، فإن مهاجمة نماذج التعلم الآلي العادلة قد حظيت باهتمام أقل، كما يمكن أن يستهدف إطار الهجوم الخاص نماذج التعلم الآلي العادلة المدربة على مجموعة متنوعة من مفاهيم الإنصاف الجماعية مثل التكافؤ الديموغرافي والاحتمالات المتساوية، عند القيام بتطوير ثلاث هجمات عبر الإنترنت وأخذ عينات معادية ووضع العلامات على الخصوم، وتعديل ميزة الخصومة.
وتنتج الهجمات الثلاثة بشكل فعال عينات تسمم عن طريق أخذ العينات أو وضع العلامات أو تعديل جزء صغير من بيانات التدريب لتقليل دقة الاختبار، كما يتيح إطار العمل للمهاجمين تعديل الهجوم بمرونة والتركيز على دقة التنبؤ أو الإنصاف وتحديد دقيق لتأثير كل نقطة مرشح لكل من فقدان الدقة وانتهاك العدالة، وبالتالي إنتاج عينات تسمم فعالة.
