تخيل محطة قطار مزدحمة. تراقب الكاميرات كل شيء ، من كيفية تنظيف المنصات إلى ما إذا كان خليج الإرساء فارغًا أو مشغولًا. تتغذى هذه الكاميرات على نظام الذكاء الاصطناعى الذي يساعد في إدارة عمليات المحطة ويرسل إشارات إلى القطارات الواردة ، مما يتيح لها معرفة متى يمكنهم الدخول إلى المحطة.
تعتمد جودة المعلومات التي يقدمها الذكاء الاصطناعي على جودة البيانات التي تتعلمها منها. إذا كان كل شيء يحدث كما ينبغي ، فإن الأنظمة الموجودة في المحطة ستوفر خدمة كافية.
ولكن إذا حاول شخص ما التدخل في هذه الأنظمة من خلال العبث ببيانات التدريب الخاصة به – سواء كانت البيانات الأولية المستخدمة لبناء النظام أو البيانات التي يجمعها النظام أثناء عملها لتحسين – يمكن أن تترتب عليها.
يمكن للمهاجم استخدام ليزر أحمر لخداع الكاميرات التي تحدد متى يأتي القطار. في كل مرة يومض فيها الليزر ، يصف النظام بشكل غير صحيح خليج الإرساء بأنه “مشغول” ، لأن الليزر يشبه ضوء الفرامل على القطار. قبل مضي وقت طويل ، قد يفسر الذكاء الاصطناعى هذا على أنه إشارة صالحة ويبدأ في الاستجابة وفقًا لذلك ، مما يؤدي إلى تأخير القطارات الواردة الأخرى على الأساس المنطقي الخاطئ الذي يتم احتلاله لجميع المسارات. يمكن أن يكون لهجوم مثل هذا يتعلق بحالة مسارات القطار عواقب وخيمة.
نحن علماء الكمبيوتر الذين يدرسون التعلم الآلي ، ونبحث في كيفية الدفاع عن هذا النوع من الهجوم.
تسمم البيانات أوضح
يُعرف هذا السيناريو ، حيث يتغذى المهاجمون عن عمد على بيانات خاطئة أو مضللة في نظام آلي ، باسم تسمم البيانات. بمرور الوقت ، تبدأ الذكاء الاصطناعي في تعلم الأنماط الخاطئة ، مما يؤدي إلى اتخاذ إجراءات بناءً على البيانات السيئة. هذا يمكن أن يؤدي إلى نتائج خطيرة.
في مثال محطة القطار ، لنفترض أن المهاجم المتطور يريد تعطيل وسائل النقل العام أثناء جمع المعلومات الاستخباراتية. لمدة 30 يومًا ، يستخدمون ليزر أحمر لخداع الكاميرات. تركت هذه الهجمات غير مكتشفة ، يمكن أن تفسد ببطء نظامًا بأكمله ، مما يفتح الطريق للحصول على نتائج أسوأ مثل هجمات الباب الخلفي في أنظمة آمنة ، وتسربات البيانات ، وحتى التجسس. في حين أن تسمم البيانات في البنية التحتية المادية أمر نادر الحدوث ، إلا أنه يشكل بالفعل مصدر قلق كبير في الأنظمة عبر الإنترنت ، وخاصة تلك التي تعمل بنماذج لغة كبيرة مدربة على وسائل التواصل الاجتماعي ومحتوى الويب.
جاء مثال مشهور على تسمم البيانات في مجال علوم الكمبيوتر في عام 2016 ، عندما ظهرت Microsoft لأول مرة في Chatbot المعروفة باسم Tay. في غضون ساعات من إصدارها العام ، بدأ المستخدمون الخبيثون عبر الإنترنت في تغذية روبوتات التعليقات غير لائقة. سرعان ما بدأ تاي ببغاء نفس المصطلحات غير المناسبة للمستخدمين على X (ثم Twitter) ، ورعب الملايين من المتفرجين. في غضون 24 ساعة ، قامت Microsoft بتعطيل الأداة وأصدرت اعتذارًا عامًا بعد فترة وجيزة.
يؤكد تسمم بيانات وسائل التواصل الاجتماعي لنموذج Microsoft Tay على المسافة الشاسعة التي تقع بين الذكاء الإنساني الاصطناعي والفعلي. كما يسلط الضوء على درجة تسمم البيانات التي يمكن أن تجعل التكنولوجيا أو تحطيمها والاستخدام المقصود لها.
قد لا يمكن الوقاية من تسمم البيانات بالكامل. ولكن هناك تدابير طبيعية يمكن أن تساعد في الحماية من ذلك ، مثل وضع حدود على حجم معالجة البيانات وتدفق مدخلات البيانات مقابل قائمة مرجعية صارمة للحفاظ على التحكم في عملية التدريب. الآليات التي يمكن أن تساعد في اكتشاف الهجمات السامة قبل أن تصبح قوية للغاية هي أيضا حاسمة للحد من آثارها.
القتال مع blockchain
في معمل الاستدامة والتحسين والتعلم لجامعة فلوريدا الدولية ، نعمل على الدفاع عن هجمات تسمم البيانات من خلال التركيز على الأساليب اللامركزية لبناء التكنولوجيا. تتيح أحد هذه الأساليب ، المعروفة باسم التعلم الموحد ، نماذج الذكاء الاصطناعى التعلم من مصادر البيانات اللامركزية دون جمع البيانات الأولية في مكان واحد. الأنظمة المركزية لها نقطة واحدة من ضعف الفشل ، ولكن لا يمكن إسقاط الأنظمة اللامركزية عن طريق هدف واحد.
يوفر التعلم الفدرالي طبقة قيمة من الحماية ، لأن البيانات المسممة من جهاز واحد لا تؤثر على الفور على النموذج ككل. ومع ذلك ، يمكن أن يحدث الضرر إذا كانت العملية التي يستخدمها النموذج لتجميع البيانات تعرض للخطر.
هذا هو المكان الذي يلعب فيه حل محتمل آخر أكثر شعبية – PlockChain. Blockchain هو دفتر رقمي مشترك لا يمكن تغييره لتسجيل المعاملات وتتبع الأصول. توفر blockchains سجلات آمنة وشفافة لكيفية مشاركة البيانات والتحديثات إلى نماذج الذكاء الاصطناعي والتحقق منها.
باستخدام آليات الإجماع الآلي ، يمكن أن أنظمة الذكاء الاصطناعي مع التدريب المحمي من blockchain يمكن التحقق من صحة التحديثات بشكل أكثر موثوقية وتساعد في تحديد أنواع الحالات الشاذة التي تشير في بعض الأحيان إلى تسمم البيانات قبل انتشارها.
يحتوي blockchains أيضًا على بنية مختومة زمنياً تتيح للممارسين تتبع المدخلات المسمومة مرة أخرى إلى أصولهم ، مما يجعل من السهل عكس الأضرار وتعزيز الدفاعات المستقبلية. blockchains قابلة للتشغيل أيضًا – بمعنى آخر ، يمكنهم “التحدث” مع بعضها البعض. هذا يعني أنه إذا اكتشفت إحدى الشبكات نمط بيانات مسموم ، فيمكنها إرسال تحذير للآخرين.
في Solid Lab ، قمنا ببناء أداة جديدة تستفيد من كل من التعلم الفدرالي و blockchain باعتباره بلوارك ضد التسمم بالبيانات. تأتي الحلول الأخرى من الباحثين الذين يستخدمون مرشحات مراكز التحرير لفحص البيانات قبل وصولها إلى عملية التدريب ، أو ببساطة تدريب أنظمة التعلم الآلي الخاصة بهم على أن تكون حساسة للغاية للهجمات الإلكترونية المحتملة.
في النهاية ، ستكون أنظمة الذكاء الاصطناعى التي تعتمد على البيانات من العالم الحقيقي معرضة دائمًا للتلاعب. سواء كان مؤشر الليزر الأحمر أو محتوى وسائل التواصل الاجتماعي المضللة ، فإن التهديد حقيقي. يمكن أن يساعد استخدام أدوات الدفاع مثل التعلم الفدرالي و blockchain الباحثين والمطورين على بناء أنظمة الذكاء الاصطناعى الأكثر مرونة والمساءلة التي يمكن أن تكتشف عندما يتم خداعهم وتنبيه مسؤولي النظام على التدخل.
M. Hadi Amini أستاذ مشارك في علوم الحوسبة والمعلومات في جامعة فلوريدا الدولية.
إرفين مور هو دكتوراه طالب في علوم الكمبيوتر في جامعة فلوريدا الدولية.
يتم إعادة نشر هذه المقالة من المحادثة بموجب ترخيص المشاع الإبداعي. اقرأ المقال الأصلي.
