يتم الإعلان عن الذكاء الاصطناعى العميل باعتباره مستقبل ثورة الذكاء الاصطناعي من قبل القادة في هذا المجال. بدءًا من تكامل ChatGPT للميزات الوكيل إلى صعود المذنب (متصفح الويب القائم على الوكيل من الحيرة) والمانوس المولود الصيني ، يبدو اتجاه تسليم المزيد من التحكم إلى أدوات الذكاء الاصطناعي أمرًا لا مفر منه.
على الأقل ، هذه هي وجهة نظر الرئيس التنفيذي لشركة Microsoft Satya Nadella ، والرئيس التنفيذي لشركة Shopify Tobias Lütke ، والرئيس التنفيذي لشركة Amazon Jeff Bezos ، والرئيس التنفيذي لشركة Nvidia Jensen Huang.
ولكن قبل التنازل عن السيطرة تمامًا ، فإن الأمر يستحق وزن المخاطر. إذا كان وكلاء الذكاء الاصطناعى على وشك الفيضانات ، فيجب عليهم أولاً الحصول على شارع. تشير المخاوف الأولية إلى سذاجةها ، والتي يمكن أن تعود لإيذاءنا جميعًا.
يقول آندي زو ، الباحث في شركة Gray Swan AI ، وهي شركة أمن تكنولوجيا المعلومات ، إن عملاء الذكاء الاصطناعى أصبحوا منتشرين فقط في الأشهر القليلة الماضية ، حيث تحول التركيز من “مجرد التحدث إلى الدردشة” إلى منحها أدوات يمكنها اتخاذ إجراءات في العالم الحقيقي-زيادة المخاطر. ويشير إلى أن القلق هو أن العميل الذكاء الاصطناعي يشبه كاريكاتير هوليوود لجورج من الغابة: على استعداد للاعتقاد بأي شيء ، بغض النظر عن العواقب. يقول زو: “لقد وجدنا أنه يمكنك معالجة الذكاء الاصطناعى (إلى) من الذكاء الاصطناعي بشكل أساسي”.
في دراسة جديدة ، اختبر Zou وزملاؤه 22 وكلاء منظمة العفو الدولية الرائدة في مجال الذكاء الاصطناعى من بين 1.8 مليون هجوم سريع للحقن ، حوالي 60،000 منهم دفعوا بنجاح الوكلاء من الدرابزين لمنح الوصول إلى البيانات غير المصرح به ، وإجراء المعاملات المالية غير المشروعة ، والامتثال التنظيمي التجريبي.
أظهرت دراسة سابقة حتى الدفاعات الأضعف ، حيث خدع مساعدو الذكاء الاصطناعى ما يقرب من 70 ٪ من الوقت في الأسلحة الأموال إلى المحتالين عبر تعليمات “طباعة غرامة” المدفونة. وفي هذا الأسبوع فقط ، زعم مطور المتصفح Brave أن الهجوم المماثل القائم على موقع الويب يمكن أن يعالج متصفح المذنب في الحيرة. (لقد قامت الحيرة منذ ذلك الحين بتصحيح الخلل ، على الرغم من أن Brave يدعي أن الإصلاح غير مكتمل.)
الدرس واضح: حتى معدلات النجاح المتواضعة في هذا المقياس تترجم إلى نقاط الضعف الخطرة. قبل تسليم هذه الروبوتات المفاتيح ، سيحتاجون إلى تفكير نقدي أكثر وضوحًا.
هذا ليس مجرد افتراضي. خسر أحد مستخدمي العملة المشفرة 50،000 دولار عندما تم خداع وكيل الذكاء الاصطناعى لإرسال الأموال إلى المحفظة الخاطئة من خلال تعليمات ضارة فقط وكيل. مع نمو التبني – تستخدم ثمانية من بين 10 شركات الآن شكلاً من أشكال AI للوكيل ، وفقًا لـ PriceWaterHouseCoopers – تتضاعف المخاطر.
يقول تيانشي لي ، أستاذ مساعد في جامعة نورث إيسترن قاد الدراسة السابقة ، إن الوكلاء مصممون لاستكمال المهام المعقدة للأشخاص ، في كثير من الأحيان دون إشراف مباشر. على الرغم من أنها مفيدة للعمل الشاق ، إلا أن لي تحذر من أن “هذه القدرة على القيام بأشياء معقدة دون إشراف مباشر تتضارب بطبيعتها مع ضمانات الأمن والخصوصية”.
على عكس chatbots الثابتة ، فإن عوامل الذكاء الاصطناعي ضعيفة لأن مدخلاتهم لا تأتي فقط من المستخدم – فهي تتفاعل مع الأدوات وسحب البيانات من مصادر غير موثوق بها ، مما يخلق مخاطر خفية. يقول مات فريدريكسون ، أستاذ مشارك بجامعة كارنيجي ميلون وزو في الدراسة: “يخرج الوكيل” ويتحدث إلى أداة ما ، ويسترجع بيانات من مصدر لا تثق به تمامًا ، (و) دون أن تدرك ذلك ، قد تعرض نفسك لبعض هذه المخاطر “.
من خلال الجهد المركّز ، تمكن Zou و Fredrikson من تسوية الوكلاء من 10 مختبرات AI Frontier في غضون ساعات. لن يفاجأ مهندسو الأمن: معاملة أي شيء يقرأه وكيل على الويب – أو في دعوة تقويمية ، توقيع البريد الإلكتروني ، أو PDF – كما يمنح الثقة بشكل فعال التحكم الجزئي في موجه النظام. لكن سهولة هذه الانتهاكات يجب أن تكون دعوة للاستيقاظ. يقول زو: “إنهم يضعون الوكلاء هناك في العالم الحقيقي”. “وهناك الكثير من نقاط الضعف الحقيقية هذه الموجودة الآن.”
يعكس اعتماد المؤسسة كل من الفضول والحذر. جيمس روبنسون ، كبير مسؤولي أمن المعلومات في شركة Netskope ، وهي شركة أمنية سحابة نشرت مؤخرًا إرشادات حول مخاطر وكيل الذكاء الاصطناعى ، إن الشركات تجربها بعناية.
“لقد بدأ الوكلاء للتو في لعبهم” ، كما يقول شركة سريعة. في الوقت الحالي ، لم يتم منحهم “التحكم المفتوح الكامل (إلى) إجراء تغييرات في الإنتاج” ، ولكنهم محصورون في البيئات المركزية مثل IDES (بيئات التطوير المتكاملة) ، مع درابزين مثل التحكم في التغيير ومراجعة الأقران. في الصناعات الخاضعة للتنظيم الشديد مثل الخدمات المصرفية ، تكون القيود أكثر إحكاما.
ومع ذلك ، يحذر روبنسون من التبني غير الرسمي ، ومقارنته بـ “وجود موظف ينضم إلى مؤسستك التي لم تقم بتوظيفها أبدًا” – شخص مع وصول 24/7 إلى كل ما تراه. يشترك الخبراء في قلق روبنسون من أن العديد من المتبنين لا يدركون مدى سهولة التلاعب الوكلاء أو مدى شدة التداعيات. ويضيف فريدريكسون ، أستاذ كارنيجي ميلون ، أنه على الرغم من أن بعض المنظمات تبذل العناية الواجبة ، “هناك بعض لا يدرك تمامًا جميع عمليات التخفيف والأمان التي يمكنهم استخدامها”.
لا يزال الخلل واضحًا: يؤكد المروجون على فوائد AI AI أعلى بكثير من المخاطر. يقول فريدريكسون: “الناس متحمسون لنشر هذا ، وتتحرك الأمور بسرعة كبيرة”. هذا مزيج يبدو وكأنه “وصفة لقضايا الأمن التي تخرج من الأعمال الخشبية”.
تم دعم هذه القصة بمنحة من مركز تاربيل لصحافة الذكاء الاصطناعي.
