مخاطر الذكاء الاصطناعي التوليدي والأمن السيبراني: أمن LLM

تتضمن هذه الدورة استخدام الذكاء الاصطناعي.

ما الذي ينتظركم: نحو 5 ساعات من الفيديو. خصصوا ساعة واحدة لتثبيت أدوات المختبر (Ollama ونموذج محلي)، ثم نحو 9 إلى 12 ساعة للمختبرات الأربعة عشر والتمارين المرتبطة بها. تعمل جميع المختبرات من ملف واحد على حاسوبكم مع نموذج Llama محلي مجاني يشغله Ollama، فلا حاجة إلى مفاتيح API ولا إلى حسابات مدفوعة. تبقى واجهة المختبر وأوامر الهجوم المكتوبة وردود النموذج باللغة الإنجليزية.

دخل الذكاء الاصطناعي التوليدي بيئات الإنتاج أسرع من ممارسات الأمن القادرة على حمايته. حقن الأوامر، وكسر القيود، وتسميم البيانات، واستغلال الهلوسة: هجمات على النماذج اللغوية الكبيرة لا تشبه ما اعتادته فرق الأمن. في هذه الدورة نتعلم فهم هذه الهجمات، وتنفيذها في بيئة آمنة، ثم بناء الدفاعات التي توقفها.

ترافقنا طوال الدورة شركة نموذجية افتراضية هي NovaStar AI بمنتجاتها الثلاثة: NovaAssist لخدمة العملاء، وNovaCode مساعد المطورين، وNovaComply أداة الوثائق التنظيمية. ومع كبير مسؤولي أمن المعلومات أليكس ريفيرا وفريقه نحلل كل حادث، ونعيد تنفيذ الهجوم في المختبر، ثم نطبق الضابط الذي كان سيمنعه.

على امتداد تسعة أجزاء:

• نرسم سطح الهجوم لتطبيقات LLM باستخدام قائمة OWASP Top 10 لتطبيقات LLM وإطار MITRE ATLAS
• ننفذ حقن الأوامر المباشر وغير المباشر وكسر القيود على نموذج محلي
• نعالج تسميم البيانات والتحيز وSSRF واستنزاف الموارد والهلوسة بوصفها تهديدات أمنية
• نبني الدفاع المتعمق: التحقق من المدخلات، وضوابط الحماية، وتصفية المخرجات، والعزل، والمراقبة
• ندمج الأمن في دورة حياة التطوير ونجري تمارين الفريق الأحمر
• نتناول قانون الذكاء الاصطناعي الأوروبي (AI Act) وNIST AI RMF وISO/IEC 42001 والتدقيق والملكية الفكرية
• نستعد لتهديدات الذكاء الاصطناعي الوكيلي ومواجهة الذكاء الاصطناعي بالذكاء الاصطناعي والحوسبة الكمية

ينتهي كل جزء باختبار قصير، وتختتم الدورة بتمرين كامل للفريق الأحمر يجمع كل ما تعلمتموه. وتخرجون بمنهجية عملية لتقييم أنظمة الذكاء الاصطناعي التوليدي في مؤسستكم ومهاجمتها وتأمينها. لا تغني الدورة عن الاستشارة القانونية في مسائل الامتثال.