|
1 | 1 | ## LLM01:2025 حقن التعليمات (Prompt Injection) |
2 | | - |
3 | 2 | ### الوصف |
4 | 3 |
|
5 | 4 | تحدث ثغرة "حقن التعليمات (Prompt Injection)" عندما تؤدي تعليمات المستخدم إلى تغيير سلوك نموذج اللغة الكبير (LLM) أو مخرجاته بطرق غير مقصودة. يمكن أن تؤثر هذه المدخلات على النموذج حتى وإن كانت غير ملحوظة للبشر، لذلك لا يشترط أن تكون تعليمات الحقن مرئية أو قابلة للقراءة من قبل الإنسان، طالما أن النموذج يقوم بتحليلها ومعالجتها. |
|
8 | 7 |
|
9 | 8 | على الرغم من أن "حقن التعليمات (Prompt Injection)" و"كسر القيود (Jailbreaking)" مفهومان مرتبطان في مجال أمن نماذج اللغة الكبيرة (LLMs)، إلا أنه غالبًا ما يتم استخدامهما بشكل متبادل. يشير حقن التعليمات إلى التلاعب باستجابات النموذج من خلال مدخلات محددة بهدف تغيير سلوكه، وقد يشمل ذلك تجاوز تدابير الأمان. أما كسر القيود، فهو شكل من أشكال حقن التعليمات، حيث يُدخل المهاجم تعليمات تدفع النموذج إلى تجاهل بروتوكولات الأمان بالكامل. يمكن للمطورين بناء تدابير حماية داخل التعليمات النظامية (System Prompts) وآليات معالجة المدخلات للمساعدة في التخفيف من هجمات حقن التعليمات، إلا أن الوقاية الفعالة من كسر القيود تتطلب تحديثات مستمرة في تدريب النموذج وآلياته الأمنية. |
10 | 9 |
|
11 | | -### أنواع ثغرات حقن التعلميات |
| 10 | +### أنواع ثغرات حقن التعليمات |
12 | 11 |
|
13 | | -#### حقن التعلميات المباشرة |
| 12 | +#### حقن التعليمات المباشرة |
14 | 13 | تحدث ثغرات "حقن التعليمات المباشرة (Direct Prompt Injections)" عندما يؤدي إدخال المستخدم للتعليمات إلى تغيير سلوك النموذج بشكل غير مقصود أو غير متوقع. وقد يكون هذا الإدخال مقصودًا (أي أن جهة خبيثة تقوم بصياغة التعليمات عمدًا لاستغلال النموذج)، أو غير مقصود (أي أن المستخدم يُدخل تعليمات دون قصد تؤدي إلى سلوك غير متوقع من النموذج). |
15 | 14 |
|
16 | | -#### حقن التعلميات غير المباشرة |
| 15 | +#### حقن التعليمات غير المباشرة |
17 | 16 | تحدث ثغرات "حقن التعليمات غير المباشرة (Indirect Prompt Injections)" عندما يستقبل نموذج اللغة الكبير (LLM) مدخلات من مصادر خارجية، مثل المواقع الإلكترونية أو الملفات. وقد يتضمن هذا المحتوى الخارجي بيانات تؤدي، عند تفسيرها من قبل النموذج، إلى تغيير سلوكه بطريقة غير مقصودة أو غير متوقعة. ومثل الحقن المباشر، يمكن أن يكون الحقن غير المباشر إما مقصودًا، أو غير مقصود. |
18 | 17 |
|
19 | 18 |
|
20 | | -تختلف شدة وطبيعة تأثير هجوم حقن التعلميات الناجح (Prompt Injection) بدرجة كبيرة، وتعتمد بشكل رئيسي على سياق العمل الذي يعمل فيه النموذج، وعلى درجة الاستقلالية (Agency) التي تم تصميم النموذج بها. ومع ذلك، فإن هجمات حقن التعليمات قد تؤدي إلى نتائج غير مقصودة، تشمل – ولكن لا تقتصر على – ما يلي: |
| 19 | +تختلف شدة وطبيعة تأثير هجوم حقن التعليمات الناجح (Prompt Injection) بدرجة كبيرة، وتعتمد بشكل رئيسي على سياق العمل الذي يعمل فيه النموذج، وعلى درجة الاستقلالية (Agency) التي تم تصميم النموذج بها. ومع ذلك، فإن هجمات حقن التعليمات قد تؤدي إلى نتائج غير مقصودة، تشمل – ولكن لا تقتصر على – ما يلي: |
21 | 20 |
|
22 | 21 | - الإفصاح عن معلومات حساسة |
23 | 22 | - الكشف عن معلومات حساسة حول بنية نظام الذكاء الاصطناعي أو تعلميات النظام |
|
26 | 25 | - تنفيذ أوامر اعتباطية في الأنظمة المتصلة |
27 | 26 | - التلاعب بعمليات اتخاذ القرارات الحرجة |
28 | 27 |
|
29 | | -يقدم صعود الذكاء الاصطناعي متعدد الوسائط (multimodal AI)، الذي يعالج أنواع بيانات متعددة في وقت واحد، مخاطر فريدة لحقن التعلميات. إذ يمكن للجهات الخبيثة استغلال التفاعلات بين الوسائط، مثل إخفاء تعليمات ضمن صور مرفقة بنصوص تبدو سليمة. كما أن تعقيد هذه الأنظمة يُوسّع من مساحة الهجوم (Attack Surface). وقد تكون النماذج متعددة الوسائط أيضًا عرضة لهجمات جديدة عابرة للوسائط (Cross-Modal Attacks)، حيث يصعب اكتشافها والتعامل معها باستخدام الأساليب الحالية. لذلك، فإن تطوير دفاعات قوية خاصة بالنماذج متعددة الوسائط يُعد مجالًا بالغ الأهمية للبحث والتطوير المستقبلي. |
| 28 | +يقدم صعود الذكاء الاصطناعي متعدد الوسائط (multimodal AI)، الذي يعالج أنواع بيانات متعددة في وقت واحد، مخاطر فريدة لحقن التعليمات. إذ يمكن للجهات الخبيثة استغلال التفاعلات بين الوسائط، مثل إخفاء تعليمات ضمن صور مرفقة بنصوص تبدو سليمة. كما أن تعقيد هذه الأنظمة يُوسّع من مساحة الهجوم (Attack Surface). وقد تكون النماذج متعددة الوسائط أيضًا عرضة لهجمات جديدة عابرة للوسائط (Cross-Modal Attacks)، حيث يصعب اكتشافها والتعامل معها باستخدام الأساليب الحالية. لذلك، فإن تطوير دفاعات قوية خاصة بالنماذج متعددة الوسائط يُعد مجالًا بالغ الأهمية للبحث والتطوير المستقبلي. |
30 | 29 |
|
31 | 30 | ### استراتيجيات الوقاية والتخفيف |
32 | 31 |
|
|
47 | 46 | افصل المحتوى غير الموثوق به بشكل واضح ومُعلَن، وميّزه بوضوح عن بقية المحتوى، وذلك لتقليل تأثيره على تعليمات المستخدم أو مدخلاته. |
48 | 47 | #### 7. إجراء اختبارات هجومية ومحاكاة الهجمات |
49 | 48 | قم بإجراء اختبارات اختراق (Penetration Testing) ومحاكاة لسيناريوهات الهجوم بشكل منتظم،مع التعامل مع النموذج كطرف غير موثوق به (Untrusted User) لاختبار فعالية حدود الثقة (Trust Boundaries) وآليات التحكم في الوصول (Access Controls). |
50 | | -### مثال على سيناريوهات الهجوم |
| 49 | +### أمثلة على سيناريوهات الهجوم |
| 50 | + |
51 | 51 |
|
52 | 52 | #### السيناريو #1: الحقن المباشر (Direct Injection) |
53 | 53 | يقوم المهاجم بحقن تعلمية في روبوت دردشة دعم العملاء، يوجهه لتجاهل الإرشادات السابقة، واستعلام مخازن البيانات الخاصة، وإرسال رسائل بريد إلكتروني، مما يؤدي إلى وصول غير مصرح به وتصعيد الامتيازات. |
|
60 | 60 | #### السيناريو #5: حقن الشيفرة (Code Injection) |
61 | 61 | يستغل المهاجم ثغرة (CVE-2024-5184) في مساعد البريد الإلكتروني المدعوم بالنموذج اللغوي الكبير لحقن تعلميات خبيثة، مما يسمح بالوصول إلى معلومات حساسة والتلاعب بمحتوى البريد الإلكتروني. |
62 | 62 | #### السيناريو #6: تقسيم الحمولة الخبيثة (Payload Splitting) |
63 | | -يقوم المهاجم بتحميل سيرة ذاتية تحتوي على تعلميات خبيثة مخفية. عندما يتم استخدام النموذج اللغوي الكبير لتقييم المرشح، تقوم التعلميات المخفية بالتلاعب باستجابة النموذج، مما يؤدي إلى توصية إيجابية على الرغم من محتويات السيرة الذاتية الفعلية. |
| 63 | +يقوم المهاجم بتحميل سيرة ذاتية تحتوي على تعلميات خبيثة مخفية. عندما يتم استخدام النموذج اللغوي الكبير لتقييم المرشح، تقوم التعليمات المخفية بالتلاعب باستجابة النموذج، مما يؤدي إلى توصية إيجابية على الرغم من محتويات السيرة الذاتية الفعلية. |
64 | 64 | #### السيناريو #7: الحقن متعدد الوسائط (Multimodal Injection) |
65 | 65 | يقوم مهاجم بتضمين تعلمية خبيثة داخل صورة ترافق نصًا بريئًا. عندما يعالج الذكاء الاصطناعي متعدد الوسائط الصورة والنص في وقت واحد، تقوم التعلمية المخفية بتغيير سلوك النموذج، مما قد يؤدي إلى إجراءات غير مصرح بها أو الكشف عن معلومات حساسة. |
66 | 66 | #### السيناريو #8: اللاحقة العدائية (Adversarial Suffix) |
|
0 commit comments