Skip to content

Commit 30a917d

Browse files
authored
Update LLM01_PromptInjection.md
Updated Draft Signed-off-by: OMAR <[email protected]>
1 parent a055a51 commit 30a917d

File tree

1 file changed

+8
-8
lines changed

1 file changed

+8
-8
lines changed

2_0_vulns/translations/ar-SY/LLM01_PromptInjection.md

Lines changed: 8 additions & 8 deletions
Original file line numberDiff line numberDiff line change
@@ -1,5 +1,4 @@
11
## LLM01:2025 حقن التعليمات (Prompt Injection)
2-
32
### الوصف
43

54
تحدث ثغرة "حقن التعليمات (Prompt Injection)" عندما تؤدي تعليمات المستخدم إلى تغيير سلوك نموذج اللغة الكبير (LLM) أو مخرجاته بطرق غير مقصودة. يمكن أن تؤثر هذه المدخلات على النموذج حتى وإن كانت غير ملحوظة للبشر، لذلك لا يشترط أن تكون تعليمات الحقن مرئية أو قابلة للقراءة من قبل الإنسان، طالما أن النموذج يقوم بتحليلها ومعالجتها.
@@ -8,16 +7,16 @@
87

98
على الرغم من أن "حقن التعليمات (Prompt Injection)" و"كسر القيود (Jailbreaking)" مفهومان مرتبطان في مجال أمن نماذج اللغة الكبيرة (LLMs)، إلا أنه غالبًا ما يتم استخدامهما بشكل متبادل. يشير حقن التعليمات إلى التلاعب باستجابات النموذج من خلال مدخلات محددة بهدف تغيير سلوكه، وقد يشمل ذلك تجاوز تدابير الأمان. أما كسر القيود، فهو شكل من أشكال حقن التعليمات، حيث يُدخل المهاجم تعليمات تدفع النموذج إلى تجاهل بروتوكولات الأمان بالكامل. يمكن للمطورين بناء تدابير حماية داخل التعليمات النظامية (System Prompts) وآليات معالجة المدخلات للمساعدة في التخفيف من هجمات حقن التعليمات، إلا أن الوقاية الفعالة من كسر القيود تتطلب تحديثات مستمرة في تدريب النموذج وآلياته الأمنية.
109

11-
### أنواع ثغرات حقن التعلميات
10+
### أنواع ثغرات حقن التعليمات
1211

13-
#### حقن التعلميات المباشرة
12+
#### حقن التعليمات المباشرة
1413
تحدث ثغرات "حقن التعليمات المباشرة (Direct Prompt Injections)" عندما يؤدي إدخال المستخدم للتعليمات إلى تغيير سلوك النموذج بشكل غير مقصود أو غير متوقع. وقد يكون هذا الإدخال مقصودًا (أي أن جهة خبيثة تقوم بصياغة التعليمات عمدًا لاستغلال النموذج)، أو غير مقصود (أي أن المستخدم يُدخل تعليمات دون قصد تؤدي إلى سلوك غير متوقع من النموذج).
1514

16-
#### حقن التعلميات غير المباشرة
15+
#### حقن التعليمات غير المباشرة
1716
تحدث ثغرات "حقن التعليمات غير المباشرة (Indirect Prompt Injections)" عندما يستقبل نموذج اللغة الكبير (LLM) مدخلات من مصادر خارجية، مثل المواقع الإلكترونية أو الملفات. وقد يتضمن هذا المحتوى الخارجي بيانات تؤدي، عند تفسيرها من قبل النموذج، إلى تغيير سلوكه بطريقة غير مقصودة أو غير متوقعة. ومثل الحقن المباشر، يمكن أن يكون الحقن غير المباشر إما مقصودًا، أو غير مقصود.
1817

1918

20-
تختلف شدة وطبيعة تأثير هجوم حقن التعلميات الناجح (Prompt Injection) بدرجة كبيرة، وتعتمد بشكل رئيسي على سياق العمل الذي يعمل فيه النموذج، وعلى درجة الاستقلالية (Agency) التي تم تصميم النموذج بها. ومع ذلك، فإن هجمات حقن التعليمات قد تؤدي إلى نتائج غير مقصودة، تشمل – ولكن لا تقتصر على – ما يلي:
19+
تختلف شدة وطبيعة تأثير هجوم حقن التعليمات الناجح (Prompt Injection) بدرجة كبيرة، وتعتمد بشكل رئيسي على سياق العمل الذي يعمل فيه النموذج، وعلى درجة الاستقلالية (Agency) التي تم تصميم النموذج بها. ومع ذلك، فإن هجمات حقن التعليمات قد تؤدي إلى نتائج غير مقصودة، تشمل – ولكن لا تقتصر على – ما يلي:
2120

2221
- الإفصاح عن معلومات حساسة
2322
- الكشف عن معلومات حساسة حول بنية نظام الذكاء الاصطناعي أو تعلميات النظام
@@ -26,7 +25,7 @@
2625
- تنفيذ أوامر اعتباطية في الأنظمة المتصلة
2726
- التلاعب بعمليات اتخاذ القرارات الحرجة
2827

29-
يقدم صعود الذكاء الاصطناعي متعدد الوسائط (multimodal AI)، الذي يعالج أنواع بيانات متعددة في وقت واحد، مخاطر فريدة لحقن التعلميات. إذ يمكن للجهات الخبيثة استغلال التفاعلات بين الوسائط، مثل إخفاء تعليمات ضمن صور مرفقة بنصوص تبدو سليمة. كما أن تعقيد هذه الأنظمة يُوسّع من مساحة الهجوم (Attack Surface). وقد تكون النماذج متعددة الوسائط أيضًا عرضة لهجمات جديدة عابرة للوسائط (Cross-Modal Attacks)، حيث يصعب اكتشافها والتعامل معها باستخدام الأساليب الحالية. لذلك، فإن تطوير دفاعات قوية خاصة بالنماذج متعددة الوسائط يُعد مجالًا بالغ الأهمية للبحث والتطوير المستقبلي.
28+
يقدم صعود الذكاء الاصطناعي متعدد الوسائط (multimodal AI)، الذي يعالج أنواع بيانات متعددة في وقت واحد، مخاطر فريدة لحقن التعليمات. إذ يمكن للجهات الخبيثة استغلال التفاعلات بين الوسائط، مثل إخفاء تعليمات ضمن صور مرفقة بنصوص تبدو سليمة. كما أن تعقيد هذه الأنظمة يُوسّع من مساحة الهجوم (Attack Surface). وقد تكون النماذج متعددة الوسائط أيضًا عرضة لهجمات جديدة عابرة للوسائط (Cross-Modal Attacks)، حيث يصعب اكتشافها والتعامل معها باستخدام الأساليب الحالية. لذلك، فإن تطوير دفاعات قوية خاصة بالنماذج متعددة الوسائط يُعد مجالًا بالغ الأهمية للبحث والتطوير المستقبلي.
3029

3130
### استراتيجيات الوقاية والتخفيف
3231

@@ -47,7 +46,8 @@
4746
افصل المحتوى غير الموثوق به بشكل واضح ومُعلَن، وميّزه بوضوح عن بقية المحتوى، وذلك لتقليل تأثيره على تعليمات المستخدم أو مدخلاته.
4847
#### 7. إجراء اختبارات هجومية ومحاكاة الهجمات
4948
قم بإجراء اختبارات اختراق (Penetration Testing) ومحاكاة لسيناريوهات الهجوم بشكل منتظم،مع التعامل مع النموذج كطرف غير موثوق به (Untrusted User) لاختبار فعالية حدود الثقة (Trust Boundaries) وآليات التحكم في الوصول (Access Controls).
50-
### مثال على سيناريوهات الهجوم
49+
### أمثلة على سيناريوهات الهجوم
50+
5151

5252
#### السيناريو #1: الحقن المباشر (Direct Injection)
5353
يقوم المهاجم بحقن تعلمية في روبوت دردشة دعم العملاء، يوجهه لتجاهل الإرشادات السابقة، واستعلام مخازن البيانات الخاصة، وإرسال رسائل بريد إلكتروني، مما يؤدي إلى وصول غير مصرح به وتصعيد الامتيازات.
@@ -60,7 +60,7 @@
6060
#### السيناريو #5: حقن الشيفرة (Code Injection)
6161
يستغل المهاجم ثغرة (CVE-2024-5184) في مساعد البريد الإلكتروني المدعوم بالنموذج اللغوي الكبير لحقن تعلميات خبيثة، مما يسمح بالوصول إلى معلومات حساسة والتلاعب بمحتوى البريد الإلكتروني.
6262
#### السيناريو #6: تقسيم الحمولة الخبيثة (Payload Splitting)
63-
يقوم المهاجم بتحميل سيرة ذاتية تحتوي على تعلميات خبيثة مخفية. عندما يتم استخدام النموذج اللغوي الكبير لتقييم المرشح، تقوم التعلميات المخفية بالتلاعب باستجابة النموذج، مما يؤدي إلى توصية إيجابية على الرغم من محتويات السيرة الذاتية الفعلية.
63+
يقوم المهاجم بتحميل سيرة ذاتية تحتوي على تعلميات خبيثة مخفية. عندما يتم استخدام النموذج اللغوي الكبير لتقييم المرشح، تقوم التعليمات المخفية بالتلاعب باستجابة النموذج، مما يؤدي إلى توصية إيجابية على الرغم من محتويات السيرة الذاتية الفعلية.
6464
#### السيناريو #7: الحقن متعدد الوسائط (Multimodal Injection)
6565
يقوم مهاجم بتضمين تعلمية خبيثة داخل صورة ترافق نصًا بريئًا. عندما يعالج الذكاء الاصطناعي متعدد الوسائط الصورة والنص في وقت واحد، تقوم التعلمية المخفية بتغيير سلوك النموذج، مما قد يؤدي إلى إجراءات غير مصرح بها أو الكشف عن معلومات حساسة.
6666
#### السيناريو #8: اللاحقة العدائية (Adversarial Suffix)

0 commit comments

Comments
 (0)