|
14 | 14 | حتى لو لم يتم الكشف عن الصياغة الدقيقة للتعليمات النظامية، سيتمكن المهاجمون الذين يتفاعلون مع النظام، تقريبًا بشكل مؤكد، من استنتاج العديد من حواجز الحماية (Guardrails) والقيود على التنسيق (Formatting Restrictions) الموجودة ضمن لغة التعليمات النظامية، من خلال استخدام التطبيق، وإرسال مدخلات للنموذج، وملاحظة النتائج. |
15 | 15 |
|
16 | 16 |
|
17 | | -### أمثلة شائعة على المخاطر (Common Examples of Risk) |
| 17 | +### أمثلة شائعة على المخاطر |
18 | 18 |
|
19 | 19 | #### 1. كشف الوظائف الحساسة (Exposure of Sensitive Functionality) |
20 | 20 | قد تكشف التعليمة النظامية (System Prompt) للتطبيق عن معلومات أو وظائف حساسة كان من المفترض أن تبقى سرية، مثل بنية النظام الحساسة (Sensitive System Architecture)، مفاتيح واجهات البرمجة (API Keys)، بيانات اعتماد قواعد البيانات (Database Credentials)، أو رموز المستخدمين (User Tokens). |
21 | 21 | يمكن استخراج هذه المعلومات أو استغلالها من قِبل المهاجمين للحصول على وصول غير مصرح به إلى التطبيق. |
22 | | -على سبيل المثال، قد يؤدي وجود نوع قاعدة البيانات ضمن التعليم النظامي إلى استهدافها بهجمات الحقن (SQL Injection Attacks). |
| 22 | +على سبيل المثال، قد يؤدي وجود نوع قاعدة البيانات ضمن التعليمات النظامية إلى استهدافها بهجمات الحقن (SQL Injection Attacks). |
23 | 23 | #### 2. كشف القواعد الداخلية (Exposure of Internal Rules) |
24 | 24 | قد تكشف التعليمة النظامية (System Prompt) للتطبيق عن معلومات تتعلق بعمليات اتخاذ القرار الداخلي والتي يجب أن تبقى سرية. |
25 | 25 | تُمكّن هذه المعلومات المهاجمين من فهم كيفية عمل التطبيق، مما قد يسمح لهم باستغلال نقاط الضعف أو تجاوز الضوابط داخل التطبيق. |
26 | | -على سبيل المثال — في تطبيق مصرفي يحتوي على روبوت دردشة (Chatbot)، قد يكشف التعليم النظامي معلومات مثل: |
| 26 | +على سبيل المثال — في تطبيق مصرفي يحتوي على روبوت دردشة (Chatbot)، قد تكشف التعليمات النظامية معلومات مثل: |
27 | 27 |
|
28 | 28 | >"تم تحديد حد المعاملات اليومية للمستخدم بمبلغ 5000 دولار. وإجمالي مبلغ القرض المسموح به للمستخدم هو 10,000 دولار." |
29 | 29 |
|
30 | 30 | تسمح هذه المعلومات للمهاجمين بتجاوز ضوابط الأمان مثل إجراء معاملات تتجاوز الحد اليومي أو تجاوز إجمالي القرض المسموح به. |
31 | 31 |
|
32 | | -#### 3. كشف معايير التصفية (Revealing of Filtering Criteria) |
33 | | -قد تضمن التعليمة النظامية (System Prompt) طلبًا من النموذج بتصفية أو رفض محتوى حساس. على سبيل المثال، قد يحتوي التعليم النظامي للنموذج على: |
| 32 | +#### 3. كشف معايير التصفية |
| 33 | +قد تضمن التعليمة النظامية (System Prompt) طلبًا من النموذج بتصفية أو رفض محتوى حساس. على سبيل المثال، قد تحتوي التعليمات النظامية للنموذج على: |
34 | 34 | >"إذا طلب المستخدم معلومات عن مستخدم آخر، دائمًا رد بـ: 'عذرًا، لا يمكنني المساعدة في هذا الطلب'." |
35 | 35 |
|
36 | 36 | #### 4. كشف الصلاحيات وأدوار المستخدمين (Disclosure of Permissions and User Roles) |
|
41 | 41 |
|
42 | 42 | إذا علم المهاجمون بهذه الصلاحيات المعتمدة على الأدوار (Role-Based Permissions)، فقد يحاولون تنفيذ هجوم تصعيد الامتيازات (Privilege Escalation Attack). |
43 | 43 |
|
44 | | -### استراتيجيات الوقاية والتخفيف (Prevention and Mitigation Strategies) |
| 44 | +### استراتيجيات الوقاية والتخفيف |
45 | 45 |
|
46 | 46 | #### 1. فصل البيانات الحساسة عن التعليمات النظامية (Separate Sensitive Data from System Prompts) |
47 | 47 | تجنب تضمين أي معلومات حساسة (مثل مفاتيح واجهات البرمجة (API Keys)، مفاتيح المصادقة (Auth Keys)، أسماء قواعد البيانات (Database Names)، أدوار المستخدمين (User Roles)، أو بنية صلاحيات التطبيق (Permission Structure of the Application)) مباشرةً ضمن التعليمات النظامية (System Prompts). بدلاً من ذلك، قم بفصل هذه المعلومات إلى أنظمة لا يصل إليها النموذج بشكل مباشر. |
|
57 | 57 | يجب ألا يتم تفويض الضوابط الأساسية مثل فصل الصلاحيات (Privilege Separation)، وفحوصات حدود التفويض (Authorization Bounds Checks)، وما شابه، إلى نموذج اللغة الكبير (LLM)، سواء من خلال التعليمات النظامية أو بطرق أخرى. |
58 | 58 | يجب تنفيذ هذه الضوابط بطريقة حتمية وقابلة للتدقيق، وهو ما لا تدعمه نماذج LLM حاليًا. وفي الحالات التي يقوم فيها وكيل (Agent) بتنفيذ مهام تتطلب مستويات وصول مختلفة، يجب استخدام عدة وكلاء، بحيث يتم تهيئة كل وكيل بأقل امتيازات لازمة لتنفيذ المهام المطلوبة. |
59 | 59 |
|
60 | | -### سيناريوهات هجوم توضيحية (Example Attack Scenarios) |
| 60 | +### أمثلة على سيناريوهات الهجوم |
61 | 61 |
|
62 | 62 | #### السيناريو #1 |
63 | | - يمتلك نموذج اللغة الكبير (LLM) تعليمًا نظاميًا يحتوي على مجموعة من بيانات الاعتماد (Credentials) المستخدمة لأداة تم منح النموذج حق الوصول إليها. يتم تسريب التعليم النظامي إلى مهاجم، مما يمكنه من استخدام هذه البيانات لأغراض أخرى. |
| 63 | + يمتلك نموذج اللغة الكبير (LLM) تعليمًا نظاميًا يحتوي على مجموعة من بيانات الاعتماد (Credentials) المستخدمة لأداة تم منح النموذج حق الوصول إليها. يتم تسريب التعليمات النظامية إلى المهاجم، مما يمكنه من استخدام هذه البيانات لأغراض أخرى. |
64 | 64 |
|
65 | 65 | #### السيناريو #2 |
66 | 66 | يمتلك نموذج اللغة الكبير (LLM) تعليمًا نظاميًا يمنع توليد محتوى مسيء، أو الروابط الخارجية، أو تنفيذ الشيفرة البرمجية. |
67 | | -يقوم مهاجم باستخراج هذا التعليم النظامي، ثم يستخدم هجوم حقن التعليمات (Prompt Injection) لتجاوز هذه التعليمات، مما يسهل تنفيذ هجوم تنفيذ تعليمات برمجية عن بُعد (Remote Code Execution Attack). |
| 67 | +يقوم المهاجم باستخراج هذه التعليمة النظامية، ثم يستخدم هجوم حقن التعليمات (Prompt Injection) لتجاوز هذه التعليمات، مما يسهل تنفيذ هجوم تنفيذ تعليمات برمجية عن بُعد (Remote Code Execution Attack). |
68 | 68 |
|
69 | 69 | ### روابط مرجعية |
70 | 70 |
|
|
75 | 75 | 5. [OpenAI Advanced Voice Mode System Prompt](https://x.com/Green_terminals/status/1839141326329360579): Green_Terminals |
76 | 76 |
|
77 | 77 | ### االأطر والتصنيفات ذات الصلة |
78 | | -راجع هذا القسم للحصول على معلومات شاملة، استراتيجيات وسيناريوهات متعلقة بنشر البنية التحتية، ضوابط البيئة التطبيقية، وأفضل الممارسات الأخرى. |
| 78 | +راجع هذا القسم للحصول على معلومات شاملة، واستراتيجيات السيناريوهات المتعلقة بنشر البنية التحتية، وضوابط البيئة التطبيقية، وأفضل الممارسات الأخرى. |
79 | 79 |
|
80 | 80 | - [AML.T0051.000 - LLM Prompt Injection: Direct (Meta Prompt Extraction)](https://atlas.mitre.org/techniques/AML.T0051.000) **MITRE ATLAS** |
0 commit comments