|
3 | 3 | ### الوصف |
4 | 4 |
|
5 | 5 | يشير مصطلح الاستهلاك غير المحدود (Unbounded Consumption) إلى العملية التي يقوم فيها نموذج اللغة الكبير (LLM) بتوليد مخرجات استنادًا إلى استعلامات أو مطالبات الإدخال. |
6 | | -تُعد الاستدلالات (Inference) وظيفة أساسية لنماذج LLM، حيث تتضمن تطبيق الأنماط والمعرفة المكتسبة لإنتاج استجابات أو تنبؤات ذات صلة. |
| 6 | +تُعد عملية الاستدلال (Inference) وظيفة أساسية لنماذج اللغة الكبيرة (LLMs)، حيث تتضمن تطبيق الأنماط والمعرفة المكتسبة لإنتاج استجابات أو تنبؤات ذات صلة. |
7 | 7 |
|
8 | 8 | تعتمد الهجمات المصممة لتعطيل الخدمة، أو استنزاف الموارد المالية للهدف، أو حتى سرقة الملكية الفكرية عن طريق استنساخ سلوك النموذج، على نوع شائع من الثغرات الأمنية لتحقيق النجاح. |
9 | 9 | يحدث الاستهلاك غير المحدود عندما يسمح تطبيق يعتمد على نموذج لغة كبير (LLM) للمستخدمين بإجراء استدلالات مفرطة وغير مضبوطة، مما يؤدي إلى مخاطر مثل حجب الخدمة (DoS)، والخسائر الاقتصادية، وسرقة النموذج، وتدهور الخدمة. |
10 | 10 | تجعل المتطلبات الحسابية العالية لنماذج LLM، خاصة في البيئات السحابية، هذه النماذج عرضة لاستغلال الموارد والاستخدام غير المصرح به. |
11 | 11 |
|
12 | | -### أمثلة شائعة على الثغرات (Common Examples of Vulnerability) |
| 12 | +### أمثلة شائعة على الثغرات |
13 | 13 |
|
14 | 14 | #### 1. إغراق الإدخال بطول متغير (Variable-Length Input Flood) |
15 | 15 | يمكن للمهاجمين تحميل نموذج اللغة الكبير (LLM) بعدد كبير من المدخلات ذات الأطوال المختلفة، مستغلين أوجه القصور في المعالجة. يمكن أن يؤدي ذلك إلى استنزاف الموارد وقد يتسبب في جعل النظام غير مستجيب، مما يؤثر بشكل كبير على توفر الخدمة. |
16 | 16 |
|
17 | | -#### 2. حجب المحفظة (Denial of Wallet - DoW) |
| 17 | +#### 2. استنزاف المحفظة (Denial of Wallet - DoW) |
18 | 18 | من خلال إطلاق حجم كبير من العمليات، يستغل المهاجمون نموذج التكلفة حسب الاستخدام لخدمات الذكاء الاصطناعي السحابية، مما يؤدي إلى أعباء مالية غير مستدامة على المزود ويهدد بإحداث خسائر مالية جسيمة. |
19 | 19 |
|
20 | 20 | #### 3. تدفق الإدخال المستمر (Continuous Input Overflow) |
|
32 | 32 | قد يستغل المهاجمون الخبيثون تقنيات تصفية المدخلات الخاصة بنموذج اللغة الكبير (LLM) لتنفيذ هجمات القنوات الجانبية (Side-Channel Attacks)، لجمع أوزان النموذج ومعلومات حول هيكليته. يمكن أن يؤدي ذلك إلى تعريض أمن النموذج للخطر وفتح المجال لمزيد من الاستغلال. |
33 | 33 |
|
34 | 34 |
|
35 | | -### استراتيجيات الوقاية والتخفيف (Prevention and Mitigation Strategies) |
| 35 | +### استراتيجيات الوقاية والتخفيف |
36 | 36 |
|
37 | 37 | #### 1. التحقق من المدخلات (Input Validation) |
38 | 38 | نفّذ عمليات تحقق صارمة من المدخلات لضمان عدم تجاوز المدخلات للحدود الحجمية المعقولة. |
|
42 | 42 | طبّق تحديد المعدل (Rate Limiting) وحصص المستخدمين لتقييد عدد الطلبات التي يمكن لكيان واحد إرسالها خلال فترة زمنية محددة. |
43 | 43 | #### 4. إدارة تخصيص الموارد (Resource Allocation Management) |
44 | 44 | راقب وادرس تخصيص الموارد بشكل ديناميكي لمنع أي مستخدم أو طلب واحد من استهلاك موارد مفرطة. |
45 | | -#### 5. تحديد المهلة وتخفيض السرعة (Timeouts and Throttling) |
46 | | -قم بتعيين مهلات (Timeouts) وتخفيض سرعة المعالجة (Throttling) للعمليات التي تستهلك موارد بكثافة لمنع الاستهلاك المطوّل للموارد. |
| 45 | +#### 5. تحديد المهلة وتقليل سرعة المعالجة (Timeouts and Throttling) |
| 46 | +قم بتعيين مهلات (Timeouts) وقلل سرعة المعالجة (Throttling) للعمليات التي تستهلك موارد بكثافة لمنع الاستهلاك المطوّل للموارد. |
47 | 47 | #### 6.تقنيات العزل (Sandbox Techniques) |
48 | 48 | قيّد وصول نموذج اللغة الكبير (LLM) إلى الموارد الشبكية، والخدمات الداخلية، وواجهات برمجة التطبيقات (APIs). |
49 | 49 | - يُعد ذلك بالغ الأهمية في جميع السيناريوهات الشائعة لأنه يشمل مخاطر وتهديدات من الداخل. علاوة على ذلك، فإنه يتحكم في مدى وصول تطبيق LLM إلى البيانات والموارد، ما يجعله آلية تحكم حاسمة للتخفيف من هجمات القنوات الجانبية أو منعها. |
|
61 | 61 | أنشئ قوائم بالرموز المعطوبة المعروفة وقم بفحص المخرجات قبل إضافتها إلى نافذة السياق للنموذج. |
62 | 62 | #### 13. ضوابط الوصول (Access Controls) |
63 | 63 | قم بتنفيذ ضوابط وصول قوية، بما في ذلك التحكم بالوصول المعتمد على الأدوار (RBAC) ومبدأ أقل امتياز (Least Privilege) للحد من الوصول غير المصرح به إلى مستودعات النماذج وبيئات التدريب. |
64 | | -#### 14. سجل مركزي للنماذج (Centralized ML Model Inventory) |
| 64 | +#### 14. مستودع مركزي لنماذج التعلّم الآلي (Centralized ML Model Inventory) |
65 | 65 | استخدم سجل مركزي أو مستودع نماذج (Model Registry) للنماذج المستخدمة في بيئة الإنتاج لضمان الحوكمة المناسبة والتحكم في الوصول. |
66 | 66 | #### 15. النشر الآلي لعمليات إدارة نماذج التعلم الآلي (Automated MLOps Deployment) |
67 | 67 | قم بتنفيذ نشر آلي لعمليات MLOps يتضمن الحوكمة، والتتبع، وتدفقات الموافقة (Approval Workflows) لتعزيز ضوابط الوصول والنشر داخل البنية التحتية. |
68 | 68 |
|
69 | 69 |
|
70 | | -### سيناريوهات هجوم توضيحية (Example Attack Scenarios) |
| 70 | +### أمثلة على سيناريوهات الهجوم |
71 | 71 |
|
72 | 72 | #### السيناريو #1: حجم إدخال غير منضبط (Uncontrolled Input Size) |
73 | 73 | يقوم مهاجم بإرسال إدخال كبير بشكل غير معتاد إلى تطبيق نموذج اللغة الكبير (LLM) يعالج بيانات نصية، مما يؤدي إلى استخدام مفرط للذاكرة وحمل زائد على وحدة المعالجة المركزية (CPU)، وقد يتسبب ذلك في تعطل النظام أو إبطاء الخدمة بشكل كبير. |
74 | 74 | #### السيناريو #2: الطلبات المتكررة (Repeated Requests) |
75 | 75 | يرسل المهاجم حجمًا كبيرًا من الطلبات إلى واجهة API الخاصة بـ LLM، مما يؤدي إلى استهلاك مفرط للموارد الحاسوبية ويجعل الخدمة غير متاحة للمستخدمين الشرعيين. |
76 | 76 | #### السيناريو #3: استعلامات كثيفة الموارد (Resource-Intensive Queries) |
77 | 77 | يصمم المهاجم مدخلات محددة مصممة لتفعيل أكثر العمليات استهلاكًا للموارد في نموذج LLM، مما يؤدي إلى استخدام مطوّل لوحدة المعالجة المركزية واحتمال تعطل النظام. |
78 | | -#### السيناريو #4: حجب المحفظة (Denial of Wallet - DoW) |
| 78 | +#### السيناريو #4: استنزاف المحفظة (Denial of Wallet - DoW) |
79 | 79 | يقوم المهاجم بإنشاء عمليات مفرطة لاستغلال نموذج الدفع مقابل الاستخدام لخدمات الذكاء الاصطناعي السحابية، مما يتسبب في تكاليف غير مستدامة لمزود الخدمة. |
80 | 80 | #### السيناريو #5: استنساخ النموذج الوظيفي (Functional Model Replication) |
81 | 81 | يستخدم المهاجم واجهة API الخاصة بنموذج اللغة الكبير (LLM) لتوليد بيانات تدريب اصطناعية ويقوم بضبط نموذج آخر، مما يؤدي إلى إنشاء نموذج مكافئ وظيفيًا ويتجاوز القيود التقليدية لاستخراج النماذج. |
|
96 | 96 | 10. [Sourcegraph Security Incident on API Limits Manipulation and DoS Attack](https://about.sourcegraph.com/blog/security-update-august-2023) **Sourcegraph** |
97 | 97 |
|
98 | 98 | ### الأطر والتصنيفات ذات الصلة |
99 | | -راجع هذا القسم للحصول على معلومات شاملة، استراتيجيات وسيناريوهات متعلقة بنشر البنية التحتية، ضوابط البيئة التطبيقية، وأفضل الممارسات الأخرى. |
100 | | - |
| 99 | +راجع هذا القسم للحصول على معلومات شاملة، واستراتيجيات السيناريوهات المتعلقة بنشر البنية التحتية، وضوابط البيئة التطبيقية، وأفضل الممارسات الأخرى. |
101 | 100 |
|
102 | 101 | - [MITRE CWE-400: Uncontrolled Resource Consumption](https://cwe.mitre.org/data/definitions/400.html) **MITRE Common Weakness Enumeration** |
103 | 102 | - [AML.TA0000 ML Model Access: Mitre ATLAS](https://atlas.mitre.org/tactics/AML.TA0000) & [AML.T0024 Exfiltration via ML Inference API](https://atlas.mitre.org/techniques/AML.T0024) **MITRE ATLAS** |
|
0 commit comments