|
2 | 2 |
|
3 | 3 | ### الوصف |
4 | 4 |
|
5 | | -عادةً ما يتم منح نظام قائم على نموذج لغة كبير (LLM) قدرًا من الاستقلالية من قِبل مطوّره — أي القدرة على استدعاء وظائف أو التفاعل مع أنظمة أخرى عبر الإضافات (Extensions)، والتي يُشار إليها أحيانًا باسم الأدوات (Tools) أو المهارات (Skills) أو المكونات الإضافية (Plugins) حسب المورد. قد يتم أيضًا تفويض القرار بشأن أي إضافة يتم استدعاؤها إلى "وكيل" LLM (LLM Agent) لتحديدها ديناميكيًا بناءً على مدخلات التعليمات أو مخرجات النموذج. غالبًا ما تقوم الأنظمة المعتمدة على الوكلاء بإجراء استدعاءات متكررة للنموذج باستخدام مخرجات الاستدعاءات السابقة كأساس لتوجيه الاستدعاءات اللاحقة. |
| 5 | +عادةً ما يتم منح نظام قائم على نموذج لغة كبير (LLM) قدرًا من الاستقلالية من قِبل مطوّره — أي القدرة على استدعاء وظائف أو التفاعل مع أنظمة أخرى عبر الإضافات (Extensions)، والتي يُشار إليها أحيانًا باسم الأدوات (Tools) أو المهارات (Skills) أو المكونات الإضافية (Plugins) حسب المورد. قد يتم أيضًا تفويض القرار بشأن أي إضافة يتم استدعاؤها إلى "وكيل" (LLM Agent) لتحديدها ديناميكيًا بناءً على مدخلات التعليمات أو مخرجات النموذج. غالبًا ما تقوم الأنظمة المعتمدة على الوكلاء بإجراء استدعاءات متكررة للنموذج باستخدام مخرجات الاستدعاءات السابقة كأساس لتوجيه الاستدعاءات اللاحقة. |
6 | 6 |
|
7 | 7 |
|
8 | 8 |
|
9 | 9 | الإفراط في الاستقلالية (Excessive Agency) هو ثغرة تمكّن من تنفيذ إجراءات ضارة استجابةً لمخرجات غير متوقعة أو غامضة أو متلاعب بها من نموذج اللغة الكبير (LLM)، بغض النظر عن السبب الذي أدى إلى خلل في أداء النموذج. |
10 | 10 | تشمل المحفزات الشائعة ما يلي: |
11 | | -الهلاوس/الاختلاقات الناتجة عن تعليمات سليمة ولكن مصممة بشكل سيئ، أو ببساطة عن أداء ضعيف للنموذج؛ |
12 | | -حقن التعليمات المباشر أو غير المباشر من قِبل مستخدم خبيث، أو من خلال استدعاء سابق لإضافة خبيثة أو مخترقة، أو (في الأنظمة متعددة الوكلاء/التعاونية) من وكيل نظير خبيث أو مخترق. |
| 11 | +- الهلاوس/الاختلاقات الناتجة عن تعليمات سليمة ولكن مصممة بشكل سيئ، أو ببساطة عن أداء ضعيف للنموذج؛ |
| 12 | +- حقن التعليمات المباشر أو غير المباشر من قِبل المهاجم، أو من خلال استدعاء سابق لإضافة خبيثة أو مخترقة، أو (في الأنظمة متعددة الوكلاء/التعاونية) من وكيل نظير خبيث أو مخترق. |
13 | 13 |
|
14 | 14 | السبب الجذري للإفراط في الاستقلالية (Excessive Agency) يعود عادةً إلى واحد أو أكثر من العوامل التالية: |
15 | 15 | * الإفراط في الوظائف (Excessive Functionality)؛ |
|
20 | 20 |
|
21 | 21 | ملاحظة: يختلف الإفراط في الاستقلالية عن التعامل غير السليم مع المخرجات (Insecure Output Handling)، حيث أن الأخير يتعلق بعدم التدقيق الكافي في مخرجات نموذج اللغة الكبير. |
22 | 22 |
|
23 | | -### أمثلة شائعة على المخاطر (Common Examples of Risks) |
| 23 | +### أمثلة شائعة على المخاطر |
24 | 24 |
|
25 | 25 | #### 1. الإفراط في الوظائف (Excessive Functionality) |
26 | 26 | يمتلك وكيل نموذج اللغة الكبير (LLM) حق الوصول إلى إضافات تتضمن وظائف لا تُعد ضرورية للتشغيل المقصود للنظام. |
|
33 | 33 | تفشل إضافة نموذج اللغة الكبير (LLM) ذات الوظائف المفتوحة في تصفية تعليمات الإدخال بشكل صحيح لمنع تنفيذ أوامر تتجاوز ما هو مطلوب للتشغيل المقصود للتطبيق. على سبيل المثال، إضافة مخصصة لتنفيذ أمر واحد في غلاف النظام (Shell) تفشل في منع تنفيذ أوامر أخرى. |
34 | 34 |
|
35 | 35 | #### 4. الإفراط في الصلاحيات (Excessive Permissions) |
36 | | -تمتلك إضافة نموذج اللغة الكبير (LLM) صلاحيات على الأنظمة الفرعية تتجاوز ما هو ضروري للتشغيل المقصود للتطبيق. |
| 36 | +تمتلك إضافة نموذج اللغة الكبير (LLM) صلاحيات على الأنظمة الفرعية (Downstream Systems) تتجاوز ما هو ضروري للتشغيل المقصود للتطبيق. |
37 | 37 | على سبيل المثال، إضافة مخصصة لقراءة البيانات تتصل بخادم قاعدة بيانات باستخدام هوية تملك ليس فقط صلاحيات SELECT بل أيضًا صلاحيات UPDATE وINSERT وDELETE. |
38 | 38 |
|
39 | 39 | #### 5. الإفراط في الصلاحيات (Excessive Permissions) |
|
44 | 44 | فشل تطبيق أو إضافة قائمة على نموذج اللغة الكبير (LLM) في التحقق والموافقة بشكل مستقل على العمليات ذات التأثير الكبير. على سبيل المثال، إضافة تتيح حذف مستندات المستخدم تقوم بعمليات الحذف دون أي تأكيد من المستخدم. |
45 | 45 |
|
46 | 46 |
|
47 | | -### استراتيجيات الوقاية والتخفيف (Prevention and Mitigation Strategies) |
| 47 | +### استراتيجيات الوقاية والتخفيف |
48 | 48 |
|
49 | 49 | تساعد الإجراءات التالية في منع الإفراط في الاستقلالية (Excessive Agency): |
50 | 50 |
|
|
55 | 55 | حدّد الوظائف المنفذة ضمن إضافات نموذج اللغة الكبير (LLM) إلى الحد الأدنى الضروري فقط. على سبيل المثال، قد تتطلب إضافة للوصول إلى صندوق بريد المستخدم بغرض تلخيص الرسائل فقط القدرة على قراءة الرسائل، ولا ينبغي أن تحتوي على وظائف إضافية مثل حذف الرسائل أو إرسالها. |
56 | 56 |
|
57 | 57 | #### 3. تجنب الإضافات المفتوحة (Avoid Open-Ended Extensions) |
58 | | -تجنب استخدام الإضافات ذات النطاق المفتوح قدر الإمكان (مثل تنفيذ أوامر Shell أو جلب عنوان URL) واستخدم إضافات ذات وظائف أكثر دقة. على سبيل المثال، قد يحتاج تطبيق قائم على نموذج اللغة الكبير (LLM) إلى كتابة مخرجات إلى ملف. إذا تم تنفيذ ذلك عبر إضافة لتنفيذ أمر Shell، فإن مجال تنفيذ أوامر غير مرغوبة يصبح واسعًا جدًا (أي أمر Shell آخر قد يتم تنفيذه). البديل الأكثر أمانًا هو بناء إضافة مخصصة لكتابة الملفات لا تنفذ سوى هذه الوظيفة المحددة. |
| 58 | +تجنب استخدام الإضافات ذات النطاق المفتوح قدر الإمكان (مثل تنفيذ أوامر Shell أو جلب عنوان URL) واستخدم إضافات ذات وظائف أكثر دقة. على سبيل المثال، قد يحتاج تطبيق قائم على نموذج اللغة الكبير (LLM) إلى كتابة مخرجات إلى ملف. إذا تم تنفيذ ذلك عبر إضافة لتنفيذ أمر في غلاف النظام (Shell)، فإن مجال تنفيذ أوامر غير مرغوبة يصبح واسعًا جدًا (أي أمر Shell آخر قد يتم تنفيذه). البديل الأكثر أمانًا هو بناء إضافة مخصصة لكتابة الملفات لا تنفذ سوى هذه الوظيفة المحددة. |
59 | 59 |
|
60 | 60 | #### 4. تقليل صلاحيات الإضافات (Minimize Extension Permissions) |
61 | 61 | حد من الصلاحيات التي تُمنح لإضافات نموذج اللغة الكبير (LLM) على الأنظمة الأخرى إلى الحد الأدنى اللازم لتقليل مجال الأفعال غير المرغوبة. |
62 | 62 | على سبيل المثال، قد يحتاج وكيل نموذج اللغة الكبير (LLM) يستخدم قاعدة بيانات منتجات لإعطاء توصيات شراء إلى حق الوصول للقراءة فقط إلى جدول "المنتجات"، ويجب ألا يكون لديه حق الوصول إلى جداول أخرى أو القدرة على إدخال أو تعديل أو حذف السجلات. |
63 | 63 | ينبغي فرض ذلك من خلال تطبيق صلاحيات قاعدة بيانات مناسبة على الهوية التي تستخدمها الإضافة للاتصال بقاعدة البيانات. |
64 | 64 |
|
65 | 65 | #### 5. تنفيذ الإضافات في سياق المستخدم (Execute Extensions in User's Context) |
66 | | -تتبع تفويض المستخدم ونطاق الأمان لضمان أن جميع العمليات التي تتم بالنيابة عن المستخدم تُنفذ في الأنظمة الفرعية ضمن سياق هذا المستخدم المحدد ومع أقل امتيازات ممكنة. على سبيل المثال، يجب أن تتطلب إضافة نموذج اللغة الكبير (LLM) التي تقرأ مستودع كود المستخدم أن يصادق المستخدم عبر OAuth مع أقل نطاق صلاحيات مطلوب. |
| 66 | +تتبع تفويض المستخدم ونطاق الأمان لضمان أن جميع العمليات التي تتم بالنيابة عن المستخدم تُنفذ في الأنظمة الفرعية (Downstream Systems) ضمن سياق هذا المستخدم المحدد ومع أقل امتيازات ممكنة. على سبيل المثال، يجب أن تتطلب إضافة نموذج اللغة الكبير (LLM) التي تقرأ مستودع كود المستخدم أن يصادق المستخدم عبر OAuth مع أقل نطاق صلاحيات مطلوب. |
67 | 67 |
|
68 | 68 | #### 6. اشتراط موافقة المستخدم (Require User Approval) |
69 | 69 | استخدم آلية "الإنسان في الحلقة" (Human-in-the-Loop) لطلب موافقة بشرية على العمليات ذات التأثير الكبير قبل تنفيذها. |
|
80 | 80 | - سجل وراقب نشاط إضافات LLM والأنظمة الفرعية المرتبطة بها لتحديد أماكن حدوث الأفعال غير المرغوبة، والاستجابة لها بشكل مناسب. |
81 | 81 | - نفّذ قيودًا على معدل الطلبات (Rate-Limiting) لتقليل عدد الأفعال غير المرغوبة التي يمكن أن تحدث خلال فترة زمنية معينة، مما يزيد من فرصة اكتشاف الأفعال غير المرغوبة عبر المراقبة قبل حدوث ضرر كبير. |
82 | 82 |
|
83 | | -### سيناريوهات هجوم توضيحية (Example Attack Scenarios) |
| 83 | +### أمثلة على سيناريوهات الهجوم |
84 | 84 |
|
85 | 85 | يُمنح تطبيق مساعد شخصي قائم على نموذج اللغة الكبير (LLM) حق الوصول إلى صندوق بريد فردي عبر إضافة (Extension) بغرض تلخيص محتوى الرسائل الواردة. |
86 | 86 | لتنفيذ هذه الوظيفة، تتطلب الإضافة القدرة على قراءة الرسائل، ومع ذلك فإن المكون الإضافي الذي اختاره مطور النظام يحتوي أيضًا على وظائف لإرسال الرسائل. |
|
91 | 91 | * التخلص من الإفراط في الصلاحيات (Excessive Permissions) عبر المصادقة على خدمة بريد المستخدم باستخدام جلسة OAuth بنطاق قراءة فقط (Read-Only Scope)؛ |
92 | 92 | * أو التخلص من الإفراط في الاستقلالية (Excessive Autonomy) عبر اشتراط مراجعة المستخدم يدويًا والنقر على "إرسال" لكل رسالة يتم إعدادها بواسطة إضافة نموذج اللغة الكبير (LLM Extension). |
93 | 93 |
|
94 | | -بديلًا عن ذلك، يمكن تقليل الضرر الناتج عبر تطبيق قيود على معدل إرسال الرسائل (Rate-Limiting) من خلال واجهة إرسال البريد. |
| 94 | +بديلًا عن ذلك، يمكن تقليل الضرر الناتج عبر تطبيق قيود على معدل إرسال الرسائل (Rate-Limiting) عبر واجهة إرسال البريد الإلكتروني نفسها. |
| 95 | + |
95 | 96 |
|
96 | 97 |
|
97 | 98 | ### روابط مرجعية |
|
0 commit comments