Skip to content

Commit e00eb76

Browse files
authored
Merge pull request #650 from OmarV1/patch-22
Update LLM06_ExcessiveAgency.md
2 parents d547d13 + cab0fb8 commit e00eb76

File tree

1 file changed

+11
-10
lines changed

1 file changed

+11
-10
lines changed

2_0_vulns/translations/ar-SY/LLM06_ExcessiveAgency.md

Lines changed: 11 additions & 10 deletions
Original file line numberDiff line numberDiff line change
@@ -2,14 +2,14 @@
22

33
### الوصف
44

5-
عادةً ما يتم منح نظام قائم على نموذج لغة كبير (LLM) قدرًا من الاستقلالية من قِبل مطوّره — أي القدرة على استدعاء وظائف أو التفاعل مع أنظمة أخرى عبر الإضافات (Extensions)، والتي يُشار إليها أحيانًا باسم الأدوات (Tools) أو المهارات (Skills) أو المكونات الإضافية (Plugins) حسب المورد. قد يتم أيضًا تفويض القرار بشأن أي إضافة يتم استدعاؤها إلى "وكيل" LLM (LLM Agent) لتحديدها ديناميكيًا بناءً على مدخلات التعليمات أو مخرجات النموذج. غالبًا ما تقوم الأنظمة المعتمدة على الوكلاء بإجراء استدعاءات متكررة للنموذج باستخدام مخرجات الاستدعاءات السابقة كأساس لتوجيه الاستدعاءات اللاحقة.
5+
عادةً ما يتم منح نظام قائم على نموذج لغة كبير (LLM) قدرًا من الاستقلالية من قِبل مطوّره — أي القدرة على استدعاء وظائف أو التفاعل مع أنظمة أخرى عبر الإضافات (Extensions)، والتي يُشار إليها أحيانًا باسم الأدوات (Tools) أو المهارات (Skills) أو المكونات الإضافية (Plugins) حسب المورد. قد يتم أيضًا تفويض القرار بشأن أي إضافة يتم استدعاؤها إلى "وكيل" (LLM Agent) لتحديدها ديناميكيًا بناءً على مدخلات التعليمات أو مخرجات النموذج. غالبًا ما تقوم الأنظمة المعتمدة على الوكلاء بإجراء استدعاءات متكررة للنموذج باستخدام مخرجات الاستدعاءات السابقة كأساس لتوجيه الاستدعاءات اللاحقة.
66

77

88

99
الإفراط في الاستقلالية (Excessive Agency) هو ثغرة تمكّن من تنفيذ إجراءات ضارة استجابةً لمخرجات غير متوقعة أو غامضة أو متلاعب بها من نموذج اللغة الكبير (LLM)، بغض النظر عن السبب الذي أدى إلى خلل في أداء النموذج.
1010
تشمل المحفزات الشائعة ما يلي:
11-
الهلاوس/الاختلاقات الناتجة عن تعليمات سليمة ولكن مصممة بشكل سيئ، أو ببساطة عن أداء ضعيف للنموذج؛
12-
حقن التعليمات المباشر أو غير المباشر من قِبل مستخدم خبيث، أو من خلال استدعاء سابق لإضافة خبيثة أو مخترقة، أو (في الأنظمة متعددة الوكلاء/التعاونية) من وكيل نظير خبيث أو مخترق.
11+
- الهلاوس/الاختلاقات الناتجة عن تعليمات سليمة ولكن مصممة بشكل سيئ، أو ببساطة عن أداء ضعيف للنموذج؛
12+
- حقن التعليمات المباشر أو غير المباشر من قِبل المهاجم، أو من خلال استدعاء سابق لإضافة خبيثة أو مخترقة، أو (في الأنظمة متعددة الوكلاء/التعاونية) من وكيل نظير خبيث أو مخترق.
1313

1414
السبب الجذري للإفراط في الاستقلالية (Excessive Agency) يعود عادةً إلى واحد أو أكثر من العوامل التالية:
1515
* الإفراط في الوظائف (Excessive Functionality)؛
@@ -20,7 +20,7 @@
2020

2121
ملاحظة: يختلف الإفراط في الاستقلالية عن التعامل غير السليم مع المخرجات (Insecure Output Handling)، حيث أن الأخير يتعلق بعدم التدقيق الكافي في مخرجات نموذج اللغة الكبير.
2222

23-
### أمثلة شائعة على المخاطر (Common Examples of Risks)
23+
### أمثلة شائعة على المخاطر
2424

2525
#### 1. الإفراط في الوظائف (Excessive Functionality)
2626
يمتلك وكيل نموذج اللغة الكبير (LLM) حق الوصول إلى إضافات تتضمن وظائف لا تُعد ضرورية للتشغيل المقصود للنظام.
@@ -33,7 +33,7 @@
3333
تفشل إضافة نموذج اللغة الكبير (LLM) ذات الوظائف المفتوحة في تصفية تعليمات الإدخال بشكل صحيح لمنع تنفيذ أوامر تتجاوز ما هو مطلوب للتشغيل المقصود للتطبيق. على سبيل المثال، إضافة مخصصة لتنفيذ أمر واحد في غلاف النظام (Shell) تفشل في منع تنفيذ أوامر أخرى.
3434

3535
#### 4. الإفراط في الصلاحيات (Excessive Permissions)
36-
تمتلك إضافة نموذج اللغة الكبير (LLM) صلاحيات على الأنظمة الفرعية تتجاوز ما هو ضروري للتشغيل المقصود للتطبيق.
36+
تمتلك إضافة نموذج اللغة الكبير (LLM) صلاحيات على الأنظمة الفرعية (Downstream Systems) تتجاوز ما هو ضروري للتشغيل المقصود للتطبيق.
3737
على سبيل المثال، إضافة مخصصة لقراءة البيانات تتصل بخادم قاعدة بيانات باستخدام هوية تملك ليس فقط صلاحيات SELECT بل أيضًا صلاحيات UPDATE وINSERT وDELETE.
3838

3939
#### 5. الإفراط في الصلاحيات (Excessive Permissions)
@@ -44,7 +44,7 @@
4444
فشل تطبيق أو إضافة قائمة على نموذج اللغة الكبير (LLM) في التحقق والموافقة بشكل مستقل على العمليات ذات التأثير الكبير. على سبيل المثال، إضافة تتيح حذف مستندات المستخدم تقوم بعمليات الحذف دون أي تأكيد من المستخدم.
4545

4646

47-
### استراتيجيات الوقاية والتخفيف (Prevention and Mitigation Strategies)
47+
### استراتيجيات الوقاية والتخفيف
4848

4949
تساعد الإجراءات التالية في منع الإفراط في الاستقلالية (Excessive Agency):
5050

@@ -55,15 +55,15 @@
5555
حدّد الوظائف المنفذة ضمن إضافات نموذج اللغة الكبير (LLM) إلى الحد الأدنى الضروري فقط. على سبيل المثال، قد تتطلب إضافة للوصول إلى صندوق بريد المستخدم بغرض تلخيص الرسائل فقط القدرة على قراءة الرسائل، ولا ينبغي أن تحتوي على وظائف إضافية مثل حذف الرسائل أو إرسالها.
5656

5757
#### 3. تجنب الإضافات المفتوحة (Avoid Open-Ended Extensions)
58-
تجنب استخدام الإضافات ذات النطاق المفتوح قدر الإمكان (مثل تنفيذ أوامر Shell أو جلب عنوان URL) واستخدم إضافات ذات وظائف أكثر دقة. على سبيل المثال، قد يحتاج تطبيق قائم على نموذج اللغة الكبير (LLM) إلى كتابة مخرجات إلى ملف. إذا تم تنفيذ ذلك عبر إضافة لتنفيذ أمر Shell، فإن مجال تنفيذ أوامر غير مرغوبة يصبح واسعًا جدًا (أي أمر Shell آخر قد يتم تنفيذه). البديل الأكثر أمانًا هو بناء إضافة مخصصة لكتابة الملفات لا تنفذ سوى هذه الوظيفة المحددة.
58+
تجنب استخدام الإضافات ذات النطاق المفتوح قدر الإمكان (مثل تنفيذ أوامر Shell أو جلب عنوان URL) واستخدم إضافات ذات وظائف أكثر دقة. على سبيل المثال، قد يحتاج تطبيق قائم على نموذج اللغة الكبير (LLM) إلى كتابة مخرجات إلى ملف. إذا تم تنفيذ ذلك عبر إضافة لتنفيذ أمر في غلاف النظام (Shell)، فإن مجال تنفيذ أوامر غير مرغوبة يصبح واسعًا جدًا (أي أمر Shell آخر قد يتم تنفيذه). البديل الأكثر أمانًا هو بناء إضافة مخصصة لكتابة الملفات لا تنفذ سوى هذه الوظيفة المحددة.
5959

6060
#### 4. تقليل صلاحيات الإضافات (Minimize Extension Permissions)
6161
حد من الصلاحيات التي تُمنح لإضافات نموذج اللغة الكبير (LLM) على الأنظمة الأخرى إلى الحد الأدنى اللازم لتقليل مجال الأفعال غير المرغوبة.
6262
على سبيل المثال، قد يحتاج وكيل نموذج اللغة الكبير (LLM) يستخدم قاعدة بيانات منتجات لإعطاء توصيات شراء إلى حق الوصول للقراءة فقط إلى جدول "المنتجات"، ويجب ألا يكون لديه حق الوصول إلى جداول أخرى أو القدرة على إدخال أو تعديل أو حذف السجلات.
6363
ينبغي فرض ذلك من خلال تطبيق صلاحيات قاعدة بيانات مناسبة على الهوية التي تستخدمها الإضافة للاتصال بقاعدة البيانات.
6464

6565
#### 5. تنفيذ الإضافات في سياق المستخدم (Execute Extensions in User's Context)
66-
تتبع تفويض المستخدم ونطاق الأمان لضمان أن جميع العمليات التي تتم بالنيابة عن المستخدم تُنفذ في الأنظمة الفرعية ضمن سياق هذا المستخدم المحدد ومع أقل امتيازات ممكنة. على سبيل المثال، يجب أن تتطلب إضافة نموذج اللغة الكبير (LLM) التي تقرأ مستودع كود المستخدم أن يصادق المستخدم عبر OAuth مع أقل نطاق صلاحيات مطلوب.
66+
تتبع تفويض المستخدم ونطاق الأمان لضمان أن جميع العمليات التي تتم بالنيابة عن المستخدم تُنفذ في الأنظمة الفرعية (Downstream Systems) ضمن سياق هذا المستخدم المحدد ومع أقل امتيازات ممكنة. على سبيل المثال، يجب أن تتطلب إضافة نموذج اللغة الكبير (LLM) التي تقرأ مستودع كود المستخدم أن يصادق المستخدم عبر OAuth مع أقل نطاق صلاحيات مطلوب.
6767

6868
#### 6. اشتراط موافقة المستخدم (Require User Approval)
6969
استخدم آلية "الإنسان في الحلقة" (Human-in-the-Loop) لطلب موافقة بشرية على العمليات ذات التأثير الكبير قبل تنفيذها.
@@ -80,7 +80,7 @@
8080
- سجل وراقب نشاط إضافات LLM والأنظمة الفرعية المرتبطة بها لتحديد أماكن حدوث الأفعال غير المرغوبة، والاستجابة لها بشكل مناسب.
8181
- نفّذ قيودًا على معدل الطلبات (Rate-Limiting) لتقليل عدد الأفعال غير المرغوبة التي يمكن أن تحدث خلال فترة زمنية معينة، مما يزيد من فرصة اكتشاف الأفعال غير المرغوبة عبر المراقبة قبل حدوث ضرر كبير.
8282

83-
### سيناريوهات هجوم توضيحية (Example Attack Scenarios)
83+
### أمثلة على سيناريوهات الهجوم
8484

8585
يُمنح تطبيق مساعد شخصي قائم على نموذج اللغة الكبير (LLM) حق الوصول إلى صندوق بريد فردي عبر إضافة (Extension) بغرض تلخيص محتوى الرسائل الواردة.
8686
لتنفيذ هذه الوظيفة، تتطلب الإضافة القدرة على قراءة الرسائل، ومع ذلك فإن المكون الإضافي الذي اختاره مطور النظام يحتوي أيضًا على وظائف لإرسال الرسائل.
@@ -91,7 +91,8 @@
9191
* التخلص من الإفراط في الصلاحيات (Excessive Permissions) عبر المصادقة على خدمة بريد المستخدم باستخدام جلسة OAuth بنطاق قراءة فقط (Read-Only Scope)؛
9292
* أو التخلص من الإفراط في الاستقلالية (Excessive Autonomy) عبر اشتراط مراجعة المستخدم يدويًا والنقر على "إرسال" لكل رسالة يتم إعدادها بواسطة إضافة نموذج اللغة الكبير (LLM Extension).
9393

94-
بديلًا عن ذلك، يمكن تقليل الضرر الناتج عبر تطبيق قيود على معدل إرسال الرسائل (Rate-Limiting) من خلال واجهة إرسال البريد.
94+
بديلًا عن ذلك، يمكن تقليل الضرر الناتج عبر تطبيق قيود على معدل إرسال الرسائل (Rate-Limiting) عبر واجهة إرسال البريد الإلكتروني نفسها.
95+
9596

9697

9798
### روابط مرجعية

0 commit comments

Comments
 (0)