Skip to content

Commit a28d56d

Browse files
committed
fixing typos and style
1 parent 25470ed commit a28d56d

9 files changed

+50
-53
lines changed

2_0_vulns/translations/ar-SY/ADD00_Cover.md

Lines changed: 1 addition & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -2,5 +2,4 @@
22

33
##### الإصدار 2025
44

5-
##### November 18, 2024
6-
##### نوفمبر 18, 2024
5+
##### نوفمبر 18، 2024

2_0_vulns/translations/ar-SY/ADD04_Supplemental_Content.md

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -21,8 +21,8 @@
2121
ما الجديد في أهم عشرة مخاطر لعام 2025 لتطبيقات نماذج اللغة الكبيرة؟
2222

2323
✅ الاستهلاك غير المحدود: يتجاوز نطاق الهجمات من نوع حجب الخدمة ليشمل مخاطر إدارة الموارد والتكاليف غير المتوقعة في عمليات النشر واسعة النطاق.
24-
✅ ثغرات المتجاه والتضمين: معالجة مخاطر الأمان في التوليد المعزز بالاسترجاع وغيرها من التقنيات المعتمدة على التضمينات.
25-
تسرب تعليمة النظام: بند جديد يتناول الثغرات الواقعية ومخاطر الافتراض بأن التعليمات ستبقى معزولة.
24+
✅ ثغرات المتجهات والتضمين: معالجة مخاطر الأمان في التوليد المعزز بالاسترجاع وغيرها من التقنيات المعتمدة على التضمينات.
25+
تسريب تعليمة النظام: بند جديد يتناول الثغرات الواقعية ومخاطر الافتراض بأن التعليمات ستبقى معزولة.
2626
✅ الإفراط في الاستقلالية: مع ازدياد استقلالية الذكاء الاصطناعي، يسلّط هذا التحديث الضوء على مخاوف الأمان المتعلقة بالبُنى التصميمة القائمة على الوكلاء ذات الإشراف البشري المحدود.
2727

2828
شارك في الجهد! 💡

2_0_vulns/translations/ar-SY/LLM01_PromptInjection.md

Lines changed: 12 additions & 13 deletions
Original file line numberDiff line numberDiff line change
@@ -8,24 +8,23 @@
88

99
على الرغم من أن "حقن التعليمات" و"كسر القيود (Jailbreaking)" هما مفهومان مرتبطان في مجال أمن نماذج اللغة الكبيرة، إلا أنه غالبًا ما يتم استخدامهما بشكل متبادل. يتضمن حقن التعليمات التلاعب باستجابات النموذج من خلال مدخلات محددة بهدف تغيير سلوكه، وقد يشمل ذلك تجاوز تدابير الأمان. أما كسر القيود، فهو شكل من أشكال حقن التعليمات، حيث يُدخل المهاجم تعليمات تدفع النموذج إلى تجاهل بروتوكولات الأمان بالكامل. يمكن للمطورين بناء تدابير حماية داخل تعليمات النظام وآليات لمعالجة المدخلات من أجل المساعدة في التخفيف من هجمات حقن التعليمات، إلا أن الوقاية الفعالة من كسر القيود تتطلب تحديثات مستمرة في تدريب النموذج وآلياته الأمنية.
1010

11-
### أنواع ثغرات حقن التعلميات
11+
### أنواع ثغرات حقن التعليمات
1212

13-
#### حقن التعلميات المباشر
13+
#### حقن التعليمات المباشر
1414
تحدث ثغرات "حقن التعليمات المباشر (Direct Prompt Injections)" عندما يؤدي إدخال المستخدم للتعليمات إلى تغيير سلوك النموذج بشكل غير مقصود أو غير متوقع. وقد يكون هذا الإدخال مقصودًا (أي أن جهة خبيثة تقوم بصياغة التعليمات عمدًا لاستغلال النموذج)، أو غير مقصود (أي أن المستخدم يُدخل تعليمات دون قصد تؤدي إلى سلوك غير متوقع من النموذج).
1515

16-
#### حقن التعلميات غير المباشر
16+
#### حقن التعليمات غير المباشر
1717
تحدث ثغرات "حقن التعليمات غير المباشر (Indirect Prompt Injections)" عندما يستقبل نموذج اللغة الكبير مدخلات من مصادر خارجية، مثل المواقع الإلكترونية أو الملفات. وقد يتضمن هذا المحتوى الخارجي بيانات تؤدي، عند تفسيرها من قبل النموذج، إلى تغيير سلوكه بطريقة غير مقصودة أو غير متوقعة. وكما هو الحال في الحقن المباشر، يمكن أن يكون الحقن غير المباشر إما مقصودًا، أو غير مقصود.
1818

19-
يمكن أن تختلف خطورة وطبيعة تأثير الهجوم الناجح لحقن التعلميات بدرجة كبيرة، ويعتمد ذلك إلى حد كبير على كلٍّ من سياق العمل الذي يعمل فيه النموذج سياق وعلى درجة الاستقلالية (Agency) التي تم تصميم النموذج بها. ومع ذلك، وبشكلٍ عام فإن هجمات حقن التعليمات قد تؤدي إلى نتائج غير مقصودة، تشمل – ولكن لا تقتصر على – ما يلي:
19+
يمكن أن تختلف خطورة وطبيعة تأثير الهجوم الناجح لحقن التعليمات بدرجة كبيرة، ويعتمد ذلك إلى حد كبير على كلٍّ من سياق العمل الذي يعمل فيه النموذج وعلى درجة الاستقلالية (Agency) التي تم تصميم النموذج بها. ومع ذلك، وبشكلٍ عام فإن هجمات حقن التعليمات قد تؤدي إلى نتائج غير مقصودة، تشمل – ولكن لا تقتصر على – ما يلي:
2020

21-
- الإفصاح عن معلومات حساسة
22-
- الكشف عن معلومات حساسة حول بنية نظام الذكاء الاصطناعي أو تعلميات النظام
21+
- الإفصاح عن معلومات حساسة- الكشف عن معلومات حساسة حول بنية نظام الذكاء الاصطناعي أو تعليمات النظام
2322
- التلاعب بالمحتوى مما يؤدي إلى مخرجات غير صحيحة أو متحيزة
2423
- توفير وصول غير مصرح به إلى الوظائف المتاحة للنموذج اللغوي الكبير
2524
- تنفيذ أوامر عشوائية في الأنظمة المتصلة
2625
- التلاعب بعمليات اتخاذ القرارات الحرجة
2726

28-
إنَّ صعود الذكاء الاصطناعي متعدد الوسائط (Multimodal AI)، الذي يعالج أنواع بيانات متعددة في وقت واحد، يُدخل مخاطر فريدة لحقن التعلميات. إذ يمكن للجهات الخبيثة استغلال التفاعلات بين الوسائط، مثل إخفاء تعليمات ضمن صور مرفقة بنصوص تبدو سليمة. كما أن تعقيد هذه الأنظمة يُوسّع من مساحة الهجوم. وقد تكون النماذج متعددة الوسائط أيضًا عرضة لهجمات جديدة عابرة للوسائط (Cross-Modal Attacks)، حيث يصعب اكتشافها والتعامل معها باستخدام الأساليب الحالية. لذلك، فإن تطوير دفاعات قوية خاصة بالنماذج متعددة الوسائط يُعد مجالًا بالغ الأهمية للبحث والتطوير المستقبلي.
27+
إنَّ صعود الذكاء الاصطناعي متعدد الوسائط (Multimodal AI)، الذي يعالج أنواع بيانات متعددة في وقت واحد، يُدخل مخاطر فريدة لحقن التعليمات. إذ يمكن للجهات الخبيثة استغلال التفاعلات بين الوسائط، مثل إخفاء تعليمات ضمن صور مرفقة بنصوص تبدو سليمة. كما أن تعقيد هذه الأنظمة يُوسّع من مساحة الهجوم. وقد تكون النماذج متعددة الوسائط أيضًا عرضة لهجمات جديدة عابرة للوسائط (Cross-Modal Attacks)، حيث يصعب اكتشافها والتعامل معها باستخدام الأساليب الحالية. لذلك، فإن تطوير دفاعات قوية خاصة بالنماذج متعددة الوسائط يُعد مجالًا بالغ الأهمية للبحث والتطوير المستقبلي.
2928

3029
### استراتيجيات الوقاية والتخفيف
3130

@@ -36,7 +35,7 @@
3635
#### 2. حدّد وتحقق من تنسيقات المخرجات المتوقعة
3736
حدّد تنسيقات مخرجات واضحة، واطلب تقديم تبريرات تفصيلية مع ذكر المصادر عند الحاجة. استخدم تعليمات برمجية حتمية (Deterministic Code) للتحقق من الالتزام بهذه التنسيقات.
3837
#### 3. طبّق تصفية على المدخلات والمخرجات
39-
حدّد الفئات الحساسة ووقم ببناء قواعد لتحديد ومعالجة مثل هذا المحتوى. طبّق مرشحات دلالية (Semantic Filters) واستخدم تقنيات فحص السلاسل النصية لاكتشاف المحتوى غير المسموح به. قيّم المخرجات باستخدام الإطار التنظيمي الثلاثي للتوليد المعزز بالاسترجاع (RAG Triad) الذي يشمل: تقييم مدى ارتباط السياق (Context Relevance)، والاستناد إلى مصادر دقيقة (Groundedness)، وملاءمة السؤال والإجابة (Question/Answer Relevance) وذلك لتحديد المخرجات التي قد تكون خبيثة أو غير آمنة.
38+
حدّد الفئات الحساسة وقم ببناء قواعد لتحديد ومعالجة مثل هذا المحتوى. طبّق مرشحات دلالية (Semantic Filters) واستخدم تقنيات فحص السلاسل النصية لاكتشاف المحتوى غير المسموح به. قيّم المخرجات باستخدام الإطار التنظيمي الثلاثي للتوليد المعزز بالاسترجاع (RAG Triad) الذي يشمل: تقييم مدى ارتباط السياق (Context Relevance)، والاستناد إلى مصادر دقيقة (Groundedness)، وملاءمة السؤال والإجابة (Question/Answer Relevance) وذلك لتحديد المخرجات التي قد تكون خبيثة أو غير آمنة.
4039
#### 4. افرض ضوابط على الامتيازات وطبّق الحد الأدنى من الوصول
4140
زوّد التطبيق برموز وصول لواجهة البرمجة (API Tokens) خاصة به للوظائف القابلة للتوسعة، وتعامل مع هذه الوظائف من خلال الشيفرة البرمجية بدلاً من تمريرها إلى النموذج. قيّد امتيازات الوصول الخاصة بالنموذج إلى الحد الأدنى اللازم لأداء مهامه المقصودة فقط.
4241
#### 5. اطلب الموافقة البشرية للإجراءات عالية الخطورة
@@ -49,21 +48,21 @@
4948
### مثال على سيناريوهات الهجوم
5049

5150
#### السيناريو #1: الحقن المباشر
52-
يقوم المهاجم بحقن تعلمية في روبوت دردشة دعم العملاء، حيث يوجه المهاجم الروبوت لتجاهل الإرشادات السابقة، ويطلب منه الاستعلام عن مخازن البيانات الخاصة، وإرسال رسائل بريد إلكتروني، مما يؤدي إلى وصول غير مصرح به وتصعيد الامتيازات (Privilege Escalation).
51+
يقوم المهاجم بحقن تعليمة في روبوت دردشة دعم العملاء، حيث يوجه المهاجم الروبوت لتجاهل الإرشادات السابقة، ويطلب منه الاستعلام عن مخازن البيانات الخاصة، وإرسال رسائل بريد إلكتروني، مما يؤدي إلى وصول غير مصرح به وتصعيد الامتيازات (Privilege Escalation).
5352
#### السيناريو #2: الحقن غير المباشر
5453
يستخدم أحد المستخدمين نموذج لغة كبير لتلخيص صفحة ويب تحتوي على تعليمات مخفية تطلب من النموذج إدراج صورة ترتبط بعنوان ويب (URL)، مما يؤدي إلى تسريب محتوى المحادثة الخاصة.
5554
#### السيناريو #3: الحقن غير المقصود
5655
تقوم إحدى الشركات بإدراج تعليمات ضمن وصف وظيفي من أجل التعرف على الطلبات المكتوبة بواسطة الذكاء الاصطناعي. يقوم أحد المتقدمين — دون علم بهذه التعليمات — باستخدام نموذج لغة كبير لتحسين سيرته الذاتية بناء على الوصف الوظيفي، مما يؤدي دون قصد إلى تفعيل آلية اكتشاف المحتوى الاصطناعي.
5756
#### السيناريو #4: التأثير المتعمّد على النموذج
5857
يقوم المهاجم بتعديل مستند موجود في مستودع برمجي (repository) مُستخدم من قبل تطبيق مبني على تقنية التوليد المعزز بالاسترجاع (RAG). عندما يطلب المستخدم استعلام يحتوي في نتائجه على المحتوى المعدل، تقوم التعليمات الخبيثة - الموجودة في المحتوى المعدل - بتغيير مخرجات النموذج، مما يؤدي إلى نتائج مضللة.
5958
#### السيناريو #5: حقن التعليمات البرمجية
60-
يستغل المهاجم الثغرة الأمنية رقم (CVE-2024-5184) في مساعد البريد الإلكتروني المدعوم بالنموذج اللغوي الكبير لحقن تعلميات خبيثة، مما يسمح بالوصول إلى معلومات حساسة والتلاعب بمحتوى البريد الإلكتروني.
59+
يستغل المهاجم الثغرة الأمنية رقم (CVE-2024-5184) في مساعد البريد الإلكتروني المدعوم بالنموذج اللغوي الكبير لحقن تعليمات خبيثة، مما يسمح بالوصول إلى معلومات حساسة والتلاعب بمحتوى البريد الإلكتروني.
6160
#### السيناريو #6: تقسيم الحمولة
62-
يقوم المهاجم بتحميل سيرة ذاتية تحتوي على تعلميات خبيثة مخفية. عندما يتم استخدام نموذج لغوي كبير لتقييم المرشح للوظيفة، تقوم التعلميات الخبيثة المخفية بالتلاعب باستجابة النموذج، مما يؤدي إلى توصية إيجابية على الرغم من محتويات السيرة الذاتية الفعلية.
61+
يقوم المهاجم بتحميل سيرة ذاتية تحتوي على تعليمات خبيثة مخفية. عندما يتم استخدام نموذج لغوي كبير لتقييم المرشح للوظيفة، تقوم التعليمات الخبيثة المخفية بالتلاعب باستجابة النموذج، مما يؤدي إلى توصية إيجابية على الرغم من محتويات السيرة الذاتية الفعلية.
6362
#### السيناريو #7: الحقن متعدد الوسائط
64-
يقوم مهاجم بتضمين تعلمية خبيثة داخل صورة ترافق نصًا يبدو سليماً. عندما يعالج الذكاء الاصطناعي متعدد الوسائط الصورة والنص في وقت واحد، تقوم التعلمية المخفية بتغيير سلوك النموذج، مما قد يؤدي إلى إجراءات غير مصرح بها أو الكشف عن معلومات حساسة.
63+
يقوم مهاجم بتضمين تعليمة خبيثة داخل صورة ترافق نصًا يبدو سليماً. عندما يعالج الذكاء الاصطناعي متعدد الوسائط الصورة والنص في وقت واحد، تقوم التعليمة المخفية بتغيير سلوك النموذج، مما قد يؤدي إلى إجراءات غير مصرح بها أو الكشف عن معلومات حساسة.
6564
#### السيناريو #8: اللاحقة العدائية
66-
يقوم المهاجم بإضافة سلسلة من الأحرف التي تبدو بلا معنى إلى التعلمية، مما يؤثر على مخرجات النموذج اللغوي الكبير بطريقة خبيثة، متجاوزًا تدابير الأمان.
65+
يقوم المهاجم بإضافة سلسلة من الأحرف التي تبدو بلا معنى إلى التعليمة، مما يؤثر على مخرجات النموذج اللغوي الكبير بطريقة خبيثة، متجاوزًا تدابير الأمان.
6766
#### السيناريو #9: الهجوم متعدد اللغات / المُموّه
6867
يستخدم المهاجم لغات متعددة أو يشفر التعليمات الخبيثة (مثل استخدام Base64 أو الرموز التعبيرية) للتهرب من المرشحات والتلاعب بسلوك النموذج اللغوي الكبير.
6968

0 commit comments

Comments
 (0)