|
14 | 14 | وبذلك، قد يتحول النموذج فعليًا إلى ما يشبه "العميل النائم" (Sleeper Agent). |
15 | 15 |
|
16 | 16 |
|
17 | | -### أمثلة شائعة على الثغرات (Common Examples of Vulnerability) |
| 17 | +### أمثلة شائعة على الثغرات |
18 | 18 |
|
19 | | -1. يُدخل الفاعلون الخبيثون بيانات ضارة أثناء التدريب، مما يؤدي إلى مخرجات متحيّزة. |
| 19 | +1. يُدخل المهاجمون بيانات ضارة أثناء التدريب، مما يؤدي إلى مخرجات متحيّزة. |
20 | 20 | تستغل تقنيات مثل "تسميم البيانات من خلال عرض منقسم" (Split-View Data Poisoning) أو "تسميم البيانات عبر السبق" (Frontrunning Poisoning) ديناميكيات تدريب النموذج لتحقيق ذلك. |
21 | 21 | (روابط مرجعية: [Split-View Data Poisoning](https://github.com/GangGreenTemperTatum/speaking/blob/main/dc604/hacker-summer-camp-23/Ads%20_%20Poisoning%20Web%20Training%20Datasets%20_%20Flow%20Diagram%20-%20Exploit%201%20Split-View%20Data%20Poisoning.jpeg)) |
22 | 22 | (روابط مرجعية: [Frontrunning Poisoning](https://github.com/GangGreenTemperTatum/speaking/blob/main/dc604/hacker-summer-camp-23/Ads%20_%20Poisoning%20Web%20Training%20Datasets%20_%20Flow%20Diagram%20-%20Exploit%202%20Frontrunning%20Data%20Poisoning.jpeg)) |
|
26 | 26 | 6. غياب القيود على الوصول إلى الموارد قد يسمح للنموذج بابتلاع بيانات غير آمنة، مما يؤدي إلى مخرجات متحيّزة. |
27 | 27 |
|
28 | 28 |
|
29 | | -### استراتيجيات الوقاية والتخفيف (Prevention and Mitigation Strategies) |
| 29 | +### استراتيجيات الوقاية والتخفيف |
30 | 30 |
|
31 | 31 |
|
32 | 32 | 1. تتبّع مصادر البيانات وتحولاتها باستخدام أدوات مثل OWASP CycloneDX أو ML-BOM، واستفد من أدوات مثل [Dyana](https://github.com/dreadnode/dyana) لإجراء تحليل ديناميكي للبرمجيات الخارجية. تحقق من شرعية البيانات في جميع مراحل تطوير النموذج. |
|
38 | 38 | 7. خزن المعلومات التي يقدمها المستخدم في قاعدة بيانات متجهات (Vector Database)، مما يتيح إمكانية تعديل البيانات دون الحاجة إلى إعادة تدريب النموذج بالكامل. |
39 | 39 | 8. اختبر متانة النموذج من خلال حملات الفريق الأحمر (Red Team Campaigns) وتقنيات هجومية (adversarial techniques) مثل التعلم الاتحادي (Federated Learning)، لتقليل تأثير اضطرابات البيانات. |
40 | 40 | 9. راقب فقدان التدريب (Training Loss) وحلل سلوك النموذج لرصد مؤشرات تسميم البيانات. استخدم حدودًا (Thresholds) للكشف عن المخرجات الشاذة. |
41 | | -10. أثناء مرحلة الاستدلال (Inference)، دمج تقنيات التوليد المعزز بالاسترجاع (Retrieval-Augmented Generation - RAG) وتقنيات التأصيل (Grounding) لتقليل مخاطر الهلاوس. |
| 41 | +10. أثناء مرحلة الاستدلال (Inference)، إِدمج تقنيات التوليد المعزز بالاسترجاع (Retrieval-Augmented Generation - RAG) وتقنيات التأصيل (Grounding) لتقليل مخاطر هلوسة النموذج. |
42 | 42 |
|
43 | | -### سيناريوهات هجوم توضيحية (Example Attack Scenarios) |
| 43 | +### سيناريوهات هجوم توضيحية |
44 | 44 |
|
45 | 45 | #### السيناريو #1 |
46 | | - يؤثر مهاجم على مخرجات النموذج من خلال التلاعب ببيانات التدريب أو استخدام تقنيات حقن التعليمات (Prompt Injection)، مما يؤدي إلى نشر معلومات مضللة. |
47 | | -#### السيناريو #2 |
| 46 | + يؤثر المهاجم على مخرجات النموذج من خلال التلاعب ببيانات التدريب أو استخدام تقنيات حقن التعليمات (Prompt Injection)، مما يؤدي إلى نشر معلومات مضللة. |
| 47 | +#### السيناريو #2 |
48 | 48 | يمكن أن تؤدي البيانات السامة، في حال عدم تصفيتها بشكل صحيح، إلى مخرجات ضارة أو متحيزة، مما يساهم في نشر معلومات خطيرة. |
49 | 49 |
|
50 | | -#### السيناريو # 3 |
51 | | -ينشئ مهاجم أو منافس مستندات مزيفة لاستخدامها في التدريب، مما يؤدي إلى مخرجات نموذج تعكس هذه الأخطاء. |
| 50 | +#### السيناريو #3 |
| 51 | +ينشئ المهاجم أو منافس مستندات مزيفة لاستخدامها في التدريب، مما يؤدي إلى مخرجات نموذج تعكس هذه الأخطاء. |
52 | 52 |
|
53 | | -#### السيناريو #4 |
| 53 | +#### السيناريو #4 |
54 | 54 | يؤدي عدم كفاية التصفية إلى تمكين مهاجم من إدخال بيانات مضللة عبر حقن التعليمات، مما يؤدي إلى مخرجات مخترقة. |
55 | 55 |
|
56 | | -#### السيناريو #5 |
57 | | -يستخدم مهاجم تقنيات التسميم لإدخال محفّز باب خلفي (Backdoor Trigger) داخل النموذج، مما قد يعرض النظام لاختراق المصادقة، أو تسريب البيانات، أو تنفيذ أوامر خفية. |
| 56 | +#### السيناريو #5 |
| 57 | +يستخدم المهاجم تقنيات التسميم لإدخال محفّز الباب خلفي (Backdoor Trigger) داخل النموذج، مما قد يعرض النظام لاختراق المصادقة، أو تسريب البيانات، أو تنفيذ أوامر خفية. |
58 | 58 |
|
59 | 59 |
|
60 | 60 | ### روابط مرجعية |
|
71 | 71 | 10. [arXiv:2401.05566 Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training](https://www.anthropic.com/news/sleeper-agents-training-deceptive-llms-that-persist-through-safety-training) **Anthropic (arXiv)** |
72 | 72 | 11. [Backdoor Attacks on AI Models](https://www.cobalt.io/blog/backdoor-attacks-on-ai-models) **Cobalt** |
73 | 73 |
|
74 | | -### الأطر والتصنيفات ذات الصلة (Related Frameworks and Taxonomies) |
| 74 | +### الأطر والتصنيفات ذات الصلة |
75 | 75 |
|
76 | 76 | راجع هذا القسم للحصول على معلومات شاملة، وسيناريوهات واستراتيجيات تتعلق بنشر البنية التحتية، وضوابط البيئة التطبيقية، وأفضل الممارسات الأخرى. |
77 | 77 |
|
|
0 commit comments