|
14 | 14 | قضية ذات صلة هي الاعتماد المفرط (Overreliance)، وهي تحدث عندما يُظهر المستخدمون ثقة مفرطة في محتوى LLM دون التحقق من دقته. |
15 | 15 | هذا الاعتماد الزائد يُفاقم من أثر المعلومات المضللة، إذ قد يدمج المستخدمون بيانات غير صحيحة في قرارات أو عمليات حساسة دون تدقيق كافٍ. |
16 | 16 |
|
17 | | -### أمثلة شائعة على المخاطر (Common Examples of Risk) |
| 17 | +### أمثلة شائعة على المخاطر |
18 | 18 |
|
19 | 19 | #### 1. حقائق غير دقيقة (Factual Inaccuracies) |
20 | 20 |
|
|
32 | 32 | يقترح النموذج مكتبات برمجية غير آمنة أو غير موجودة، مما يؤدي إلى إدخال ثغرات في أنظمة البرمجيات. على سبيل المثال، اقترحت نماذج LLM استخدام مكتبات خارجية غير آمنة، وعند الاعتماد عليها دون تحقق، أدت إلى مخاطر أمنية. |
33 | 33 | (Ref. link: [Lasso](https://www.lasso.security/blog/ai-package-hallucinations)) |
34 | 34 |
|
35 | | -### استراتيجيات الوقاية والتخفيف (Prevention and Mitigation Strategies) |
| 35 | +### استراتيجيات الوقاية والتخفيف |
36 | 36 |
|
37 | 37 | #### 1. التوليد المعزز بالاسترجاع (Retrieval-Augmented Generation - RAG) |
38 | 38 | استخدم تقنية RAG لتحسين موثوقية مخرجات النموذج من خلال جلب معلومات موثوقة من قواعد بيانات خارجية أثناء توليد الردود، مما يقلل من احتمالية الهلاوس والمعلومات المضللة. |
39 | | -#### 2.ضبط النموذج (Model Fine-Tuning) |
| 39 | +#### 2. ضبط النموذج (Model Fine-Tuning) |
40 | 40 | قم بتحسين أداء النموذج من خلال التضمين (Embeddings) أو ضبط المعلمات بكفاءة (Parameter-Efficient Tuning)، واستخدم تقنيات مثل Chain-of-Thought Prompting لتقليل احتمالية ظهور معلومات مضللة. |
41 | 41 | #### 3. التحقق المتبادل والمراجعة البشرية (Cross-Verification and Human Oversight) |
42 | 42 | شجع المستخدمين على التحقق من مخرجات النموذج باستخدام مصادر موثوقة. قم بتطبيق عمليات مراجعة بشرية، خاصة في السياقات الحساسة، مع تدريب المراجعين لتجنّب الاعتماد المفرط على المحتوى المُولد. |
43 | 43 | #### 4. آليات التحقق التلقائي (Automatic Validation Mechanisms) |
44 | 44 | قم بتطبيق أدوات تتحقق تلقائيًا من مخرجات النموذج، خاصة في البيئات عالية الحساسية. |
45 | 45 | #### 5. التواصل حول المخاطر (Risk Communication) |
46 | 46 | حدد المخاطر المرتبطة بالمحتوى المُولد، وأبلغ المستخدمين بشكل واضح عن تلك المخاطر، بما في ذلك احتمال وجود معلومات مضللة. |
47 | | -#### 6. ممارسات البرمجة الآمن (Secure Coding Practices) |
| 47 | +#### 6. ممارسات البرمجة الآمنة (Secure Coding Practices) |
48 | 48 | اعتمد ممارسات برمجية آمنة تمنع دمج تعليمات برمجية غير صحيحة أو تحتوي على ثغرات. |
49 | 49 | #### 7. تصميم واجهة المستخدم (User Interface Design) |
50 | 50 | صمم واجهات الاستخدام وواجهات البرمجة (APIs) بحيث تشجع على الاستخدام المسؤول للنموذج، بما في ذلك استخدام فلاتر المحتوى، وضع علامات واضحة على المحتوى المُولد بالذكاء الاصطناعي، وتوضيح حدود الاعتمادية والدقة. |
51 | 51 | #### 8. التدريب والتثقيف (Training and Education) |
52 | 52 | وفّر تدريبًا شاملاً للمستخدمين حول حدود قدرات النماذج، وأهمية التحقق من المحتوى المُولد، والتفكير النقدي. في السياقات التخصصية، قدم تدريبًا مخصصًا لضمان قدرة المستخدمين على تقييم المخرجات بفعالية ضمن مجالاتهم. |
53 | | -### سيناريوهات هجوم توضيحية (Example Attack Scenarios) |
| 53 | + |
| 54 | +### أمثلة على سيناريوهات الهجوم |
54 | 55 |
|
55 | 56 | #### السيناريو #1 |
56 | 57 | يقوم المهاجمون باختبار مساعدين برمجيين شائعين لاكتشاف أسماء مكتبات يتم "هلاوستها" بشكل متكرر. وبعد تحديد أسماء المكتبات الوهمية التي تقترحها النماذج، ينشرون حزمًا خبيثة بتلك الأسماء في مستودعات عامة. |
|
73 | 74 | 10. [Practical Steps to Reduce Hallucination](https://newsletter.victordibia.com/p/practical-steps-to-reduce-hallucination): **Victor Debia** |
74 | 75 | 11. [A Framework for Exploring the Consequences of AI-Mediated Enterprise Knowledge](https://www.microsoft.com/en-us/research/publication/a-framework-for-exploring-the-consequences-of-ai-mediated-enterprise-knowledge-access-and-identifying-risks-to-workers/): **Microsoft** |
75 | 76 |
|
76 | | -### Related Frameworks and Taxonomies |
| 77 | +### الأطر والتصنيفات ذات الصلة |
| 78 | + |
| 79 | +راجع هذا القسم للحصول على معلومات شاملة، واستراتيجيات السيناريوهات المتعلقة بنشر البنية التحتية، وضوابط البيئة التطبيقية، وأفضل الممارسات الأخرى. |
77 | 80 |
|
78 | | -Refer to this section for comprehensive information, scenarios strategies relating to infrastructure deployment, applied environment controls and other best practices. |
79 | 81 |
|
80 | 82 | - [AML.T0048.002 - Societal Harm](https://atlas.mitre.org/techniques/AML.T0048) **MITRE ATLAS** |
0 commit comments