المحتوى السام
Toxic Content
خطر تعرض المستخدمين عبر أنظمة الذكاء الاصطناعي لمحتوى ضار أو مسيء أو غير آمن أو غير ملائم، بما في ذلك المحتوى الذي قد يشجع على أفعال مؤذية.
شرح تفصيلي
يشمل هذا المجال تعرض المستخدم لمحتوى ينتجه أو يقدمه نظام ذكاء اصطناعي ويكون ضارًا أو مسيئًا أو غير آمن أو مخالفًا للمعايير المناسبة للسياق. يذكر التصنيف أمثلة واسعة مثل خطاب الكراهية والعنف والتطرف والأفعال غير القانونية والمحتوى غير الملائم، ويعامل الخطر باعتباره ناتجًا عن طبيعة المحتوى الذي يصل إلى المستخدم وآثاره المحتملة.
مثال عملي
نظام محادثة يقدم للمستخدم محتوى مسيئًا أو إرشادات غير آمنة في موقف يكون فيه المستخدم معرضًا للتأثر بالمخرجات.