مقاييس حوكمة الذكاء الاصطناعي ومخاطره
يحتاج استخدام الذكاء الاصطناعي إلى الانضباط نفسه لأي تغيير في خدمة حية: اعرف أين هو ومن يملكه وما مدى خطورته وكيف يُختبر ويتغير وماذا يحدث حين يسوء، مع إشراف يستطيع الناس ممارسته فعلًا.
الملخص والدافع
يصل الذكاء الاصطناعي إلى المنظمة من أبواب كثيرة. يتبنى فريق مساعد برمجة. ويضيف مورد ميزة توليدية إلى منتج مستخدم أصلًا. ويلصق موظف مستندًا في أداة عامة. وتبني إدارة نموذجًا لتسجيل الطلبات. وكل منها استخدام للذكاء الاصطناعي بفوائده ومخاطره، وقليل منها مرئي في مكان واحد. والحوكمة مجموعة البنى والسياسات والممارسات التي تجعل تلك الاستخدامات معروفة ومساءلة وآمنة بما يكفي. وتخبرك قياسات المخاطر هل تعمل الحوكمة.
لدى ITIL اللبنات: حوكمة نظام قيمة الخدمة وإدارة المخاطر وتمكين التغيير وإدارة أمن المعلومات وإدارة الموردين والتحسين المستمر. وتقدم طرق عمل أجايل وDevOps عادة التغيير الصغير المضبوط القابل للعكس وفحوصًا آلية في خط الإنتاج. ولا تحتاج حوكمة الذكاء الاصطناعي عالمًا منفصلًا. تحتاج هذه الممارسات مطبقة على أشياء تتصرف بشكل مختلف عن البرمجيات التقليدية.
ما المختلف في الذكاء الاصطناعي؟
- السلوك إحصائي وقد يتغير دون تغيير في الشيفرة. قد يتصرف نموذج بشكل مختلف بعد تحديث من المورد أو تغير في مدخلاته أو تغير في المطالبة. وقد تنجرف البيانات التي يراها في الإنتاج عن البيانات التي اختُبر عليها، ظاهرة تعرف في التعلم الآلي بالانجراف. ويمكن لنظام أن يتدهور بهدوء.
- المخرجات ليست متوقعة تمامًا. لا يستطيع الاختبار تغطية كل مدخل، فالتقييم بأخذ العينات وباختبارات موجهة لا بالبرهان. وقد تفشل الأنظمة بطرق لم يتوقعها بناتها.
- قد تكون الأضرار منتشرة وغير متساوية. التحيز الخوارزمي خطأ منهجي يؤدي إلى نتائج غير عادلة لبعض المجموعات. وقد ينشأ من البيانات أو التصميم أو الاستخدام، وقد لا يظهر في أرقام الدقة الإجمالية.
- تظهر أسطح هجوم جديدة. حقن المطالبات هجوم تتلاعب فيه تعليمات مخفية في بيانات المدخلات بنموذج لغوي ليسلك سلوكًا غير مقصود. ويمكن استدراج النماذج إلى كشف بيانات أو اتخاذ إجراءات لم يقصدها أصحابها.
- الاعتماد على الموردين عميق. تأتي قدرات ذكاء اصطناعي كثيرة من مزودين خارجيين، برؤية محدودة لكيفية بنائها أو تغييرها. وقياسات الموردين أهم (انظر الموضوع 8.4، مقاييس الموردين والعقود).
- القواعد ناشئة وتختلف بحسب المكان. تتطور القوانين والمعايير والإرشادات المتعلقة بالذكاء الاصطناعي بسرعة. ويتبع قانون الذكاء الاصطناعي للاتحاد الأوروبي نهجًا قائمًا على المخاطر بالتزامات تسري على مراحل، وتسلك ولايات قضائية أخرى مسارات مختلفة. وتقدم معايير مثل ISO/IEC 42001 لأنظمة إدارة الذكاء الاصطناعي وإطار إدارة مخاطر الذكاء الاصطناعي من NIST بنى. والعبارات عن قواعد بعينها في هذا الموضوع مؤرخة حتى أكتوبر 2026 وينبغي إعادة التحقق منها، وينبغي أن يوجّه التزاماتك مشورة قانونية. ويوصف المجال الأوسع بأشكال مختلفة بأنه الذكاء الاصطناعي المسؤول أو الذكاء الاصطناعي الجدير بالثقة، وسؤال كيف ينبغي أن يعامل القانون الذكاء الاصطناعي موضوع تنظيم الذكاء الاصطناعي.
وقد تفشل الحوكمة بطريقتين متعاكستين. فقد تكون ثقيلة حتى تتجنبها الفرق، ويذهب استخدام الذكاء الاصطناعي إلى الخفاء بوصفه تقنية معلومات خفية. أو قد تكون تمرينًا ورقيًا، بسياسة وسجل لا يعكسان الممارسة. وتوحي غايات أجايل بالطريق الوسط: إشراك مستمر لأصحاب المصلحة في وضع القواعد، وموافقات صغيرة سريعة للاستخدامات منخفضة الخطر، وتمحيص أعمق حيث الضرر ممكن، وتحسين مستمر للضوابط مع نمو الخبرة. والناس المتحمسون بحدود واضحة، المؤتمنون على استخدام الحكم داخلها، سيبلّغون عن المشكلات. والذين يخافون العقاب لن يفعلوا.
وضابط الحماية المستمد من قانون غودهارت ينطبق على قياسات الحوكمة: حين تكون "نسبة استخدامات الذكاء الاصطناعي المسجلة" هدفًا تمتلئ السجلات بمدخلات لا يقرؤها أحد، وتبقى الاستخدامات الفعلية بعيدة عن الأنظار (انظر الموضوع 1.2، قانون غودهارت وعلم نفس المقاييس).
ويبني هذا الموضوع على مواضيع المخاطر والامتثال والأمن في الجزء 8، وعلى المواضيع الأسبق في هذا الجزء.
المبادئ الأساسية
- اعرف أين يُستخدم الذكاء الاصطناعي. سجل الاستخدامات، بما فيها المدمجة في المنتجات وما يتبناه الموظفون من تلقاء أنفسهم، هو الأساس.
- طابق التمحيص بالخطر. خفيف للاستخدامات منخفضة الخطر وأعمق للاستخدامات ذات العواقب.
- عامل تغييرات النماذج والمطالبات تغييرات. تحتاج اختبارًا وموافقة متناسبة مع الخطر وقدرة على التراجع.
- قيّم قبل الاستخدام وأثناءه. اختبر على حالات واقعية، وواصل الاختبار في الإنتاج.
- أبقِ إشرافًا بشريًا ذا معنى. يجب أن يستطيع الشخص الفهم والمساءلة والتجاوز، وأن يملك الوقت والسلطة لذلك.
- تعلم من الحوادث بلا لوم. إخفاقات الذكاء الاصطناعي جديدة، والإبلاغ هو كيف تتعلم المنظمة.
- اجعل الموافقة سريعة للحالات الآمنة. الحوكمة البطيئة تدفع الاستخدام إلى الخفاء.
تعريفات المقاييس
| المقياس | التعريف | الصيغة | الوحدة | مصدر البيانات | ممارسة ITIL | المقابل في أجايل | التكرار |
|---|---|---|---|---|---|---|---|
| تغطية سجل استخدامات الذكاء الاصطناعي | حصة الاستخدامات التي وُجدت بوسائل مستقلة وهي في السجل بمالك وفئة خطر | الاستخدامات في السجل بمالك وفئة خطر / الاستخدامات التي وجدها اكتشاف مستقل (المشتريات والنفقات والهوية والشبكة وتقارير الموظفين) | نسبة مئوية | السجل، بيانات المشتريات والنفقات، سجلات الهوية، الاستبيانات | الحوكمة؛ إدارة أصول تقنية المعلومات؛ إدارة المخاطر | عمل مرئي وملكية واضحة | ربع سنوي |
| حداثة تقييم المخاطر | حصة الاستخدامات متوسطة وعالية الخطر التي لها تقييم مخاطر ضمن الدورة المطلوبة | الاستخدامات المقيَّمة ضمن الدورة / الاستخدامات متوسطة وعالية الخطر | نسبة مئوية | تقييمات المخاطر | إدارة المخاطر؛ إدارة أمن المعلومات | تأمل منتظم في المخاطر | ربع سنوي |
| تغطية ضبط التغيير | حصة التغييرات في النماذج والمطالبات والأدوات ومصادر البيانات في الإنتاج التي مرت بضبط التغيير مع الاختبارات المطلوبة | التغييرات ذات سجل تغيير واختبارات وموافقة متناسبة مع الخطر / التغييرات المكتشفة | نسبة مئوية | سجلات التغيير مقارنة بتاريخ الإصدارات وملاحظات إصدار المورد | تمكين التغيير؛ إدارة الإصدار والنشر | تغييرات صغيرة مضبوطة قابلة للعكس | شهري |
| حداثة التقييم | حصة الاستخدامات في الإنتاج التي لها تقييم حالي (الدقة والسلامة والإنصاف حيث يلزم) ونتائجه ضمن التسامح | الاستخدامات ذات تقييم ضمن الدورة ونتائج مقبولة / الاستخدامات في الإنتاج ضمن النطاق | نسبة مئوية | سجلات التقييم | ضمان الجودة؛ إدارة المخاطر | تعريف الإنجاز للسلوك | ربع سنوي |
| معدل دليل الإشراف البشري | حصة المخرجات أو القرارات ذات العواقب المأخوذة عينةً التي لها مراجعة بشرية جوهرية مسجلة | البنود المأخوذة عينةً ذات المراجعة الموثقة التي كان يمكن أن تغير النتيجة / البنود المأخوذة عينةً | نسبة مئوية | سجلات القرارات بالعينات | إدارة المخاطر؛ الحوكمة | مراجعة قبل الإصدار | شهري |
| معدل حوادث الذكاء الاصطناعي والزمن إلى الاحتواء | الحوادث المتعلقة بالذكاء الاصطناعي (مخرج ضار أو انكشاف بيانات أو إجراء غير آمن) لكل استخدام والزمن إلى احتوائها | الحوادث لكل استخدام في الإنتاج كل ربع؛ الوسيط والمئين 85 للساعات من الكشف إلى الاحتواء | حوادث؛ ساعات | سجلات الحوادث الموسومة بالذكاء الاصطناعي | إدارة الحوادث؛ إدارة أمن المعلومات | استجابة بلا لوم وتعلم | ربع سنوي |
| حداثة العناية الواجبة بذكاء الموردين | حصة الموردين الذين يقدمون ميزات ذكاء اصطناعي في خدمات حرجة وتقييمهم الخاص بالذكاء الاصطناعي حالي | الموردون بتقييم ذكاء اصطناعي حالي / الموردون الحرجون بميزات ذكاء اصطناعي | نسبة مئوية | تقييمات الموردين | إدارة الموردين؛ إدارة المخاطر | مراجعة منتظمة للاعتماديات | ربع سنوي |
عرّف "استخدام الذكاء الاصطناعي" بشمول في السجل: النماذج التي تبنيها والخدمات التي تشتريها والميزات داخل المنتجات والأدوات التي يستخدمها الموظفون. وتُحدَّد فئات المخاطر والدورات في السياسة. وتُقاس تغطية السجل مقابل الاكتشاف المستقل لا مقابل السجل نفسه. وتتطلب تغطية ضبط التغيير طريقة لكشف التغييرات: التحكم بالإصدارات وإشعارات الموردين ومراقبة التهيئة. ويتطلب دليل الإشراف البشري أن المراجعة كان يمكن أن تغير النتيجة، لا أن زرًّا نُقر. وتصف معدلات الحوادث الاستخدامات والأنظمة ولا تُستخدم لتقييم الناس.
التوصيات
اعرف وصنّف
1. ابنِ السجل بالبحث كما بالسؤال. ابدأ باستبيان وسياسة، ثم تحقق مقابل سجلات المشتريات والنفقات وسجلات الهوية والوصول وبيانات الشبكة وفواتير السحابة وتحديثات منتجات الموردين. وأدرج ميزات الذكاء الاصطناعي المضمنة في أدوات تملكها أصلًا. وتوقع مفاجآت: يستخدم الناس أدوات لم توافق عليها، غالبًا لأسباب وجيهة. عاملها معلومات (انظر الموضوع 7.2، مقاييس أصول البرمجيات والتراخيص).
2. أسند مالكًا وفئة خطر لكل استخدام. المالك هو الشخص المسؤول عن الاستخدام ونتائجه. وتعكس فئة الخطر الضرر إن فشل النظام: من يتأثر، وهل تتضمن قرارات بشأن الناس، وهل يتصرف من تلقاء نفسه، وأي بيانات يمس، وومدى قابلية آثاره للعكس. استخدم فئات قليلة بقواعد واضحة. واستمد من أطر معترف بها، مثل إطار إدارة مخاطر الذكاء الاصطناعي من NIST وISO/IEC 42001 والقانون المنطبق، وكيّفها لسياقك.
3. اجعل الموافقة متناسبة. للاستخدامات منخفضة الخطر يكفي تسجيل ذاتي سريع بأسئلة قليلة. وللاستخدامات ذات العواقب اشترط تقييم مخاطر ونتائج تقييم وتصميم إشراف بشري معرَّفًا واعتمادًا. ومسار سريع للأغلبية الآمنة يبقي الناس داخل النظام، ومسار أبطأ للقلة الخطرة يمنحها تمحيصًا لائقًا.
اختبر واضبط التغيير
4. قيّم على حالات واقعية، قبل الاستخدام وأثناءه. ابنِ مجموعة حالات اختبار تعكس مدخلات حقيقية، بما فيها الصعبة والعدائية، وسجّل المخرجات مقابل معايير مكتوبة. وأدرج فحوصًا للسلامة والإنصاف حيث قد يتأثر الناس. وأعد تشغيل التقييمات بجدول وكلما تغير النموذج أو المطالبة أو البيانات. و"الفريق الأحمر"، مجموعة تهاجم النظام عمدًا لإيجاد نقاط الضعف، ممارسة مفيدة للاستخدامات الأعلى خطرًا. وانظر ممارسات أخذ العينات للعمل المساعَد (انظر الموضوع 10.2، قياس العمل بمساعدة الذكاء الاصطناعي).
5. ضع النماذج والمطالبات والأدوات تحت ضبط التغيير. أدر إصدارات المطالبات والتهيئات كالشيفرة. واشترط اختبارات وموافقة متناسبة مع الخطر للتغييرات، وسجّلها، وأبقِ القدرة على التراجع. وتتبع تحديثات النماذج التي يقودها الموردون، والتي قد تغير السلوك دون إشعار، واتفق مع الموردين كيف ستُخبَر. وعامل ترقية النموذج تغييرًا يحتاج ضبطًا (انظر الموضوع 4.3، مقاييس تمكين التغيير).
6. راقب في الإنتاج. راقب انجراف المدخلات والمخرجات، وارتفاع معدلات الخطأ والتجاوز، والأنماط غير المعتادة. وضع عتبات تحفز المراجعة. وللأنظمة التي تتخذ إجراءات راقب سجلات الإجراءات. والمراقبة هي كيف تجد المشكلات التي فاتها الاختبار.
أبقِ الإشراف البشري حقيقيًا
7. صمّم إشرافًا يستطيع العمل. شخص يراجع كل مخرج نظام سريع لا يستطيع المواكبة، وشخص يُطلب منه اعتماد ما لا يفهمه لا يوفر إشرافًا. عرّف ما يفعله الإنسان وما المعلومات التي لديه وكم الوقت وأي سلطة للتجاوز. وخذ عينات من المراجعات للتأكد أنها جوهرية. واحذر انحياز الأتمتة، ميل قبول مخرج الآلة (انظر الموضوع 10.1، الذكاء الاصطناعي في قياس إدارة الخدمات).
8. احتفظ بمسارات التدقيق. سجّل المدخلات والمخرجات والإصدارات والقرارات والإجراءات بطريقة تدعم التحقيق، رهنًا بقواعد الخصوصية وحدود الاحتفاظ. ومسار التدقيق يتيح لك الإجابة عما حدث ولماذا. وللقرارات ذات العواقب بشأن الناس، فكر في أي تفسير تستطيع تقديمه وأي طريق للطعن موجود (انظر الموضوع 8.3، مقاييس الامتثال والتدقيق).
9. احمِ البيانات وقاوم التلاعب. اضبط أي بيانات تستطيع أنظمة الذكاء الاصطناعي رؤيتها وإرسالها. واختبر حقن المطالبات وتسرب البيانات، خصوصًا للأنظمة التي تقرأ محتوى خارجيًا أو لها وصول إلى أدوات. وطبّق مبادئ أقل صلاحية المستخدمة للوكلاء الذين يتصرفون (انظر الموضوع 10.3، مقاييس وكلاء الذكاء الاصطناعي وروبوتات المحادثة، والموضوع 8.1، مقاييس الحوادث الأمنية والثغرات). وفكر في الخصوصية وقت التصميم، وأشرك متخصصي حماية البيانات.
استجب وتعلم
10. عامل حوادث الذكاء الاصطناعي حوادث. عرّف ما يُعد: مخرجات ضارة أو متحيزة وانكشاف بيانات وإجراءات غير آمنة وأخطاء كبيرة تصل إلى المستخدمين. استخدم عملية الحوادث المعتادة بوسم الذكاء الاصطناعي، وراجع بلا لوم، وغذِّ التقييمات والضوابط بالدروس. واجعل الإبلاغ سهلًا للموظفين والمستخدمين. والزمن إلى الاحتواء مهم كما في أي حادثة (انظر الموضوع 3.4، مقاييس الحوادث الكبرى).
11. أدر ذكاء الموردين. اسأل الموردين أي ميزات ذكاء اصطناعي يستخدمون وكيف تُختبر وتتغير وكيف تُعالج البيانات وكيف يُبلَّغ عن الحوادث. وأضف شروطًا خاصة بالذكاء الاصطناعي للعقود حيث يهم، بما فيها الإشعار بتغييرات النماذج الجوهرية. وأعد تقييم الموردين الحرجين بدورة (انظر الموضوع 8.4، مقاييس الموردين والعقود).
12. راجع الحوكمة نفسها. كل ربع افحص ما تُظهره القياسات: أين بقيت استخدامات غير مسجلة، وأي موافقات كانت بطيئة جدًا، وأي ضوابط لم تلتقط المشكلات. عدّل السياسة والمسارات. وأشرك الموظفين والمستخدمين في المراجعة. وأبقِ القواعد قصيرة واضحة حديثة، وأحِل إلى التقاعد ضوابط لا تستحق كلفتها.
طرق التلاعب وضوابط الحماية
| المقياس | كيف يُتلاعب به | ضابط الحماية المقترن (مقياس أو ممارسة) |
|---|---|---|
| تغطية سجل استخدامات الذكاء الاصطناعي | تسجيل استخدامات تافهة لرفع النسبة؛ حصر المقام فيما هو مسجل | اكتشاف مستقل للمقام؛ عينات من مدخلات السجل للجودة؛ عفو عن الاستخدامات غير المسجلة |
| حداثة تقييم المخاطر | تقييمات خفيفة تنجح دائمًا؛ تقييم الاستخدامات منخفضة الخطر | راجع عمق التقييم؛ تحقق أن فئة الخطر تطابق المعايير |
| تغطية ضبط التغيير | عدم كشف تغييرات الموردين؛ تسجيل التغييرات بعد الواقعة | الكشف بتاريخ الإصدارات وإشعارات الموردين؛ سجلات تغيير مختومة بالوقت قبل الإصدار |
| حداثة التقييم | تقييمات على حالات سهلة؛ اختيار التسامحات بعد رؤية النتائج | مجموعات اختبار يراجعها طرف مستقل؛ عتبات تُحدَّد سلفًا |
| معدل دليل الإشراف البشري | نقر الموافقة دون قراءة؛ توثيق مراجعة لا يمكن أن تغير النتيجة | عينات من المراجعات للجوهر؛ أخطاء معروفة مزروعة؛ حمل المراجعين |
| معدل حوادث الذكاء الاصطناعي والزمن إلى الاحتواء | عدم الإبلاغ عن الحوادث؛ تضييق التعريف | إبلاغ سهل بلا لوم؛ المقارنة بشكاوى المستخدمين ونتائج التدقيق |
| حداثة العناية الواجبة بذكاء الموردين | استبيانات يجيب عنها التسويق؛ تقييمات بلا دليل | متطلبات دليل للموردين الحرجين؛ تحقق مستقل |
القراءة الصحية سجل يؤكده الاكتشاف المستقل، وتقييمات تطابق الخطر، وتغييرات تمر بالضبط، وتقييمات محدّثة، وإشراف يجد أخطاء حقيقية، وحوادث يُبلَّغ عنها بسهولة وتُحتوى سريعًا، وموردون يشاركون ما يغيرونه.
المفاضلات: المزايا والعيوب
| النهج | نقطة القوة | نقطة الضعف |
|---|---|---|
| موافقة مركزية لكل استخدام للذكاء الاصطناعي | ضبط، اتساق | بطيئة؛ تدفع الاستخدام إلى الخفاء |
| تسجيل ذاتي بطبقات خطر | سريع للأغلبية الآمنة | يحتاج معايير جيدة وفحوصًا عشوائية |
| حظر الأدوات العامة | يقلل انكشاف البيانات | استخدام خفي؛ فوائد مفقودة |
| أدوات معتمدة مع إرشاد | استخدام مرئي وقابل للإدارة | يحتاج توفيرًا ودعمًا |
| توثيق ثقيل | دليل للتدقيق | عبء؛ قد لا يعكس الممارسة |
| تقييم آلي في خط الإنتاج | مستمر، متسق | يحتاج مجموعات اختبار جيدة؛ قد يفوته الفشل الجديد |
| مراجعة بشرية لكل شيء | أمان | غير قابلة للتوسع؛ إرهاق |
| أخذ عينات قائم على الخطر | عملي | تنفلت بعض الإخفاقات |
والجواب العملي توفير أدوات معتمدة ومسار سريع للاستخدامات منخفضة الخطر، وتركيز التمحيص على ذات العواقب، وأتمتة التقييم والمراقبة، وإبقاء الإشراف البشري حيث يستطيع العمل حقًا.
أسئلة للنقاش مع فريقك
1. أين نستخدم الذكاء الاصطناعي اليوم مما ليس في أي قائمة؟ اسألوا الفريق بصدق، وقدموا عفوًا. انظروا إلى الأدوات المستخدمة للصياغة والتلخيص والبرمجة والتحليل، بما فيها داخل المنتجات. وعلى الميسّر تسجيل الاستخدامات دون حكم. واتفقوا على من سيسجلها وأيها يحتاج نظرة أدق.
2. لو ارتكب استخدامنا الأكثر ترتبًا على العواقب خطأ ضارًا، كيف سنكتشف وماذا سنفعل؟ مروا بالكشف والاحتواء والتواصل والتعلم. ودوّنوا الفجوات في المراقبة والملكية والسلطة لإيقافه. واتفقوا على تحسين واحد.
3. ما الذي قد يتغير تحتنا دون أن يوافق عليه أحد؟ اسردوا النماذج والمطالبات ومصادر البيانات وتحديثات الموردين. ولكل منها اسألوا كيف سنعرف أنه تغير وكيف سنختبره. واتفقوا على أين تضيفون كشفًا أو اختبارًا.
4. هل يستطيع من يراجع مخرجات الذكاء الاصطناعي في عمليتنا فعلًا التقاط خطأ جسيم؟ انظروا إلى الحجم والمعلومات والوقت والسلطة. واختبروا بخطأ مزروع. فإن لم تستطع المراجعة العمل فأعيدوا تصميم العملية قبل إضافة مزيد من الذكاء الاصطناعي.
5. أي قواعدنا يجدها زميل مشغول سهلة الاتباع، وأيها سيلتف حولها؟ اسردوا القواعد الحالية واختبروها مقابل مسارات عمل حقيقية. وناقشوا لماذا تُتجاوز القواعد. واتفقوا على تغييرات تجعل المسار الآمن هو المسار السهل.
6. ماذا أخبرنا موردونا عن ذكائهم الاصطناعي، وماذا لم نسأل؟ افحصوا الاستبيانات والعقود الحديثة. وحدّدوا الموردين الحرجين بميزات الذكاء الاصطناعي وفجوات المعلومات. واتفقوا على أسئلة للمراجعة القادمة.
المنظورات الأربعة
فرق المنتج والتسليم
تبني فرق التسليم ميزات الذكاء الاصطناعي وتتبناها، وتشعر بالحوكمة احتكاكًا أو عونًا. وينبغي لها تسجيل الاستخدامات مبكرًا، والاختبار على حالات واقعية، ووضع المطالبات والنماذج تحت التحكم بالإصدارات، وتصميم إشراف يعمل. وهي تستفيد من موافقة سريعة للاستخدامات منخفضة الخطر.
فرق الخدمة والعمليات
تشغّل فرق العمليات الذكاء الاصطناعي في الإنتاج وتستجيب لحوادثه. وينبغي لها مراقبة الانجراف، والاحتفاظ بسجلات الإجراءات، ووسم حوادث الذكاء الاصطناعي، وامتلاك السلطة والوسائل لإيقاف نظام. وهي تستخدم الذكاء الاصطناعي بنفسها أيضًا وينبغي أن تتبع القواعد نفسها.
القيادة والحوكمة
يضع القادة شهية المخاطرة ويُساءلون عن النتائج. وينبغي لهم تمويل السجل والتقييم والمراقبة، وقبول أن بعض استخدامات الذكاء الاصطناعي لن تنجح في المرور، وطلب اكتشاف مستقل للاستخدامات، وتتبع الحوادث والزمن إلى الاحتواء. وعلى هيئات الحوكمة إبقاء القواعد قصيرة ومراجعتها بانتظام وضمان أن للموظفين والمستخدمين صوتًا.
العملاء والمستخدمون
يتأثر المستخدمون بقرارات الذكاء الاصطناعي ومخرجاته، غالبًا دون علم. ويستحقون أن يعرفوا متى يشارك الذكاء الاصطناعي في أمور تمسهم، وأن يصلوا إلى شخص، وأن يعترضوا على القرارات. والشكاوى والطعون دليل أساسي على كيف تعمل الحوكمة عمليًا.
عمليًا: مثال على أجايل ITIL
تعتمد شعبة التقنية والعمليات في بنك إقليمي سياسة للذكاء الاصطناعي بعد أن يلصق موظف تفاصيل عملاء في أداة عامة. ويصدر فريق الامتثال سجلًا ويتوقع أن يُدرج كل استخدام. الأرقام أدناه توضيحية.
بعد ثلاثة أشهر يسرد السجل 38 استخدامًا للذكاء الاصطناعي. ويتحقق رئيس مخاطر التقنية بوسائل مستقلة: بيانات المشتريات والنفقات وسجلات الهوية التي تُظهر تسجيلات الدخول إلى خدمات الذكاء الاصطناعي وبيانات الشبكة واستبيان موظفين مجهول. ويجد الاكتشاف 94 استخدامًا، فتغطية السجل 40 في المئة. وسبعة عشر منها ميزات داخل أدوات يرخّصها البنك أصلًا، واثنا عشر أدوات عامة يستخدمها الموظفون. ومن الاستخدامات الـ38 المسجلة، 14 فقط لها فئة خطر، والثلاثة الأعلى خطرًا، نموذج يسجل تنبيهات الاحتيال وروبوت محادثة للعملاء وأداة تلخص الشكاوى، ليس لها تقييم في العام الأخير. وتجري الفرق مباشرة تغييرات على تهيئة نموذج الاحتيال ومطالبات روبوت المحادثة، وتغطي سجلات التغيير للربع الأخير 21 في المئة من التغييرات الموجودة في تاريخ الإصدارات. وتُظهر عينة من 60 تنبيه احتيال استبعدها النموذج أن مراجعة بشرية مسجلة لـ52 منها، لكن مجموعة مزروعة من خمس حالات فائتة معروفة التقطها مراجع واحد فقط، لأن كل مراجع يعالج عدة مئات من التنبيهات يوميًا. وحادثة واحدة، أعطى فيها روبوت المحادثة العملاء مبلغ رسوم قديمًا، اكتُشفت بشكوى، واستغرق احتواؤها ستة أيام لأن أحدًا لم تكن لديه سلطة إيقافه.
يعيد رئيس مخاطر التقنية تصميم الحوكمة مع الفرق. تضع استمارة تسجيل ذاتي قصيرة بخمسة أسئلة الاستخدامات منخفضة الخطر في السجل خلال دقائق، وتشجع فترة عفو الموظفين على سرد الأدوات التي يستخدمونها. وتقوم فئات المخاطر على الضرر والبيانات والاستقلالية. وتحتاج الاستخدامات الأعلى خطرًا تقييمًا وتقييم مقابل حالات واقعية وعدائية وتصميم إشراف معرَّفًا. وتوضع النماذج والمطالبات والأدوات تحت ضبط التغيير باختبارات متناسبة مع الخطر، وتُدار إصدارات مطالبات روبوت المحادثة مع إمكانية التراجع. وتُعاد صياغة عملية تنبيهات الاحتيال بحيث يعالج المراجعون تنبيهات أقل وأفضل ترتيبًا، وتختبر الأخطاء المزروعة كشفهم. ولكل استخدام عالي الخطر مالك مسمى لديه سلطة إيقافه، وتشمل الاستجابة للحوادث الذكاء الاصطناعي. ويُسأل موردو السحابة والذكاء الاصطناعي لدى البنك أي ميزات ذكاء اصطناعي يستخدمون وكيف تُبلَّغ التغييرات.
وبعد ربعين تبلغ تغطية السجل بالاكتشاف المستقل 88 في المئة، وكل الاستخدامات عالية الخطر مقيَّمة ومختبَرة ضمن الدورة، وتغطية ضبط التغيير 84 في المئة، ويرتفع كشف المراجعين للأخطاء المزروعة إلى 4 من 5، ووسيط الزمن لاحتواء حادثة ذكاء اصطناعي 3 ساعات. ويستخدم الموظفون الأدوات المعتمدة لمعظم المهام. ويطلب تنفيذي كبير هدف تغطية سجل 100 في المئة. ويقترح رئيس مخاطر التقنية تتبع التغطية مقابل الاكتشاف المستقل وحداثة التقييم ومعالجة الحوادث، ويشرح أن سجلًا بلا اكتشاف يستطيع بلوغ 100 في المئة ومع ذلك يفوته الخطر. ويُسجَّل القرار.
النظرة حسب القطاع
الشركات الناشئة. السرعة مهمة والمخاطر في الغالب انكشاف البيانات ومخرجات غير موثوقة. احتفظ بقائمة قصيرة بالأدوات والاستخدامات ومالكيها، وضع بضع قواعد واضحة عن أي بيانات يجوز استخدامها وأين، وأدر إصدارات المطالبات. وأعد النظر مع نمو مطالب العملاء بالضمان.
الأعمال الصغيرة. سيستخدم الموظفون أدوات عامة. وفّر خيارًا معتمدًا، واكتب قاعدة من صفحة واحدة عن البيانات، وراجع كيف تُستخدم الأدوات. واسأل الموردين عن ميزات الذكاء الاصطناعي لديهم، واحتفظ بسجل أين يتخذ الذكاء الاصطناعي قرارات بشأن العملاء أو الموظفين.
المؤسسات الكبرى. يحتاج الحجم نموذجًا تشغيليًا: سجلًا وطبقات خطر ومعايير تقييم وضبط تغيير وعملية حوادث، مدمجة مع وظائف المخاطر والأمن القائمة. استخدم اكتشافًا مستقلًا، وأتمت التقييم في خطوط الإنتاج، وواءِم مع المعايير. وامنح الفرق مسارًا سريعًا.
الحكومة والقطاع العام. تجلب القرارات التي تمس المواطنين واجبات الشفافية والإنصاف والطعن، وتشكل أطر المشتريات والقانون ما هو مسموح. احتفظ بسجلات عامة للاستخدامات عالية الأثر حيث يُطلب، وقيّم الأثر على الحقوق، وأبقِ البشر في الحلقة بمعنى حقيقي، وتحقق من القانون والإرشاد الحاليين (انظر الموضوع 8.5، التقارير التنظيمية والحكومية).
دراسة الجدوى: الدوافع والعائد على الاستثمار وإجمالي تكلفة الملكية
تشمل الكلف جهد بناء السجل وصيانته وأدوات الاكتشاف أو تحليله وتقييمات المخاطر ومجموعات التقييم وتشغيلاتها وضبط التغيير للمطالبات والنماذج والمراقبة والتدريب وسعة الاستجابة للحوادث. وتضيف الحوكمة أيضًا بعض التأخير للاستخدامات الأعلى خطرًا. وتتدرج هذه الكلف مع عدد الاستخدامات وخطرها، وهذا سبب لإبقاء موافقة الاستخدامات منخفضة الخطر خفيفة.
وتشمل العوائد ضررًا وانكشافًا متجنَّبين، ومفاجآت أقل في عمليات التدقيق والمراجعات التنظيمية، وتبنيًا آمنًا أسرع بقواعد واضحة، وثقة العملاء والموظفين. ابنِ الحجة من بياناتك: عدد الاستخدامات التي وُجدت خارج السجل والبيانات التي تمسها، والحوادث وكلفتها، والوقت المصروف في موافقات ارتجالية قبل وبعد، ونتائج التدقيق. وتجنب الاستشهاد بإحصاءات منشورة عن حوادث الذكاء الاصطناعي أو غرامات دون مصدر قابل للتتبع وصلة بسياقك. وأدرج كلفة عدم الحوكمة، التي تشمل احتمال ضرر قانوني وسمعي جسيم (انظر الموضوع 7.7، العائد على الاستثمار ودراسة الجدوى).
الأنماط المضادة والمزالق
- سجل لا يفحصه أحد. تبدو التغطية عالية وتفوتها الاستخدامات الحقيقية. استخدم اكتشافًا مستقلًا.
- حظر شامل. يدفع الاستخدام إلى الخفاء. وفّر أدوات معتمدة ومسارًا سريعًا.
- معاملة المطالبات والنماذج تهيئة لا يملكها أحد. يتغير السلوك دون ملاحظة. ضعها تحت ضبط التغيير.
- التقييم مرة واحدة. تنجرف الأنظمة وتتغير. أعد التشغيل بجدول وعند التغيير.
- إشراف بالاسم فقط. لا يستطيع المراجعون التقاط ما لا يرونه. اختبر بأخطاء مزروعة وأصلح الحمل.
- لا سلطة للإيقاف. يستغرق الاحتواء أيامًا. سمِّ مالكين يملكون سلطة وقف نظام.
- تجاهل ذكاء الموردين. يشمل خطرك خطرهم. اسأل وتعاقد وأعد التقييم.
- قواعد لا يستطيع أحد اتباعها. تُتجاوز. أبقِها قصيرة واجعل المسار الآمن سهلًا.
نموذج النضج
| البُعد | 1 البدء | 2 التطوير | 3 التوحيد | 4 الإدارة | 5 التنسيق |
|---|---|---|---|---|---|
| المعرفة والتصنيف | لا رؤية لاستخدام الذكاء الاصطناعي | سياسة وقائمة جزئية | سجل بمالك وفئة خطر؛ اكتشاف مستقل يُستخدم للتغطية | تُدار التغطية وحداثة التقييم وأزمنة الموافقة | رؤية سجل مشتركة عبر وحدات الأعمال والموردين؛ الفئات تُراجَع مع الجهات التنظيمية والمستخدمين |
| الاختبار والتغيير | ارتجالي | بعض التقييم لبعض الاستخدامات | تقييم على حالات واقعية؛ المطالبات والنماذج تحت ضبط التغيير | تقييم مستمر ومراقبة انجراف؛ التغطية مُدارة | تقييم وتغيير آليان قائمان على الخطر في خطوط الإنتاج، يُدقَّقان باستقلال |
| الإشراف والتعلم | الاعتماد على الثقة | المراجعة موجودة مبدئيًا | إشراف مصمم ومأخوذ منه عينات؛ حوادث الذكاء الاصطناعي موسومة ومراجَعة بلا لوم | اختبارات الأخطاء المزروعة والزمن إلى الاحتواء وتقييمات الموردين مُدارة | الإشراف والتعلم من الحوادث والسياسة تُطوَّر بالتعاون مع الموظفين والمستخدمين والشركاء |
قائمة التحقق
- سجل يسرد استخدامات الذكاء الاصطناعي بمالك وفئة خطر، ومفحوص مقابل اكتشاف مستقل.
- يوجد مسار سريع للاستخدامات منخفضة الخطر، وأعمق لذات العواقب.
- للاستخدامات الأعلى خطرًا تقييم مخاطر حالي وتصميم إشراف معرَّف.
- التقييمات على حالات واقعية وعدائية حالية وتُعاد عند التغيير.
- المطالبات والنماذج والأدوات ومصادر البيانات مُدارة الإصدارات وتحت ضبط التغيير.
- تراقب مراقبة الإنتاج الانجراف والأخطاء والتجاوزات والإجراءات غير المعتادة.
- يُختبر الإشراف بأخطاء مزروعة، وحمل المراجعين واقعي.
- تدعم مسارات التدقيق التحقيق ضمن قواعد الخصوصية والاحتفاظ.
- حوادث الذكاء الاصطناعي موسومة ومراجَعة بلا لوم، ويستطيع المالكون إيقاف الأنظمة.
- الموردون ذوو ميزات الذكاء الاصطناعي مقيَّمون وملزمون بالإخطار بالتغييرات الجوهرية.
مطالبات الذكاء الاصطناعي
صُغ تصنيف مخاطر لاستخدامات الذكاء الاصطناعي.
Propose a simple risk classification (three or four levels) for AI uses in [type of
organization] based on harm if wrong, who is affected, involvement of decisions
about people, autonomy of actions, data sensitivity, and reversibility. For each
level, state example uses, the approvals and evidence required, and the review
cycle. Do not state legal conclusions. List your assumptions and points to confirm
with legal, risk, and security specialists.
صمّم استمارة تسجيل.
Design a short self-service registration form for new AI uses, with no more than
eight questions, that assigns an initial risk class automatically and routes
higher-risk uses to review. Cover purpose, data, users affected, autonomy, vendor,
and owner. Explain how to keep it quick for low-risk cases. List your assumptions
and risks of misclassification.
خطّط لمجموعة تقييم.
We use AI for [task] in [process]. Help design an evaluation set: types of
realistic cases, difficult and adversarial cases, written criteria for correct
and safe outputs, checks for fairness where people are affected, how big a set is
practical, how often to rerun it, and what changes should trigger a rerun. Do not
claim a set is sufficient. List your assumptions and limits.
راجع حادثة ذكاء اصطناعي.
Here is a description of an AI-related incident: [paste, without personal data].
Draft a blameless review: timeline, how it was detected, contributing factors
(data, prompt, model, oversight, supplier, process), impact, what contained it,
and actions with owners. Suggest changes to evaluation, monitoring, and change
control. Do not assign blame to individuals. List your assumptions and open
questions.
مهارات الذكاء الاصطناعي
- مهارة مقاييس أجايل ITIL: استخدمها للعثور على ضابط الحماية المقترن بمقياس لحوكمة الذكاء الاصطناعي أو مخاطره.
- مهارة صيانة مقاييس أجايل ITIL: استخدمها للتحقق من أن مدخل قياس حوكمة الذكاء الاصطناعي يستخدم دليلًا مستقلًا ويحمل طريقة تلاعبه وضابط حمايته.
النقاط الرئيسية
- ابنِ سجل الذكاء الاصطناعي بالاكتشاف المستقل، وطابق التمحيص بالخطر مع مسار سريع للاستخدامات الآمنة.
- عامل النماذج والمطالبات والأدوات ومصادر البيانات تغييرات تحتاج اختبارًا وموافقة وتراجعًا.
- قيّم قبل الاستخدام وأثناءه، على حالات واقعية وعدائية.
- صمّم إشرافًا بشريًا يستطيع العمل، واختبره بأخطاء مزروعة.
- عامل حوادث الذكاء الاصطناعي كغيرها من الحوادث، بمراجعة بلا لوم، وامنح المالكين سلطة إيقاف الأنظمة.
- اسأل الموردين عن ذكائهم الاصطناعي، وأبقِ القواعد قصيرة والمسار الآمن سهلًا.
المراجع والقراءة الإضافية
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- ISO/IEC 42001, Information technology: Artificial intelligence: Management system, International Organization for Standardization, 2023.
- ISO/IEC 23894, Information technology: Artificial intelligence: Guidance on risk management, International Organization for Standardization, 2023.
- European Parliament and Council, Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 2024.
- Organisation for Economic Co-operation and Development, OECD AI Principles, 2019 (updated 2024).
- Mitchell, M., et al., "Model Cards for Model Reporting," Proceedings of the Conference on Fairness, Accountability, and Transparency, 2019.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Algorithmic bias.
- Wikipedia, Prompt injection.
- Wikipedia, Artificial Intelligence Act.
- Wikipedia, Responsible AI.
- Wikipedia, Regulation of artificial intelligence.
- Wikipedia, Shadow IT.
- Wikipedia, Goodhart's law.
- Wikipedia, Audit trail.