الذكاء الاصطناعي في قياس إدارة الخدمات
قبل أن يغيّر الذكاء الاصطناعي العمل، اكتب كيف يبدو العمل اليوم، ثم قِس كل استخدام للذكاء الاصطناعي مقابل ذلك الأساس ومقابل عمل مماثل أُنجز بدونه، لأن الادعاءات ستكون كبيرة والدليل عادةً صغير.
الملخص والدافع
يقبع الذكاء الاصطناعي اليوم داخل كثير من الأدوات التي تستخدمها الفرق لبناء الخدمات وتشغيلها. وهو قدرة أنظمة حاسوبية على أداء مهام ترتبط بالذكاء البشري. وضمنه تتعلم أنظمة التعلم الآلي الأنماط من البيانات، وتنتج أنظمة الذكاء الاصطناعي التوليدي، المبنية غالبًا على نماذج لغوية كبيرة، نصوصًا وشيفرة ومحتوى آخر استجابةً لمطالبات. وفي إدارة خدمات تقنية المعلومات (ITSM) تظهر هذه القدرات في فرز التذاكر وتلخيص الحوادث وصياغة مقالات المعرفة والردود المقترحة لمكتب الخدمة وإكمال الشيفرة ومراجعتها في خطوط التسليم وكشف الشذوذ في المراقبة والمساعدين الحواريين للمستخدمين. وAIOps الاسم الذي يُطلق غالبًا على تطبيق الذكاء الاصطناعي على بيانات عمليات تقنية المعلومات.
الادعاءات المقدمة لهذه الأدوات كبيرة، والدليل في أي منظمة بعينها عادةً صغير. يبلّغ الموردون عن وقت موفَّر. ويبلّغ المتبنون الأوائل عن حماس. ويطلب التنفيذيون مكسب الكفاءة الذي وُعدوا به. وتبلّغ الفرق في الأثناء أن المخرجات تحتاج فحصًا، وأن بعض الاقتراحات خاطئة بثقة، وأن العمل يبدو مختلفًا. والقياس هو الطريقة التي تكتشف بها المنظمة أيها صحيح في عملها هي. ويأخذ هذا الجزء من الكتاب الذكاء الاصطناعي بجدية بوصفه شيئًا يُقاس، بضوابط الحماية نفسها كأي عائلة قياسات.
ويغيّر الذكاء الاصطناعي مشكلة القياس بأربع طرق.
- يرتفع الحجم والسرعة وتصير الجودة أصعب رؤية. يستطيع الذكاء الاصطناعي إنتاج التذاكر والردود والشيفرة والمستندات بسرعة، فترتفع قياسات المخرجات. وهل المخرجات جيدة سؤال منفصل (انظر الموضوع 10.4، تضخم المقاييس وتخفيف الجودة).
- تختفي خطوط الأساس. حين يصير الذكاء الاصطناعي في الاستخدام اليومي لا تستطيع استرجاع كيف كان يبدو العمل بدونه. يجب التقاط خط أساس قبل التغيير، أو أن توجد مجموعة مقارنة.
- يبقى البشر في الحلقة، بعواقب. تُبقي تصاميم الإنسان في الحلقة شخصًا مسؤولًا عن النتيجة. وقد يرجئ الناس الذين يراجعون مخرجات الآلة إليها بسهولة أكبر مما ينبغي، في نمط يعرف بـانحياز الأتمتة، أو قد يقضون في الفحص وقتًا أكبر مما وفّروا.
- قد تكون المخرجات سلسة وخاطئة. الهلوسة مخرج واثق لا يدعمه المدخل ولا الواقع. ويجب أن تتضمن القياسات فحصًا للصحة يأخذ عينته شخص.
وطرق عمل أجايل وITIL كلتاهما تقدم موقفًا من هذا. فغايات أجايل في التسليم المستمر والتحسين المستمر والتطور المتواصل توحي بمعاملة كل استخدام للذكاء الاصطناعي تجربة صغيرة: اذكر الفائدة المتوقعة، وجرّبها مع قلة راغبة، وقارن، وقرر. ويتجه المبدأ التوجيهي في ITIL، التقدم تدريجيًا مع التغذية الراجعة، في الاتجاه نفسه، ويسأل تأكيده على القيمة أي نتيجة تتحسن للمستخدمين والأعمال، لا كم نصًا أُنتج. وغاية الناس المتحمسين تُخدَم حين يخفف الذكاء الاصطناعي العمل الممل ويحترم حكمهم، ولا تُخدَم حين يصير وسيلة لزيادة الوتيرة أو لمراقبة من يستخدمونه. والوتيرة المستدامة تعني ألّا يتحول الوقت الموفَّر بصمت إلى طلب إضافي.
وضابط الحماية المستمد من قانون غودهارت ينطبق على الذكاء الاصطناعي في أحدّ أشكاله. فإن صار "تبني الذكاء الاصطناعي" أو "حصة الشيفرة المولَّدة بالذكاء الاصطناعي" هدفًا فسيستخدم الناس الأداة حيث لا تفيد، وستدفع الجودة ثمن الرقم (انظر الموضوع 1.2، قانون غودهارت وعلم نفس المقاييس).
يغطي هذا الموضوع الأسس: أين يدخل الذكاء الاصطناعي العمل، وأي خطوط أساس تُلتقط، وأي قياسات تُظهر هل يساعد استخدام ما. وتتعمق المواضيع التالية في العمل المساعَد، وفي الوكلاء وروبوتات المحادثة، وفي التضخم والتخفيف، وفي الحوكمة. وحقائق منتجات الذكاء الاصطناعي وقواعده تتغير بسرعة، والعبارات عن أدوات أو لوائح بعينها في هذا الجزء مؤرخة حتى أكتوبر 2026 وينبغي إعادة التحقق منها.
المبادئ الأساسية
- التقط خط أساس قبل إدخال الذكاء الاصطناعي. بدونه كل ادعاء فائدة رأي.
- عامل كل استخدام تجربة بمقارنة. قارن بعمل مماثل أُنجز بدون الذكاء الاصطناعي، في الفترة نفسها.
- قِس الجودة بأخذ العينات، مع الناس. المخرج السلس ليس مخرجًا صحيحًا.
- عدّ الكلفة الكاملة. أدرج وقت المراجعة وإعادة العمل والتراخيص وكلف الاستدلال.
- أبقِ الناس مسؤولين ومطلعين. من يستخدم الذكاء الاصطناعي يُسأل عن النتيجة.
- لا تدع الذكاء الاصطناعي يصير زيادة وتيرة أو مراقبًا. الوقت الموفَّر خيار بشأن كيف يُستخدم الوقت.
- ابدأ بناس راغبين ومشكلات حقيقية. التكليف ينتج استخدامًا بلا قيمة.
تعريفات المقاييس
| المقياس | التعريف | الصيغة | الوحدة | مصدر البيانات | ممارسة ITIL | المقابل في أجايل | التكرار |
|---|---|---|---|---|---|---|---|
| اكتمال خط الأساس | حصة حالات استخدام الذكاء الاصطناعي المخطط لها التي لها خط أساس مسجل قبل التبني لمؤشراتها الرئيسية | حالات الاستخدام ذات خط الأساس المؤرخ / حالات الاستخدام المخطط لها | نسبة مئوية | سجل حالات الاستخدام | التحسين المستمر؛ القياس والإبلاغ | خط أساس قبل التجربة | ربع سنوي |
| تغطية استخدام الذكاء الاصطناعي | حصة بنود العمل أو المهام المؤهلة التي استُخدم فيها الذكاء الاصطناعي، بحسب حالة الاستخدام | البنود التي استُخدمت فيها مساعدة الذكاء الاصطناعي / البنود المؤهلة، من سجلات الأداة أو وسوم المستخدمين، على مستوى الفريق | نسبة مئوية | سجلات استخدام الأداة، الوسوم | مكتب الخدمة؛ إدارة الحوادث؛ إدارة الإصدار والنشر | تبني أداة من فرق راغبة | شهري |
| معدل قبول الاقتراحات وتجاوزها | حصة اقتراحات الذكاء الاصطناعي المقبولة كما هي أو المعدلة أو المرفوضة | الاقتراحات في كل فئة / الاقتراحات المعروضة | نسبة مئوية | سجلات الأداة مجمَّعة بحسب الفريق | مكتب الخدمة؛ إدارة المعرفة | مراجعة اقتراحات الآلة | شهري |
| دقة المخرجات المراجَعة | حصة مخرجات الذكاء الاصطناعي المأخوذة عينةً التي يحكم مراجع مؤهل أنها صحيحة وملائمة للغرض | المخرجات المحكوم بصحتها / المخرجات المأخوذة عينةً | نسبة مئوية | سجلات المراجعة بالعينات | ضمان الجودة؛ إدارة المعرفة | تعريف الإنجاز للمخرج | شهري |
| زمن المهمة مقابل خط الأساس | الزمن لإكمال مهمة معرَّفة بالذكاء الاصطناعي مقارنة بخط الأساس أو مجموعة مقارنة | الوسيط والمئين 85 لزمن المهمة مع الذكاء الاصطناعي ناقص مثيلهما لخط الأساس أو المقارنة | دقائق أو ساعات | مهام مؤقتة، الطوابع الزمنية للتذاكر | مكتب الخدمة؛ إدارة الحوادث | زمن الدورة لمهمة | ربع سنوي |
| كلفة المهمة المساعَدة بالذكاء الاصطناعي | الكلفة الكلية للعمل المساعَد بالذكاء الاصطناعي لكل مهمة، بما في ذلك المراجعة وإعادة العمل | (كلفة الترخيص والاستخدام + كلفة وقت المراجعة وإعادة العمل) / المهام المكتملة بالذكاء الاصطناعي | عملة لكل مهمة | فواتير الموردين، تقديرات الوقت، متتبع العمل | إدارة الخدمة المالية | كلفة الخدمة لكل نتيجة | ربع سنوي |
| حركة النتائج مقابل المقارنة | تغير مؤشر النتيجة للعمل المساعَد بالذكاء الاصطناعي مقارنة بعمل مماثل غير مساعَد | تغير المؤشر للمجموعة المساعَدة ناقص تغيره لمجموعة المقارنة | وحدات المؤشر | مقاييس النتائج لكل حالة استخدام (الجودة، الرضا، معدل إعادة الفتح، العيوب) | التحسين المستمر | التعلم من التجارب | ربع سنوي |
عرّف كل حالة استخدام بالمهمة والمستخدمين ومؤشرات النتيجة، وسجّلها في السجل. وتغطية استخدام الذكاء الاصطناعي مقياس وصفي لا هدف. وتُحكم دقة المخرجات المراجَعة مقابل معيار مكتوب بيد شخص مؤهل لم ينتج المخرج. ويشمل زمن المهمة وقت صياغة المطالبة والمراجعة والتصحيح كما التوليد. وتحسب كلفة المهمة وقت الناس المصروف في الفحص والإصلاح. وتتطلب حركة النتائج مقارنة مختارة سلفًا وملاحظة بما تغير أثناء الفترة.
التوصيات
قرر أين ينتمي الذكاء الاصطناعي
1. اسرد المهام والمشكلة التي يعالجها كل استخدام للذكاء الاصطناعي. ابدأ من الألم لا من الأداة: صياغة متكررة وفرز بطيء ومعرفة مشتتة ومراجعات طويلة وتنبيهات صاخبة. ولكل استخدام مرشح اكتب المشكلة ومن يشعر بها والنتيجة التي ينبغي أن تتحسن والمخاطر. وتجاوز الاستخدامات التي بلا مشكلة واضحة. هذا هو السجل الذي يتعلق به خط الأساس والقياسات.
2. صنّف مخاطر كل استخدام. أداة تصوغ ملاحظات داخلية تحمل خطرًا مختلفًا عن أداة تغير أنظمة الإنتاج أو ترد على العملاء أو تتخذ قرارات بشأن الناس. صنّف الاستخدامات بحسب الضرر إن كان المخرج خاطئًا ومن يتأثر وهل يراجعه شخص قبل أن يسري. وتحتاج الاستخدامات الأعلى خطرًا قياسات وعينات وحوكمة أقوى (انظر الموضوع 10.5، مقاييس حوكمة الذكاء الاصطناعي ومخاطره).
3. ابدأ بناس راغبين ومهام محدودة. جرّب مع متطوعين على مهمة شائعة وقابلة للفحص. المتطوعون يعطون تغذية راجعة صادقة ويكيّفون الأداة مع عملهم. والمهمة المحدودة تجعل خطوط الأساس والمقارنات ممكنة. وتجنب البدء بأكثر الأعمال حساسية.
التقط خطوط الأساس وأعدّ المقارنات
4. سجّل خط الأساس قبل أول استخدام. لكل حالة استخدام التقط الحالة الراهنة للمؤشرات: زمن الإكمال ومعدل الجودة أو العيوب وإعادة العمل ورضا المستخدمين والكلفة. وخذ ملاحظات تكفي لرؤية التباين الطبيعي (انظر الموضوع 1.6، الإلمام الإحصائي لمقاييس الخدمة). أرّخ خط الأساس واحتفظ به. وخط أساس مأخوذ بعد الإطلاق سجل للعالم الجديد.
5. ابنِ مقارنة. حيثما أمكن، أبقِ مجموعة مماثلة أو مجموعة مهام لا تستخدم الذكاء الاصطناعي في فترة التجربة، أو بدّل الاستخدام بالأسبوع أو بنوع المهمة بطريقة عادلة. العشوائية مثالية وغالبًا غير عملية. وقل بوضوح ما الذي تغير أيضًا. وبدون مقارنة ستُنسب للأداة تحسينات سببها الموسمية أو التوظيف أو التعلم.
6. قِس الوقت بصدق. الزمن إلى مسودة أولى نادرًا ما يكون القياس الصحيح. قِس الزمن إلى نتيجة منتهية مفحوصة، بما فيه صياغة المطالبات والمراجعة والتصحيح. وكثيرًا ما يبلّغ الناس عن وقت موفَّر استنادًا إلى خطوة التوليد، وتأكل خطوة المراجعة بعضه أو كله. ودراسات الوقت على عينة من المهام تستحق الجهد.
قِس الجودة والكلفة
7. خذ عينات من المخرجات لمراجعة أناس مؤهلين. كل شهر اسحب عينة عشوائية من المخرجات المساعَدة بالذكاء الاصطناعي ودع شخصًا مؤهلًا يحكم عليها مقابل معيار مكتوب. وأبلغ بالدقة وأنواع الأخطاء المكتشفة والاتجاهات. وهذه الحماية الرئيسية من انتشار الأخطاء السلسة. أبقِ المراجع مستقلًا عن المنتج، وبدّل المراجعين.
8. راقب أنماط القبول والتجاوز. قد يشير معدل قبول مرتفع جدًا إلى انحياز الأتمتة، حيث يقبل الناس دون فحص. وقد يشير معدل منخفض جدًا إلى أداة غير مفيدة. استخدم المعدلات محفزات لحوار مع الفريق واسأل ماذا تعني الأرقام في تجربتهم. ولا تضع أهدافًا للقبول.
9. عدّ الكلفة الكاملة لكل مهمة. أدرج رسوم الترخيص والرسوم القائمة على الاستخدام والوقت المصروف في الصياغة والمراجعة والتصحيح والتدريب وجهد الحوكمة. وقارن بكلفة خط الأساس. وأداة تصوغ مسودات بسرعة وتحتاج تصحيحًا كثيفًا قد تكلف أكثر من الطريقة القديمة. وأدرج كلفة الأخطاء التي تصل إلى المستخدمين.
أصلح الجانب البشري
10. احمِ الناس من المراقبة ومن زحف الوتيرة. جمّع بيانات استخدام الذكاء الاصطناعي على مستوى الفريق ولا تستخدمها لتقييم الأفراد. ولا تستخدم الاستخدام قياسًا للأداء. واتفق سلفًا أن الوقت الموفَّر لن يتحول تلقائيًا إلى عبء عمل إضافي، وقرر مع الفريق ما يُفعل به: جودة أو تعلم أو تحسين أو عمل آخر. والوتيرة الثابتة هدف تصميمي (انظر الموضوع 9.2، مقاييس الرضا والرفاه).
11. اسأل من يستخدمونه. تكشف النبضات القصيرة والحوارات ما تفوته الأرقام: أين تساعد الأداة وأين تحبط وأين تنقل العمل من الإنشاء إلى الفحص وهل تغير رضا الوظيفة. وعامل المخاوف بشأن المهارات والجودة والأمان الوظيفي باحترام.
12. قرر وانشر وأعد النظر. عند نهاية كل تجربة قرر التوسع أو التكييف أو التوقف، وسجّل الدليل. وشارك النتائج بصدق، بما فيها الصفرية والسلبية. وأعد النظر في القرارات مع تغير الأدوات، وهي تتغير بسرعة. فاستخدام لم يساعد العام الماضي قد يساعد الآن، والعكس.
طرق التلاعب وضوابط الحماية
| المقياس | كيف يُتلاعب به | ضابط الحماية المقترن (مقياس أو ممارسة) |
|---|---|---|
| اكتمال خط الأساس | تسجيل خطوط الأساس بعد الواقعة؛ استخدام مؤشرات مريحة | خطوط أساس مختومة بالتاريخ؛ مراجعة مستقلة لمنهج خط الأساس |
| تغطية استخدام الذكاء الاصطناعي | تكليف الاستخدام؛ عدّ استدعاءات تافهة أو آلية | ليست هدفًا أبدًا؛ قارن بحركة النتائج؛ عدّ الاستخدام ذا المعنى |
| معدل قبول الاقتراحات وتجاوزها | مكافأة القبول؛ جعل الرفض مرهقًا | لا أهداف؛ دقة المخرجات المراجَعة؛ اسأل المستخدمين عن تجربتهم |
| دقة المخرجات المراجَعة | أخذ عينة من المخرجات السهلة؛ مراجعون متساهلون | عينة عشوائية بمراجعين مستقلين؛ معيار مكتوب؛ تدوير المراجعين |
| زمن المهمة مقابل خط الأساس | توقيت التوليد فقط؛ اختيار مهام سهلة | الزمن إلى نتيجة مفحوصة؛ عيّن المهام عشوائيًا؛ أدرج المراجعة وإعادة العمل |
| كلفة المهمة المساعَدة بالذكاء الاصطناعي | إغفال وقت المراجعة أو كلفة الحوكمة | قائمة تحقق بالكلفة الكاملة؛ المقارنة بدراسات الوقت |
| حركة النتائج مقابل المقارنة | اختيار مجموعات أو فترات مواتية؛ تجاهل التغييرات الأخرى | مقارنة وفترة متفق عليهما سلفًا؛ قائمة بالتغييرات الأخرى |
القراءة الصحية خطوط أساس لكل تجربة، وزمن مقيس إلى نتائج منتهية، ودقة يفحصها مؤهلون، وكلف تشمل المراجعة، ونتائج تُقارن بعدل، وفرق تقول إن الأداة تخدم حكمها.
المفاضلات: المزايا والعيوب
| النهج | نقطة القوة | نقطة الضعف |
|---|---|---|
| تجربة مع متطوعين | تغذية راجعة صادقة؛ خطر منخفض | المتطوعون متحمسون؛ قد لا تعمَّم النتائج |
| إطلاق بالتكليف | تغطية سريعة | استخدام بلا قيمة؛ استياء؛ تلاعب |
| مقارنة مضبوطة | دليل موثوق | جهد؛ غير ممكنة دائمًا |
| قبل وبعد فقط | بسيط | مشوش بتغييرات أخرى |
| وفورات يبلّغ بها المورد | سهلة الحصول | متفائلة؛ بلا سياق |
| مهام مؤقتة ذاتية | مرتكزة على عملك | تستغرق وقتًا؛ عينات صغيرة |
| مراجعة ثقيلة لكل مخرج | آمنة | تزيل الفائدة |
| مراجعة بالعينات | تتسع | تنفلت بعض الأخطاء |
والجواب العملي إجراء تجارب صغيرة بخطوط أساس ومقارنات، وأخذ عينات من المخرجات للجودة، وعدّ الكلفة الكاملة، والقرار بالدليل. واستخدم أرقام الموردين فرضيات للاختبار.
أسئلة للنقاش مع فريقك
1. أين نتوقع أن يساعدنا الذكاء الاصطناعي، وماذا سنرى لو ساعد؟ اسردوا الاستخدامات المرشحة، ولكل منها المؤشر وخط الأساس الذي لدينا اليوم. وعلى الميسّر الدفع نحو التحديد: أي مهمة وأي قياس وأي حجم تغيير يهم. اختاروا استخدامًا واحدًا للتجربة واتفقوا على خط الأساس.
2. ما الذي سيجعلنا نثق باقتراح ذكاء اصطناعي أو لا نثق، وكيف سنعرف أننا أخطأنا؟ ناقشوا حالات كان المخرج فيها خاطئًا وكيف لوحظ. وفكروا كيف تعمل المراجعة عمليًا وهل يدفع الضغط إلى تخطيها. واتفقوا على طريقة أخذ عينات سيجريها شخص مستقل.
3. كم من الوقت الذي نوفره سيُصرف على الفحص؟ وقّتوا مهمة حقيقية واحدة مع الأداة وبدونها، بما فيه الصياغة والمراجعة. وقارنوا بما يتوقعه الناس. وغالبًا يكشف الحوار أين المكسب وأين لا مكسب.
4. ماذا ينبغي أن نفعل بالوقت الذي نوفره؟ قرروا سلفًا. من الخيارات عمل الجودة أو التعلم أو التحسين أو ضغط أقل. وناقشوا كيف تمنعون امتصاص الوقت بصمت في طلب أكبر. واتفقوا مع القادة كيف سيحميه الفريق.
5. ماذا لا نريد أن يفعله الذكاء الاصطناعي هنا، ولماذا؟ اسردوا المهام التي تحتاج حكمًا بشريًا أو تعاطفًا أو مساءلة. وناقشوا المخاطر على المستخدمين والمهارات. وعلى الميسّر تسجيل الحدود مدخلات للحوكمة.
6. كيف سنعرف متى نتوقف؟ عرّفوا الدليل الذي سينهي التجربة أو الاستخدام. واتفقوا على من يقرر ومتى. فتجربة بلا معايير خروج تصير ثابتًا دائمًا.
المنظورات الأربعة
فرق المنتج والتسليم
تستخدم فرق التسليم الذكاء الاصطناعي للشيفرة والاختبارات والمراجعات والتوثيق. وينبغي لها قياس الزمن إلى نتيجة مراجَعة تعمل، ومراقبة الجودة والعيوب، وإبقاء المراجعة البشرية ذات معنى. وأن تقاوم قياسات تعدّ الأسطر المولَّدة أو القبول، وتصر على قياسات النتائج مثل العيوب والاستقرار.
فرق الخدمة والعمليات
تستخدم فرق العمليات ومكتب الخدمة الذكاء الاصطناعي للفرز والملخصات والاقتراحات والمراقبة. وينبغي لها مقارنة جودة المعالجة والحل بخطوط الأساس، وأخذ عينات من المخرجات، ومراقبة الآثار على المستخدمين وعلى الاتصالات المتكررة. ويجب استشارتها قبل وضع الذكاء الاصطناعي أمام المستخدمين.
القيادة والحوكمة
يرعى القادة برامج الذكاء الاصطناعي ويواجهون ضغطًا لإظهار المكاسب. وينبغي لهم الإصرار على خطوط أساس ومقارنات، وتمويل عمل المراجعة، وتجنب أهداف الاستخدام، وحماية الناس من المراقبة وزحف الوتيرة. وعلى الحوكمة اشتراط تصنيف المخاطر والدليل قبل التوسع.
العملاء والمستخدمون
يلتقي المستخدمون بالذكاء الاصطناعي في الإجابات والاقتراحات والإجراءات الآلية. وهم يريدون مساعدة صحيحة مفهومة وإمكانية الوصول إلى شخص. وينبغي إخبارهم حين يتعاملون مع ذكاء اصطناعي حيث يناسب، وتغذيتهم الراجعة دليل أساسي على هل يساعد (انظر الموضوع 6.1، مقاييس رضا العملاء).
عمليًا: مثال على أجايل ITIL
تشغّل مجموعة التقنية في شركة تأمين متوسطة الحجم مكتب خدمة داخليًا لـ4000 موظف وعدة فرق منتج. يشتري القادة تراخيص لمساعد ذكاء اصطناعي ويطلبون تقريرًا عن الوقت الموفَّر بعد ثلاثة أشهر. الأرقام أدناه توضيحية.
تصر رئيسة إدارة الخدمات على خط أساس. وللمهمة الأكثر شيوعًا في مكتب الخدمة، صياغة الردود على طلبات الوصول وكلمات المرور، توقّت 120 تذكرة حديثة: وسيط زمن المعالجة 11 دقيقة، والمئين 85 يساوي 24، ومعدل إعادة فتح 6 في المئة، ودرجة رضا من الاستبيان مستقرة. وتختار فريقين لتجربة المساعد وتبقي فريقين مماثلين للمقارنة. وفريقا التجربة متطوعان.
وبعد ثمانية أسابيع، يبلغ وسيط زمن المعالجة لفريقي التجربة 8 دقائق والمئين 85 يساوي 19، مقابل 11 و23 في فريقي المقارنة. وتُظهر سجلات الأداة أن الموظفين يقبلون الاقتراحات كما كُتبت في 52 في المئة من الحالات، ويعدلونها في 38 في المئة، ويرفضونها في 10 في المئة. وتجد عينة عشوائية شهرية من 80 ردًّا، يراجعها موظف أقدم ليس في التجربة، أن 91 في المئة صحيحة تمامًا، والأخطاء متركزة في إجراء نادر الاستخدام أعطى فيه المساعد خطوات قديمة. ويرتفع معدل إعادة الفتح في فريقي التجربة قليلًا إلى 7 في المئة، ضمن التباين الطبيعي. وتنخفض الكلفة لكل تذكرة انخفاضًا متواضعًا بعد حساب التراخيص ووقت المراجعة. ويُظهر استبيان أن الموظفين يقدّرون المسودات ولا يحبون الفحص الإضافي للردود الطويلة. ويقول اثنان إنهما يشعران بضغط لمعالجة تذاكر أكثر في الساعة.
وتبلّغ رئيسة إدارة الخدمات عن توفير وقت نحو الربع عند الوسيط وتذكر التحفظات: فريقان وثمانية أسابيع ومتطوعون ومعدل إعادة فتح يحتاج مراقبة. وتتفق مع القادة أن الوقت الموفَّر سيذهب إلى قاعدة المعرفة والحالات المعقدة، وأنه لن يرتفع هدف تذاكر. ويُصلح الإجراء القديم في قاعدة المعرفة. ويطلب مدير أول استخدامًا إلزاميًا على مستوى الشركة وهدف قبول 80 في المئة. وترفض الهدف موضحة أن هدف القبول سيكافئ عدم الفحص، وتقترح توسيع التجربة إلى فريقين آخرين بالقياسات نفسها. ويُسجَّل القرار.
النظرة حسب القطاع
الشركات الناشئة. تُتبنى الأدوات بسرعة وغالبًا بشكل غير رسمي. التقط خط أساس بسيطًا للوقت والعيوب للاستخدام الرئيسي، وأبقِ المراجعة البشرية لكل ما يواجه العملاء، وتجنب الارتباط بمورد واحد مبكرًا. وانتبه للأمن وانكشاف البيانات حين يستخدم الموظفون أدوات عامة.
الأعمال الصغيرة. يمكن للمساعدين الجاهزين تقديم عون حقيقي في الصياغة والمهام الروتينية. قِس على نطاق صغير: زمن بضع مهام حقيقية ومعدل التصحيحات. وكن حذرًا مع البيانات السرية، وافحص شروط المورد في كيفية استخدام البيانات.
المؤسسات الكبرى. يتطلب الحجم حوكمة ومعايير مشتريات ومنهج قياس مشتركًا. أجرِ تجارب بمقارنة، وانشر النتائج داخليًا، وشارك خطوط الأساس والمناهج عبر الفرق. واحذر برامج تبلّغ بالاستخدام نجاحًا.
الحكومة والقطاع العام. قد تخضع القرارات التي تمس المواطنين لواجبات قانونية في الشفافية والإنصاف والمراجعة البشرية. صنّف الاستخدامات بالمخاطر، واحتفظ بسجلات كيف استُخدم الذكاء الاصطناعي في القرارات، وكن منفتحًا بشأنه. وتنطبق قواعد المشتريات وحماية البيانات، ولبعض الولايات القضائية قوانين خاصة بالذكاء الاصطناعي ينبغي التحقق منها حتى اليوم (انظر الموضوع 8.5، التقارير التنظيمية والحكومية).
دراسة الجدوى: الدوافع والعائد على الاستثمار وإجمالي تكلفة الملكية
الكلف هي التراخيص أو رسوم الاستخدام والتكامل والتدريب ووقت التقاط خطوط الأساس وإجراء المقارنات ووقت الناس المصروف في مراجعة المخرجات وتصحيحها وجهد الحوكمة. وقد تتدرج الكلف مع الاستخدام وتتغير بتسعير المورد، فانمذج نطاقًا.
والعوائد المحتملة وقت مسترد في المهام المتكررة وصياغة وبحث أسرع وتغطية معرفة أفضل وراحة للموظفين من العمل الممل. وهذه احتمالات للاختبار لا افتراضات للادخار. ابنِ الحجة من تجاربك: زمن المهمة المقيس إلى نتيجة مفحوصة والدقة المراجَعة وإعادة العمل والكلفة الكاملة لكل مهمة، مقابل خط الأساس والمقارنة. وتجنب اقتباس نسب إنتاجية من مصادر الموردين أو الاستبيانات ما لم تستطع تتبع المنهج وملاءمته لعملك. وأدرج خطر الأخطاء التي تصل إلى المستخدمين وكلفة حوكمة الأدوات (انظر الموضوع 7.7، العائد على الاستثمار ودراسة الجدوى).
الأنماط المضادة والمزالق
- إدخال الذكاء الاصطناعي بلا خط أساس. لا تستطيع القول ما الذي تغير. التقطه أولًا.
- قياس سرعة التوليد. قد يتلاشى المكسب في المراجعة. قِس الزمن إلى نتيجة مفحوصة.
- أهداف التبني. تنتج استخدامًا بلا قيمة. عامل التغطية وصفية.
- الوثوق بادعاءات الموردين. هي فرضيات. اختبرها على عملك.
- مراجعة غير حقيقية. يحول انحياز الأتمتة المراجعة إلى ختم مطاطي. خذ عينات وافحص باستقلال.
- تحويل الوقت الموفَّر إلى طلب أكبر. يؤكل الثقة والوتيرة المستدامة. قرر سلفًا ما الغرض من الوقت.
- مراقبة الاستخدام الفردي. يولد الخوف. جمّع على مستوى الفريق.
- تجارب بلا نهاية. تصير دائمة افتراضيًا. ضع معايير خروج.
نموذج النضج
| البُعد | 1 البدء | 2 التطوير | 3 التوحيد | 4 الإدارة | 5 التنسيق |
|---|---|---|---|---|---|
| الغاية وخطوط الأساس | أدوات تُتبنى بالحماس | حالات استخدام مسرودة | سجل بمشكلة وفئة خطر وخط أساس ومؤشر لكل استخدام | خطوط أساس ومقارنات مطلوبة قبل التوسع؛ النتائج منشورة | خطوط أساس ومناهج مشتركة عبر الفرق والشركاء؛ استخدامات تُسحب حين يتلاشى الدليل |
| دليل الفائدة | حكايات وادعاءات موردين | تقديرات وقت غير رسمية | مهام مؤقتة؛ دقة بالعينات؛ كلفة كاملة لكل مهمة | حركة النتائج مقابل المقارنة مبلَّغ بها بحدودها | رؤية محفظة لأين يساعد الذكاء الاصطناعي، مع تعلم مشترك على نطاق واسع |
| الناس والوتيرة | تكاليف؛ مراقبة | رعاية غير رسمية | بيانات على مستوى الفريق فقط؛ الوقت الموفَّر يُخصص بالاتفاق | تُتتبع المخاوف؛ تُقاس المهارات والرضا | تصميم مشترك لاستخدام الذكاء الاصطناعي مع المستخدمين والموظفين؛ وتيرة مستدامة محمية |
قائمة التحقق
- لكل استخدام للذكاء الاصطناعي مشكلة مكتوبة وفئة خطر ومالك ومعايير خروج.
- يوجد خط أساس مؤرخ لكل تجربة قبل أول استخدام.
- مجموعة مقارنة أو مهام مقارنة معرَّفة سلفًا.
- يُقاس الوقت إلى نتيجة منتهية مفحوصة.
- تؤخذ عينات من المخرجات شهريًا ويراجعها أناس مؤهلون مستقلون.
- الكلفة الكاملة لكل مهمة تشمل المراجعة وإعادة العمل.
- بيانات الاستخدام مجمَّعة على مستوى الفريق ولا تُستخدم للأفراد.
- اتفق الفريق على ما يُفعل بالوقت الموفَّر.
- يُسأل المستخدمون عن تجربتهم مع الأداة.
- تنتهي التجارب بقرار مسجل بالتوسع أو التكييف أو التوقف.
مطالبات الذكاء الاصطناعي
صُغ مدخل حالة استخدام.
We are considering using AI for [task] in [team and service]. Draft a use case
register entry: the problem and who feels it, the outcome that should improve,
risk classification and why, the human review step, baseline indicators to
capture now, a comparison approach, cost components to track, exit criteria,
and questions for the team. Do not assume specific vendor features or claim
benefits. List your assumptions.
صمّم دراسة مهام مؤقتة.
Design a small study to measure the effect of an AI assistant on [task]. Propose
how to select tasks, how to compare with and without the tool fairly, what to
time (including prompting, review, and correction), how to judge output quality,
and how to avoid bias. Keep it practical for a team of [number] people.
Do not state expected results. List your assumptions and limits of the design.
خطّط لأخذ عينات المخرجات.
Our AI-assisted outputs per month are about [number] of types [list]. Design a
monthly random sampling and review process: sample size and selection method (with
the reasoning, avoiding overstated precision), who reviews, the written standard,
error categories, how to report, and how to use findings. List your assumptions
and risks.
قرر ما يُفعل بالوقت الموفَّر.
Our pilot saved a median of [value] per task for [number] tasks per week in
[team]. Suggest options for using the time that support quality, learning, and
a sustainable pace, with the trade-offs and risks of each, and a way to agree
the choice with the team and leaders. Do not assume the savings will persist.
List your assumptions.
مهارات الذكاء الاصطناعي
- مهارة مقاييس أجايل ITIL: استخدمها للعثور على ضابط الحماية المقترن بمقياس متعلق بالذكاء الاصطناعي قبل الإبلاغ به.
- مهارة صيانة مقاييس أجايل ITIL: استخدمها للتحقق من أن مدخل قياس ذكاء اصطناعي يسجل خط أساسه ومقارنته وطريقة تلاعبه وضابط حمايته.
النقاط الرئيسية
- التقط خط أساس مؤرخًا قبل استخدام الذكاء الاصطناعي، وقارن بعمل مماثل أُنجز بدونه.
- قِس الزمن إلى نتيجة منتهية مفحوصة، وخذ عينات من المخرجات للدقة بمراجعين مستقلين.
- عدّ الكلفة الكاملة، بما فيها المراجعة وإعادة العمل.
- عامل الاستخدام والقبول وصفيين، ولا تجعلهما أهدافًا أبدًا.
- قرر سلفًا ما يُفعل بالوقت الموفَّر، وأبقِ وتيرة مستدامة.
- أبقِ بيانات الاستخدام على مستوى الفريق، وأنهِ كل تجربة بقرار مسجل.
المراجع والقراءة الإضافية
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- ISO/IEC 42001, Information technology: Artificial intelligence: Management system, International Organization for Standardization, 2023.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- Bender, E. M., Gebru, T., McMillan-Major, A., and Shmitchell, S., "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?" Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 2021.
- Russell, S., and Norvig, P., Artificial Intelligence: A Modern Approach, 4th ed., Pearson, 2020.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Artificial intelligence.
- Wikipedia, Machine learning.
- Wikipedia, Generative artificial intelligence.
- Wikipedia, Large language model.
- Wikipedia, AIOps.
- Wikipedia, Human-in-the-loop.
- Wikipedia, Automation bias.
- Wikipedia, Hallucination (artificial intelligence).
- Wikipedia, Goodhart's law.