تضخم المقاييس وتخفيف الجودة
حين يجعل الذكاء الاصطناعي الحجم والسرعة رخيصين، يتضخم كل مقياس يعدّ الحجم والسرعة، فاقرن كلًّا منها بمقياس فائدة فحصه شخص، وراقب هل الإشارة في بياناتك تغرق.
الملخص والدافع
يعمل المقياس لأنه يعكس شيئًا يصعب إنتاجه. فالتذاكر المحلولة تعكس جهدًا. والمستندات المكتوبة تعكس معرفة. والاختبارات المضافة تعكس عناية. وحين تجعل أداة المخرج المرئي شبه مجاني تنقطع الصلة بين المخرج والجهد. تواصل الأرقام الارتفاع ويتسرب المعنى. وهذا تضخم المقاييس، ورفيقه تخفيف الجودة: تنخفض حصة ما يُنتَج من النافع، ويصير الجزء النافع أصعب العثور عليه.
وهذه ليست مشكلة جديدة. فـقانون غودهارت وقريبه قانون كامبل يصفان كيف تفسد القياسات المستخدمة للضبط. ومقياس الغرور يبدو مبهرًا ولا يقول شيئًا عن صحة العمل. وما يغيره الذكاء الاصطناعي سرعة توليد المخرجات ونطاقه، ومعهما سرعة هذه الإخفاقات القديمة ونطاقها. وفريق كان يضخم عدًّا يدويًا يستطيع الآن فعل ذلك في دقائق، غالبًا دون قصد.
وتتكرر عدة أنماط في عمل الخدمات والتسليم.
- تضخم الحجم. يصوغ الذكاء الاصطناعي تذاكر وردودًا وتعليقات وحالات اختبار ومستندات وشيفرة أكثر. وترتفع أعدادها. وترتفع أعباء من عليهم قراءتها ومراجعتها وصيانتها أيضًا.
- تضخم السرعة. ينخفض الزمن إلى مسودة أولى انخفاضًا حادًا، وينخفض الزمن إلى نتيجة منتهية مفحوصة أقل، أو لا ينخفض. ولوحة تبلّغ بالأول ترسم قصة مجاملة.
- الضجيج. يتنافس محتوى أكثر على الانتباه. وفرط المعلومات حالة لا يستطيع فيها الشخص معالجة حجم المعلومات المعروضة، وتنخفض نسبة الإشارة إلى الضجيج في قاعدة المعرفة أو طابور التذاكر أو تدفق التنبيهات. وإرهاق التنبيهات صورته التشغيلية (انظر الموضوع 5.5، مقاييس جودة المراقبة والتنبيهات).
- محتوى مولَّد منخفض الجودة. المحتوى المنتَج بالجملة بقليل من المراجعة، ويسمى أحيانًا حثالة الذكاء الاصطناعي، معقول ورقيق. وقاعدة معرفة مزروعة بمقالات كهذه تصير أقل جدارة بالثقة، ويتعلم المستخدمون ألّا يثقوا بها.
- كلفة التحقق. جهد فحص ادعاء كثيرًا ما يفوق كثيرًا جهد صنعه، وهو نمط يسمى أحيانًا قانون براندوليني. وحين يكون التوليد رخيصًا يصير التحقق عنق الزجاجة.
- كفاءة تزيد الاستهلاك. يصف مفارقة جيفونز حالات تؤدي فيها مكاسب الكفاءة إلى استخدام أكبر لمورد لا أقل. فإن صارت صياغة تقرير رخيصة طُلبت تقارير أكثر. وقد يُستهلك الوقت الذي توفره أداة في عمل أكثر وأقل قيمة.
- حلقات التغذية الراجعة. إن غذّى المحتوى المولَّد الجولة التالية من التوليد تراكبت الأخطاء. وتصف أدبيات البحث انهيار النماذج في نماذج تُدرَّب على مخرجاتها. وقد تحدث حلقة مماثلة داخل منظمة حين يلخص مساعد تذاكر كتبها مساعد من مقالات لخصها مساعد.
- خطوط أساس منجرفة. إن تغير توزيع البيانات بسبب الذكاء الاصطناعي لم تعد الاتجاهات والعتبات تعني ما كانت تعنيه. وهذا يشبه انجراف المفهوم في التعلم الآلي، حيث تتغير العلاقة بين المدخلات والنتائج عبر الزمن. وارتفاع حجم التذاكر قد يعكس سهولة إنشائها لا مشكلات أكثر.
وغايات أجايل مهمة هنا. فالتسليم المستمر والتحسين المستمر والوتيرة المستدامة كلها تعتمد على وضوح الإشارة. ولا ينبغي أن يُطلب من الناس المتحمسين الخوض في ضجيج مولَّد آليًا أو التحقق من أكوام مخرجات بوتيرة غير مستدامة. وأصحاب المصلحة المنخرطون باستمرار هم أيضًا أفضل دفاع: سيخبرونك حين لا تعود التقارير تفيد.
ويقدم هذا الموضوع القياسات لملاحظة التضخم والتخفيف والأزواج التي تكشفهما. وهو يبني على الأسس وقياسات العمل المساعَد (انظر الموضوع 10.1، الذكاء الاصطناعي في قياس إدارة الخدمات، والموضوع 10.2، قياس العمل بمساعدة الذكاء الاصطناعي).
المبادئ الأساسية
- اقرن كل مقياس حجم أو سرعة بفحص فائدة. يحكم شخص هل المخرج نافع.
- قِس إلى نتيجة منتهية متحقق منها. سرعة المسودة الأولى فخ.
- راقب عبء التحقق. ينمو بهدوء ويستهلك الوقت الموفَّر.
- احمِ الإشارة. أبقِ قاعدة المعرفة والطوابير والتنبيهات نظيفة بما يكفي للوثوق بها.
- اكسر حلقات التغذية الراجعة. لا تدع المحتوى المولَّد يغذي التوليد بلا مراجعة.
- أعد ضبط خط الأساس حين تتغير البيانات. الاتجاهات عبر تحول تقني تحتاج عناية.
- فضّل مخرجات أقل وأفضل. قد يكون الأقل أكثر حين يكون الانتباه المورد المحدِّد.
تعريفات المقاييس
| المقياس | التعريف | الصيغة | الوحدة | مصدر البيانات | ممارسة ITIL | المقابل في أجايل | التكرار |
|---|---|---|---|---|---|---|---|
| نسبة المخرجات إلى النتائج | حجم المخرجات نسبة إلى النتيجة التي قُصد أن تنتجها | عدد المخرجات (تذاكر، مقالات، تغييرات) / مقياس النتيجة (مشكلات محلولة، مقالات مستخدمة، تغييرات باقية)، في الفترة نفسها، يُتتبع اتجاهًا | نسبة | متتبع العمل، قاعدة المعرفة، مقاييس النتائج | التحسين المستمر؛ القياس والإبلاغ | برمجيات عاملة فوق حجم التوثيق | شهري |
| حصة البنود النافعة | حصة البنود المأخوذة عينةً التي يحكم مراجع مؤهل أنها نافعة | البنود المأخوذة عينةً المحكوم بنفعها (صحيحة وذات صلة وغير مكررة) / البنود المأخوذة عينةً | نسبة مئوية | مراجعة عينة عشوائية | إدارة المعرفة؛ ضمان الجودة | تعريف الإنجاز للمحتوى | شهري |
| عبء التحقق | وقت الناس المصروف في فحص العمل المولَّد وتصحيحه لكل وحدة مخرج | ساعات المراجعة والتصحيح / وحدات المخرج، يُتتبع اتجاهًا | ساعات لكل وحدة | تقديرات الوقت، بيانات أداة المراجعة | إدارة الخدمة المالية؛ التحسين المستمر | سعة المراجعة قيدًا | شهري |
| معدل تكرار المحتوى | حصة بنود المعرفة التي تكرر بندًا آخر أو تتداخل معه جوهريًا | البنود الموسومة مكررة أو متداخلة في المراجعة أو بالمطابقة / البنود في قاعدة المعرفة | نسبة مئوية | مراجعة قاعدة المعرفة، تقارير المطابقة | إدارة المعرفة | مصدر وحيد للحقيقة | ربع سنوي |
| الحصة المراجَعة من المعرفة المولَّدة | حصة بنود المعرفة المولَّدة بالذكاء الاصطناعي التي راجعها شخص مؤهل واعتمدها قبل النشر | البنود المولَّدة المنشورة باعتماد مراجعة / البنود المولَّدة المنشورة | نسبة مئوية | بيانات وصفية لقاعدة المعرفة | إدارة المعرفة؛ تمكين التغيير | مراجعة قبل الإصدار | شهري |
| الوارد إلى قائمة المهام مقابل الحل | نمو العمل الوارد نسبة إلى نمو العمل المحلول، للطوابير المتأثرة بالذكاء الاصطناعي | (التغير في البنود المنشأة) / (التغير في البنود المحلولة)، مقارنة بخط الأساس قبل الذكاء الاصطناعي | نسبة | تاريخ التذاكر والمتتبع | إدارة الحوادث؛ إدارة طلبات الخدمة | توازن التدفق | شهري |
| أعلام انجراف المقاييس | عدد المقاييس التي تغير تعريفها أو توزيعها ملحوظًا بعد إدخال الذكاء الاصطناعي، مراجَعة ومشروحة | المقاييس الموسومة في المراجعة / المقاييس في السجل | عدد؛ نسبة مئوية | مراجعة سجل المقاييس، فحوص التوزيع | القياس والإبلاغ | استعادة رجعية للقياس | ربع سنوي |
عرّف "النافع" في معيار مكتوب: صحيح وذو صلة بحاجة حقيقية وغير مكرر وحديث. ويحسب عبء التحقق وقت الناس المصروف، بما فيه وقت إعادة صياغة المطالبة، ويستبعد الوقت المصروف في الانتظار فقط. والحصة المراجَعة ضابط: المعرفة المولَّدة غير المراجَعة تُتتبع بشكل منفصل وتبقى موسومة بوضوح. وأعلام انجراف المقاييس حوارات لا عقوبات: العلم يعني أن شخصًا قرر هل يعدل التعريف أو يشرح الاتجاه أو يعيد ضبط خط الأساس. وكل القياسات تصف العمليات والمحتوى، لا الأفراد.
التوصيات
اقرن الحجم بالفائدة
1. ابنِ فحص فائدة في كل مقياس حجم. لكل مقياس حجم أو سرعة على لوحتك سمِّ مقياس فائدة حكم عليه شخص. التذاكر المنشأة تُقرن بجودة الحل، والمقالات المكتوبة باستخدام المقالات ودقتها، والتغييرات المدموجة بالبقاء وإعادة العمل (انظر الموضوع 10.2، قياس العمل بمساعدة الذكاء الاصطناعي). أظهرها معًا، وناقش حين تتباعد.
2. خذ العينات واحكم بانتظام. كل شهر اسحب عينة عشوائية من البنود في التدفقات التي يمسها الذكاء الاصطناعي ودع شخصًا مؤهلًا يحكم عليها مقابل معيار مكتوب. وسجّل الحصة النافعة وأسباب فشل البنود. وبدّل المراجعين وأبقهم مستقلين عن المنتجين. وأخذ العينات الدفاع الرئيسي من التخفيف البطيء.
3. أبلغ بالنتائج قبل المخرجات. في تقارير القادة ابدأ بالنتائج: مشكلات محلولة ومستخدمون راضون وعيوب تم تجنبها. وضع أعداد المخرجات بعدها سياقًا. فإن بقي التقرير ذا قيمة بعد حذف أعداد المخرجات فهو موجَّه جيدًا.
اضبط التحقق والضجيج
4. قِس عبء التحقق. قدّر الوقت المصروف في فحص العمل المولَّد وتصحيحه، وتتبعه اتجاهًا لكل وحدة مخرج. فإن ارتفع مع ارتفاع المخرجات كان صافي المكسب أصغر مما توحي أرقام التوليد، وقد يكون المراجعون في طريقهم إلى الإثقال. وأدرج العبء في كلفة المهمة (انظر الموضوع 10.1، الذكاء الاصطناعي في قياس إدارة الخدمات).
5. حدّ ما يدخل النظام. قرر أي محتوى مولَّد يجوز إنشاؤه ونشره آليًا، وأيه يحتاج مراجعة. وضع حدودًا لحجم التغييرات المولَّدة وعددها في مراجعة واحدة. واجعل قول لا للحجم سهلًا. وطابور أصغر بعناصر أوضح يخدم المستخدمين أفضل.
6. أدر قاعدة المعرفة منتجًا. سمِ المحتوى المولَّد، واشترط المراجعة قبل النشر، وأحِل المكرر والقديم إلى التقاعد، وتتبع التكرار والاستخدام. وقاعدة المعرفة مفيدة بقدر ما يثق بها المستخدمون. أزل المقالات التي لا يستخدمها أحد ولا يضمنها أحد (انظر الموضوع 3.6، مقاييس إدارة المعرفة).
7. أبقِ تدفقات التنبيهات والتذاكر نظيفة. إن أنشأ الذكاء الاصطناعي تذاكر من تنبيهات أو ملخصات فقِس الحصة النافعة والمكررات. وضبط بصرامة. وعامل انخفاض نسبة الإشارة إلى الضجيج حادثة بحد ذاتها، لأنه يضر بالاستجابة حين تأتي مشكلة حقيقية.
اكسر الحلقات وراقب خط الأساس
8. امنع المحتوى المولَّد من تغذية نفسه دون فحص. حيث يستمد مساعد من قاعدة معرفة أو تاريخ تذاكر أو تقارير سابقة، تأكد أن المادة المولَّدة في تلك المصادر روجعت، أو موسومة وموزونة وفق ذلك. وخذ عينات من السلسلة: اختر إجابة وتتبعها عبر مصادرها لترى من أين جاءت. والحلقات غير المفحوصة تضخم الأخطاء.
9. أعد ضبط خط الأساس حين تتحول البيانات. بعد إدخال الذكاء الاصطناعي اشرح مخططات الاتجاهات، وحيث تغيرت طبيعة البيانات ابدأ خط أساس جديدًا. وافحص التوزيعات لا المجاميع فقط: طول التذاكر وتركيبة الفئات وزمن الإنشاء قد تتحول كلها. وتحفز أعلام انجراف المقاييس هذه الحوارات (انظر الموضوع 1.6، الإلمام الإحصائي لمقاييس الخدمة).
10. ابحث عن الارتداد. حين تصير مهمة أرخص، اسأل هل سينمو الطلب عليها. وقرر سلفًا كيف تستخدم الوقت الموفَّر، حتى لا يمتصه مخرج أكثر وأقل قيمة. فريق ينتج ضعف التقارير بالجهد نفسه قد يؤدي عملًا أقل فائدة.
أبقِ الانتباه البشري في الحلقة
11. احمِ انتباه المراجعين والمستخدمين. سعة المراجعة والانتباه نادرتان. قلّل حجم المادة التي على الناس قراءتها، وأعطِ المراجعين أحمالًا واقعية، واسألهم ما الذي يصير أصعب. والوتيرة المستدامة تشمل وتيرة القراءة والحكم (انظر الموضوع 9.2، مقاييس الرضا والرفاه).
12. اسأل المستخدمين وأصحاب المصلحة هل الإشارة واضحة. إشراك مستمر لمن يستخدمون المخرجات أفضل اختبار. اسأل هل قاعدة المعرفة أسهل أو أصعب استخدامًا، وهل تخبرهم التقارير بما يحتاجون، وهل يبدو الطابور أوضح. وينبغي أن تُقرأ أجوبتهم وتعليقاتهم بجانب الأرقام.
طرق التلاعب وضوابط الحماية
| المقياس | كيف يُتلاعب به | ضابط الحماية المقترن (مقياس أو ممارسة) |
|---|---|---|
| نسبة المخرجات إلى النتائج | اختيار مقياس نتيجة يرتفع مع الحجم؛ تغيير الفترة | النتيجة ثابتة في السجل؛ قارن بالرضا ومعدل إعادة الفتح |
| حصة البنود النافعة | أخذ عينة بنود سهلة؛ معيار متساهل؛ مراجعون يتأثرون بالمنتج | عينة عشوائية؛ معيار مكتوب؛ مراجعون مستقلون متناوبون |
| عبء التحقق | عدم تسجيل وقت المراجعة؛ نقل الفحص إلى فرق لاحقة | أدرج إعادة العمل اللاحقة؛ اسأل المراجعين عن الحمل |
| معدل تكرار المحتوى | قواعد مطابقة ضيقة تفوتها المكررات؛ دمج بنود مختلفة | خذ عينات من المكررات يدويًا؛ سجّل قواعد الدمج |
| الحصة المراجَعة من المعرفة المولَّدة | وسم المراجعة مكتملة دون قراءة؛ مراجعة بالجملة | عينات من المراجعات للجوهر؛ الزمن لكل مراجعة؛ معدل الخطأ في البنود المنشورة |
| الوارد إلى قائمة المهام مقابل الحل | إغلاق البنود آليًا؛ تقسيم البنود | افحص جودة الحل؛ معدل إعادة الفتح؛ خذ عينات من المغلق |
| أعلام انجراف المقاييس | عدم الوسم لتجنب العمل؛ وسم كل شيء | راجع كل المقاييس كل ربع؛ اشترط قرارًا لكل علم |
القراءة الصحية حصة بنود نافعة مستقرة أو متصاعدة مع نمو الحجم، وعبء تحقق معروف ومحتمل الكلفة، وقاعدة معرفة بتكرار منخفض ومحتوى مولَّد مراجَع، وطوابير بإشارة واضحة، ورؤية قيادية تبدأ بالنتائج.
المفاضلات: المزايا والعيوب
| النهج | نقطة القوة | نقطة الضعف |
|---|---|---|
| عدّ المخرجات | سهل، مألوف | يتضخم؛ يكافئ الحجم |
| قياس النتائج | يعكس القيمة | أبطأ؛ أصعب نسبةً |
| العينات والحكم | يكشف التخفيف | يحتاج مراجعين مهرة؛ جهد |
| تسجيل جودة آلي | يتسع | رأي نموذج آخر؛ قد يشارك النقاط العمياء نفسها |
| مراجعة كل ما يُولَّد | آمن | يزيل الفائدة؛ المراجعون مثقلون |
| مراجعة عينة | عملي | تمرّ بعض البنود الرديئة |
| السماح بتوليد مفتوح | سريع، واسع | ضجيج؛ تآكل الثقة |
| حصر التوليد في استخدامات معتمدة | إشارة أنظف | تبنٍّ أبطأ؛ فوائد مفقودة |
والجواب العملي قياس النتائج، وأخذ عينات والحكم بالفائدة مع الناس، وحدّ ما يدخل المخازن المشتركة دون مراجعة، وإعادة النظر في خطوط الأساس. واستخدم التسجيل الآلي عونًا لا حَكَمًا.
أسئلة للنقاش مع فريقك
1. أي أرقامنا ارتفعت منذ بدأنا استخدام الذكاء الاصطناعي، وماذا فعلت لمن نخدمهم؟ اسردوا الأرقام. ولكل منها انظروا إلى النتيجة التي قُصد أن تعكسها. وعلى الميسّر تسجيل أين لم تتحرك النتيجة. واقرنوا تلك الأرقام بفحص فائدة.
2. كم مما نشرناه أو أنشأناه الشهر الماضي نسعد بالدفاع عنه سطرًا سطرًا؟ خذوا عينة عشوائية واقرؤوها معًا. علّموا ما هو نافع أو رقيق أو خاطئ أو مكرر. وناقشوا المعدل والأسباب. واتفقوا على معيار لما يدخل المخازن المشتركة.
3. أين يصير الفحص عنق زجاجة عندنا؟ اسألوا المراجعين. انظروا إلى طوابير المراجعات وعمقها والجهد الذي يحملونه الآن. واتفقوا على حد لحجم البنود المولَّدة أو عددها لكل مراجعة، وعلى طريقة لقياس العبء.
4. أي محتوى مولَّد يغذي محتوى مولَّدًا آخر هنا؟ تتبعوا إجابة نموذجية إلى مصادرها. أين بدأت السلسلة؟ وناقشوا أين ينبغي أن يفحص شخص السلسلة، أو يسم المحتوى.
5. ماذا سيقول مستخدم عن قاعدة معرفتنا الآن مقارنة بقبل سنة؟ اقرؤوا تعليقات حديثة وانظروا إلى بيانات الاستخدام. اسألوا هل صار العثور على إجابة جديرة بالثقة أسهل أم أصعب. واتفقوا على تنظيف واحد وقاعدة واحدة للمحتوى الجديد.
6. أي اتجاهاتنا ينبغي أن نعيد بدءها بخط أساس جديد؟ اسردوا المقاييس التي تعتمد على الحجم أو على كيفية إنشاء البنود. ابحثوا عن تغيرات في الشكل منذ وصل الذكاء الاصطناعي. اشرحوا الاتجاهات، وقرروا أيها يحتاج خط أساس جديدًا.
المنظورات الأربعة
فرق المنتج والتسليم
تولّد فرق التسليم كثيرًا من الحجم وتحمل الصيانة. وينبغي لها تفضيل تغييرات أصغر وأوضح، وإبقاء المادة المولَّدة مراجَعة وموسومة، ومراقبة البقاء وإعادة العمل. وأن ترفض قياسات قائمة على الحجم المولَّد وتطلب قياسات النتائج.
فرق الخدمة والعمليات
تعيش فرق العمليات في الطوابير والتنبيهات وقاعدة المعرفة التي يضرها التخفيف. وينبغي لها ضبط التذاكر والتنبيهات التي ينشئها الذكاء الاصطناعي لإبقاء الإشارة قوية، ومراجعة المعرفة المولَّدة قبل نشرها، والإبلاغ حين يصير التدفق ضجيجًا. وهي في أفضل موضع للحكم على الفائدة.
القيادة والحوكمة
يتلقى القادة اللوحات التي يشوهها التضخم. وينبغي لهم طلب النتائج أولًا، واشتراط فحوص الفائدة بجانب الحجم، وتمويل سعة المراجعة، وقبول أن بعض القياسات تحتاج إعادة ضبط خط الأساس. وعلى الحوكمة التحقق من أن المحتوى المولَّد في المخازن المشتركة مراجَع وموسوم.
العملاء والمستخدمون
يتحمل المستخدمون كلفة التخفيف حين تكون الإجابات خاطئة والمقالات متناقضة والردود طويلة وفارغة. وهم يريدون مساعدة قصيرة صحيحة ذات صلة. وردة فعلهم على جودة ما يتلقونه اختبار مباشر لمعرفة هل نجت الإشارة.
عمليًا: مثال على أجايل ITIL
تفعّل مجموعة تقنية المعلومات في شركة أدوية عالمية مساعد ذكاء اصطناعي لصياغة مقالات المعرفة وتلخيص التذاكر وإعداد تقارير الحالة الأسبوعية. وفي غضون ربع تبدو اللوحة ممتازة. الأرقام أدناه توضيحية.
ترتفع مقالات المعرفة المنشأة من 140 إلى 610 شهريًا. وتحمل التذاكر ملخصات مفصلة كتبها الذكاء الاصطناعي. وتبلغ التقارير الأسبوعية اثنتي عشرة صفحة. تلاحظ مديرة جودة الخدمة أن الرضا عن الخدمة الذاتية انخفض وأن مكتب الخدمة يبلّغ عن اتصالات "المقالة لم تساعد" أكثر. فتأخذ عينة من 100 مقالة جديدة مع موظفين ذوي خبرة. لا يُحكم بنفع غير 54: 23 تكرر مقالات موجودة، و15 تحتوي خطوات قديمة أو خاطئة، و8 مبهمة جدًا لا يمكن العمل بها. ومن المقالات الجديدة نُشرت 71 في المئة دون مراجعة بشرية. وتحوي قاعدة المعرفة الآن نحو 3200 مقالة، بمعدل تكرار محتوى تقدّره بـ28 في المئة مقابل 9 في المئة قبل عام. ويبلّغ الموظفون أن العثور على إجابة جديرة بالثقة يستغرق وقتًا أطول. وعبء التحقق لمحرري المقالات في مكتب الخدمة نما إلى نحو 40 ساعة أسبوعيًا من 12. وملخصات التذاكر التي كتبها الذكاء الاصطناعي تجعل الردود المولَّدة لاحقًا تعتمد على نص لم يكتبه أحد، وفي تتبع خمسة ردود عبر مصادرها اعتمد اثنان على ملخص أخطأ في وصف المشكلة. والتقارير الأسبوعية، حين تُقرأ، لا تقول إلا القليل مما لم يكن في السابق، وتوقف أصحاب المصلحة عن القراءة بعد الصفحة الثانية.
تقترح أربعة تغييرات، يعتمدها فريق قيادة الخدمة ومالكو المعرفة. تحتاج المقالات المولَّدة مراجعة من محرر مسمى قبل النشر، وتُوسم حتى تُعتمد. ويمنع حد مقالة مولَّدة واحدة لكل مجموعة مواضيع المكررات، وتدمج حملة تنظيف البنود المتكررة أو تحيلها إلى التقاعد. وتُقلَّص قوالب التقارير إلى صفحتين تبدآن بالنتائج، ويُستخدم الذكاء الاصطناعي لصياغة الأقسام التي يحررها شخص بعد ذلك فقط. وتُوسم ملخصات التذاكر مولَّدةً، وتُفحص عينة منها كل شهر. وتبلّغ اللوحة بحصة البنود النافعة ومعدل التكرار والحصة المراجَعة وعبء التحقق بجانب أعداد المقالات.
وبعد ربعين تنخفض المقالات المنشأة شهريًا إلى 190، وترتفع حصة البنود النافعة إلى 91 في المئة، وينخفض معدل التكرار إلى 11 في المئة، والحصة المراجَعة 100 في المئة، ويستقر عبء التحقق عند نحو 16 ساعة أسبوعيًا. ويتعافى رضا الخدمة الذاتية وتنخفض اتصالات "المقالة لم تساعد". ويقرأ أصحاب المصلحة التقرير ذا الصفحتين. ويطلب مدير هدف 1000 مقالة شهريًا لإظهار قيمة برنامج الذكاء الاصطناعي. وتشرح مديرة جودة الخدمة أن العدد هو المشكلة، وتقترح تتبع الفائدة والاستخدام. ويُسجَّل القرار.
النظرة حسب القطاع
الشركات الناشئة. التوليد رخيص ووقت المراجعة نادر. أبقِ التوثيق والتذاكر قصيرة، وراجع ما سيقرؤه العملاء، واحذف بحرية. ومجموعة صغيرة صحيحة من المقالات أفضل من كبيرة مشكوك فيها.
الأعمال الصغيرة. سعة المراجعة ضئيلة، فحدّ ما تنتجه الأداة. فضّل حفنة من الأدلة والقوالب المتحقق منها. واحذر نشر مادة مولَّدة على صفحات عامة دون فحصها.
المؤسسات الكبرى. يضخم الحجم الضجيج. أرسِ حوكمة محتوى بملّاك ووسوم وقواعد مراجعة، وقِس الفائدة عبر قاعدة المعرفة، وأجرِ تنظيفات دورية. وشارك المعايير عبر الفرق وقارن الاتجاهات لا الفرق.
الحكومة والقطاع العام. يجب أن يكون المحتوى العام دقيقًا وميسَّر الوصول، وقد تضر الأخطاء. اشترط مراجعة المعلومات العامة المولَّدة، واحتفظ بسجلات كيف أُنتجت، وطبّق معايير اللغة البسيطة وإمكانية الوصول. وقد تنطبق قواعد الاحتفاظ والسجلات على المادة المولَّدة (انظر الموضوع 8.5، التقارير التنظيمية والحكومية).
دراسة الجدوى: الدوافع والعائد على الاستثمار وإجمالي تكلفة الملكية
كلف الاحتراس من التضخم معتدلة: وقت المراجعة لأخذ العينات والجهد التحريري للمحتوى المولَّد وأدوات كشف المكررات وجهد إعادة ضبط الاتجاهات. وكلفة عدم فعل ذلك أكبر لكنها منتشرة: مستخدمون يتوقفون عن الوثوق بالخدمة الذاتية ومراجعون ينهكون وقرارات تُتخذ على أرقام متضخمة ومشاريع تنظيف.
ابنِ الحجة من بياناتك: حصة البنود النافعة وعبء التحقق عبر الزمن، وحجم الاتصالات الناجمة عن محتوى غير مفيد، وكلفة تنظيف قاعدة المعرفة. وتجنب استخدام أرقام منشورة عن جودة المحتوى المولَّد، فهي تتفاوت كثيرًا بالأداة والمهمة والمنهج. وأدرج الكلفة المتجنَّبة لضرر السمعة من نشر معلومات خاطئة (انظر الموضوع 7.7، العائد على الاستثمار ودراسة الجدوى).
الأنماط المضادة والمزالق
- الاحتفاء بالحجم. يكافئ الضجيج. احتفِ بالنتائج والفائدة.
- سرعة المسودة الأولى قصة إنتاجية. قد يتلاشى المكسب في الفحص. قِس الزمن إلى نتيجة متحقق منها.
- نشر محتوى مولَّد بلا مراجعة. تتآكل الثقة بهدوء. راجع وسِم.
- ترك المحتوى المولَّد يغذي التوليد. تتراكم الأخطاء. افحص السلسلة.
- خطوط أساس لا تتغير. تضلل الاتجاهات بعد تحول تقني. اشرح وأعد الضبط.
- إثقال المراجعين. تصير المراجعة ختمًا مطاطيًا. حدّ الحجم وقِس العبء.
- استخدام حكم ذكاء اصطناعي لكل شيء. قد يشارك النقاط العمياء للمنتج. أبقِ الناس في الحلقة.
- تجاهل الارتداد. العمل الأرخص يجذب عملًا أكثر. قرر لماذا الوقت الموفَّر.
نموذج النضج
| البُعد | 1 البدء | 2 التطوير | 3 التوحيد | 4 الإدارة | 5 التنسيق |
|---|---|---|---|---|---|
| الاقتران وأخذ العينات | يُبلَّغ بالحجم وحده | انطباعات غير رسمية عن الجودة | كل مقياس حجم مقترن بفحص فائدة بالعينات | تُدار الفائدة والعبء والتكرار بأهداف للمراجعة لا للحجم | رؤية عبر المنظمة لجودة الإشارة؛ معايير مشتركة مع الشركاء |
| المحتوى والحلقات | محتوى مولَّد مختلط | بعض الوسم | محتوى مولَّد موسوم ومراجَع قبل النشر؛ سلاسل مأخوذ منها عينات | الحلقات مراقبة؛ المخازن مُنتقاة؛ المكررات تُحال إلى التقاعد بجدول | المصدر مُتتبَّع من طرف إلى طرف عبر الأدوات والموردين |
| خطوط الأساس والانتباه | الاتجاهات تُقرأ عبر التحول | شروح على بعض المخططات | خطوط الأساس تُعاد حيث تغيرت البيانات؛ الارتداد معتبَر | أعلام الانجراف تُراجَع ربعيًا؛ حمل المراجعين مُدار | تصميم المقاييس يتكيف باستمرار مع التغير التقني بمشاركة أصحاب المصلحة |
قائمة التحقق
- لكل مقياس حجم أو سرعة رفيق فائدة يحكم عليه شخص.
- تُراجَع عينة عشوائية من البنود التي مسها الذكاء الاصطناعي شهريًا مقابل معيار مكتوب.
- عبء التحقق مقدَّر ومتتبع اتجاهًا.
- المعرفة المولَّدة موسومة ومراجَعة قبل النشر.
- التكرار في قاعدة المعرفة مقيس ومخفَّض.
- تُراقَب تدفقات التنبيهات والتذاكر للحصة النافعة والمكررات.
- تؤخذ عينات من السلاسل من المخرجات المولَّدة إلى مصادرها.
- الاتجاهات عبر إدخال الذكاء الاصطناعي مشروحة أو معادة الضبط.
- تقارير القيادة تبدأ بالنتائج.
- يُسأل المستخدمون وأصحاب المصلحة هل الإشارة أوضح أم أكثر ضجيجًا.
مطالبات الذكاء الاصطناعي
أنشئ معيار فائدة.
Draft a short rubric (no more than six criteria) for judging whether a [knowledge
article, ticket summary, status report] is useful in [type of organization].
Include correctness, relevance to a real need, duplication, currency, and
clarity, with a three-level rating and examples of each level. Do not invent
statistics. List your assumptions and how to keep reviewers consistent.
حلّل انخفاض الإشارة.
Since introducing AI for [task], these figures changed: [paste volumes, resolution,
satisfaction, reopen rate, reviewer hours]. Describe what the pattern suggests
about inflation or dilution, which changes may be due to easier creation, what
to sample next, and which metrics may need a new baseline. Do not assume
causes the data cannot support. List your assumptions.
خطّط لتنظيف قاعدة المعرفة.
Our knowledge base has [number] articles, of which [number] were generated in the
last [period]. Propose a clean-up plan: how to detect duplicates and stale items,
how to prioritize by use, how to review generated articles, rules to prevent
recurrence, and measures to track. Do not assume specific tools. List your
assumptions and risks.
تتبع سلسلة محتوى مولَّد.
Here is an AI-generated answer and the sources it drew on: [paste]. Trace each
claim to its source and mark whether the source was human-written, reviewed
generated content, or unreviewed generated content. Identify where an error
could have entered and suggest a check. Do not assume facts beyond the text. List
your assumptions.
مهارات الذكاء الاصطناعي
- مهارة مقاييس أجايل ITIL: استخدمها للعثور على رفيق الفائدة لمقياس حجم أو سرعة.
- مهارة صيانة مقاييس أجايل ITIL: استخدمها للتحقق من أن مقياسًا يتأثر بالذكاء الاصطناعي يقرن الحجم بفائدة مأخوذة بالعينات ويحمل طريقة تلاعبه وضابط حمايته.
النقاط الرئيسية
- حين يجعل الذكاء الاصطناعي المخرج رخيصًا، تتضخم قياسات الحجم والسرعة وقد تنخفض الحصة النافعة.
- اقرن كل قياس حجم أو سرعة بفحص فائدة مأخوذ بالعينات ويحكم عليه شخص.
- قِس الزمن إلى نتيجة متحقق منها وعبء التحقق، لأن الفحص يصير عنق الزجاجة.
- سِم المحتوى المولَّد وراجعه قبل دخوله المخازن المشتركة، وامنع الحلقات من تغذية نفسها دون فحص.
- أعد ضبط الاتجاهات بعد التحول التقني، وابدأ التقارير بالنتائج.
- قرر سلفًا لماذا الوقت الموفَّر، واحمِ انتباه المراجعين والمستخدمين.
المراجع والقراءة الإضافية
- Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R., and Gal, Y., "AI models collapse when trained on recursively generated data," Nature, 631, 2024.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Goodhart's law.
- Wikipedia, Campbell's law.
- Wikipedia, Vanity metric.
- Wikipedia, Information overload.
- Wikipedia, Signal-to-noise ratio.
- Wikipedia, Alert fatigue.
- Wikipedia, AI slop.
- Wikipedia, Brandolini's law.
- Wikipedia, Jevons paradox.
- Wikipedia, Model collapse.
- Wikipedia, Concept drift.