मेट्रिक्स का फूलना और गुणवत्ता का क्षरण
जब AI मात्रा और गति को सस्ता बना देता है, तो मात्रा और गति गिनने वाला हर मेट्रिक फूलता है, इसलिए हर एक को ऐसे उपयोगिता माप से जोड़ें जिसे किसी व्यक्ति ने जाँचा हो, और देखें कि क्या आपके डेटा का संकेत डूब रहा है।
सारांश और प्रेरणा
मेट्रिक इसलिए काम करता है कि वह किसी ऐसी चीज़ को दर्शाता है जिसे बनाना कठिन है। सुलझे टिकट प्रयास दर्शाते हैं। लिखे दस्तावेज़ ज्ञान दर्शाते हैं। जोड़े परीक्षण सावधानी दर्शाते हैं। जब कोई उपकरण दिखते आउटपुट को लगभग मुफ़्त बना दे, तो आउटपुट और प्रयास के बीच की कड़ी टूट जाती है। संख्याएँ बढ़ती रहती हैं और अर्थ बह जाता है। यह मेट्रिक का फूलना है, और उसका साथी है गुणवत्ता का क्षरण: जो बनाया गया उसका उपयोगी हिस्सा घटता है, और उपयोगी भाग को खोजना कठिन हो जाता है।
यह नई समस्या नहीं है। गुडहार्ट का नियम और उसका संबंधी कैंपबेल का नियम वर्णन करते हैं कि नियंत्रण के लिए उपयोग किए माप कैसे भ्रष्ट होते हैं। वैनिटी मेट्रिक प्रभावशाली दिखता है और कार्य के स्वास्थ्य के बारे में कुछ नहीं कहता। AI जो बदलता है वह गति और पैमाना है जिस पर आउटपुट उत्पन्न हो सकता है, और उसके साथ गति और पैमाना जिस पर ये पुरानी विफलताएँ हो सकती हैं। जो टीम कभी हाथ से गिनती फुलाती थी वह अब मिनटों में कर सकती है, अक्सर बिना इरादे के।
सेवा और डिलीवरी कार्य में कई पैटर्न बार-बार आते हैं।
- मात्रा का फूलना। AI अधिक टिकट, अधिक उत्तर, अधिक टिप्पणियाँ, अधिक परीक्षण मामले, अधिक दस्तावेज़ और अधिक कोड का मसौदा बनाता है। इनकी गिनतियाँ बढ़ती हैं। जिन्हें उन्हें पढ़ना, समीक्षा करना और बनाए रखना है उनके कार्यभार भी बढ़ते हैं।
- गति का फूलना। पहले मसौदे तक का समय तेज़ी से गिरता है, और पूरे, जाँचे परिणाम तक का समय कम गिरता है, या बिल्कुल नहीं। जो डैशबोर्ड इनमें से पहला रिपोर्ट करे वह चापलूसी वाली कहानी बताता है।
- शोर। अधिक सामग्री ध्यान के लिए प्रतिस्पर्धा करती है। सूचना अतिभार वह स्थिति है जिसमें व्यक्ति प्रस्तुत सूचना की मात्रा को संसाधित नहीं कर सकता, और ज्ञान आधार, टिकट कतार, या अलर्ट धारा का संकेत-से-शोर अनुपात गिरता है। अलर्ट थकान उसका परिचालन रूप है (देखें विषय 5.5, निगरानी और अलर्ट गुणवत्ता मेट्रिक्स)।
- कम गुणवत्ता की उत्पन्न सामग्री। कम समीक्षा के साथ थोक में बनी सामग्री, जिसे कभी-कभी AI स्लॉप कहते हैं, विश्वसनीय और पतली होती है। ऐसे लेखों से बीजित ज्ञान आधार कम भरोसेमंद हो जाता है, और उपयोगकर्ता उस पर अविश्वास करना सीख जाते हैं।
- सत्यापन की लागत। किसी दावे को जाँचने का प्रयास अक्सर उसे करने के प्रयास से बहुत बड़ा होता है, ऐसा पैटर्न जिसे कभी-कभी ब्रैंडोलिनी का नियम कहते हैं। जब उत्पादन सस्ता हो, तो सत्यापन बॉटलनेक बन जाता है।
- दक्षता जो खपत बढ़ाती है। जेवन्स विरोधाभास उन मामलों का वर्णन करता है जिनमें दक्षता के लाभ संसाधन के कम नहीं, अधिक उपयोग की ओर ले जाते हैं। यदि रिपोर्ट का मसौदा बनाना सस्ता हो जाए, तो अधिक रिपोर्टें माँगी जाती हैं। उपकरण से बचा समय कम मूल्य के अधिक कार्य से खपत हो सकता है।
- प्रतिक्रिया चक्र। यदि उत्पन्न सामग्री उत्पादन के अगले दौर को खिलाए, तो त्रुटियाँ चक्रवृद्धि होती हैं। शोध साहित्य अपने ही आउटपुट पर प्रशिक्षित मॉडलों में मॉडल पतन का वर्णन करता है। संगठन के भीतर वैसा चक्र तब हो सकता है जब सहायक उन टिकटों का सार बनाता है जो सहायक ने उन लेखों से लिखे जिन्हें सहायक ने संक्षेप किया।
- भटकती आधाररेखाएँ। यदि AI के कारण डेटा का वितरण बदले, तो रुझान और सीमाओं का अर्थ वह नहीं रहता जो था। यह मशीन लर्निंग में कॉन्सेप्ट ड्रिफ़्ट जैसा है, जहाँ इनपुट और परिणामों का संबंध समय के साथ बदलता है। टिकट मात्रा में वृद्धि टिकट बनाना आसान होने को दर्शा सकती है, अधिक समस्याओं को नहीं।
यहाँ एजाइल लक्ष्य मायने रखते हैं। सतत डिलीवरी, सतत सुधार और टिकाऊ गति सब संकेत के स्पष्ट होने पर निर्भर हैं। प्रेरित लोगों से मशीन-उत्पन्न शोर में से गुज़रने या आउटपुट के ढेर अटिकाऊ गति से सत्यापित करने को नहीं कहना चाहिए। सतत शामिल हितधारक भी सबसे अच्छा बचाव हैं: वे बताएँगे जब रिपोर्टें अब मदद नहीं करतीं।
यह विषय फूलने और क्षरण को पहचानने के माप, और उन्हें उजागर करने वाली जोड़ियाँ देता है। यह आधार और सहायता प्राप्त कार्य के मापों पर बनता है (देखें विषय 10.1, सेवा प्रबंधन मापन में AI, और विषय 10.2, AI-सहायता प्राप्त कार्य का मापन)।
मुख्य सिद्धांत
- हर मात्रा या गति माप को उपयोगिता जाँच से जोड़ें। व्यक्ति आँकता है कि आउटपुट उपयोगी है या नहीं।
- पूरे, सत्यापित परिणाम तक मापें। पहले-मसौदे की गति जाल है।
- सत्यापन का बोझ देखें। वह चुपचाप बढ़ता और बचा समय खपत करता है।
- संकेत की रक्षा करें। ज्ञान आधार, कतारें और अलर्ट भरोसे लायक साफ़ रखें।
- प्रतिक्रिया चक्र तोड़ें। उत्पन्न सामग्री को बिना समीक्षा के उत्पादन को खिलाने न दें।
- जब डेटा बदले तो आधाररेखा दोबारा लें। तकनीक बदलाव के पार रुझानों को सावधानी चाहिए।
- कम, बेहतर आउटपुट को प्राथमिकता दें। जब ध्यान सीमित संसाधन हो तो कम अधिक हो सकता है।
मेट्रिक परिभाषाएँ
| मेट्रिक | परिभाषा | सूत्र | इकाई | डेटा स्रोत | ITIL अभ्यास | एजाइल समकक्ष | आवृत्ति |
|---|---|---|---|---|---|---|---|
| आउटपुट-से-परिणाम अनुपात | आउटपुट की मात्रा उस परिणाम के सापेक्ष जिसे उसे पैदा करना था | समान अवधि में आउटपुट गिनती (टिकट, लेख, बदलाव) / परिणाम माप (सुलझी समस्याएँ, उपयोग हुए लेख, रखे बदलाव), रुझान के रूप में ट्रैक | अनुपात | कार्य ट्रैकर, ज्ञान आधार, परिणाम माप | सतत सुधार; मापन और रिपोर्टिंग | दस्तावेज़ मात्रा से ऊपर काम करता सॉफ़्टवेयर | मासिक |
| उपयोगी-मद हिस्सा | नमूने की मदों का हिस्सा जिन्हें योग्य समीक्षक ने उपयोगी आँका | उपयोगी (सही, प्रासंगिक, गैर-दोहराई) आँकी नमूना मदें / नमूने की मदें | प्रतिशत | यादृच्छिक नमूना समीक्षा | ज्ञान प्रबंधन; गुणवत्ता आश्वासन | सामग्री के लिए पूर्णता की परिभाषा | मासिक |
| सत्यापन का बोझ | प्रति इकाई आउटपुट उत्पन्न कार्य को जाँचने और सुधारने में बिताया मानवीय समय | समीक्षा और सुधार घंटे / आउटपुट इकाइयाँ, रुझान के रूप में ट्रैक | घंटे प्रति इकाई | समय अनुमान, समीक्षा उपकरण डेटा | सेवा वित्तीय प्रबंधन; सतत सुधार | बाधा के रूप में समीक्षा क्षमता | मासिक |
| सामग्री अतिरेक दर | ज्ञान मदों का हिस्सा जो किसी अन्य की नकल या काफ़ी ओवरलैप हैं | समीक्षा में या मिलान से दोहराई या ओवरलैप चिह्नित मदें / ज्ञान आधार की मदें | प्रतिशत | ज्ञान आधार समीक्षा, मिलान रिपोर्टें | ज्ञान प्रबंधन | सत्य का एकल स्रोत | तिमाही |
| उत्पन्न ज्ञान का समीक्षित हिस्सा | AI-जनित ज्ञान मदों का हिस्सा जिन्हें योग्य व्यक्ति ने प्रकाशन से पहले समीक्षित और अनुमोदित किया | अनुमोदित समीक्षा के साथ प्रकाशित उत्पन्न मदें / प्रकाशित उत्पन्न मदें | प्रतिशत | ज्ञान आधार मेटाडेटा | ज्ञान प्रबंधन; परिवर्तन सक्षमीकरण | रिलीज़ से पहले समीक्षा | मासिक |
| समाधान के विरुद्ध बैकलॉग अंतर्वाह | AI से प्रभावित कतारों के लिए आने वाले कार्य की वृद्धि सुलझे कार्य की वृद्धि के सापेक्ष | (बनी मदों में बदलाव) / (सुलझी मदों में बदलाव), AI-पूर्व आधाररेखा से तुलना | अनुपात | टिकट और ट्रैकर इतिहास | घटना प्रबंधन; सेवा अनुरोध प्रबंधन | प्रवाह संतुलन | मासिक |
| मेट्रिक ड्रिफ़्ट ध्वज | उन मेट्रिक्स की संख्या जिनकी परिभाषा या वितरण AI लाए जाने के बाद ध्यान देने योग्य खिसका, समीक्षित और टिप्पणी जोड़ी | समीक्षा में चिह्नित मेट्रिक्स / रजिस्टर के मेट्रिक्स | गिनती; प्रतिशत | मेट्रिक रजिस्टर समीक्षा, वितरण जाँचें | मापन और रिपोर्टिंग | मापन पर रेट्रोस्पेक्टिव | तिमाही |
"उपयोगी" को लिखित रूब्रिक में परिभाषित करें: सही, वास्तविक ज़रूरत के लिए प्रासंगिक, गैर-दोहराई और ताज़ा। सत्यापन का बोझ लोगों द्वारा बिताया समय गिनता है, फिर से प्रॉम्प्ट करने का समय सहित, और वह समय बाहर रखता है जो केवल प्रतीक्षा है। समीक्षित हिस्सा नियंत्रण है: असमीक्षित उत्पन्न ज्ञान अलग ट्रैक और दिखते लेबल के साथ रखा जाता है। मेट्रिक ड्रिफ़्ट ध्वज चर्चाएँ हैं, दंड नहीं: ध्वज का अर्थ है कि किसी व्यक्ति ने तय किया कि परिभाषा समायोजित करें, रुझान पर टिप्पणी जोड़ें, या आधाररेखा दोबारा लें। सभी माप प्रक्रियाओं और सामग्री का वर्णन करते हैं, व्यक्तियों का नहीं।
सिफ़ारिशें
मात्रा को उपयोगिता से जोड़ें
1. हर मात्रा मेट्रिक में उपयोगिता जाँच बनाएँ। अपने डैशबोर्ड के हर मात्रा या गति माप के लिए ऐसा उपयोगिता माप बताएँ जिसे व्यक्ति ने आँका हो। बनाए टिकट समाधान गुणवत्ता से जुड़ते हैं, लिखे लेख लेख के उपयोग और सटीकता से, मर्ज हुए बदलाव प्रतिधारण और पुनर्कार्य से (देखें विषय 10.2, AI-सहायता प्राप्त कार्य का मापन)। उन्हें साथ दिखाएँ, और जब वे अलग हों तो चर्चा करें।
2. नियमित रूप से नमूना लें और आँकें। हर महीने उन धाराओं से मदों का यादृच्छिक नमूना लें जिन्हें AI छूता है और योग्य व्यक्ति से उन्हें लिखित रूब्रिक के विरुद्ध आँकवाएँ। उपयोगी हिस्सा और मदों के विफल होने के कारण दर्ज करें। समीक्षक घुमाएँ और उन्हें निर्माताओं से स्वतंत्र रखें। नमूना धीमे क्षरण के विरुद्ध मुख्य बचाव है।
3. आउटपुट से पहले परिणाम रिपोर्ट करें। नेतृत्व रिपोर्टों में परिणामों से शुरू करें: सुलझी समस्याएँ, संतुष्ट उपयोगकर्ता, टाली खामियाँ। आउटपुट गिनतियाँ बाद में संदर्भ के रूप में रखें। यदि रिपोर्ट आउटपुट गिनतियाँ हटाने पर भी मूल्यवान रहे, तो वह अच्छी तरह उन्मुख है।
सत्यापन और शोर को नियंत्रित करें
4. सत्यापन का बोझ मापें। उत्पन्न कार्य को जाँचने और सुधारने में बिताए समय का अनुमान लगाएँ, और उसे प्रति इकाई आउटपुट रुझान के रूप में ट्रैक करें। यदि वह आउटपुट बढ़ने के साथ बढ़ता है, तो शुद्ध लाभ उत्पन्न संख्याओं के सुझाव से छोटा है, और समीक्षक अतिभार की राह पर हो सकते हैं। बोझ को प्रति कार्य लागत में शामिल करें (देखें विषय 10.1, सेवा प्रबंधन मापन में AI)।
5. जो प्रणाली में आता है उसे सीमित करें। तय करें कि कौन-सी उत्पन्न सामग्री स्वचालित रूप से बन और प्रकाशित हो सकती है, और किसे समीक्षा चाहिए। एक समीक्षा में उत्पन्न बदलावों का आकार और संख्या सीमित करें। मात्रा को ना कहना आसान बनाएँ। स्पष्ट मदों वाली छोटी कतार उपयोगकर्ताओं की बेहतर सेवा करती है।
6. ज्ञान आधार को उत्पाद की तरह प्रबंधित करें। उत्पन्न सामग्री को लेबल करें, प्रकाशन से पहले समीक्षा माँगें, दोहराव और बासी मदें रिटायर करें, और अतिरेक व उपयोग ट्रैक करें। ज्ञान आधार उतना उपयोगी है जितना उपयोगकर्ता उस पर भरोसा करते हैं। वे लेख हटाएँ जिन्हें कोई उपयोग नहीं करता और जिनकी कोई गारंटी नहीं दे सकता (देखें विषय 3.6, ज्ञान प्रबंधन मेट्रिक्स)।
7. अलर्ट और टिकट धाराएँ साफ़ रखें। यदि AI अलर्ट या सारों से टिकट बनाता है, तो उपयोगी हिस्सा और दोहराव मापें। आक्रामक रूप से ट्यून करें। गिरते संकेत-से-शोर अनुपात को अपने आप में घटना मानें, क्योंकि जब असली परेशानी आती है तो वह प्रतिक्रिया को नुकसान पहुँचाता है।
चक्र तोड़ें और आधाररेखा देखें
8. उत्पन्न सामग्री को बिना जाँचे खुद को खिलाने से रोकें। जहाँ सहायक ज्ञान आधार, टिकट इतिहास, या पिछली रिपोर्टों पर निर्भर करता है, सुनिश्चित करें कि उन स्रोतों में उत्पन्न सामग्री समीक्षित है, या लेबल और उसी अनुसार भारित है। शृंखला का नमूना लें: उत्तर चुनें और उसे उसके स्रोतों से पीछे खोजें यह देखने के लिए कि वह कहाँ से आया। जाँच-रहित चक्र त्रुटियाँ बढ़ाते हैं।
9. डेटा खिसकने पर आधाररेखा दोबारा लें। AI लाने के बाद रुझान चार्टों पर टिप्पणी जोड़ें और, जहाँ डेटा की प्रकृति बदली हो, नई आधाररेखा शुरू करें। केवल कुल नहीं, वितरण जाँचें: टिकट की लंबाई, श्रेणी मिश्रण और बनाने का समय सब खिसक सकते हैं। मेट्रिक ड्रिफ़्ट ध्वज इन वार्तालापों को प्रेरित करते हैं (देखें विषय 1.6, सेवा मेट्रिक्स के लिए सांख्यिकीय साक्षरता)।
10. उछाल देखें। जब कार्य सस्ता हो, तो पूछें कि क्या उसकी माँग बढ़ेगी। पहले से तय करें कि बचे समय का कैसे उपयोग हो, ताकि वह अधिक कम-मूल्य आउटपुट में खपत न हो। जो टीम उसी प्रयास से दोगुनी रिपोर्टें बनाती है वह कम उपयोगी कार्य कर रही हो सकती है।
मानवीय ध्यान को वार्तालाप में रखें
11. समीक्षकों और उपयोगकर्ताओं के ध्यान की रक्षा करें। समीक्षा क्षमता और ध्यान दुर्लभ हैं। लोगों को पढ़नी पड़ने वाली सामग्री की मात्रा घटाएँ, समीक्षकों को यथार्थवादी भार दें, और उनसे पूछें कि क्या कठिन होता जा रहा है। टिकाऊ गति में पढ़ने और आँकने की गति शामिल है (देखें विषय 9.2, संतुष्टि और कल्याण मेट्रिक्स)।
12. उपयोगकर्ताओं और हितधारकों से पूछें कि क्या संकेत स्पष्ट है। आउटपुट उपयोग करने वाले लोगों की सतत भागीदारी सबसे अच्छी परीक्षा है। पूछें कि ज्ञान आधार उपयोग करना आसान हुआ या कठिन, क्या रिपोर्टें उन्हें बताती हैं जो चाहिए, क्या कतार अधिक स्पष्ट लगती है। उनके उत्तर और टिप्पणियाँ संख्याओं के बगल में पढ़ी जानी चाहिए।
हेरफेर के तरीके और रेलिंग
| मेट्रिक | हेरफेर कैसे होता है | जोड़ी गई रेलिंग मेट्रिक या अभ्यास |
|---|---|---|
| आउटपुट-से-परिणाम अनुपात | ऐसा परिणाम माप चुनना जो मात्रा के साथ बढ़े; अवधि बदलना | रजिस्टर में तय परिणाम; संतुष्टि और पुनः खुलने की दर से तुलना |
| उपयोगी-मद हिस्सा | आसान मदों का नमूना; उदार रूब्रिक; निर्माता से प्रभावित समीक्षक | यादृच्छिक नमूना; लिखित रूब्रिक; स्वतंत्र, घूमते समीक्षक |
| सत्यापन का बोझ | समीक्षा समय लॉग न करना; जाँच को नीचे की टीमों में खिसकाना | नीचे का पुनर्कार्य शामिल करें; समीक्षकों से भार के बारे में पूछें |
| सामग्री अतिरेक दर | संकरे मिलान नियम जो दोहराव चूकते हैं; अलग मदें मिलाना | दोहरावों का हाथ से नमूना; मर्ज नियम लॉग करें |
| उत्पन्न ज्ञान का समीक्षित हिस्सा | बिना पढ़े समीक्षा को पूर्ण चिह्नित करना; थोक में समीक्षा | सार के लिए समीक्षाओं का नमूना; प्रति समीक्षा समय; प्रकाशित मदों में त्रुटि दर |
| समाधान के विरुद्ध बैकलॉग अंतर्वाह | मदें स्वतः बंद करना; मदें बाँटना | समाधान गुणवत्ता जाँचें; पुनः खुलने की दर; बंद मदों का नमूना |
| मेट्रिक ड्रिफ़्ट ध्वज | काम से बचने के लिए चिह्नित न करना; सब कुछ चिह्नित करना | हर तिमाही सभी मेट्रिक्स की समीक्षा; हर ध्वज के लिए निर्णय आवश्यक |
स्वस्थ पठन मात्रा बढ़ने के साथ स्थिर या बढ़ता उपयोगी-मद हिस्सा, ज्ञात और वहन-योग्य सत्यापन बोझ, कम अतिरेक और समीक्षित उत्पन्न सामग्री वाला ज्ञान आधार, स्पष्ट संकेत वाली कतारें, और परिणामों से शुरू होने वाला नेतृत्व दृश्य।
समझौते: लाभ और हानि
| दृष्टिकोण | ताकत | कमज़ोरी |
|---|---|---|
| आउटपुट गिनना | आसान, परिचित | फूलता है; मात्रा को पुरस्कृत करता है |
| परिणाम मापना | मूल्य दर्शाता है | धीमा; आरोपित करना कठिन |
| नमूना लेना और आँकना | क्षरण पहचानता है | कुशल समीक्षक चाहिए; प्रयास |
| स्वचालित गुणवत्ता स्कोरिंग | पैमाने पर चलती है | किसी अन्य मॉडल की राय; वही अंधे धब्बे साझा कर सकती है |
| हर उत्पन्न चीज़ की समीक्षा | सुरक्षित | लाभ हटाती है; समीक्षक अतिभारित |
| नमूने की समीक्षा | व्यावहारिक | कुछ खराब मदें निकल जाती हैं |
| खुले उत्पादन की अनुमति | तेज़, व्यापक | शोर; भरोसा घटता है |
| उत्पादन को अनुमोदित उपयोगों तक सीमित करना | साफ़ संकेत | धीमा अपनाना; छूटे लाभ |
सीधा उत्तर परिणाम मापना, लोगों के साथ उपयोगिता का नमूना और आकलन करना, बिना समीक्षा के साझा भंडारों में आने वाली चीज़ें सीमित करना, और आधाररेखाओं पर दोबारा विचार करना है। स्वचालित स्कोरिंग को सहायक के रूप में उपयोग करें, निर्णायक के रूप में नहीं।
अपनी टीम के साथ चर्चा के प्रश्न
1. AI उपयोग शुरू करने के बाद हमारी कौन-सी संख्याएँ बढ़ी हैं, और उसने उन लोगों के लिए क्या किया जिनकी हम सेवा करते हैं? संख्याएँ सूचीबद्ध करें। हर एक के लिए वह परिणाम देखें जिसे उसे दर्शाना था। सुगमकर्ता को नोट करना चाहिए कि परिणाम कहाँ नहीं हिला। उन संख्याओं को उपयोगिता जाँच से जोड़ें।
2. पिछले महीने हमने जो प्रकाशित या बनाया उसका कितना हिस्सा हम पंक्ति दर पंक्ति बचाने में प्रसन्न होंगे? यादृच्छिक नमूना लें और साथ पढ़ें। चिह्नित करें क्या उपयोगी, पतला, गलत, या दोहराया है। दर और कारणों पर चर्चा करें। साझा भंडारों में क्या जाता है उसके मानक पर सहमत हों।
3. जाँच कहाँ हमारी बॉटलनेक बन रही है? समीक्षकों से पूछें। समीक्षाओं की कतारें, समीक्षा की गहराई, और अब वे जो प्रयास ढोते हैं देखें। प्रति समीक्षा उत्पन्न मदों के आकार या संख्या की सीमा, और बोझ मापने का तरीका तय करें।
4. यहाँ कौन-सी उत्पन्न सामग्री अन्य उत्पन्न सामग्री को खिला रही है? सामान्य उत्तर को उसके स्रोतों तक पीछे खोजें। शृंखला कहाँ शुरू हुई? चर्चा करें कि व्यक्ति को शृंखला कहाँ जाँचनी चाहिए, या सामग्री को लेबल करना चाहिए।
5. एक साल पहले की तुलना में उपयोगकर्ता अब हमारे ज्ञान आधार के बारे में क्या कहेगा? हाल की टिप्पणियाँ पढ़ें और उपयोग डेटा देखें। पूछें कि भरोसेमंद उत्तर खोजना आसान हुआ या कठिन। एक सफ़ाई और नई सामग्री के लिए एक नियम पर सहमत हों।
6. हमारे कौन-से रुझान हमें नई आधाररेखा से दोबारा शुरू करने चाहिए? वे मेट्रिक्स सूचीबद्ध करें जो मात्रा या मदें बनाने के तरीके पर निर्भर हैं। AI के आने के बाद आकार में बदलाव खोजें। रुझानों पर टिप्पणी जोड़ें, और तय करें कि किन्हें नई आधाररेखा चाहिए।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
डिलीवरी टीमें बहुत-सी मात्रा उत्पन्न करती हैं और रखरखाव उठाती हैं। उन्हें छोटे, स्पष्ट बदलाव पसंद करने, उत्पन्न सामग्री को समीक्षित और लेबल रखने, और प्रतिधारण व पुनर्कार्य देखना चाहिए। उन्हें उत्पन्न मात्रा पर आधारित मेट्रिक्स से इनकार करना और परिणाम माप माँगना चाहिए।
सेवा और संचालन टीमें
संचालन टीमें उन कतारों, अलर्ट और ज्ञान आधार में रहती हैं जिन्हें क्षरण नुकसान पहुँचाता है। उन्हें संकेत मज़बूत रखने के लिए AI-निर्मित टिकट और अलर्ट ट्यून करने, उत्पन्न ज्ञान को प्रकाशन से पहले समीक्षित करने, और जब धारा शोर बन जाए तो रिपोर्ट करना चाहिए। वे उपयोगिता आँकने के लिए सबसे अच्छी स्थिति में हैं।
नेतृत्व और शासन
नेता वे डैशबोर्ड पाते हैं जिन्हें फूलना विकृत करता है। उन्हें पहले परिणाम माँगने, मात्रा के बगल में उपयोगिता जाँच आवश्यक करने, समीक्षा क्षमता को वित्त देने, और स्वीकार करना चाहिए कि कुछ मापों को आधाररेखा दोबारा लेनी चाहिए। शासन को जाँचना चाहिए कि साझा भंडारों में उत्पन्न सामग्री समीक्षित और लेबल है।
ग्राहक और उपयोगकर्ता
जब उत्तर गलत हों, लेख एक-दूसरे का खंडन करें, और उत्तर लंबे व खाली हों तो उपयोगकर्ता क्षरण की लागत वहन करते हैं। वे छोटी, सही, प्रासंगिक मदद चाहते हैं। जो वे पाते हैं उसकी गुणवत्ता पर उनकी प्रतिक्रिया सीधी परीक्षा है कि संकेत बचा या नहीं।
व्यवहार में: एक एजाइल ITIL उदाहरण
एक वैश्विक दवा कंपनी का IT समूह ज्ञान लेखों के मसौदे, टिकटों के सार, और साप्ताहिक स्थिति रिपोर्ट बनाने के लिए AI सहायक सक्षम करता है। एक तिमाही में डैशबोर्ड बढ़िया दिखता है। नीचे की संख्याएँ उदाहरणार्थ संख्याएँ हैं।
बनाए गए ज्ञान लेख प्रति माह 140 से 610 तक बढ़ते हैं। टिकटों में विस्तृत AI-लिखे सार हैं। साप्ताहिक रिपोर्टें बारह पृष्ठ की हैं। सेवा गुणवत्ता प्रबंधक नोटिस करती हैं कि स्व-सेवा से संतुष्टि गिरी है और सेवा डेस्क अधिक "लेख ने मदद नहीं की" संपर्क बताता है। वे दो अनुभवी एजेंटों के साथ नए लेखों में से 100 का नमूना लेती हैं। केवल 54 उपयोगी आँके जाते हैं: 23 मौजूदा लेखों की नकल हैं, 15 में पुराने या गलत चरण हैं, और 8 कार्य करने के लिए बहुत अस्पष्ट हैं। नए लेखों में से 71 प्रतिशत बिना मानवीय समीक्षा के प्रकाशित हुए। ज्ञान आधार में अब लगभग 3,200 लेख हैं, जिसकी सामग्री अतिरेक दर का वे अनुमान एक साल पहले के 9 प्रतिशत के विरुद्ध 28 प्रतिशत लगाती हैं। एजेंट बताते हैं कि भरोसेमंद उत्तर खोजने में अधिक समय लगता है। सेवा डेस्क के लेख संपादकों का सत्यापन बोझ 12 से बढ़कर लगभग 40 घंटे प्रति सप्ताह हो गया है। टिकटों के AI-लिखे सार बाद के AI-जनित उत्तरों को उस पाठ पर निर्भर करते हैं जिसे किसी ने नहीं लिखा, और पाँच उत्तरों को उनके स्रोतों तक पीछे खोजने में दो ऐसे सार पर निर्भर थे जिसने समस्या गलत बताई थी। साप्ताहिक स्थिति रिपोर्टें, पढ़ने पर, पिछली में जो नहीं था उसमें से थोड़ा कहती हैं, और हितधारकों ने दूसरे पृष्ठ से आगे पढ़ना बंद कर दिया है।
वे चार बदलाव प्रस्तावित करती हैं, जिन्हें सेवा नेतृत्व टीम और ज्ञान स्वामी अपनाते हैं। उत्पन्न लेखों को प्रकाशन से पहले नामित संपादक की समीक्षा चाहिए, और अनुमोदन तक वे लेबल किए जाते हैं। प्रति विषय समूह एक उत्पन्न लेख की सीमा दोहराव रोकती है, और सफ़ाई अभियान अतिरेक मदें मिलाता या रिटायर करता है। रिपोर्ट टेम्पलेट दो पृष्ठों तक काटे जाते हैं जो परिणामों से शुरू होते हैं, और AI केवल उन खंडों का मसौदा बनाता है जिन्हें व्यक्ति फिर संपादित करता है। टिकट सार उत्पन्न चिह्नित हैं, और हर महीने नमूने की जाँच होती है। डैशबोर्ड लेख गिनतियों के बगल में उपयोगी-मद हिस्सा, अतिरेक दर, समीक्षित हिस्सा और सत्यापन बोझ रिपोर्ट करता है।
दो तिमाही बाद प्रति माह बने लेख 190 तक गिरते हैं, उपयोगी-मद हिस्सा 91 प्रतिशत तक बढ़ता है, अतिरेक दर 11 प्रतिशत तक गिरती है, समीक्षित हिस्सा 100 प्रतिशत है, और सत्यापन बोझ लगभग 16 घंटे प्रति सप्ताह पर स्थिर होता है। स्व-सेवा संतुष्टि सुधरती है और "लेख ने मदद नहीं की" संपर्क गिरते हैं। हितधारक दो पृष्ठ की रिपोर्ट पढ़ते हैं। निदेशक AI कार्यक्रम का मूल्य दिखाने के लिए प्रति माह 1,000 लेखों का लक्ष्य माँगते हैं। सेवा गुणवत्ता प्रबंधक समझाती हैं कि गिनती ही समस्या थी, और उपयोगिता और उपयोग ट्रैक करने का प्रस्ताव देती हैं। निर्णय दर्ज होता है।
क्षेत्र के अनुसार दृष्टि
स्टार्टअप। उत्पादन सस्ता है और समीक्षा का समय दुर्लभ। प्रलेखन और टिकट छोटे रखें, जो ग्राहक पढ़ेंगे उसकी समीक्षा करें, और खुलकर हटाएँ। संदिग्ध लेखों के बड़े समूह से छोटा, सही समूह बेहतर है।
छोटा व्यवसाय। समीक्षा की क्षमता कम है, इसलिए उपकरण जो बनाता है उसे सीमित करें। मुट्ठी भर सत्यापित मार्गदर्शिकाएँ और टेम्पलेट पसंद करें। बिना जाँचे सार्वजनिक पृष्ठों पर उत्पन्न सामग्री प्रकाशित करने से सावधान रहें।
उद्यम। पैमाना शोर बढ़ाता है। स्वामियों, लेबल और समीक्षा नियमों के साथ सामग्री शासन स्थापित करें, पूरे ज्ञान आधार में उपयोगिता मापें, और आवधिक सफ़ाई चलाएँ। टीमों में रूब्रिक साझा करें और टीमों की नहीं, रुझानों की तुलना करें।
सरकार और सार्वजनिक क्षेत्र। सार्वजनिक सामग्री सटीक और पहुँच-योग्य होनी चाहिए, और त्रुटियाँ नुकसान पहुँचा सकती हैं। उत्पन्न सार्वजनिक जानकारी की समीक्षा आवश्यक करें, इसके रिकॉर्ड रखें कि वह कैसे बनी, और सादी भाषा और पहुँच-योग्यता मानक लागू करें। प्रतिधारण और रिकॉर्ड नियम उत्पन्न सामग्री पर लागू हो सकते हैं (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।
व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO
फूलने से बचाव की लागतें मामूली हैं: नमूने के लिए समीक्षा समय, उत्पन्न सामग्री के लिए संपादकीय प्रयास, दोहराव पहचान के लिए टूलिंग, और रुझानों की आधाररेखा दोबारा लेने का प्रयास। ऐसा न करने की लागतें बड़ी पर बिखरी हैं: उपयोगकर्ता जो स्व-सेवा पर भरोसा करना बंद करते हैं, समीक्षक जो थक जाते हैं, फुलाई संख्याओं पर लिए निर्णय, और सफ़ाई परियोजनाएँ।
अपने डेटा से मामला बनाएँ: समय के साथ उपयोगी-मद हिस्सा और सत्यापन बोझ, अनुपयोगी सामग्री से उत्पन्न संपर्कों की मात्रा, और ज्ञान आधार सफ़ाई की लागत। उत्पन्न सामग्री की गुणवत्ता पर प्रकाशित आँकड़े उपयोग करने से बचें, जो उपकरण, कार्य और विधि के साथ बहुत भिन्न होते हैं। गलत जानकारी प्रकाशित करने से प्रतिष्ठा की हानि की टाली लागत शामिल करें (देखें विषय 7.7, निवेश पर प्रतिफल और व्यावसायिक औचित्य)।
प्रति-पैटर्न और जाल
- मात्रा का उत्सव। यह शोर को पुरस्कृत करता है। परिणामों और उपयोगिता का उत्सव मनाएँ।
- उत्पादकता की कहानी के रूप में पहले-मसौदे की गति। बचत जाँच में गायब हो सकती है। सत्यापित परिणाम तक का समय।
- बिना समीक्षा उत्पन्न सामग्री प्रकाशित करना। भरोसा चुपचाप घटता है। समीक्षा करें और लेबल करें।
- उत्पन्न सामग्री को उत्पादन को खिलाने देना। त्रुटियाँ चक्रवृद्धि होती हैं। शृंखला जाँचें।
- अपरिवर्तित आधाररेखाएँ। तकनीक बदलाव के बाद रुझान भ्रमित करते हैं। टिप्पणी जोड़ें और आधाररेखा दोबारा लें।
- समीक्षकों को अतिभारित करना। समीक्षा रबर स्टैंप बन जाती है। मात्रा सीमित करें और बोझ मापें।
- हर चीज़ के लिए AI निर्णायक उपयोग करना। वह निर्माता के अंधे धब्बे साझा कर सकता है। लोगों को वार्तालाप में रखें।
- उछाल की अनदेखी। सस्ता कार्य अधिक कार्य आकर्षित करता है। तय करें कि बचा समय किसलिए है।
परिपक्वता मॉडल
| आयाम | 1 आरंभ | 2 विकास | 3 मानकीकरण | 4 प्रबंधन | 5 समन्वय |
|---|---|---|---|---|---|
| जोड़ी और नमूना | मात्रा अकेली रिपोर्ट | गुणवत्ता के अनौपचारिक प्रभाव | हर मात्रा मेट्रिक नमूना उपयोगिता जाँच से जुड़ा | उपयोगिता, बोझ और अतिरेक प्रबंधित, समीक्षा के लक्ष्य के साथ, मात्रा के नहीं | संकेत गुणवत्ता का संगठन-व्यापी दृश्य; साझेदारों के साथ रूब्रिक साझा |
| सामग्री और चक्र | उत्पन्न सामग्री मिली हुई | कुछ लेबलिंग | उत्पन्न सामग्री लेबल और प्रकाशन से पहले समीक्षित; शृंखलाओं का नमूना | चक्र निगरानी में; भंडार क्यूरेट; दोहराव अनुसूची पर रिटायर | उपकरणों और आपूर्तिकर्ताओं में सिरे से सिरे तक उत्पत्ति ट्रैक |
| आधाररेखा और ध्यान | बदलाव के पार पढ़े रुझान | कुछ चार्टों पर टिप्पणियाँ | जहाँ डेटा बदला वहाँ आधाररेखा रीसेट; उछाल पर विचार | ड्रिफ़्ट ध्वज तिमाही समीक्षित; समीक्षक भार प्रबंधित | हितधारकों के साथ मेट्रिक डिज़ाइन तकनीक बदलाव के अनुरूप सतत ढलता है |
चेकलिस्ट
- हर मात्रा या गति मेट्रिक का व्यक्ति द्वारा आँका उपयोगिता साथी है।
- AI-स्पर्शित मदों का यादृच्छिक नमूना हर महीने लिखित रूब्रिक के विरुद्ध समीक्षित होता है।
- सत्यापन बोझ का अनुमान लगाया और रुझान के रूप में ट्रैक किया जाता है।
- उत्पन्न ज्ञान लेबल और प्रकाशन से पहले समीक्षित है।
- ज्ञान आधार में अतिरेक मापा और घटाया जाता है।
- अलर्ट और टिकट धाराओं की उपयोगी हिस्से और दोहरावों के लिए निगरानी होती है।
- उत्पन्न आउटपुट से उनके स्रोतों तक की शृंखलाओं का नमूना लिया जाता है।
- AI लाने के पार रुझानों पर टिप्पणी जोड़ी या आधाररेखा दोबारा ली जाती है।
- नेतृत्व रिपोर्टें परिणामों से शुरू होती हैं।
- उपयोगकर्ताओं और हितधारकों से पूछा जाता है कि संकेत साफ़ है या शोर वाला।
AI प्रॉम्प्ट
उपयोगिता रूब्रिक बनाएँ।
[संगठन का प्रकार] में यह आँकने के लिए संक्षिप्त रूब्रिक (छह से अधिक मानदंड नहीं) तैयार करें कि [ज्ञान
लेख, टिकट सार, स्थिति रिपोर्ट] उपयोगी है या नहीं। शुद्धता, वास्तविक ज़रूरत के लिए प्रासंगिकता, दोहराव,
ताज़गी और स्पष्टता, तीन-स्तरीय रेटिंग और हर स्तर के उदाहरणों के साथ शामिल करें। आँकड़े न गढ़ें। अपनी
मान्यताएँ और समीक्षकों को सुसंगत कैसे रखें सूचीबद्ध करें।
संकेत में गिरावट का विश्लेषण करें।
[कार्य] के लिए AI लाने के बाद ये आँकड़े बदले: [मात्रा, समाधान, संतुष्टि, पुनः खुलने की दर, समीक्षक घंटे
चिपकाएँ]। वर्णन करें कि पैटर्न फूलने या क्षरण के बारे में क्या सुझाता है, कौन-से बदलाव आसान निर्माण के
कारण हो सकते हैं, आगे क्या नमूना लें, और किन मेट्रिक्स को नई आधाररेखा चाहिए। ऐसे कारण न मानें जिन्हें
डेटा समर्थित नहीं कर सकता। अपनी मान्यताएँ सूचीबद्ध करें।
ज्ञान आधार सफ़ाई की योजना बनाएँ।
हमारे ज्ञान आधार में [संख्या] लेख हैं, जिनमें से [संख्या] पिछले [अवधि] में उत्पन्न हुए। सफ़ाई योजना
प्रस्तावित करें: दोहराव और बासी मदें कैसे पहचानें, उपयोग से कैसे प्राथमिकता दें, उत्पन्न लेखों की समीक्षा
कैसे करें, पुनरावृत्ति रोकने के नियम, और ट्रैक करने के माप। विशिष्ट उपकरण न मानें। अपनी मान्यताएँ और जोखिम सूचीबद्ध करें।
उत्पन्न सामग्री की शृंखला खोजें।
यहाँ AI-जनित उत्तर और वे स्रोत हैं जिन पर वह निर्भर था: [चिपकाएँ]। हर दावे को उसके स्रोत तक खोजें
और चिह्नित करें कि स्रोत मानव-लिखित, समीक्षित उत्पन्न सामग्री, या असमीक्षित उत्पन्न सामग्री था। पहचानें
कि त्रुटि कहाँ आ सकती थी और जाँच सुझाएँ। पाठ से आगे तथ्य न मानें। अपनी मान्यताएँ सूचीबद्ध करें।
AI कौशल
- एजाइल ITIL मेट्रिक्स कौशल: मात्रा या गति मेट्रिक का उपयोगिता साथी खोजने के लिए उपयोग करें।
- एजाइल ITIL मेट्रिक्स अनुरक्षक कौशल: यह जाँचने के लिए उपयोग करें कि AI से प्रभावित मेट्रिक मात्रा को नमूना उपयोगिता से जोड़ता है और अपना हेरफेर का तरीका और रेलिंग रखता है।
मुख्य निष्कर्ष
- जब AI आउटपुट सस्ता बनाता है, तो मात्रा और गति मेट्रिक्स फूलते हैं और उपयोगी हिस्सा गिर सकता है।
- हर मात्रा या गति माप को नमूना, व्यक्ति-आँकी उपयोगिता जाँच से जोड़ें।
- सत्यापित परिणाम तक का समय और सत्यापन बोझ मापें, क्योंकि जाँच बॉटलनेक बन जाती है।
- उत्पन्न सामग्री को साझा भंडारों में आने से पहले लेबल और समीक्षा करें, और चक्रों को बिना जाँचे खुद को खिलाने से रोकें।
- तकनीक बदलाव के बाद रुझानों की आधाररेखा दोबारा लें, और रिपोर्टें परिणामों से शुरू करें।
- पहले से तय करें कि बचा समय किसलिए है, और समीक्षकों और उपयोगकर्ताओं के ध्यान की रक्षा करें।
संदर्भ और आगे पढ़ें
- Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R., and Gal, Y., "AI models collapse when trained on recursively generated data," Nature, 631, 2024.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Goodhart's law.
- Wikipedia, Campbell's law.
- Wikipedia, Vanity metric.
- Wikipedia, Information overload.
- Wikipedia, Signal-to-noise ratio.
- Wikipedia, Alert fatigue.
- Wikipedia, AI slop.
- Wikipedia, Brandolini's law.
- Wikipedia, Jevons paradox.
- Wikipedia, Model collapse.
- Wikipedia, Concept drift.