सारांश और प्रेरणा

कृत्रिम बुद्धिमत्ता अब उन कई उपकरणों के भीतर बैठी है जो टीमें सेवाएँ बनाने और चलाने के लिए उपयोग करती हैं। कृत्रिम बुद्धिमत्ता (AI) कंप्यूटेशनल प्रणालियों की वह क्षमता है जो मानव बुद्धि से जुड़े कार्य करे। उसके भीतर, मशीन लर्निंग प्रणालियाँ डेटा से पैटर्न सीखती हैं, और जनरेटिव AI प्रणालियाँ, जो अक्सर बड़े भाषा मॉडल पर बनी होती हैं, प्रॉम्प्ट के उत्तर में पाठ, कोड और अन्य सामग्री बनाती हैं। IT सेवा प्रबंधन (ITSM) में ये क्षमताएँ टिकट ट्राइएज, घटनाओं के सार, ज्ञान लेखों के मसौदों, सेवा डेस्क के सुझाए उत्तरों, डिलीवरी पाइपलाइनों में कोड पूर्णता और समीक्षा, निगरानी में विसंगति पहचान, और उपयोगकर्ताओं के लिए बातचीत वाले सहायकों में दिखती हैं। AIOps वह नाम है जो अक्सर IT संचालन डेटा पर AI के अनुप्रयोग को दिया जाता है।

इन उपकरणों के लिए किए दावे बड़े हैं, और किसी भी संगठन में प्रमाण आमतौर पर छोटा है। विक्रेता बचाया समय रिपोर्ट करते हैं। शुरुआती अपनाने वाले उत्साह रिपोर्ट करते हैं। कार्यकारी उस दक्षता लाभ को माँगते हैं जिसका वादा किया गया था। इस बीच टीमें बताती हैं कि आउटपुट की जाँच करनी होती है, कि कुछ सुझाव आत्मविश्वास से गलत हैं, और कि कार्य अलग लगता है। मापन वह तरीका है जिससे संगठन पता करता है कि इनमें से कौन-सा उसके अपने कार्य के लिए सच है। पुस्तक का यह भाग AI को मापे जाने वाली चीज़ के रूप में गंभीरता से लेता है, किसी भी अन्य मेट्रिक परिवार की तरह उन्हीं रेलिंग के साथ।

AI मापन की समस्या को चार तरीकों से बदलता है।

  • मात्रा और गति बढ़ती हैं जबकि गुणवत्ता देखना कठिन हो जाता है। AI टिकट, उत्तर, कोड और दस्तावेज़ जल्दी बना सकता है, इसलिए आउटपुट के माप बढ़ते हैं। आउटपुट अच्छा है या नहीं यह अलग प्रश्न है (देखें विषय 10.4, मेट्रिक्स का फूलना और गुणवत्ता का क्षरण)।
  • आधाररेखाएँ गायब हो जाती हैं। एक बार AI रोज़ उपयोग में आ जाए, तो आप वापस नहीं पा सकते कि उसके बिना कार्य कैसा दिखता था। आधाररेखा बदलाव से पहले ली जानी चाहिए, या तुलना समूह मौजूद होना चाहिए।
  • मनुष्य वार्तालाप में रहते हैं, परिणामों के साथ। मानव-इन-द-लूप डिज़ाइन परिणाम के लिए व्यक्ति को ज़िम्मेदार रखते हैं। मशीन आउटपुट की समीक्षा करने वाले लोग उसे बहुत आसानी से मान सकते हैं, ऐसा पैटर्न जिसे ऑटोमेशन पूर्वाग्रह कहते हैं, या वे बचाने से अधिक समय जाँचने में बिता सकते हैं।
  • आउटपुट धाराप्रवाह और गलत हो सकते हैं। मतिभ्रम आत्मविश्वास भरा आउटपुट है जो इनपुट या तथ्य से समर्थित नहीं। मापों में शुद्धता की जाँच शामिल होनी चाहिए, जिसका व्यक्ति नमूना ले।

एजाइल और ITIL कार्य-पद्धतियाँ दोनों इसके प्रति रुख देती हैं। सतत डिलीवरी, सतत सुधार और जारी विकास के एजाइल लक्ष्य AI के हर उपयोग को छोटा प्रयोग मानने का सुझाव देते हैं: अपेक्षित लाभ बताएँ, कुछ इच्छुक लोगों के साथ आज़माएँ, तुलना करें, और निर्णय लें। प्रतिक्रिया के साथ पुनरावृत्ति से आगे बढ़ने का ITIL का मार्गदर्शक सिद्धांत उसी ओर इशारा करता है, और मूल्य पर उसका ज़ोर पूछता है कि उपयोगकर्ताओं और व्यवसाय के लिए कौन-सा परिणाम सुधरता है, कितना पाठ बनाया गया यह नहीं। प्रेरित लोगों का लक्ष्य तब पूरा होता है जब AI नीरस कार्य से राहत देता और उनके विवेक का सम्मान करता है, और तब नहीं जब AI गति बढ़ाने या उसे उपयोग करने वाले लोगों की निगरानी का तरीका बन जाए। टिकाऊ गति का अर्थ है कि बचा समय चुपचाप अधिक माँग में नहीं बदलना चाहिए।

गुडहार्ट के नियम की रेलिंग AI पर सबसे तीखे रूप में लागू होती है। यदि "AI अपनाना" या "कोड का AI-जनित हिस्सा" लक्ष्य बन जाए, तो लोग उपकरण वहाँ उपयोग करेंगे जहाँ वह मदद नहीं करता, और संख्या का मूल्य गुणवत्ता चुकाएगी (देखें विषय 1.2, गुडहार्ट का नियम और मेट्रिक्स का मनोविज्ञान)।

यह विषय आधार कवर करता है: AI कार्य में कहाँ प्रवेश करता है, कौन-सी आधाररेखाएँ लेनी हैं, और कौन-से माप दिखाते हैं कि AI का उपयोग मदद कर रहा है। अगले विषय सहायता प्राप्त कार्य, एजेंट और चैटबॉट, फूलने और क्षरण, और शासन पर गहरे जाते हैं। AI उत्पादों और नियमों के तथ्य तेज़ी से बदलते हैं, और इस भाग में विशिष्ट उपकरणों या विनियमों के बारे में कथन अक्टूबर 2026 तक के हैं और दोबारा जाँचे जाने चाहिए।

मुख्य सिद्धांत

  • AI लाने से पहले आधाररेखा लें। उसके बिना हर लाभ का दावा राय है।
  • हर उपयोग को तुलना के साथ प्रयोग मानें। समान अवधि में AI के बिना किए समान कार्य से तुलना करें।
  • नमूने से, लोगों के साथ, गुणवत्ता मापें। धाराप्रवाह आउटपुट शुद्ध आउटपुट नहीं।
  • पूरी लागत गिनें। समीक्षा समय, पुनर्कार्य, लाइसेंस और अनुमान लागतें शामिल करें।
  • लोगों को जवाबदेह और सूचित रखें। AI उपयोग करने वाला व्यक्ति परिणाम का उत्तरदायी है।
  • AI को गति वृद्धि या निगरानी न बनने दें। बचा समय इस बारे में चुनाव है कि समय का क्या करें।
  • इच्छुक लोगों और वास्तविक समस्याओं से शुरू करें। आदेश बिना मूल्य के उपयोग पैदा करते हैं।

मेट्रिक परिभाषाएँ

मेट्रिक परिभाषा सूत्र इकाई डेटा स्रोत ITIL अभ्यास एजाइल समकक्ष आवृत्ति
आधाररेखा पूर्णता नियोजित AI उपयोग मामलों का हिस्सा जिनके मुख्य संकेतकों की दर्ज अपनाने-पूर्व आधाररेखा है दिनांकित आधाररेखा वाले उपयोग मामले / नियोजित उपयोग मामले प्रतिशत उपयोग मामला रजिस्टर सतत सुधार; मापन और रिपोर्टिंग प्रयोग से पहले आधाररेखा तिमाही
AI उपयोग कवरेज उपयोग मामले के अनुसार, पात्र कार्य मदों या कार्यों का हिस्सा जहाँ AI उपयोग हुआ AI सहायता उपयोग वाली मदें / पात्र मदें, उपकरण लॉग या उपयोगकर्ता टैग से, टीम स्तर पर प्रतिशत उपकरण उपयोग लॉग, टैग सेवा डेस्क; घटना प्रबंधन; रिलीज़ और तैनाती प्रबंधन इच्छुक टीमों द्वारा उपकरण अपनाना मासिक
सुझाव स्वीकृति और ओवरराइड दर AI सुझावों का हिस्सा जो जैसे है वैसे स्वीकार, संपादित, या अस्वीकार हुए हर श्रेणी में सुझाव / दिए सुझाव प्रतिशत टीम के अनुसार एकत्रित उपकरण लॉग सेवा डेस्क; ज्ञान प्रबंधन मशीन सुझावों की समीक्षा मासिक
समीक्षित आउटपुट सटीकता नमूने के AI आउटपुट का हिस्सा जिसे योग्य समीक्षक ने सही और उद्देश्य के अनुकूल आँका सही आँके आउटपुट / नमूने के आउटपुट प्रतिशत नमूना समीक्षा रिकॉर्ड गुणवत्ता आश्वासन; ज्ञान प्रबंधन आउटपुट के लिए पूर्णता की परिभाषा मासिक
आधाररेखा के विरुद्ध कार्य समय आधाररेखा या तुलना समूह की तुलना में AI के साथ परिभाषित कार्य पूरा करने का समय आधाररेखा या तुलना के लिए उसी के घटा AI के साथ कार्य समय की माध्यिका और 85वाँ पर्सेंटाइल मिनट या घंटे समयबद्ध कार्य, टिकट टाइमस्टैम्प सेवा डेस्क; घटना प्रबंधन कार्य का साइकल टाइम तिमाही
प्रति AI-सहायता प्राप्त कार्य लागत समीक्षा और पुनर्कार्य सहित, प्रति कार्य AI-सहायता प्राप्त कार्य की कुल लागत (लाइसेंस और उपयोग लागत + समीक्षा और पुनर्कार्य समय लागत) / AI के साथ पूर्ण कार्य मुद्रा प्रति कार्य विक्रेता चालान, समय अनुमान, कार्य ट्रैकर सेवा वित्तीय प्रबंधन प्रति परिणाम सेवा देने की लागत तिमाही
तुलना के विरुद्ध परिणाम गति समान गैर-सहायता प्राप्त कार्य की तुलना में AI-सहायता प्राप्त कार्य के परिणाम संकेतक में बदलाव AI-सहायता प्राप्त समूह के संकेतक में बदलाव घटा तुलना समूह का बदलाव संकेतक इकाइयाँ प्रति उपयोग मामले परिणाम माप (गुणवत्ता, संतुष्टि, पुनः खुलने की दर, खामियाँ) सतत सुधार प्रयोगों से सीख तिमाही

हर उपयोग मामले को कार्य, उपयोगकर्ताओं और परिणाम संकेतकों से परिभाषित करें, और रजिस्टर में दर्ज करें। AI उपयोग कवरेज वर्णनात्मक माप है, लक्ष्य नहीं। समीक्षित आउटपुट सटीकता को लिखित मानक के विरुद्ध ऐसे योग्य व्यक्ति द्वारा आँका जाता है जिसने आउटपुट नहीं बनाया। कार्य समय में उत्पन्न करने के साथ प्रॉम्प्ट करने, समीक्षा और सुधार का समय शामिल है। प्रति कार्य लागत जाँचने और ठीक करने में बिताया लोगों का समय गिनती है। परिणाम गति को पहले से चुनी तुलना और अवधि के दौरान अन्य बदलावों पर नोट चाहिए।

सिफ़ारिशें

तय करें कि AI कहाँ का है

1. कार्य और हर AI उपयोग जिस समस्या को संबोधित करता है सूचीबद्ध करें। उपकरण से नहीं, पीड़ा से शुरू करें: दोहराई ड्राफ़्टिंग, धीमी ट्राइएज, बिखरा ज्ञान, लंबी समीक्षाएँ, शोर वाले अलर्ट। हर उम्मीदवार उपयोग के लिए समस्या, किसे महसूस होती है, कौन-सा परिणाम सुधरना चाहिए, और जोखिम लिखें। बिना स्पष्ट समस्या वाले उपयोग छोड़ दें। यह वह रजिस्टर है जिससे आधाररेखा और माप जुड़ते हैं।

2. हर उपयोग के जोखिम का वर्गीकरण करें। आंतरिक नोट का मसौदा बनाने वाला उपकरण उस उपकरण से अलग जोखिम रखता है जो उत्पादन प्रणालियाँ बदलता है, ग्राहकों को उत्तर देता है, या लोगों के बारे में निर्णय लेता है। उपयोगों का वर्गीकरण इस आधार पर करें कि आउटपुट गलत होने पर हानि क्या है, कौन प्रभावित होता है, और क्या प्रभावी होने से पहले कोई व्यक्ति उसकी समीक्षा करता है। उच्च जोखिम वाले उपयोगों को मज़बूत माप, नमूना और शासन चाहिए (देखें विषय 10.5, AI शासन और जोखिम मेट्रिक्स)।

3. इच्छुक लोगों और सीमित कार्यों से शुरू करें। आम और जाँच-योग्य कार्य पर स्वयंसेवकों के साथ पायलट करें। स्वयंसेवक ईमानदार प्रतिक्रिया देते और उपकरण को अपने कार्य में ढालते हैं। सीमित कार्य आधाररेखा और तुलना को संभव बनाता है। सबसे संवेदनशील कार्य से शुरू करने से बचें।

आधाररेखा लें और तुलना तैयार करें

4. पहले उपयोग से पहले आधाररेखा दर्ज करें। हर उपयोग मामले के लिए संकेतकों की वर्तमान स्थिति लें: पूरा करने का समय, गुणवत्ता या खामी दर, पुनर्कार्य, उपयोगकर्ताओं की संतुष्टि, और लागत। सामान्य विचलन देखने के लिए पर्याप्त अवलोकन लें (देखें विषय 1.6, सेवा मेट्रिक्स के लिए सांख्यिकीय साक्षरता)। आधाररेखा को दिनांकित करें और रखें। रोलआउट के बाद ली आधाररेखा नई दुनिया का रिकॉर्ड है।

5. तुलना बनाएँ। जहाँ संभव हो, पायलट अवधि के लिए समान समूह या कार्यों का समूह रखें जो AI उपयोग नहीं करता, या उपयोग को सप्ताह या कार्य प्रकार के अनुसार ऐसे बारी-बारी करें जो निष्पक्ष हो। यादृच्छिकीकरण आदर्श है और अक्सर अव्यावहारिक। साफ़ बताएँ कि और क्या बदला। तुलना के बिना मौसमीपन, स्टाफ़िंग, या सीख से हुए सुधारों का श्रेय उपकरण को मिलेगा।

6. समय ईमानदारी से मापें। पहले मसौदे तक का समय शायद ही सही माप है। पूरे, जाँचे परिणाम तक का समय मापें, जिसमें प्रॉम्प्ट करना, समीक्षा और सुधार शामिल हैं। लोग अक्सर उत्पन्न करने के चरण के आधार पर बचा समय बताते हैं, और समीक्षा का चरण उसका कुछ या सब खा लेता है। कार्यों के नमूने पर समय अध्ययन प्रयास के लायक हैं।

गुणवत्ता और लागत मापें

7. योग्य लोगों द्वारा समीक्षा के लिए आउटपुट का नमूना लें। हर महीने AI-सहायता प्राप्त आउटपुट का यादृच्छिक नमूना लें और योग्य व्यक्ति से उन्हें लिखित मानक के विरुद्ध आँकवाएँ। सटीकता, मिली त्रुटियों के प्रकार, और रुझान रिपोर्ट करें। यह धाराप्रवाह गलतियों के फैलने के विरुद्ध मुख्य सुरक्षा है। समीक्षक को निर्माता से स्वतंत्र रखें, और समीक्षक घुमाएँ।

8. स्वीकृति और ओवरराइड पैटर्न देखें। बहुत ऊँची स्वीकृति दर ऑटोमेशन पूर्वाग्रह का संकेत हो सकती है, जहाँ लोग जाँचे बिना स्वीकार करते हैं। बहुत कम दर उस उपकरण का संकेत हो सकती है जो उपयोगी नहीं। दरों का उपयोग टीम के साथ वार्तालाप के संकेत के रूप में करें और पूछें कि उनके अनुभव में संख्याओं का क्या अर्थ है। स्वीकृति के लक्ष्य न तय करें।

9. प्रति कार्य पूरी लागत गिनें। लाइसेंस शुल्क, उपयोग-आधारित शुल्क, प्रॉम्प्ट करने, समीक्षा और सुधारने में बिताया समय, प्रशिक्षण, और शासन प्रयास शामिल करें। आधाररेखा लागत से तुलना करें। जो उपकरण जल्दी मसौदे बनाता है और भारी सुधार माँगता है वह पुराने तरीके से अधिक खर्च करा सकता है। उपयोगकर्ताओं तक पहुँचने वाली गलतियों की लागत शामिल करें।

मानवीय पक्ष सही रखें

10. लोगों को निगरानी और गति रेंगने से बचाएँ। AI उपयोग डेटा टीम स्तर पर एकत्र करें और उसे व्यक्तियों को रेट करने में उपयोग न करें। उपयोग को प्रदर्शन माप के रूप में उपयोग न करें। पहले से सहमत हों कि बचा समय स्वतः अतिरिक्त कार्यभार नहीं बनेगा, और टीम के साथ तय करें कि उसके साथ क्या करें: गुणवत्ता, सीखना, सुधार, या अन्य कार्य। स्थिर गति डिज़ाइन लक्ष्य है (देखें विषय 9.2, संतुष्टि और कल्याण मेट्रिक्स)।

11. जो उपयोग करते हैं उनसे पूछें। छोटे पल्स और वार्तालाप प्रकट करते हैं कि संख्याएँ क्या चूकती हैं: उपकरण कहाँ मदद करता है, कहाँ निराश करता है, कहाँ कार्य बनाने से जाँचने में खिसकता है, और क्या वह नौकरी की संतुष्टि बदलता है। कौशल, गुणवत्ता और नौकरी की सुरक्षा के बारे में चिंताओं को सम्मान से लें।

12. निर्णय लें, प्रकाशित करें, और दोबारा देखें। हर पायलट के अंत में, पैमाना बढ़ाने, ढालने, या रोकने का निर्णय लें, और प्रमाण दर्ज करें। शून्य और नकारात्मक सहित परिणाम ईमानदारी से साझा करें। उपकरणों के बदलने पर, जो वे जल्दी करते हैं, निर्णयों पर दोबारा विचार करें। जो उपयोग पिछले साल मदद नहीं करता था वह अब मदद कर सकता है, और उलटा भी।

हेरफेर के तरीके और रेलिंग

मेट्रिक हेरफेर कैसे होता है जोड़ी गई रेलिंग मेट्रिक या अभ्यास
आधाररेखा पूर्णता आधाररेखाएँ बाद में दर्ज करना; सुविधाजनक संकेतक उपयोग करना दिनांक-मुद्रित आधाररेखाएँ; आधाररेखा विधि की स्वतंत्र समीक्षा
AI उपयोग कवरेज उपयोग अनिवार्य करना; तुच्छ या स्वचालित आह्वान गिनना कभी लक्ष्य नहीं; परिणाम गति से तुलना; सार्थक उपयोग गिनें
सुझाव स्वीकृति और ओवरराइड दर स्वीकृति को पुरस्कृत करना; अस्वीकार को बोझिल बनाना कोई लक्ष्य नहीं; समीक्षित आउटपुट सटीकता; उपयोगकर्ताओं से उनके अनुभव के बारे में पूछें
समीक्षित आउटपुट सटीकता आसान आउटपुट का नमूना; उदार समीक्षक स्वतंत्र समीक्षकों द्वारा यादृच्छिक नमूना; लिखित मानक; समीक्षक रोटेशन
आधाररेखा के विरुद्ध कार्य समय केवल उत्पन्न करने का समय नापना; आसान कार्य चुनना जाँचे परिणाम तक का समय; कार्यों का यादृच्छिक नमूना; समीक्षा और पुनर्कार्य शामिल करें
प्रति AI-सहायता प्राप्त कार्य लागत समीक्षा समय या शासन लागत छोड़ना पूर्ण-लागत चेकलिस्ट; समय अध्ययन से तुलना
तुलना के विरुद्ध परिणाम गति अनुकूल समूह या अवधि चुनना; अन्य बदलावों की अनदेखी पूर्व-सहमत तुलना और अवधि; अन्य बदलावों की सूची

स्वस्थ पठन हर पायलट के लिए आधाररेखाएँ, पूरे परिणामों तक मापा समय, योग्य लोगों से जाँची सटीकता, ऐसी लागतें जिनमें समीक्षा शामिल है, निष्पक्ष रूप से तुलना किए परिणाम, और टीमें जो कहती हैं कि उपकरण उनके विवेक की सेवा करता है।

समझौते: लाभ और हानि

दृष्टिकोण ताकत कमज़ोरी
स्वयंसेवकों के साथ पायलट ईमानदार प्रतिक्रिया; कम जोखिम स्वयंसेवक उत्साही हैं; परिणाम सामान्यीकृत न हों
आदेशित रोलआउट तेज़ कवरेज बिना मूल्य के उपयोग; नाराज़गी; हेरफेर
नियंत्रित तुलना विश्वसनीय प्रमाण प्रयास; हमेशा संभव नहीं
केवल पहले-और-बाद सरल अन्य बदलावों से भ्रमित
विक्रेता-रिपोर्टेड बचत प्राप्त करना आसान आशावादी; संदर्भ-रहित
अपने समयबद्ध कार्य आपके कार्य पर आधारित समय लेने वाले; छोटे नमूने
हर आउटपुट की भारी समीक्षा सुरक्षित लाभ हटा देती है
नमूना समीक्षा पैमाने पर चलती है कुछ त्रुटियाँ निकल जाती हैं

सीधा उत्तर आधाररेखाओं और तुलनाओं के साथ छोटे पायलट चलाना, गुणवत्ता के लिए आउटपुट का नमूना लेना, पूरी लागत गिनना, और प्रमाण पर निर्णय लेना है। विक्रेता आँकड़े परखने की परिकल्पना के रूप में उपयोग करें।

अपनी टीम के साथ चर्चा के प्रश्न

1. हम कहाँ अपेक्षा करते हैं कि AI मदद करेगा, और यदि करता तो हम क्या देखते? उम्मीदवार उपयोग सूचीबद्ध करें और, हर एक के लिए, संकेतक और आधाररेखा जो हमारे पास आज है। सुगमकर्ता को विशिष्टताओं के लिए दबाव डालना चाहिए: कौन-सा कार्य, कौन-सा माप, बदलाव का कितना आकार मायने रखेगा। पायलट करने के लिए एक उपयोग चुनें और आधाररेखा पर सहमत हों।

2. हमें AI सुझाव पर भरोसा या अविश्वास किससे होगा, और हमें कैसे पता चलेगा कि हम गलत थे? उन मामलों पर चर्चा करें जहाँ आउटपुट गलत था और कैसे नोटिस हुआ। विचार करें कि व्यवहार में समीक्षा कैसे काम करती है और क्या दबाव उसे छोड़ने की ओर ले जाता है। नमूना विधि पर सहमत हों जिसे कोई स्वतंत्र चलाएगा।

3. हम जो समय बचाएँगे उसका कितना हिस्सा जाँचने में जाएगा? उपकरण के साथ और उसके बिना एक वास्तविक कार्य का समय नापें, प्रॉम्प्ट और समीक्षा सहित। लोगों की अपेक्षा से तुलना करें। वार्तालाप अक्सर प्रकट करता है कि लाभ कहाँ है और कहाँ नहीं।

4. बचे समय का हमें क्या करना चाहिए? पहले से तय करें। विकल्पों में गुणवत्ता कार्य, सीखना, सुधार, या कम दबाव शामिल हैं। चर्चा करें कि समय को चुपचाप अधिक माँग में सोखे जाने से कैसे रोकें। नेताओं के साथ सहमत हों कि टीम उसकी रक्षा कैसे करेगी।

5. हम यहाँ AI से क्या नहीं कराना चाहेंगे, और क्यों? वे कार्य सूचीबद्ध करें जिन्हें मानवीय विवेक, सहानुभूति, या जवाबदेही चाहिए। उपयोगकर्ताओं और कौशल के जोखिमों पर चर्चा करें। सुगमकर्ता को सीमाएँ शासन के इनपुट के रूप में दर्ज करनी चाहिए।

6. हमें कैसे पता चलेगा कि कब रोकना है? वह प्रमाण परिभाषित करें जो पायलट या उपयोग को समाप्त करेगा। सहमत हों कि कौन और कब तय करता है। निकास मानदंड के बिना पायलट स्थायी साधन बन जाता है।

चार दृष्टिकोण

उत्पाद और डिलीवरी टीमें

डिलीवरी टीमें कोड, परीक्षण, समीक्षा और प्रलेखन के लिए AI उपयोग करती हैं। उन्हें समीक्षित, काम करते परिणाम तक का समय मापना, गुणवत्ता और खामियाँ देखना, और मानवीय समीक्षा को सार्थक रखना चाहिए। उन्हें उत्पन्न पंक्तियाँ या स्वीकृति गिनने वाले मेट्रिक्स का विरोध करना और खामियों और स्थिरता जैसे परिणाम मापों पर ज़ोर देना चाहिए।

सेवा और संचालन टीमें

संचालन और सेवा डेस्क टीमें ट्राइएज, सार, सुझाव और निगरानी के लिए AI उपयोग करती हैं। उन्हें सँभाल और समाधान गुणवत्ता की आधाररेखाओं से तुलना करनी, आउटपुट का नमूना लेना, और उपयोगकर्ताओं और दोहराए संपर्कों पर प्रभाव देखना चाहिए। उपयोगकर्ताओं के सामने AI रखे जाने से पहले उनसे परामर्श होना चाहिए।

नेतृत्व और शासन

नेता AI कार्यक्रम प्रायोजित करते हैं और लाभ दिखाने का दबाव झेलते हैं। उन्हें आधाररेखाओं और तुलनाओं पर ज़ोर देना, समीक्षा कार्य को वित्त देना, उपयोग लक्ष्यों से बचना, और लोगों को निगरानी और गति रेंगने से बचाना चाहिए। शासन को पैमाना बढ़ाने से पहले जोखिम वर्गीकरण और प्रमाण माँगना चाहिए।

ग्राहक और उपयोगकर्ता

उपयोगकर्ता AI से उत्तरों, सुझावों और स्वचालित कार्रवाइयों में मिलते हैं। वे सही, समझने योग्य मदद और किसी व्यक्ति तक पहुँचने की क्षमता चाहते हैं। जहाँ उपयुक्त हो उन्हें बताया जाना चाहिए कि वे AI से बातचीत कर रहे हैं, और उनकी प्रतिक्रिया इसका मुख्य प्रमाण है कि वह मदद करता है या नहीं (देखें विषय 6.1, ग्राहक संतुष्टि मेट्रिक्स)।

व्यवहार में: एक एजाइल ITIL उदाहरण

एक मध्यम आकार के बीमाकर्ता का तकनीकी समूह 4,000 कर्मचारियों के लिए आंतरिक सेवा डेस्क और कई उत्पाद टीमें चलाता है। नेतृत्व AI सहायक के लाइसेंस खरीदता है और तीन महीने बाद बचे समय की रिपोर्ट माँगता है। नीचे की संख्याएँ उदाहरणार्थ संख्याएँ हैं।

सेवा प्रबंधन प्रमुख आधाररेखा पर ज़ोर देती हैं। सेवा डेस्क के सबसे आम कार्य, पहुँच और पासवर्ड अनुरोधों के उत्तर का मसौदा बनाने, के लिए वे 120 हाल के टिकटों का समय नापती हैं: 11 मिनट का माध्यिका सँभालने का समय, 24 का 85वाँ पर्सेंटाइल, 6 प्रतिशत पुनः खुलने की दर, और सर्वेक्षण से स्थिर संतुष्टि स्कोर। वे सहायक का पायलट करने के लिए दो टीमें चुनती हैं और तुलना के रूप में दो समान टीमें रखती हैं। पायलट टीमें स्वयंसेवक हैं।

आठ सप्ताह बाद, पायलट टीमों का माध्यिका सँभालने का समय 8 मिनट और 85वाँ पर्सेंटाइल 19 है, तुलना टीमों के 11 और 23 की तुलना में। उपकरण लॉग दिखाते हैं कि एजेंट 52 प्रतिशत मामलों में सुझाव जैसे लिखे हैं वैसे स्वीकार करते हैं, 38 प्रतिशत में संपादित करते हैं, और 10 प्रतिशत में अस्वीकार करते हैं। पायलट में न रहने वाले वरिष्ठ एजेंट द्वारा समीक्षित 80 उत्तरों का मासिक यादृच्छिक नमूना 91 प्रतिशत पूरी तरह सही पाता है, त्रुटियाँ कम उपयोग होने वाली प्रक्रिया में केंद्रित जहाँ सहायक ने पुराने चरण दिए। पायलट टीमों में पुनः खुलने की दर थोड़ी बढ़कर 7 प्रतिशत होती है, सामान्य विचलन के भीतर। लाइसेंस और समीक्षा समय गिनने पर प्रति टिकट लागत मामूली गिरती है। सर्वेक्षण दिखाता है कि एजेंट मसौदों की सराहना करते हैं और लंबे उत्तरों की अतिरिक्त जाँच को नापसंद करते हैं। दो एजेंट कहते हैं कि वे प्रति घंटे अधिक टिकट सँभालने का दबाव महसूस करते हैं।

सेवा प्रबंधन प्रमुख माध्यिका पर लगभग एक चौथाई समय की बचत रिपोर्ट करती हैं और चेतावनियाँ बताती हैं: दो टीमें, आठ सप्ताह, स्वयंसेवक, और पुनः खुलने की दर जिस पर नज़र चाहिए। वे नेताओं के साथ सहमत होती हैं कि बचा समय ज्ञान आधार और जटिल मामलों में जाएगा, और कोई टिकट लक्ष्य नहीं बढ़ेगा। पुरानी प्रक्रिया ज्ञान आधार में ठीक की जाती है। वरिष्ठ प्रबंधक कंपनी-व्यापी अनिवार्य उपयोग और 80 प्रतिशत स्वीकृति का लक्ष्य माँगता है। वे लक्ष्य से मना करती हैं, समझाते हुए कि स्वीकृति लक्ष्य जाँच न करने को पुरस्कृत करेगा, और उन्हीं मापों के साथ पायलट को दो और टीमों तक बढ़ाने का प्रस्ताव देती हैं। निर्णय दर्ज होता है।

क्षेत्र के अनुसार दृष्टि

स्टार्टअप। उपकरण जल्दी और अक्सर अनौपचारिक रूप से अपनाए जाते हैं। मुख्य उपयोग के लिए समय और खामियों की सरल आधाररेखा लें, ग्राहक-सामने की किसी भी चीज़ की मानवीय समीक्षा रखें, और जल्दी एक विक्रेता में बँधने से बचें। जब कर्मचारी सार्वजनिक उपकरण उपयोग करें तो सुरक्षा और डेटा एक्सपोज़र देखें।

छोटा व्यवसाय। तैयार सहायक ड्राफ़्टिंग और नियमित कार्यों में वास्तविक मदद दे सकते हैं। छोटे पैमाने पर मापें: कुछ वास्तविक कार्यों का समय और सुधार दर। गोपनीय डेटा के साथ सावधान रहें, और विक्रेता की डेटा उपयोग पर शर्तें जाँचें।

उद्यम। पैमाना शासन, खरीद मानक और साझा मापन दृष्टिकोण माँगता है। तुलना के साथ पायलट चलाएँ, परिणाम आंतरिक रूप से प्रकाशित करें, और टीमों में आधाररेखाएँ और विधियाँ साझा करें। उन कार्यक्रमों से सावधान रहें जो उपयोग को सफलता के रूप में रिपोर्ट करते हैं।

सरकार और सार्वजनिक क्षेत्र। नागरिकों को प्रभावित करने वाले निर्णय पारदर्शिता, निष्पक्षता और मानवीय समीक्षा के कानूनी कर्तव्यों के अधीन हो सकते हैं। उपयोगों को जोखिम से वर्गीकृत करें, निर्णयों में AI कैसे उपयोग हुआ इसके रिकॉर्ड रखें, और उसके बारे में खुले रहें। खरीद नियम और डेटा संरक्षण लागू हैं, और कुछ अधिकार क्षेत्रों में विशिष्ट AI कानून हैं जिन्हें आज के अनुसार जाँचना चाहिए (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।

व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO

लागतें हैं लाइसेंस या उपयोग शुल्क, एकीकरण, प्रशिक्षण, आधाररेखा लेने और तुलना चलाने का समय, आउटपुट की समीक्षा और सुधार में लोगों का समय, और शासन प्रयास। लागतें उपयोग के साथ बढ़ सकती हैं और विक्रेता मूल्य निर्धारण के साथ बदल सकती हैं, इसलिए सीमा मॉडल करें।

संभावित प्रतिफल हैं दोहराए कार्यों पर पुनः प्राप्त समय, तेज़ ड्राफ़्टिंग और खोज, ज्ञान का बेहतर कवरेज, और कर्मचारियों को नीरस कार्य से राहत। ये परखने की संभावनाएँ हैं, जमा करने की मान्यताएँ नहीं। अपने पायलटों से मामला बनाएँ: जाँचे परिणाम तक मापा कार्य समय, समीक्षित सटीकता, पुनर्कार्य, और प्रति कार्य पूरी लागत, आधाररेखा और तुलना के विरुद्ध। जब तक आप विधि और अपने कार्य से उसकी उपयुक्तता खोज न सकें, विक्रेता या सर्वेक्षण स्रोतों से उत्पादकता प्रतिशत उद्धृत करने से बचें। उपयोगकर्ताओं तक पहुँचने वाली गलतियों का जोखिम और उपकरणों के शासन की लागत शामिल करें (देखें विषय 7.7, निवेश पर प्रतिफल और व्यावसायिक औचित्य)।

प्रति-पैटर्न और जाल

  • आधाररेखा के बिना AI लाना। आप बता नहीं सकते कि क्या बदला। पहले लें।
  • उत्पन्न करने की गति मापना। बचत समीक्षा में गायब हो सकती है। जाँचे परिणाम तक का समय मापें।
  • अपनाने के लक्ष्य। वे बिना मूल्य के उपयोग पैदा करते हैं। कवरेज को वर्णनात्मक मानें।
  • विक्रेता दावों पर भरोसा। वे परिकल्पनाएँ हैं। अपने कार्य पर परखें।
  • ऐसी समीक्षा जो वास्तविक नहीं। ऑटोमेशन पूर्वाग्रह समीक्षा को रबर स्टैंप बनाता है। नमूना लें और स्वतंत्र रूप से जाँचें।
  • बचे समय को अधिक माँग में बदलना। यह भरोसा और टिकाऊ गति नष्ट करता है। पहले से तय करें कि समय किसलिए है।
  • व्यक्तिगत उपयोग की निगरानी। यह भय पैदा करती है। टीम स्तर पर एकत्र करें।
  • बिना अंत के पायलट। वे डिफ़ॉल्ट रूप से स्थायी बन जाते हैं। निकास मानदंड तय करें।

परिपक्वता मॉडल

आयाम 1 आरंभ 2 विकास 3 मानकीकरण 4 प्रबंधन 5 समन्वय
उद्देश्य और आधाररेखाएँ उत्साह से अपनाए उपकरण उपयोग मामले सूचीबद्ध हर उपयोग के लिए समस्या, जोखिम वर्ग, आधाररेखा और संकेतक वाला रजिस्टर पैमाना बढ़ाने से पहले आधाररेखाएँ और तुलनाएँ आवश्यक; परिणाम प्रकाशित टीमों और साझेदारों में साझा आधाररेखाएँ और विधियाँ; प्रमाण कम होने पर उपयोग रिटायर
लाभ का प्रमाण किस्से और विक्रेता दावे अनौपचारिक समय अनुमान समयबद्ध कार्य; नमूना सटीकता; प्रति कार्य पूरी लागत तुलना के विरुद्ध परिणाम गति सीमाओं सहित रिपोर्ट कहाँ AI मदद करता है इसका पोर्टफ़ोलियो दृश्य, सीख व्यापक रूप से साझा
लोग और गति आदेश; निगरानी अनौपचारिक सावधानी केवल टीम-स्तर डेटा; बचा समय सहमति से आवंटित चिंताएँ ट्रैक; कौशल और संतुष्टि मापी गई उपयोगकर्ताओं और कर्मचारियों के साथ AI उपयोग का सह-डिज़ाइन; टिकाऊ गति सुरक्षित

चेकलिस्ट

  • AI के हर उपयोग की लिखित समस्या, जोखिम वर्ग, स्वामी और निकास मानदंड हैं।
  • हर पायलट के लिए पहले उपयोग से पहले दिनांकित आधाररेखा मौजूद है।
  • तुलना समूह या तुलना कार्य पहले से परिभाषित हैं।
  • समय पूरे, जाँचे परिणाम तक मापा जाता है।
  • आउटपुट का हर महीने नमूना लिया जाता है और योग्य, स्वतंत्र लोग समीक्षा करते हैं।
  • प्रति कार्य पूरी लागत में समीक्षा और पुनर्कार्य शामिल है।
  • उपयोग डेटा टीम स्तर पर एकत्र है और व्यक्तियों के लिए उपयोग नहीं होता।
  • टीम सहमत है कि बचे समय का क्या करें।
  • उपयोगकर्ताओं से उपकरण के उनके अनुभव के बारे में पूछा जाता है।
  • पायलट पैमाना बढ़ाने, ढालने, या रोकने के दर्ज निर्णय पर समाप्त होते हैं।

AI प्रॉम्प्ट

उपयोग मामला प्रविष्टि का मसौदा बनाएँ।

हम [टीम और सेवा] में [कार्य] के लिए AI उपयोग करने पर विचार कर रहे हैं। उपयोग मामला रजिस्टर प्रविष्टि का
मसौदा बनाएँ: समस्या और किसे महसूस होती है, कौन-सा परिणाम सुधरना चाहिए, जोखिम वर्गीकरण और क्यों,
मानवीय समीक्षा चरण, अभी लेने के आधाररेखा संकेतक, तुलना का तरीका, ट्रैक करने के लागत घटक, निकास
मानदंड, और टीम के लिए प्रश्न। विशिष्ट विक्रेता सुविधाएँ न मानें या लाभ का दावा न करें। अपनी मान्यताएँ सूचीबद्ध करें।

समयबद्ध-कार्य अध्ययन डिज़ाइन करें।

[कार्य] पर AI सहायक के प्रभाव को मापने के लिए छोटा अध्ययन डिज़ाइन करें। प्रस्तावित करें कि कार्य कैसे
चुनें, उपकरण के साथ और बिना निष्पक्ष तुलना कैसे करें, क्या नापें (प्रॉम्प्ट करना, समीक्षा और सुधार सहित),
आउटपुट गुणवत्ता कैसे आँकें, और पूर्वाग्रह से कैसे बचें। इसे [संख्या] लोगों की टीम के लिए व्यावहारिक रखें।
अपेक्षित परिणाम न बताएँ। अपनी मान्यताएँ और अध्ययन डिज़ाइन की सीमाएँ सूचीबद्ध करें।

आउटपुट नमूना योजना बनाएँ।

हमारे AI-सहायता प्राप्त आउटपुट प्रति माह लगभग [संख्या] हैं, प्रकार [सूची]। मासिक यादृच्छिक नमूना और समीक्षा
प्रक्रिया डिज़ाइन करें: नमूना आकार और चयन विधि (सटीकता बढ़ाकर बताए बिना तर्क के साथ), कौन समीक्षा
करता है, लिखित मानक, त्रुटि श्रेणियाँ, कैसे रिपोर्ट करें, और निष्कर्षों का उपयोग कैसे करें। अपनी मान्यताएँ
और जोखिम सूचीबद्ध करें।

बचे समय के साथ क्या करें तय करें।

हमारे पायलट ने [टीम] में प्रति सप्ताह [संख्या] कार्यों के लिए प्रति कार्य माध्यिका [मान] बचाया। समय के
उपयोग के विकल्प सुझाएँ जो गुणवत्ता, सीखने और टिकाऊ गति का समर्थन करें, हर एक के समझौते और जोखिमों
के साथ, और टीम व नेताओं के साथ चुनाव पर सहमत होने का तरीका। यह न मानें कि बचत टिकेगी। अपनी
मान्यताएँ सूचीबद्ध करें।

AI कौशल

मुख्य निष्कर्ष

  • AI उपयोग से पहले दिनांकित आधाररेखा लें, और उसके बिना किए समान कार्य से तुलना करें।
  • पूरे, जाँचे परिणाम तक का समय मापें, और स्वतंत्र समीक्षकों से सटीकता के लिए आउटपुट का नमूना लें।
  • समीक्षा और पुनर्कार्य सहित पूरी लागत गिनें।
  • उपयोग और स्वीकृति को वर्णनात्मक मानें, लक्ष्य कभी नहीं।
  • पहले से तय करें कि बचे समय का क्या करना है, और टिकाऊ गति रखें।
  • उपयोग डेटा टीम स्तर पर रखें, और हर पायलट को दर्ज निर्णय के साथ समाप्त करें।

संदर्भ और आगे पढ़ें

  1. National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
  2. ISO/IEC 42001, Information technology: Artificial intelligence: Management system, International Organization for Standardization, 2023.
  3. Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
  4. Bender, E. M., Gebru, T., McMillan-Major, A., and Shmitchell, S., "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?" Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 2021.
  5. Russell, S., and Norvig, P., Artificial Intelligence: A Modern Approach, 4th ed., Pearson, 2020.
  6. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  7. Wikipedia, Artificial intelligence.
  8. Wikipedia, Machine learning.
  9. Wikipedia, Generative artificial intelligence.
  10. Wikipedia, Large language model.
  11. Wikipedia, AIOps.
  12. Wikipedia, Human-in-the-loop.
  13. Wikipedia, Automation bias.
  14. Wikipedia, Hallucination (artificial intelligence).
  15. Wikipedia, Goodhart's law.

एजाइल ITIL मेट्रिक्स — एजाइल आईटी सेवाओं को मापें, काम को बिगाड़े बिना।

स्रोत और योगदान: github.com/agile-itil-metrics. इनसे बनाया गया Lily Design System™.

नेतृत्व Joel Parker Henderson.