AI-सहायता प्राप्त कार्य का मापन
AI-सहायता प्राप्त कार्य को इससे आँकें कि समीक्षा, उत्पादन और उपयोगकर्ता के अगले संपर्क के बाद क्या टिकता है, इससे नहीं कि वह कितनी जल्दी प्रकट हुआ, और देखते रहें कि इसे करने वाले लोग अब भी सीख रहे हैं या नहीं।
सारांश और प्रेरणा
एक बार जब टीम रोज़ AI उपकरण उपयोग करती है, तो केंद्रीय प्रश्न "क्या हमें करना चाहिए?" से "हमें क्या मिल रहा है?" में बदल जाता है। पिछले विषय ने आधार तय किए: आधाररेखाएँ, तुलनाएँ और पूरी लागत (देखें विषय 10.1, सेवा प्रबंधन मापन में AI)। यह विषय स्वयं कार्य में जाता है। आप कैसे बताएँगे कि AI-सहायता प्राप्त कोड, टिकट, दस्तावेज़ और निर्णय उस कार्य जितने अच्छे, उससे बेहतर, या बुरे हैं जिसकी वे जगह लेते हैं, और उसे करने वाले लोगों का क्या होता है?
AI सहायता कई प्रकार के कार्य को छूती है। सॉफ़्टवेयर डिलीवरी में उपकरण कोड, परीक्षण, कमिट संदेश और समीक्षा टिप्पणियाँ सुझाते या उत्पन्न करते हैं। सेवा संचालन में वे घटनाओं का सार बनाते, कारण प्रस्तावित करते, उत्तरों का मसौदा बनाते और ज्ञान लेख लिखते हैं। विश्लेषण में वे रिपोर्टें और क्वेरी बनाते हैं। साझा विशेषता यह है कि विश्वसनीय पहला संस्करण बनाना सस्ता हो जाता है। लागतें अन्य जगहों पर खिसकती हैं: आउटपुट पढ़ना और आँकना, जो गलत है उसे ठीक करना, जो उत्पन्न हुआ उसे बनाए रखना, और अंतर जानने के लिए पर्याप्त सीखना।
कई प्रभाव मापन को पेचीदा बनाते हैं।
- आउटपुट गिनतियाँ भ्रमित करती हैं। कोड की पंक्तियाँ उत्पादकता का हमेशा खराब माप थीं, और उत्पन्न कोड उसे और बुरा करता है। अधिक कोड का अर्थ है पढ़ने, परखने और बनाए रखने को अधिक। उत्पन्न पंक्तियों, स्वीकृत सुझावों, या मसौदों की गिनतियाँ मूल्य के बारे में थोड़ा कहती हैं।
- समीक्षा बॉटलनेक बन जाती है। कोड समीक्षा और अन्य उत्पन्न कार्य की समीक्षा समय लेती है, और बड़े, अधिक बार के बदलावों का प्रवाह समीक्षकों को अतिभारित कर सकता है। बड़ी पुल रिक्वेस्ट अच्छी तरह समीक्षा करना कठिन हैं, और अतिभारित समीक्षक के उसे अनुमोदित करने की संभावना अधिक है जिसे उसने समझा नहीं। पहले के समीक्षा और प्रवाह माप आवश्यक बने रहते हैं (देखें विषय 2.7, पुल रिक्वेस्ट और कोड रिव्यू मेट्रिक्स)।
- गुणवत्ता की समस्याएँ देर से आती हैं। उत्पन्न कोड आज परीक्षण पास कर सकता है और दोहराया कोड, अस्पष्ट संरचना, या छिपी खामियाँ रख सकता है जो रखरखाव की लागत के रूप में सामने आती हैं, तकनीकी ऋण का रूप। निर्माण के क्षण पर लिए माप उसे चूकते हैं। देखें कि कार्य का बाद में क्या होता है।
- कौशल बदल सकते हैं। जिन कार्यों को कोई खुद करता था उनके लिए उपकरण पर निर्भर होना संज्ञानात्मक ऑफ़लोडिंग का रूप है, जो कठिन समस्याओं के लिए ध्यान मुक्त कर सकता है या यदि अंतर्निहित समझ फीकी पड़े तो कौशल क्षरण की ओर ले जा सकता है। दोनों संभव हैं, और परिणाम इस पर निर्भर है कि उपकरण कैसे उपयोग हों। यह शामिल लोगों के लिए और टीम की उन स्थितियों को सँभालने की क्षमता के लिए मायने रखता है जिन्हें उपकरण नहीं सँभाल सकता।
उत्पादकता पर AI सहायता के प्रभाव का प्रमाण अब भी विकसित हो रहा है, और वह कार्य, उपयोगकर्ता के अनुभव, उपकरण और परिवेश के साथ भिन्न होता है। कोडिंग कार्यों के कुछ नियंत्रित अध्ययनों ने भली-भाँति परिभाषित कार्यों पर तेज़ पूर्णता पाई है, और अन्य अध्ययनों और रिपोर्टों ने उन जटिल प्रणालियों पर काम करने वाले अनुभवी लोगों के लिए छोटे या कोई लाभ नहीं, या अतिरिक्त लागतें पाई हैं जिन्हें वे अच्छी तरह जानते हैं। यह पुस्तक कोई संख्या नहीं देती। टीम के लिए ज़िम्मेदार स्थिति अपने कार्य को आधाररेखाओं और तुलना के साथ मापना, और किसी भी प्रकाशित आँकड़े को विशेष संदर्भ में एक अध्ययन मानना है।
गुडहार्ट के नियम की रेलिंग यहाँ विशेष रूप से महत्वपूर्ण है, क्योंकि लाभ दिखाने का दबाव मज़बूत है और आसान संख्याएँ ही भ्रामक हैं। नीचे के माप उसका अनुसरण करते हैं जो टिकता है, उसका नहीं जो बनता है (देखें विषय 1.2, गुडहार्ट का नियम और मेट्रिक्स का मनोविज्ञान)।
मुख्य सिद्धांत
- जो टिकता है उसे मापें। प्रतिधारण, पुनर्कार्य और बच निकली खामियाँ आउटपुट से अधिक बताती हैं।
- समीक्षा देखें। AI-सहायता प्राप्त कार्य का प्रवाह इससे सीमित है कि लोग उसे कितनी अच्छी तरह पढ़ सकते हैं।
- समान की समान से तुलना करें। सहायता प्राप्त और गैर-सहायता प्राप्त कार्य प्रकार और कठिनाई में समान होने चाहिए।
- अभी के साथ बाद में भी देखें। गुणवत्ता की समस्याएँ और रखरखाव लागतें निर्माण के सप्ताहों या महीनों बाद दिखती हैं।
- समझ को वार्तालाप में रखें। कार्य भेजने वाला व्यक्ति उसे समझा सकने योग्य होना चाहिए।
- कौशल और सीखने की रक्षा करें। नोटिस करें कि लोग उपकरण के बिना अब भी क्या कर सकते हैं।
- एकत्र करें; व्यक्तियों की निगरानी न करें। कौन AI कैसे उपयोग करता है इसका डेटा प्रक्रिया सुधारने के लिए है, लोगों को रैंक करने के लिए नहीं।
मेट्रिक परिभाषाएँ
| मेट्रिक | परिभाषा | सूत्र | इकाई | डेटा स्रोत | ITIL अभ्यास | एजाइल समकक्ष | आवृत्ति |
|---|---|---|---|---|---|---|---|
| प्रतिधारण दर | AI-सहायता प्राप्त बदलावों का हिस्सा जो बताई अवधि के बाद काफ़ी हद तक अपरिवर्तित रहे | 30 दिनों बाद तय हिस्से से कम संशोधित या पलटे गए AI-सहायता प्राप्त बदलाव / 30 दिन पहले मर्ज हुए AI-सहायता प्राप्त बदलाव | प्रतिशत | सहायता टैग से जुड़ा संस्करण नियंत्रण इतिहास, टीम स्तर पर | रिलीज़ और तैनाती प्रबंधन; परिवर्तन सक्षमीकरण | कार्य जो टिकता है; कम पुनर्कार्य | मासिक |
| मर्ज-पश्चात पुनर्कार्य | बदलावों का हिस्सा जिन्हें छोटी अवधि में अनुवर्ती सुधार चाहिए, सहायता प्राप्त और तुलना बदलावों के लिए | प्रति समूह, 14 दिनों के भीतर जुड़े अनुवर्ती सुधार वाले बदलाव / मर्ज हुए बदलाव | प्रतिशत | संस्करण नियंत्रण, समस्या ट्रैकर, बदलाव रिकॉर्ड | परिवर्तन सक्षमीकरण; समस्या प्रबंधन | बच निकली खामियाँ; पुनर्कार्य | मासिक |
| समीक्षा भार | सहायता प्राप्त और तुलना बदलावों के लिए प्रति बदलाव समीक्षक का प्रयास | प्रति समूह प्रति बदलाव समीक्षा समय और समीक्षा चक्रों की माध्यिका और 85वाँ पर्सेंटाइल | घंटे; चक्र | टीम के अनुसार एकत्रित समीक्षा उपकरण टाइमस्टैम्प | रिलीज़ और तैनाती प्रबंधन | प्रतिक्रिया और सीख के रूप में समीक्षा | मासिक |
| बच निकली खामी दर | सहायता प्राप्त और तुलना बदलावों के लिए प्रति बदलाव उत्पादन में मिली खामियाँ | प्रति समूह, रिलीज़ के बाद मिली बदलाव को आरोपित खामियाँ / रिलीज़ बदलाव | खामियाँ प्रति बदलाव | बदलावों से जुड़ा खामी ट्रैकर | घटना प्रबंधन; समस्या प्रबंधन | जो रिलीज़ होता है उसकी गुणवत्ता | तिमाही |
| व्याख्या जाँच पास दर | नमूने के AI-सहायता प्राप्त बदलावों का हिस्सा जिनके लेखक समीक्षा में दृष्टिकोण और उसके समझौते समझा सकते हैं | नमूने के बदलाव जहाँ लेखक ने समीक्षक की संतुष्टि तक समझाया / नमूने के बदलाव | प्रतिशत | नमूना समीक्षा नोट | ज्ञान प्रबंधन; परिवर्तन सक्षमीकरण | कोड की साझा समझ | तिमाही |
| सहायता प्राप्त सहायता गुणवत्ता | बिना सहायता वालों की तुलना में AI-सहायता प्राप्त सहायता उत्तरों की पुनः खुलने की दर और उपयोगकर्ता संतुष्टि | प्रति समूह, पुनः खुले सहायता प्राप्त टिकट / सहायता प्राप्त टिकट, और अनुकूल रेटिंग / रेटिंग | प्रतिशत | ITSM उपकरण, सर्वेक्षण | सेवा डेस्क; घटना प्रबंधन | सेवा परिणामों की गुणवत्ता | मासिक |
| बिना सहायता के विश्वास रेटिंग | उपकरण के बिना प्रमुख कार्य करने के विश्वास की टीम रेटिंग | प्रति टीम सहमत पैमाने पर माध्य रेटिंग और फैलाव | पैमाना बिंदु | गुमनाम टीम पल्स | कार्यबल और प्रतिभा प्रबंधन; ज्ञान प्रबंधन | टीम की क्षमता और सीख | तिमाही |
उपकरण लॉग या हल्की परिपाटी से टीम स्तर पर AI सहायता को विश्वसनीय रूप से टैग करें, और बताएँ कि तुलना बदलाव कैसे चुने जाते हैं: आकार, क्षेत्र और जोखिम में समान। प्रतिधारण काफ़ी बदलाव मापता है, सीमा रजिस्टर में तय। मर्ज-पश्चात पुनर्कार्य अनुवर्ती सुधार को मूल बदलाव से कथित नियम से जोड़ता है। समीक्षा भार समीक्षक का प्रयास है, लेखक का नहीं, और जहाँ मापने योग्य हो वहाँ केवल सक्रिय समीक्षा समय शामिल करता है। व्यक्ति-स्तर का डेटा कभी रिपोर्ट नहीं होता। व्याख्या जाँच के नमूने यादृच्छिक रूप से चुने जाते हैं, और जाँच सीखने का समर्थन करने वाला वार्तालाप है, व्यक्ति की परीक्षा नहीं।
सिफ़ारिशें
कार्य के बनने के बाद उसका अनुसरण करें
1. समय के साथ ट्रैक करें कि सहायता प्राप्त कार्य का क्या होता है। कोड के लिए, मर्ज के सप्ताहों बाद बदलावों का अनुसरण करें: क्या वे टिकते हैं, ठीक होते हैं, या पलटे जाते हैं? सहायता के लिए, उत्तर के बाद टिकटों का अनुसरण करें: क्या वे फिर खुलते हैं या दोहराए संपर्कों से आगे बढ़ते हैं? दस्तावेज़ों के लिए, जाँचें कि उनका उपयोग होता, सुधार होता, या अनदेखी होती है। प्रतिधारण और पुनर्कार्य गुणवत्ता के सरल, नकली करने में कठिन संकेत हैं।
2. समान गैर-सहायता प्राप्त कार्य से तुलना करें। समान अवधि से समान आकार, जोखिम और क्षेत्र का तुलना कार्य चुनें। कठिनाई मायने रखती है: लोग आसान कार्यों के लिए AI उपयोग कर सकते हैं, जो उपकरण की चापलूसी करेगा, या कठिन के लिए, जो उसे दंडित करेगा। बताएँ कि कार्य सहायता प्राप्त कैसे बनते हैं, और उसी हिसाब से समायोजित करें या चेतावनी दें। छोटी, ईमानदार तुलना बड़ी, भ्रमित तुलना से बेहतर है (देखें विषय 6.5, मूल्य प्राप्ति और व्यावसायिक परिणाम)।
3. नीचे की ओर के माप मानक समूह में शामिल करें। किसी भी गति माप को बदलाव विफलता दर, बच निकली खामियों, और पहले से उपयोग में स्थिरता मापों से जोड़ें (देखें विषय 2.8, DORA मेट्रिक्स)। गिरती स्थिरता के साथ गति का लाभ संचालन और उपयोगकर्ताओं पर लागत का हस्तांतरण है। जोड़ी साथ रिपोर्ट करें।
समीक्षा को सार्थक रखें
4. समीक्षा भार और आकार देखें। सहायता प्राप्त और गैर-सहायता प्राप्त कार्य के लिए समीक्षा समय, समीक्षा चक्र और बदलाव आकार मापें। यदि सहायता प्राप्त बदलाव बड़े या अधिक हैं, तो समीक्षक अतिभारित हो सकते हैं। बदलाव आकार के मानदंड तय करें, और एक समीक्षा में जा सकने वाली उत्पन्न सामग्री की मात्रा सीमित करें। समीक्षा क्षमता प्रणाली की क्षमता का हिस्सा है (देखें विषय 2.3, प्रगति में कार्य और कतारें)।
5. लेखकों से समझाने को कहें। आदत बनाएँ कि बदलाव का लेखक समझा सके कि वह क्या करता है, यह दृष्टिकोण क्यों, और समझौते क्या हैं। समीक्षा में छोटा, सहायक वार्तालाप पर्याप्त है। यह देखने के लिए कि क्या समझ आउटपुट के साथ चल रही है, हर तिमाही व्याख्या जाँचों का नमूना लें। जहाँ लेखक नहीं समझा सकते, उसे धीमे होने और सीखने का संकेत मानें, व्यक्ति की विफलता नहीं।
6. ऑटोमेशन पूर्वाग्रह से बचें। समीक्षकों को सहायता प्राप्त कार्य को किसी भी अन्य जितनी आलोचनात्मक दृष्टि से पढ़ने को प्रोत्साहित करें। समीक्षक घुमाएँ, पहचान जाँचने के लिए कभी-कभी परीक्षण बदलाव में ज्ञात मुद्दे डालें, और स्वतंत्र समीक्षकों द्वारा आउटपुट का नमूना लेना जारी रखें। बढ़ते पुनर्कार्य के साथ बहुत ऊँची स्वीकृति दर चेतावनी है (देखें विषय 10.1, सेवा प्रबंधन मापन में AI)।
गुणवत्ता और रखरखाव का ध्यान रखें
7. कोड और प्रणाली की संरचना पर नज़र रखें। जहाँ सहायता भारी है उन क्षेत्रों में दोहराव, जटिलता, परीक्षण कवरेज और बदलाव की दर ट्रैक करें। सॉफ़्टवेयर परीक्षण और कोड स्वास्थ्य के लिए पहले से मौजूद माप उपयोग करें, और रुझान देखें। बढ़ता दोहराव या घटती परीक्षण प्रभावशीलता संकेत दे सकती है कि उत्पन्न कोड डिज़ाइन में एकीकृत किए बिना स्वीकार हो रहा है। रिग्रेशन परीक्षण कवरेज सुरक्षा जाल है, और बदलाव की मात्रा बढ़ने पर उसकी मज़बूती अधिक मायने रखती है।
8. उत्पन्न परीक्षणों को सावधानी से लें। AI कई परीक्षण जल्दी लिख सकता है, और परीक्षण कुछ सार्थक जाँचे बिना पास हो सकते हैं। मूल्य के लिए उत्पन्न परीक्षणों का नमूना लें, और परीक्षण प्रभावशीलता ऐसी विधियों से मापें जैसे क्या परीक्षण तब विफल होते हैं जब व्यवहार जानबूझकर तोड़ा जाए। लिखे परीक्षणों को गुणवत्ता माप के रूप में न गिनें।
9. सहायता प्राप्त सहायता की गुणवत्ता देखें। सेवा डेस्क और संचालन के लिए, सहायता प्राप्त बनाम बिना सहायता वाले उत्तरों के लिए पुनः खुलने की दर, दोहराए संपर्क, संतुष्टि, और नमूना उत्तरों की सटीकता मापें। तेज़ उत्तर जो उपयोगकर्ता को वापस भेजे समग्र रूप से धीमा है। सहायता प्राप्त उत्तरों पर उपयोगकर्ता टिप्पणियाँ पढ़ें, और देखें कि जहाँ मायने रखे वहाँ उपयोगकर्ता जानते हैं कि वे AI से निपट रहे हैं (देखें विषय 6.1, ग्राहक संतुष्टि मेट्रिक्स)।
लोगों और कौशल की रक्षा करें
10. नोटिस करें कि लोग अब भी क्या कर सकते हैं। टीमों से पूछें कि वे उपकरण के बिना प्रमुख कार्य करने में कितने विश्वस्त हैं और रुझान ट्रैक करें। कौशल जीवित रखने के लिए कभी-कभार बिना सहायता का अभ्यास, पेयरिंग और अंतर्निहित डिज़ाइन की समीक्षा उपयोग करें। नए टीम सदस्यों के सीखने की विशेष रूप से रक्षा करें, जो उपकरण उन मानसिक मॉडलों के बनने से पहले उपयोग कर सकते हैं जिन पर अनुभवी सहकर्मी उसे आँकने के लिए निर्भर करते हैं (देखें विषय 9.4, कौशल और सीखने के मेट्रिक्स)।
11. लोगों का डेटा मूल्यांकन से बाहर रखें। टीम स्तर पर एकत्र करें। यह रिपोर्ट न करें कि कौन व्यक्ति AI सबसे अधिक उपयोग करते हैं, और उपयोग, स्वीकृति दर, या उत्पन्न मात्रा को प्रदर्शन समीक्षाओं में उपयोग न करें। नियम ज्ञात करें। क्या काम करता है और क्या नहीं की ईमानदार रिपोर्टों के लिए भरोसा चाहिए।
12. नियमित रूप से दोबारा देखें। उपकरण, मॉडल और अभ्यास महीनों में बदलते हैं। जब उपकरण या कार्य का तरीका बदले तो तुलना दोबारा चलाएँ। निष्कर्ष साझा करें, यह भी कि यहाँ कोई उपकरण मददगार नहीं रहा, और वे उपयोग रिटायर करें जो अब अपनी जगह नहीं कमाते।
हेरफेर के तरीके और रेलिंग
| मेट्रिक | हेरफेर कैसे होता है | जोड़ी गई रेलिंग मेट्रिक या अभ्यास |
|---|---|---|
| प्रतिधारण दर | संख्या ऊँची रखने के लिए ज़रूरी बदलावों से बचना; केवल सफल बदलावों को सहायता प्राप्त टैग करना | लेखक के चुनाव से नहीं, उपकरण लॉग से टैग करें; बच निकली खामियों और पुनर्कार्य से जोड़ें |
| मर्ज-पश्चात पुनर्कार्य | अलग टिकट या बिना जुड़े नए बदलाव में सुधारना; विंडो से परे सुधार टालना | रजिस्टर में जोड़ने का नियम; लंबी विंडो देखें; उत्पादन खामियाँ |
| समीक्षा भार | जल्दबाज़ी की समीक्षाएँ जो मापा समय घटाती हैं; टिप्पणियों के बिना अनुमोदन | समीक्षा की गहराई का नमूना; बच निकली खामियाँ; समीक्षक सर्वेक्षण |
| बच निकली खामी दर | खामियों को बदलावों से न जोड़ना; खामियों को संवर्धन के रूप में पुनर्वर्गीकृत करना | आरोपण नियम; खामी वर्गीकरण का स्वतंत्र नमूना |
| व्याख्या जाँच पास दर | लेखकों का जाँच के लिए रिहर्सल; उदार समीक्षक | यादृच्छिक, बिना घोषणा के नमूने; समीक्षक घुमाएँ; डिज़ाइन कारणों पर ध्यान |
| सहायता प्राप्त सहायता गुणवत्ता | केवल आसान टिकटों में सहायता; उपयोगकर्ताओं को ऊँची रेटिंग सिखाना | टिकटों को प्रकार और कठिनाई से मिलाएँ; प्रतिक्रिया दर और मिश्रण; टिप्पणियाँ पढ़ें |
| बिना सहायता के विश्वास रेटिंग | जाँच से बचने के लिए फुलाई रेटिंग; अधिक उपकरणों की वकालत के लिए कम रेटिंग | गुमनामी; अभ्यासों में देखे अभ्यास से तुलना; टिप्पणियाँ पढ़ें |
स्वस्थ पठन ऐसा सहायता प्राप्त कार्य है जो उतनी ही बार टिकता है जितना बिना सहायता का, पुनर्कार्य और बच निकली खामियाँ जो तुलना से मेल खाती या बेहतर हैं, समीक्षा जो गहरी रहती है, लेखक जो भेजे कार्य को समझा सकते हैं, सहायता प्राप्त सहायता जो वापस नहीं आती, और टीमें जो अपने कौशल में विश्वस्त रहती हैं।
समझौते: लाभ और हानि
| दृष्टिकोण | ताकत | कमज़ोरी |
|---|---|---|
| आउटपुट मात्रा मापना | आसान | मात्रा को पुरस्कृत करता है; मूल्य के बारे में कुछ नहीं कहता |
| प्रतिधारण और पुनर्कार्य मापना | समय के साथ गुणवत्ता दर्शाता है | विलंबित; रिकॉर्ड जोड़ने चाहिए |
| नियंत्रित तुलना | विश्वसनीय | प्रयास चाहिए; अव्यावहारिक हो सकती है |
| अवलोकन तुलना | सस्ती | कार्य चयन से भ्रमित |
| अनिवार्य व्याख्या जाँचें | समझ बनाए रखती हैं | परीक्षा लग सकती हैं; प्रयास जोड़ती हैं |
| हल्की नमूना जाँचें | कम बोझ | पैटर्न चूक सकती हैं |
| AI उपयोग पर भारी प्रतिबंध | जोखिम का नियंत्रण | खोया लाभ; छाया उपयोग |
| मापन के साथ खुला उपयोग | सीख और लाभ | भरोसा और अनुशासन चाहिए |
सीधा उत्तर स्पष्ट नियमों के भीतर उपयोग की अनुमति देना, जो टिकता है उसे मापना, समझ के लिए नमूना लेना, समीक्षा क्षमता और कौशल की रक्षा करना, और लोगों का डेटा मूल्यांकन से बाहर रखना है।
अपनी टीम के साथ चर्चा के प्रश्न
1. पिछली तिमाही AI की मदद से हमने जो बनाया उसका कितना अब भी जगह पर, अपरिवर्तित है, और हमें कैसे पता? तुलनीय समूह के विरुद्ध सहायता प्राप्त बदलावों का प्रतिधारण और पुनर्कार्य देखें। सुगमकर्ता को दर्ज करना चाहिए कि उत्तर देना कितना कठिन था। सहमत हों कि रिकॉर्ड कैसे टैग और जोड़ें ताकि अगली तिमाही उत्तर आसान हो।
2. क्या समीक्षा साथ चल रही है, और जब नहीं चलती तो क्या होता है? समीक्षा समय, चक्र और आकार देखें। समीक्षकों से पूछें कि वे सहायता प्राप्त बदलावों के बारे में कैसा महसूस करते हैं। आकार की सीमाओं और भार साझा करने के तरीकों पर चर्चा करें। आज़माने के लिए एक मानदंड पर सहमत हों।
3. क्या हममें से हर एक AI की मदद से भेजे आखिरी बदलाव और उसके समझौते समझा सकता है? जोड़ियों में आज़माएँ। नोट करें कि व्याख्या कहाँ आसान थी और कहाँ कठिन। चर्चा करें कि यह उपकरण के हमारे उपयोग के बारे में क्या बताता है, और समझ ऊँची कैसे रखें।
4. उपकरण के बिना हम अब भी क्या अच्छी तरह कर सकते हैं, और किसका हुनर खो रहे हैं? प्रमुख कार्य सूचीबद्ध करें, ईमानदारी से विश्वास रेट करें, और कुछ बिना सहायता के अभ्यास या पेयरिंग की योजना बनाएँ। वार्तालाप यह भी सामने लाता है कि लोग अपने कार्य में क्या महत्व देते और रखना चाहते हैं।
5. AI ने हमारी सबसे अधिक और सबसे कम मदद कहाँ की, और उन जगहों में क्या समान है? उदाहरणों की तुलना करें। भली-भाँति परिभाषित कार्य, अच्छे परीक्षण, या परिचित डोमेन जैसी विशेषताएँ खोजें। निष्कर्षों का उपयोग यह निर्देशित करने में करें कि उपकरण कहाँ उपयोग करें।
6. यदि हम अपने पहले प्रभाव पर भरोसा न करें तो हम क्या मापेंगे? समूह से वह प्रमाण बताने को कहें जो उपकरण के बारे में उनकी राय किसी भी दिशा में बदल देगा। अगली तुलना परिभाषित करने के लिए उत्तरों का उपयोग करें।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
डिलीवरी टीमें दिन-प्रतिदिन का अनुभव और गुणवत्ता परिणाम रखती हैं। उन्हें सहायता प्राप्त कार्य टैग करना, प्रतिधारण और पुनर्कार्य देखना, समीक्षा को सार्थक रखना, और अपनी समझ बनाए रखनी चाहिए। जब उत्पन्न बदलाव की मात्रा उनकी समीक्षा करने की क्षमता से आगे निकल जाए तो उन्हें बोलना चाहिए।
सेवा और संचालन टीमें
संचालन टीमें सार, निदान और उत्तरों के लिए AI उपयोग करती हैं, और वे गुणवत्ता की समस्याएँ विरासत में पाती हैं जो बच निकलती हैं। उन्हें आउटपुट का नमूना लेना, पुनः खुलने और दोहराए संपर्क दरों की तुलना करना, और उत्पादन में कार्रवाइयों के लिए स्पष्ट मानवीय ज़िम्मेदारी रखनी चाहिए। उन्हें परिभाषित करने में मदद करनी चाहिए कि AI को किसी व्यक्ति के बिना कहाँ कार्य नहीं करना चाहिए।
नेतृत्व और शासन
नेता लाभ दिखाने के दबाव का सामना करते हैं और उपयोग व आउटपुट मेट्रिक्स से लुभाए जा सकते हैं। उन्हें गति के बगल में प्रतिधारण, पुनर्कार्य और स्थिरता मापों पर ज़ोर देना, समीक्षा क्षमता को वित्त देना, कौशल विकास की रक्षा करना, और लोगों को रैंक करने का विरोध करना चाहिए। शासन को AI लाभ रिपोर्टों में तुलना और चेतावनियों की अपेक्षा रखनी चाहिए।
ग्राहक और उपयोगकर्ता
उपयोगकर्ता परिणाम पाते हैं: कोड जो उनकी सेवाएँ चलाता है, उनके अनुरोधों के उत्तर, दस्तावेज़ जिन पर वे निर्भर हैं। गुणवत्ता टिकने पर उन्हें लाभ होता है और न टिकने पर कष्ट। वे किसी व्यक्ति तक पहुँच सकें, और सहायता प्राप्त बातचीत पर उनकी प्रतिक्रिया गुणवत्ता का मुख्य प्रमाण है।
व्यवहार में: एक एजाइल ITIL उदाहरण
एक यूरोपीय एयरलाइन के डिजिटल समूह में छह उत्पाद टीमें हैं जो बुकिंग और संचालन सॉफ़्टवेयर बनाती और चलाती हैं। टीमों ने एक साल पहले AI कोडिंग सहायक उपयोग करना शुरू किया, और समूह का डैशबोर्ड रिपोर्ट करता है कि मर्ज हुई पंक्तियों का 38 प्रतिशत AI-जनित है। नीचे की संख्याएँ उदाहरणार्थ संख्याएँ हैं।
इंजीनियरिंग उत्कृष्टता प्रमुख उस डैशबोर्ड से असहज हैं। वे तीन टीमों से केवल टीम स्तर पर उपकरण के लॉग से सहायता प्राप्त बदलाव टैग करने और आकार और क्षेत्र में समान तुलना बदलाव चुनने को कहती हैं। एक तिमाही में, पहले कमिट से मर्ज तक का माध्यिका समय सहायता प्राप्त बदलावों के लिए छोटा है, 1.4 दिन बनाम 2.0। 30 दिन बाद सहायता प्राप्त बदलावों की प्रतिधारण दर तुलना बदलावों के 90 प्रतिशत के विरुद्ध 81 प्रतिशत है, और सहायता प्राप्त बदलावों में से 12 प्रतिशत को 14 दिनों के भीतर अनुवर्ती सुधार चाहिए था बनाम 7 प्रतिशत। समीक्षा भार वही कहानी बताता है: सहायता प्राप्त बदलावों के लिए प्रति बदलाव माध्यिका समीक्षा समय 35 प्रतिशत अधिक है, और बदलाव आकार का 85वाँ पर्सेंटाइल बढ़ गया है। प्रति 100 बदलाव बच निकली खामियाँ सहायता प्राप्त बदलावों के लिए थोड़ी अधिक हैं, हालाँकि नमूना छोटा है और अंतर सामान्य विचलन के भीतर है। 40 सहायता प्राप्त बदलावों का नमूना दिखाता है कि 31 में लेखक दृष्टिकोण और उसके समझौते अच्छी तरह समझा सका, 6 में आंशिक, और 3 में बिल्कुल नहीं, ज़्यादातर लेखक के लिए नए कोड क्षेत्रों में। सेवा डेस्क में, सहायता प्राप्त उत्तरों की बिना सहायता वालों के 6 के विरुद्ध 7 प्रतिशत पुनः खुलने की दर थी, संतुष्टि समान। टीम पल्स में, नए इंजीनियर उपकरण के बिना मुख्य फ़ीचर लागू करने के अपने विश्वास को 5 में से 2.6 रेट करते हैं, समूह में तीन वर्ष से अधिक वाले इंजीनियरों के 4.1 के विरुद्ध।
इंजीनियरिंग उत्कृष्टता प्रमुख परिणाम टीमों तक ले जाती हैं और उन्हें रैंक नहीं करतीं। टीमें चार बदलावों पर सहमत होती हैं। बदलाव आकार की सीमाएँ और समीक्षा रोटा समीक्षकों की रक्षा करते हैं। लेखक समीक्षा में सहायता प्राप्त बदलावों को संक्षेप में समझाते हैं। नए इंजीनियर मुख्य फ़ीचरों के लिए अनुभवी लोगों के साथ पेयर करते हैं, और मासिक बिना सहायता का अभ्यास कौशल अभ्यास में रखता है। डैशबोर्ड उत्पन्न-पंक्ति हिस्सा छोड़ता है और सहायता प्राप्त बनाम तुलना प्रतिधारण, पुनर्कार्य, समीक्षा भार और बच निकली खामियाँ दिखाता है। तीन महीने बाद प्रतिधारण अंतर 4 बिंदुओं तक सिकुड़ता है, अनुवर्ती सुधार 8 प्रतिशत तक गिरते हैं, और व्याख्या जाँच सुधरती है। उपाध्यक्ष उत्पन्न-पंक्ति हिस्से को हर टीम का लक्ष्य बनाने को कहते हैं। इंजीनियरिंग उत्कृष्टता प्रमुख निष्कर्ष समझाती हैं और परिणाम ट्रैक करते रहने का प्रस्ताव देती हैं, यह जोड़ते हुए कि लाभ कुछ कार्यों में वास्तविक हैं और अन्य में नहीं, और टीम तय करेगी कि उपकरण कहाँ उपयोग करे। निर्णय दर्ज होता है।
क्षेत्र के अनुसार दृष्टि
स्टार्टअप। छोटी टीमों को सहायता से बहुत लाभ हो सकता है और छिपा ऋण भी तेज़ी से जमा हो सकता है। शुरू से प्रतिधारण और पुनर्कार्य ट्रैक करें, परीक्षण सार्थक रखें, और सुनिश्चित करें कि प्रणाली बनाए रखने वाले लोग उसे समझते हैं। ऐसा कोड भेजने से सावधान रहें जिसे कोई समझा नहीं सकता।
छोटा व्यवसाय। सहायता छोटी टीम को खींच सकती है। छोटे नमूने पर मापें: सहायता प्राप्त कार्य को बाद में कितनी बार ठीक करना पड़ता है। बैकअप, परीक्षण और ग्राहक-सामने की किसी भी चीज़ की मानवीय समीक्षा रखें, और जिन प्रणालियों पर मालिक निर्भर है उनकी उसकी समझ की रक्षा करें।
उद्यम। पैमाना लाभ और समस्याएँ दोनों बढ़ाता है। टैगिंग, समीक्षा सीमाओं और मापों पर साझा मार्गदर्शन दें, टीमों में सावधानी से तुलना करें बिना रैंक किए, और समीक्षा व परीक्षण क्षमता में निवेश करें। पाइपलाइन में उत्पन्न कोड की सुरक्षा और लाइसेंस समीक्षा शामिल करें (देखें विषय 7.2, सॉफ़्टवेयर परिसंपत्ति और लाइसेंस मेट्रिक्स)।
सरकार और सार्वजनिक क्षेत्र। सार्वजनिक प्रणालियों का जीवन लंबा, जवाबदेही सख्त और त्रुटि के परिणाम ऊँचे होते हैं। खोज-योग्य मानवीय ज़िम्मेदारी, सावधान परीक्षण, और AI कैसे उपयोग हुआ इसका प्रलेखन माँगें। बदलाव रिकॉर्ड में सहायता प्राप्त कार्य दर्ज करें, और निष्पक्षता और सुरक्षा के जोखिमों का आकलन करें (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।
व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO
लागतें हैं टूलिंग और उपयोग शुल्क, रिकॉर्ड टैग और जोड़ने का प्रयास, समीक्षा और सुधार का समय, अतिरिक्त परीक्षण, और प्रशिक्षण। तुलना अध्ययन में समय लगता है, पर पैमाना बढ़ाने या प्रतिबंधित करने के गलत निर्णय की तुलना में सस्ता है।
प्रतिफल वास्तविक हैं जहाँ सहायता गुणवत्ता घटाए बिना प्रयास घटाती है, और खो जाते हैं जहाँ वह प्रयास को समीक्षा, पुनर्कार्य और रखरखाव में खिसका दे। अपने मापों से मामला बनाएँ: मर्ज हुए, रखे बदलाव तक का समय, तुलना के विरुद्ध पुनर्कार्य और बच निकली खामियाँ, समीक्षा भार, और उपयोगकर्ताओं व कर्मचारियों की संतुष्टि। प्रकाशित उत्पादकता आँकड़ों को अपना अनुमान न बनाएँ। छिपी लागतें याद रखें: घटी समझ, कौशल हानि और तकनीकी ऋण। अनिश्चितता के बारे में ईमानदार रहें (देखें विषय 7.7, निवेश पर प्रतिफल और व्यावसायिक औचित्य)।
प्रति-पैटर्न और जाल
- उत्पन्न पंक्तियाँ या स्वीकृत सुझाव गिनना। वे मात्रा को पुरस्कृत करते हैं। जो टिकता है उसे मापें।
- आसान कार्यों पर सहायता प्राप्त कार्य की कठिन कार्यों पर गैर-सहायता प्राप्त कार्य से तुलना। परिणाम उपकरण की चापलूसी करता या उसे दंडित करता है। कार्य मिलाएँ।
- समीक्षा क्षमता को पीछे छूटने देना। गुणवत्ता चुपचाप गिरती है। बदलाव आकार सीमित करें और समीक्षकों की रक्षा करें।
- नीचे के माप छोड़ना। लागत बाद में दिखती है। पुनर्कार्य, खामियाँ और स्थिरता ट्रैक करें।
- उत्पन्न परीक्षणों को गुणवत्ता मानना। वे कुछ जाँचे बिना पास हो सकते हैं। परीक्षणों को परखें।
- कौशल की अनदेखी। समझ अनदेखे फीकी पड़ती है। बिना सहायता का विश्वास ट्रैक करें और अभ्यास करें।
- व्यक्तियों की निगरानी। यह भय पैदा करती और समस्याएँ छिपाती है। डेटा टीम स्तर पर रखें।
- छोटे अध्ययन पर विजय घोषित करना। उपकरणों और अभ्यासों के बदलने पर दोबारा चलाएँ।
परिपक्वता मॉडल
| आयाम | 1 आरंभ | 2 विकास | 3 मानकीकरण | 4 प्रबंधन | 5 समन्वय |
|---|---|---|---|---|---|
| जो टिकता है उसे मापना | आउटपुट गिनतियाँ | गुणवत्ता के अनौपचारिक प्रभाव | सहायता प्राप्त कार्य टैग; तुलना के विरुद्ध प्रतिधारण और पुनर्कार्य ट्रैक | नीचे की खामियाँ, स्थिरता और समीक्षा भार साथ प्रबंधित | टीमों में प्रमाण निर्देशित करता है कि सहायता कहाँ उपयोग हो; परिणाम व्यापक रूप से साझा |
| समीक्षा और समझ | पहले जैसी समीक्षा | अतिभार की चिंता | बदलाव आकार के मानदंड; व्याख्या जाँचों का नमूना | समीक्षा क्षमता नियोजित; ऑटोमेशन पूर्वाग्रह का प्रतिकार | AI के साथ सभी टीमों के कार्य के तरीके में समीक्षा और समझ निर्मित |
| लोग और कौशल | विचार नहीं | किस्से | बिना सहायता का विश्वास पल्स; कुछ अभ्यास | कौशल विकास नियोजित; रुझान प्रबंधित | संगठन भर में सीखना और शिल्प सुरक्षित; कर्मचारियों के साथ AI उपयोग का सह-डिज़ाइन |
चेकलिस्ट
- AI-सहायता प्राप्त कार्य उपकरण लॉग या हल्की परिपाटी से टीम स्तर पर टैग है।
- समान आकार, क्षेत्र और जोखिम का तुलना कार्य परिभाषित है।
- सहायता प्राप्त और तुलना कार्य के लिए प्रतिधारण और मर्ज-पश्चात पुनर्कार्य ट्रैक होते हैं।
- किसी भी गति माप के बगल में बच निकली खामियाँ और बदलाव विफलता दर रिपोर्ट होती हैं।
- समीक्षा समय, चक्र और बदलाव आकार की निगरानी होती है, आकार के मानदंडों के साथ।
- लेखक सहायता प्राप्त बदलाव समझा सकते हैं, और हर तिमाही नमूने की जाँच होती है।
- उत्पन्न परीक्षणों का मूल्य के लिए नमूना लिया जाता है।
- सहायता प्राप्त सहायता की पुनः खुलने की दर, दोहराए संपर्क और संतुष्टि के लिए तुलना होती है।
- बिना सहायता का विश्वास पल्स होता है, और बिना सहायता के अभ्यास की योजना है।
- व्यक्तिगत उपयोग और स्वीकृति डेटा मूल्यांकन में उपयोग नहीं होता।
AI प्रॉम्प्ट
सहायता प्राप्त और गैर-सहायता प्राप्त बदलावों की तुलना की योजना बनाएँ।
हम [टीम और प्रणाली] के लिए AI-सहायता प्राप्त और गैर-सहायता प्राप्त बदलावों की तुलना करना चाहते हैं।
हमारे डेटा में शामिल है: [फ़ील्ड सूचीबद्ध करें]। प्रस्तावित करें कि लेखकों की याददाश्त पर निर्भर हुए बिना
सहायता प्राप्त बदलाव कैसे टैग करें, आकार और जोखिम में समान तुलना बदलाव कैसे चुनें, कौन-से माप
तुलना करें (प्रतिधारण, पुनर्कार्य, समीक्षा भार, खामियाँ), अवधि, और निष्कर्षों पर चेतावनी कैसे लगाएँ।
अपेक्षित परिणाम न बताएँ। अपनी मान्यताएँ और वैधता को खतरे सूचीबद्ध करें।
व्याख्या जाँच डिज़ाइन करें।
[भाषा और डोमेन] में नमूना AI-सहायता प्राप्त बदलावों के लिए छोटी, सहायक व्याख्या जाँच डिज़ाइन करें।
नमूना कैसे लें, समीक्षक कौन-से प्रश्न पूछता है, अच्छी व्याख्या क्या कवर करती है, टीम स्तर पर परिणाम
कैसे दर्ज करें, और लोगों को आँके बिना सीखने के लिए निष्कर्ष कैसे उपयोग करें, शामिल करें। अपनी मान्यताएँ और जाँच के जोखिम सूचीबद्ध करें।
नीचे के मापों की समीक्षा करें।
यहाँ [अवधि] के हमारे माप हैं: गति [मान], प्रतिधारण [मान], पुनर्कार्य [मान], समीक्षा भार [मान], बच निकली
खामियाँ [मान], सहायता प्राप्त और तुलना कार्य के लिए। वर्णन करें कि पैटर्न क्या सुझाता है और क्या नहीं,
कौन-से अंतर सामान्य विचलन के भीतर हैं, और आगे क्या जाँचें। कारण का दावा न करें। अपनी मान्यताएँ और जो
डेटा मुझे जोड़ना चाहिए सूचीबद्ध करें।
बिना सहायता के अभ्यास की योजना बनाएँ।
उस टीम के लिए मुख्य कौशल जीवित रखने का हल्का कार्यक्रम प्रस्तावित करें जो रोज़ AI उपकरण उपयोग करती है:
मासिक बिना सहायता के अभ्यास, नए और अनुभवी सदस्यों के बीच पेयरिंग, और डिज़ाइन चर्चाएँ। सुझाएँ कि दबाव जोड़े
बिना उसे कार्य सप्ताह में कैसे फ़िट करें और बिना सहायता के विश्वास पल्स से उसका प्रभाव कैसे ट्रैक करें।
अपनी मान्यताएँ और समझौते सूचीबद्ध करें।
AI कौशल
- एजाइल ITIL मेट्रिक्स कौशल: AI-सहायता प्राप्त कार्य के माप की जोड़ी गई रेलिंग खोजने के लिए उपयोग करें।
- एजाइल ITIL मेट्रिक्स अनुरक्षक कौशल: यह जाँचने के लिए उपयोग करें कि AI-सहायता प्राप्त कार्य मेट्रिक वह मापती है जो टिकता है और अपना हेरफेर का तरीका और रेलिंग रखती है।
मुख्य निष्कर्ष
- जो टिकता है उसे मापें: प्रतिधारण, पुनर्कार्य, बच निकली खामियाँ और स्थिरता, तुलनीय गैर-सहायता प्राप्त कार्य के विरुद्ध।
- समीक्षा क्षमता की रक्षा करें और समीक्षा गहरी रखें, क्योंकि वह सीमित करती है कि सहायता प्राप्त कार्य कितनी तेज़ी से सुरक्षित बह सकता है।
- जाँचें कि लेखक जो भेजते हैं उसे समझा सकते हैं, और नोटिस करें कि कौशल बढ़ रहे हैं या फीके पड़ रहे हैं।
- वास्तविक मूल्य के लिए उत्पन्न परीक्षणों और आउटपुट का नमूना लें।
- प्रकाशित उत्पादकता दावों को एकल अध्ययन के रूप में पढ़ें, और अपना कार्य मापें।
- व्यक्तिगत उपयोग डेटा मूल्यांकन से बाहर रखें।
संदर्भ और आगे पढ़ें
- Peng, S., Kalliamvakou, E., Cihon, P., and Demirer, M., "The Impact of AI on Developer Productivity: Evidence from GitHub Copilot," arXiv preprint, 2023.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- DORA, Google Cloud, Accelerate State of DevOps Report (latest edition addressing AI), https://dora.dev/.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Lines of code.
- Wikipedia, Code review.
- Wikipedia, Pull request.
- Wikipedia, Duplicate code.
- Wikipedia, Technical debt.
- Wikipedia, Cognitive offloading.
- Wikipedia, Deskilling.
- Wikipedia, Goodhart's law.
- Wikipedia, Software testing.
- Wikipedia, Regression testing.