AI एजेंट और चैटबॉट मेट्रिक्स
बातचीत वाले सहायक ने मदद तभी की है जब उपयोगकर्ता की समस्या सुलझी और सुलझी रही। इसलिए सत्यापित समाधान, वापसियाँ, व्यक्ति को हैंडऑफ़ की गुणवत्ता, और गलत कार्रवाइयों की हानि मापें, और बॉट को लोगों को मदद से दूर रखने के लिए कभी पुरस्कृत न करें।
सारांश और प्रेरणा
कई संगठन अब उपयोगकर्ताओं और सेवा डेस्क के बीच बातचीत वाला सहायक रखते हैं, और कुछ AI एजेंटों को कार्य करने की क्षमता देते हैं: पासवर्ड रीसेट करना, उपकरण ऑर्डर करना, सेवा रीस्टार्ट करना, विन्यास बदलना। चैटबॉट ऐसा सॉफ़्टवेयर एप्लिकेशन है जो बातचीत चलाता है, और वर्चुअल असिस्टेंट उपयोगकर्ता की ओर से कार्य करने की क्षमता जोड़ता है। बुद्धिमान एजेंट का व्यापक विचार ऐसी प्रणाली है जो परिवेश को देखती है और लक्ष्यों की ओर कार्रवाई करती है। आधुनिक भाषा मॉडल इन प्रणालियों को अपने नियम-आधारित पूर्ववर्तियों से खुली बातचीत में कहीं अधिक सक्षम बनाते हैं, और पहला बातचीत कार्यक्रम, 1960 के दशक में Joseph Weizenbaum का ELIZA, पहले ही दिखा चुका था कि लोग उस मशीन को समझ का श्रेय कितनी आसानी से देते हैं जो केवल विश्वसनीय उत्तर बनाती है।
आकर्षण स्पष्ट है। उपयोगकर्ताओं को किसी भी घंटे प्रतीक्षा के बिना मदद मिलती है। टीमें नियमित अनुरोधों पर कम समय बिताती हैं। स्व-सेवा ITSM का लंबे समय से लक्ष्य रही है, और शिफ़्ट-लेफ़्ट, समाधान का पहले और सस्ते बिंदुओं पर जाना, सेवा डेस्क का मूल विचार है (देखें विषय 3.7, स्व-सेवा और स्वचालन मेट्रिक्स)। मापन की समस्या यह है कि स्पष्ट संख्याएँ गलत चीज़ों को पुरस्कृत करती हैं। बातचीत समाप्त करने वाला बॉट उसे "नियंत्रित" गिना जाता है, चाहे उपयोगकर्ता की मदद हुई हो या उसने हार मान ली हो। जो बॉट कभी मनुष्य नहीं देता वह नियंत्रण को अधिकतम करता है। जो बॉट आत्मविश्वास से गलत उत्तर दे वह शांत विफलता पैदा करता है जो दिनों बाद क्रोधित संपर्क के रूप में दिखती है।
दो प्रकार की प्रणालियों को अलग माप चाहिए।
- बातचीत वाले सहायक प्रश्नों के उत्तर देते, उपयोगकर्ताओं का मार्गदर्शन करते, और जानकारी इकट्ठा करते हैं। उनका जोखिम गलत या अनुपयोगी उत्तर और उपयोगकर्ताओं को चक्रों में फँसाना है। माप समाधान, सटीकता, और व्यक्ति तक के रास्ते पर केंद्रित हैं।
- कार्य करने वाले एजेंट दुनिया में चीज़ें बदलते हैं: खाते, प्रणालियाँ, टिकट, पैसा। उनका जोखिम वास्तविक परिणामों वाली गलत कार्रवाई है। माप कार्रवाइयों की शुद्धता, पलटने-योग्यता, अनुमति सीमाओं और ऑडिट ट्रेल पर केंद्रित हैं। इन उपयोगों को मज़बूत शासन और अक्सर परिणामी चरणों के लिए मानवीय अनुमोदन चाहिए (देखें विषय 10.5, AI शासन और जोखिम मेट्रिक्स)।
कई डिज़ाइन मुद्दे आकार देते हैं कि आप क्या मापते हैं।
- उपयोगकर्ता किससे बात कर रहा है इसके बारे में ईमानदारी। कई अधिकार क्षेत्रों में लोगों को बताने के कर्तव्य हैं या विकसित हो रहे हैं जब वे AI प्रणाली से बातचीत करते हैं, और अक्टूबर 2026 तक ये नियम विकसित हो रहे हैं, इसलिए जाँचें कि आप पर क्या लागू होता है। अच्छा अभ्यास किसी भी स्थिति में सादे ढंग से ऐसा कहना है।
- बाहर निकलने का रास्ता। उपयोगकर्ता बिना संघर्ष के किसी व्यक्ति तक पहुँच सकें। जो बॉट मनुष्य तक का रास्ता छिपाता है वह डार्क पैटर्न है, ऐसा डिज़ाइन जो उपयोगकर्ताओं को उन परिणामों में छलता या फँसाता है जो वे नहीं चुनते।
- पहुँच-योग्यता। बातचीत के इंटरफ़ेस सहायक तकनीक उपयोग करने वाले लोगों, सीमित भाषा क्षमता वालों, और दूसरी भाषा या चैनल चाहने वालों के लिए काम करने चाहिए।
- स्वचालित निर्णय। जब सहायक का आउटपुट किसी व्यक्ति के अधिकारों या पहुँच को प्रभावित करता है, तो स्वचालित निर्णय-निर्माण का विषय और उसके आसपास के कर्तव्य लागू होते हैं। ऐसे निर्णय लोगों के पास, या मज़बूत सुरक्षा उपायों के साथ रखें।
गुडहार्ट के नियम की रेलिंग यहाँ जीवंत है: यदि नियंत्रण या डिफ़्लेक्शन लक्ष्य है, तो उसे पूरा करने का सबसे सस्ता तरीका मनुष्य को पहुँचने में कठिन बनाना है (देखें विषय 1.2, गुडहार्ट का नियम और मेट्रिक्स का मनोविज्ञान)। नीचे के माप समाधान और उपयोगकर्ता परिणाम को पहले रखते हैं।
मुख्य सिद्धांत
- समाधान माप है, नियंत्रण नहीं। समाप्त हुई बातचीत सुलझी समस्या नहीं है।
- सत्यापित करें, और वापसी जाँचें। संपर्क को सुलझा हुआ तभी गिनें जब उपयोगकर्ता पुष्टि करे या वापस न आए।
- हमेशा व्यक्ति तक का रास्ता दें। रास्ता आसान, तेज़ और दिखता बनाएँ, और संदर्भ साथ ले जाएँ।
- प्रणाली के बारे में ईमानदार रहें। बताएँ कि यह AI है, क्या कर सकता है और क्या नहीं।
- एजेंट क्या कर सकते हैं सीमित करें। न्यूनतम विशेषाधिकार दें, परिणामी कार्रवाइयों के लिए अनुमोदन माँगें, और ऑडिट ट्रेल रखें।
- नमूने से उत्तरों की गुणवत्ता मापें। धाराप्रवाह उत्तर गलत हो सकते हैं।
- उपयोगकर्ताओं और टुकड़े उठाने वाले कर्मचारियों की सुनें। वे देखते हैं जो माप चूकते हैं।
मेट्रिक परिभाषाएँ
| मेट्रिक | परिभाषा | सूत्र | इकाई | डेटा स्रोत | ITIL अभ्यास | एजाइल समकक्ष | आवृत्ति |
|---|---|---|---|---|---|---|---|
| सत्यापित समाधान दर | बॉट बातचीतों का हिस्सा जिनमें उपयोगकर्ता ने पुष्टि की कि मुद्दा सुलझा, या बताई अवधि में वापस नहीं आया | सुलझाने-योग्य इरादे से शुरू बातचीत में से पुष्ट समाधान या 7 दिनों में कोई वापसी संपर्क न वाली बातचीत / बातचीत | प्रतिशत | बातचीत लॉग, उपयोगकर्ता पुष्टि, टिकट और संपर्क डेटा | सेवा डेस्क; ज्ञान प्रबंधन | उपयोगकर्ता के लिए कार्यशील परिणाम | साप्ताहिक |
| वापसी संपर्क दर | बॉट-समाप्त बातचीतों का हिस्सा जिनके बाद किसी भी चैनल से उसी मुद्दे पर संपर्क आया | हैंडऑफ़ के बिना समाप्त बातचीत में से 7 दिनों में संबंधित संपर्क के बाद की बातचीत / हैंडऑफ़ के बिना समाप्त बातचीत | प्रतिशत | टिकट और संपर्क रिकॉर्ड से जुड़े बातचीत लॉग | सेवा डेस्क; घटना प्रबंधन | बच निकली खामियाँ | साप्ताहिक |
| हैंडऑफ़ संदर्भ पूर्णता | व्यक्ति को हैंडऑफ़ का हिस्सा जिनमें व्यक्ति के पास उपयोगकर्ता से दोहराने को कहे बिना ज़रूरी जानकारी थी | प्राप्त करने वाले एजेंट द्वारा पूर्ण आँके नमूना हैंडऑफ़ / नमूने के हैंडऑफ़ | प्रतिशत | नमूना हैंडऑफ़, एजेंट प्रतिक्रिया | सेवा डेस्क; ज्ञान प्रबंधन | सीमा के पार सुगम सहयोग | मासिक |
| व्यक्ति तक का समय | उपयोगकर्ता के व्यक्ति माँगने, या बॉट के हैंडऑफ़ तय करने से व्यक्ति के कार्यभार सँभालने तक का समय | मिनटों की माध्यिका और 85वाँ पर्सेंटाइल | मिनट | बातचीत लॉग, कतार डेटा | सेवा डेस्क; घटना प्रबंधन | उपयोगकर्ता को मदद चाहिए तब प्रतिक्रियाशीलता | साप्ताहिक |
| उत्तर सटीकता | नमूने के बॉट उत्तरों का हिस्सा जिन्हें योग्य समीक्षक ने सही, पूर्ण और सुरक्षित आँका | सही आँके उत्तर / नमूने के उत्तर | प्रतिशत | नमूना समीक्षा | ज्ञान प्रबंधन; गुणवत्ता आश्वासन | उत्तर के लिए पूर्णता की परिभाषा | मासिक |
| बॉट संतुष्टि और प्रयास | बातचीत के बाद टिप्पणियों के साथ संतुष्टि और सहजता की उपयोगकर्ता रेटिंग | अनुकूल रेटिंग / रेटिंग; माध्य प्रयास रेटिंग | प्रतिशत; पैमाना बिंदु | बातचीत के बाद छोटा सर्वेक्षण | सेवा डेस्क; ग्राहक अनुभव | काम करते सॉफ़्टवेयर पर प्रतिक्रिया | साप्ताहिक |
| एजेंट कार्रवाई पलट दर | AI एजेंट की कार्रवाइयों का हिस्सा जिन्हें ठीक, पूर्ववत, या एस्केलेट करना पड़ा | कार्रवाई प्रकार और जोखिम वर्ग के अनुसार पलटी या सुधारी कार्रवाइयाँ / की गई कार्रवाइयाँ | प्रतिशत | कार्रवाई ऑडिट लॉग, बदलाव रिकॉर्ड | परिवर्तन सक्षमीकरण; घटना प्रबंधन | पुनर्कार्य और रोलबैक | साप्ताहिक |
बॉट जो इरादे सँभालता है उन्हें परिभाषित करें, और नियंत्रण से वे बाहर रखें जिन्हें उसे हमेशा हैंडऑफ़ करना चाहिए। सत्यापित समाधान बातचीत तभी गिनता है जब मुद्दा दायरे में था और उपयोगकर्ता ने या तो पुष्टि की या कोई वापसी संपर्क नहीं दिखाया। व्यक्ति तक का समय उपयोगकर्ता के अनुरोध पर शुरू होता है, मेनू के अंत पर नहीं। उत्तर सटीकता ज्ञान आधार और नीति के विरुद्ध ऐसे व्यक्ति द्वारा आँकी जाती है जिसने बॉट नहीं बनाया। एजेंट कार्रवाई पलट कार्रवाई प्रकार और जोखिम वर्ग से बाँटी जाती है, और कोई भी हानिकारक कार्रवाई अलग घटना के रूप में रिपोर्ट होती है।
सिफ़ारिशें
सफलता को समाधान के रूप में परिभाषित करें
1. इरादे और जो परिणाम आप चाहते हैं परिभाषित करें। वे समस्याएँ सूचीबद्ध करें जिन्हें सहायक सँभाले, जैसे पासवर्ड रीसेट, पहुँच स्थिति, कैसे-करें प्रश्न, और हर एक का परिणाम: उत्तर दिया, किया गया, या हैंडऑफ़। तय करें कि कौन-से इरादे हमेशा व्यक्ति के पास जाने चाहिए: शिकायतें, संकट से जुड़ी कोई भी बात, सुरक्षा, कानूनी अधिकार, या पैसा। जो बॉट सब कुछ सँभालने की कोशिश करता है वह किनारों पर बुरी तरह विफल होता है।
2. सत्यापित समाधान और वापसियाँ मापें। अंत में उपयोगकर्ताओं से पूछें कि उनका मुद्दा सुलझा या नहीं, और बाद में संबंधित संपर्क भी देखें। अकेला कोई पर्याप्त नहीं: जो उपयोगकर्ता हार मान लेते हैं वे उत्तर नहीं देते, और जिन्हें मदद मिली उनमें से कुछ फिर भी कॉल करते हैं। साथ मिलकर वे सच्चे समाधान का अनुमान देते हैं। किसी भी नियंत्रण आँकड़े की मुख्य रेलिंग के रूप में वापसी संपर्क दर को मानें (देखें विषय 3.1, सेवा डेस्क मेट्रिक्स)।
3. नियंत्रण को लक्ष्य बनाने से बचें। नियंत्रण को केवल वर्णनात्मक आँकड़े के रूप में रिपोर्ट करें और हमेशा सत्यापित समाधान, वापसियों और संतुष्टि के बगल में। वापसियों के बढ़ने के साथ बढ़ता नियंत्रण का अर्थ है बॉट लोगों को लौटा रहा है। नियंत्रण का लक्ष्य न तय करें या किसी का प्रदर्शन उससे न जोड़ें।
व्यक्ति तक का रास्ता आसान और अच्छा बनाएँ
4. उपयोगकर्ताओं को किसी भी बिंदु पर व्यक्ति तक पहुँचने दें। मनुष्य माँगने का स्पष्ट, सादा तरीका दें, और उसका सम्मान करें। व्यक्ति तक का समय और उन बातचीतों का हिस्सा मापें जहाँ उपयोगकर्ताओं ने एक से अधिक बार माँगा। रास्ता नियमित रूप से खुद परखें। जहाँ व्यक्ति उपलब्ध नहीं, बताएँ कि कब होगा, और कॉलबैक की पेशकश करें।
5. संदर्भ के साथ हैंडऑफ़ करें। जब बॉट बातचीत व्यक्ति को सौंपे, तो सार, जो आज़माया गया, उपयोगकर्ता के शब्द, और प्रासंगिक खाता विवरण शामिल करें ताकि उपयोगकर्ता को खुद को दोहराना न पड़े। प्राप्त करने वाले एजेंटों से रेट करवाएँ कि हैंडऑफ़ पूर्ण था या नहीं, और परिणामों का नमूना लें। खराब हैंडऑफ़ उपयोगकर्ताओं को बॉट और सेवा दोनों पर कम भरोसा कराते हैं (देखें विषय 9.3, सहयोग और हैंडऑफ़ मेट्रिक्स)।
6. सभी उपयोगकर्ताओं के लिए डिज़ाइन करें। सहायक को उन उपयोगकर्ताओं के साथ परखें जो सहायक तकनीक उपयोग करते हैं, जो अन्य भाषाओं में लिखते हैं, जो जल्दी में या संकट में हैं, और जो तकनीक से सहज नहीं। अन्य चैनल दें। जहाँ सुरक्षित और वैध हो उपयोगकर्ता समूह के अनुसार सत्यापित समाधान और संतुष्टि मापें। औसत उन्हें छिपाते हैं जिन्हें बॉट सबसे अधिक विफल करता है।
जाँचें कि वह क्या कहता और करता है
7. सटीकता और सुरक्षा के लिए उत्तरों का नमूना लें। हर महीने बातचीतों का यादृच्छिक नमूना लें और योग्य व्यक्ति से उत्तर आँकवाएँ: सही, पूर्ण, सुरक्षित, और अनिश्चितता के बारे में ईमानदार। त्रुटियाँ प्रकार के अनुसार दर्ज करें: पुरानी, गढ़ी, नीति से बाहर, या गलत समझी। त्रुटियाँ ज्ञान आधार और विन्यास को खिलाएँ। संवेदनशील विषयों के लिए, और सहायक को उसके दायरे से बाहर धकेलने की कोशिशों के लिए, लक्षित परीक्षण जोड़ें।
8. ज्ञान को ताज़ा रखें। सहायक उतना ही अच्छा है जितनी सामग्री और उपकरण जिन पर वह निर्भर है। उत्तर त्रुटियों को ज्ञान लेखों से जोड़ें, और जो ज्ञान वह उपयोग करता है उसकी ताज़गी मापें (देखें विषय 3.6, ज्ञान प्रबंधन मेट्रिक्स)। जहाँ प्रणाली ज्ञान आधार से पुनर्प्राप्ति उपयोग करती है, वहाँ जाँच शामिल करें कि वह अपने स्रोत उद्धृत करती है और स्रोत सही हैं।
9. उपयोगकर्ताओं के साथ ईमानदार रहें। शुरुआत में बताएँ कि वे AI से बात कर रहे हैं, और वह क्या कर सकता और क्या नहीं। उसे ऐसा मानवीय नाम या ढंग न दें जो अन्यथा सुझाए। जहाँ वह अनिश्चित हो, उसे कहना चाहिए और व्यक्ति की पेशकश करनी चाहिए। प्रकटीकरण पर लागू कानून जाँचें।
कार्य करने वाले एजेंटों का शासन करें
10. कार्रवाइयों का जोखिम से वर्गीकरण करें और उसी के अनुसार अनुमतियाँ तय करें। एजेंट जो भी कार्रवाई कर सकता है उसका जोखिम वर्ग परिभाषित करें: सूचनात्मक, पलटने-योग्य और कम प्रभाव, या परिणामी। आवश्यक न्यूनतम विशेषाधिकार दें। परिणामी कार्रवाइयों के लिए मानवीय अनुमोदन माँगें। कारण, उपयोगकर्ता और परिणाम के साथ हर कार्रवाई का ऑडिट ट्रेल रखें। ये नियंत्रण पहले के भागों के बदलाव और सुरक्षा मापों से जुड़ते हैं (देखें विषय 8.1, सुरक्षा घटना और कमज़ोरी मेट्रिक्स, और विषय 8.2, जोखिम और नियंत्रण मेट्रिक्स)।
11. कार्रवाई की शुद्धता और पलटने-योग्यता मापें। कार्रवाई प्रकार के अनुसार पलट दर ट्रैक करें, और हर हानिकारक कार्रवाई की घटना के रूप में दोषरहित समीक्षा करें। पहुँच देने से पहले एजेंटों को सुरक्षित वातावरण में परखें, और मॉडल या उपकरण बदलने पर दोबारा परखें। नया मॉडल संस्करण व्यवहार बदल सकता है, इसलिए उसे नियंत्रण की ज़रूरत वाला बदलाव मानें (देखें विषय 4.3, परिवर्तन सक्षमीकरण मेट्रिक्स)।
12. टुकड़े उठाने वाले लोगों की सुनें। सेवा डेस्क कर्मचारी बॉट विफलताओं के परिणाम देखते हैं: क्रोधित उपयोगकर्ता, दोहराए संपर्क, और साफ़ करने को गड़बड़ियाँ। उनसे नियमित रूप से पूछें कि बॉट क्या गलत करता है और क्या उसे कठिन बनाता है। उनकी प्रतिक्रिया और उपयोगकर्ताओं की टिप्पणियाँ ऐसा प्रमाण हैं जिसे कोई माप पूरी तरह नहीं पकड़ता, और उन्हें बदलावों के अगले दौर को आकार देना चाहिए।
हेरफेर के तरीके और रेलिंग
| मेट्रिक | हेरफेर कैसे होता है | जोड़ी गई रेलिंग मेट्रिक या अभ्यास |
|---|---|---|
| सत्यापित समाधान दर | बातचीत के किसी भी अंत को सुलझा गिनना; प्रमुख पुष्टि प्रश्न पूछना | पुष्टि तटस्थ परिभाषित करें; वापसी संपर्क दर; बातचीतों का नमूना |
| वापसी संपर्क दर | केवल एक चैनल से मापना; छोटी विंडो | सभी चैनल जोड़ें; जाँच के रूप में लंबी विंडो उपयोग करें; वापसियों का नमूना |
| हैंडऑफ़ संदर्भ पूर्णता | सार की जगह लंबा ट्रांसक्रिप्ट सौंपना; आसान हैंडऑफ़ का नमूना | प्राप्त करने वाले एजेंट की रेटिंग; यादृच्छिक नमूना; हैंडऑफ़ के बाद समाधान समय |
| व्यक्ति तक का समय | मेनू के बाद घड़ी शुरू करना; कतार स्वीकृति को कार्यभार सँभालना गिनना | घड़ी अनुरोध पर शुरू; सँभालने का अर्थ बातचीत में व्यक्ति सक्रिय |
| उत्तर सटीकता | आसान बातचीतों का नमूना; उदार समीक्षक | स्वतंत्र समीक्षकों द्वारा यादृच्छिक नमूना; विरोधी परीक्षण मामले |
| बॉट संतुष्टि और प्रयास | केवल पूर्ण बातचीतों का सर्वेक्षण; सर्वेक्षण वहाँ रखना जहाँ केवल खुश उपयोगकर्ता पहुँचें | छोड़ी बातचीतों का भी सर्वेक्षण; प्रतिक्रिया दर और मिश्रण; टिप्पणियाँ पढ़ें |
| एजेंट कार्रवाई पलट दर | पलटाव लॉग न करना; सुधारों को नए कार्य के रूप में पुनर्वर्गीकृत करना | ऑडिट लॉग छेड़छाड़-प्रतिरोधी; पलटावों को कार्रवाइयों से जोड़ें; घटना समीक्षा |
स्वस्थ पठन कम वापसी के साथ ऊँचा सत्यापित समाधान, पूर्ण हैंडऑफ़ के साथ व्यक्ति तक आसान और तेज़ रास्ते, नमूना समीक्षा पर सटीक उत्तर, समूहों में संतुष्ट उपयोगकर्ता, और एजेंट जिनकी कार्रवाइयों को शायद ही पलटना पड़ता है और जो कभी अनदेखी हानि नहीं पहुँचाते।
समझौते: लाभ और हानि
| दृष्टिकोण | ताकत | कमज़ोरी |
|---|---|---|
| नियम-आधारित बॉट | पूर्वानुमेय, परखना आसान | संकरा; नाज़ुक; स्क्रिप्ट के बाहर निराशाजनक |
| भाषा-मॉडल सहायक | लचीला, धाराप्रवाह | आत्मविश्वास से गलत हो सकता है; परखना कठिन |
| अनुमोदित ज्ञान से पुनर्प्राप्ति | आधारित उत्तर, सुधारना आसान | सामग्री की गुणवत्ता पर निर्भर |
| खुला उत्पादन | व्यापक कवरेज | गढ़ने का अधिक जोखिम |
| कार्रवाइयों के लिए मानवीय अनुमोदन | सुरक्षा | धीमा; समीक्षक थकान |
| स्वायत्त कार्रवाइयाँ | गति | गलत होने पर बड़ा प्रभाव क्षेत्र |
| शुरुआती हैंडऑफ़ के साथ सख्त दायरा | सुरक्षित | कम नियंत्रण |
| व्यापक दायरा | अधिक नियंत्रण | किनारों पर अधिक त्रुटियाँ |
सीधा उत्तर संकरे, भली-भाँति समझे इरादों से शुरू करना, उत्तर अनुमोदित ज्ञान में आधारित करना, मानवीय मदद आसान बनाना, और दायरा व स्वायत्तता केवल तभी बढ़ाना है जब माप उसे उचित ठहराएँ।
अपनी टीम के साथ चर्चा के प्रश्न
1. यदि उपयोगकर्ता अभी व्यक्ति चाहे, तो कितने चरण लगेंगे, और क्या हमने खुद आज़माया है? रास्ता साथ परखें। चरण और प्रतीक्षा गिनें। सुगमकर्ता को हर बाधा नोट करनी चाहिए। बदलावों पर सहमत हों ताकि रास्ता छोटा हो, और व्यक्ति तक का समय मापें।
2. हमारे बॉट द्वारा समाप्त की गई बातचीतों का कितना हिस्सा वास्तव में समस्या सुलझाता है? नमूने के लिए वापसियाँ और पुष्टियाँ जाँचें। नियंत्रण आँकड़े से तुलना करें। अंतर पर चर्चा करें। तय करें कि नेताओं को कौन-सा आँकड़ा दिखे।
3. हमारा बॉट क्या गलत करता है, और किसे पता चलता है? सेवा डेस्क से पूछें। नमूना बातचीतों की समीक्षा करें। पैटर्न खोजें: पुराने लेख, अस्पष्ट प्रश्न, संवेदनशील विषय। त्रुटियों से सुधारों तक का रास्ता स्वामी के साथ तय करें।
4. एजेंट कौन-सी कार्रवाइयाँ अपने आप कर सकता है, और किनके लिए व्यक्ति चाहिए? जोखिम वर्गों और अनुमतियों के साथ कार्रवाइयाँ सूचीबद्ध करें। पूछें कि हर एक की सबसे बुरी यथार्थवादी विफलता क्या होगी। अनुमोदन नियमों और ऑडिट ट्रेल पर सहमत हों, और हानिकारक मामलों की समीक्षा कौन करता है।
5. बॉट किसे चुपचाप विफल कर रहा है? उन उपयोगकर्ताओं के बारे में सोचें जो जल्दी में हैं, संकट में हैं, पहुँच-योग्यता ज़रूरतों वाले हैं, या सीमित भाषा वाले हैं। जहाँ सुरक्षित हो समूह के अनुसार समाधान और संतुष्टि देखें। ऐसे उपयोगकर्ताओं के साथ एक परीक्षण पर सहमत हों।
6. बॉट को बंद करने या उसका दायरा संकरा करने को हमें क्या मजबूर करेगा? प्रमाण परिभाषित करें: एक स्तर से ऊपर वापसियाँ, हानिकारक कार्रवाइयाँ, मानक से नीचे सटीकता। तय करें कि कौन निर्णय ले सकता है। पहले से रुकने का नियम होना कार्य करना आसान बनाता है।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
जो टीमें सहायक बनाती हैं वे उसकी गुणवत्ता की स्वामी हैं। उन्हें इरादे परिभाषित करने, उत्तर अनुमोदित ज्ञान में आधारित करने, विरोधी मामलों से परखने, नियंत्रण में बदलाव रिलीज़ करने, और विफलताएँ पढ़नी चाहिए। उन्हें नियंत्रण लक्ष्यों का विरोध करना चाहिए जो उपयोगकर्ताओं को फँसाने को पुरस्कृत करते हैं।
सेवा और संचालन टीमें
सेवा डेस्क कर्मचारी सहायक के साथ काम करते हैं और उसकी विफलताएँ विरासत में पाते हैं। उन्हें हैंडऑफ़ रेट करने, गलत उत्तर चिह्नित करने, ज्ञान ताज़ा रखने, और माँगे जाने पर जल्दी कार्यभार सँभालना चाहिए। वे इसके सबसे अच्छे निर्णायक हैं कि सहायक उपयोगकर्ताओं की मदद करता है या नहीं, और उनका कार्यभार और तनाव तस्वीर का हिस्सा हैं।
नेतृत्व और शासन
नेता सहायक को प्रायोजित करते हैं और बचत चाहते हैं। उन्हें नियंत्रण के बगल में सत्यापित समाधान, वापसियाँ और संतुष्टि माँगनी, रुकने का नियम आवश्यक करना, मानवीय रास्ते को वित्त देना, और एजेंटों के लिए जोखिम वर्गों की समीक्षा करनी चाहिए। शासन को प्रकटीकरण, पहुँच-योग्यता और कानूनी कर्तव्य जाँचने चाहिए।
ग्राहक और उपयोगकर्ता
उपयोगकर्ता कम प्रयास में और बिना चालाकी के मदद चाहते हैं। उन्हें पता होना चाहिए कि वे AI से बात कर रहे हैं, व्यक्ति तक आसानी से पहुँच सकें, और भरोसा करें कि प्रणाली बिना अच्छे कारण के कार्य नहीं करेगी। उनका अनुभव, विशेषकर विफलता का, प्राथमिक प्रमाण है कि सहायक रखने लायक है या नहीं।
व्यवहार में: एक एजाइल ITIL उदाहरण
एक राष्ट्रीय विश्वविद्यालय छात्र और कर्मचारी सेवा डेस्क चलाता है जो प्रति माह लगभग 30,000 संपर्क सँभालता है। वह सामान्य अनुरोधों के लिए चैटबॉट शुरू करता है, और विक्रेता डैशबोर्ड 74 प्रतिशत नियंत्रण दर रिपोर्ट करता है। नीचे की संख्याएँ उदाहरणार्थ संख्याएँ हैं।
छात्र सेवा प्रमुख जाँचती हैं। पिछले महीने बॉट-समाप्त बातचीतों में से 29 प्रतिशत के बाद सात दिनों के भीतर ईमेल या फ़ोन से संबंधित संपर्क आया। उपयोगकर्ता की पुष्टि और वापसी की अनुपस्थिति का उपयोग करके सत्यापित समाधान दायरे के इरादों के लिए 49 प्रतिशत है। माँगने के बाद व्यक्ति तक पहुँचने का माध्यिका समय 6 मिनट है, 85वें पर्सेंटाइल 22, आंशिक रूप से क्योंकि रास्ते में तीन मेनू चरण हैं। दो अनुभवी सलाहकारों द्वारा समीक्षित 100 बातचीतों का नमूना 88 उत्तर सही और 12 त्रुटिपूर्ण पाता है: 7 पुराने, 3 में समय सीमा के बारे में गढ़े विवरण, और 2 में कठिनाई में छात्र से जुड़े संवेदनशील मामलों का गलत सँभालना। प्राप्त करने वाले एजेंट 54 प्रतिशत हैंडऑफ़ को पूर्ण रेट करते हैं। स्क्रीन रीडर उपयोग करने वाले छात्रों और अंग्रेज़ी के अलावा अन्य भाषाओं में लिखने वालों के लिए बॉट से संतुष्टि कम है। सेवा डेस्क टीम कई संपर्क बताती है जो "चैटबॉट मदद नहीं कर सका" से शुरू होते हैं।
छात्र सेवा प्रमुख टीम के साथ बदलाव करती हैं। संवेदनशील इरादे, जैसे कल्याण, शिकायतें और शुल्क विवाद, सीधे व्यक्ति को भेजे जाते हैं, और बॉट ऐसा कहता है। हर स्क्रीन पर "व्यक्ति से बात करें" विकल्प आता है, और व्यक्ति तक का समय ट्रैक होता है, स्टाफ़ वाले घंटों में कुछ मिनटों में उत्तर देने के लक्ष्य के साथ। हैंडऑफ़ में स्वचालित सार और उपयोगकर्ता के अपने शब्द शामिल हैं। ज्ञान आधार के स्वामी पुराने लेख ठीक करते हैं, और मासिक नमूना समीक्षा उन्हें खिलाती है। सहायक अनुमोदित सामग्री से उत्तर देने तक सीमित है और जब उसे नहीं पता तो कहना आवश्यक है। दूसरा पायलट पहचान सत्यापन के बाद एजेंट को पासवर्ड रीसेट करने देता है, हर कार्रवाई लॉग और समय सीमा के भीतर पलटने योग्य, और पलट दर ट्रैक। डैशबोर्ड नियंत्रण की जगह सत्यापित समाधान, वापसी संपर्क दर, सटीकता, व्यक्ति तक का समय और समूह के अनुसार संतुष्टि लेता है।
तीन महीने बाद, दायरे के इरादों के लिए सत्यापित समाधान 66 प्रतिशत तक पहुँचता है, वापसी संपर्क दर 14 प्रतिशत तक गिरती है, व्यक्ति तक का माध्यिका समय 2 मिनट तक गिरता है, पूर्ण हैंडऑफ़ का हिस्सा 86 प्रतिशत तक बढ़ता है, और नमूना उत्तरों की सटीकता 95 प्रतिशत तक बढ़ती है, नमूने में कोई गलत सँभाले संवेदनशील मामले नहीं। पासवर्ड पायलट में एजेंट कार्रवाई पलट दर 1.2 प्रतिशत है। कुलपति का कार्यालय 85 प्रतिशत के नियंत्रण लक्ष्य की माँग करता है। छात्र सेवा प्रमुख समझाती हैं कि ऊँचा नियंत्रण लक्ष्य व्यक्ति तक का रास्ता छिपाने को पुरस्कृत करेगा, और माप के रूप में सत्यापित समाधान और वापसियाँ प्रस्तावित करती हैं, आगे क्या बढ़ाना है इसकी समीक्षा के साथ। निर्णय दर्ज होता है।
क्षेत्र के अनुसार दृष्टि
स्टार्टअप। सहायक कम लागत पर सहायता कवर कर सकता है, और एक खराब उत्तर ग्राहक की कीमत ले सकता है। दायरा संकरा रखें, उत्तर अपने प्रलेखन में आधारित करें, मानवीय विकल्प स्पष्ट बनाएँ, और हर एस्केलेशन पढ़ें। एजेंट को खातों या भुगतानों पर कार्य करने देने से सावधान रहें।
छोटा व्यवसाय। वेबसाइट पर तैयार सहायक सामान्य प्रश्न सँभाल सकता है। उसे ग्राहक की तरह परखें, सुनिश्चित करें कि फ़ोन नंबर या ईमेल आसानी से मिले, और साप्ताहिक बातचीतों की समीक्षा करें। जाँचें कि विक्रेता डेटा के साथ क्या करता है।
उद्यम। पैमाना बचत और जोखिम दोनों देता है। जोखिम वर्गों, अनुमोदनों और ऑडिट के लिए शासन प्रक्रिया चलाएँ, इरादे और उपयोगकर्ता समूह के अनुसार मापें, और सुनिश्चित करें कि हर चैनल पर व्यक्ति पहुँच-योग्य है। सहायता, सुरक्षा, कानूनी और पहुँच-योग्यता में समन्वय करें।
सरकार और सार्वजनिक क्षेत्र। नागरिकों के पास कोई वैकल्पिक प्रदाता नहीं हो सकता, और पहुँच-योग्यता, भाषा पहुँच और निष्पक्ष व्यवहार के कर्तव्य कड़ाई से लागू होते हैं। व्यक्ति को पहुँच-योग्य रखें, सुरक्षा उपायों के बिना हक़ों के बारे में स्वचालित निर्णयों से बचें, प्रकाशित करें कि सहायक कैसे उपयोग होता है, और प्रकटीकरण व प्रशासनिक कानून कर्तव्य जाँचें (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।
व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO
लागतें हैं लाइसेंस या उपयोग शुल्क, एकीकरण, सामग्री की तैयारी, जारी नमूना और समीक्षा, ज्ञान आधार का रखरखाव, परीक्षण और शासन। अच्छे मानवीय रास्ते पर भी पैसा लगता है, क्योंकि उसमें कर्मचारी चाहिए।
संभावित प्रतिफल हैं सरल मुद्दों के लिए छोटी प्रतीक्षाएँ, दोहराए संपर्कों से राहत, और कार्य समय के बाहर कवरेज। जोखिम पक्ष में वापसियाँ, खोया भरोसा, गलत उत्तरों या कार्रवाइयों से हानि और कानूनी जोखिम शामिल हैं। अपनी संख्याओं से मामला बनाएँ: सत्यापित समाधान और वापसियाँ, हैंडऑफ़ सहित प्रति सुलझा संपर्क लागत, बॉट विफलताएँ ठीक करने में कर्मचारियों का समय, और समूह के अनुसार संतुष्टि। विक्रेता के नियंत्रण या डिफ़्लेक्शन दावों को अपना अनुमान न बनाएँ। मानवीय रास्ते और शासन की लागत गिनें (देखें विषय 7.7, निवेश पर प्रतिफल और व्यावसायिक औचित्य)।
प्रति-पैटर्न और जाल
- लक्ष्य के रूप में नियंत्रण। यह लोगों को मदद से दूर रखने को पुरस्कृत करता है। सत्यापित समाधान और वापसियाँ रिपोर्ट करें।
- व्यक्ति तक छिपा या धीमा रास्ता। यह डार्क पैटर्न है, और उपयोगकर्ता नोटिस करते हैं। इसे छोटा करें और परखें।
- संदर्भ के बिना हैंडऑफ़। उपयोगकर्ता खुद को दोहराते हैं और भरोसा गिरता है। सार सौंपें।
- बॉट को संवेदनशील मामले सँभालने देना। कल्याण, शिकायतें और अधिकार लोगों को चाहिए। उन्हें सीधे भेजें।
- ऑडिट या अनुमोदन के बिना स्वायत्त कार्रवाइयाँ। एक त्रुटि पैमाने पर जा सकती है। वर्गीकृत, सीमित और लॉग करें।
- केवल वही मापना जो विक्रेता डैशबोर्ड दिखाता है। वह चापलूसी करता है। अपना डेटा जोड़ें।
- जिन समूहों को बॉट विफल करता है उनकी अनदेखी। औसत उन्हें छिपाते हैं। जहाँ सुरक्षित हो परखें और खंड करें।
- रुकने का कोई नियम नहीं। विफल बॉट चालू रहता है। वह प्रमाण परिभाषित करें जो उसे संकरा या बंद करेगा।
परिपक्वता मॉडल
| आयाम | 1 आरंभ | 2 विकास | 3 मानकीकरण | 4 प्रबंधन | 5 समन्वय |
|---|---|---|---|---|---|
| परिणाम | नियंत्रण रिपोर्ट | संतुष्टि का सर्वेक्षण | प्रति इरादा सत्यापित समाधान और वापसियाँ ट्रैक | उपयोगकर्ता समूह के अनुसार खंडित; रुकने के नियम परिभाषित; सटीकता का मासिक नमूना | साझा प्रमाण से सहायक, कर्मचारी और ज्ञान साथ सुधरते हैं |
| लोगों तक का रास्ता | खोजना कठिन | विकल्प उपलब्ध | छोटा रास्ता; व्यक्ति तक का समय ट्रैक; हैंडऑफ़ संदर्भ ले जाते हैं | हैंडऑफ़ गुणवत्ता रेट और सुधारी; स्टाफ़िंग माँग से मिलाई गई | बॉट और कर्मचारी चैनलों में सुगमता से सहयोग करते हैं, उपयोगकर्ता का चुनाव सम्मानित |
| कार्य करने वाले एजेंट | तदर्थ स्वचालन | स्क्रिप्टेड कार्रवाइयाँ | जोखिम-वर्गीकृत कार्रवाइयाँ, न्यूनतम विशेषाधिकार, अनुमोदन और ऑडिट | पलट दर और हानि की समीक्षा; बदलाव नियंत्रित | स्वतंत्र आश्वासन के साथ संगठन और आपूर्तिकर्ताओं में एजेंट व्यवहार शासित |
चेकलिस्ट
- सहायक के इरादे सूचीबद्ध हैं, उनके साथ जो हमेशा व्यक्ति को जाने चाहिए।
- नियंत्रण के बगल में सत्यापित समाधान और वापसी संपर्क दर रिपोर्ट होते हैं।
- हर स्क्रीन पर व्यक्ति तक दिखता, छोटा रास्ता है, और व्यक्ति तक का समय मापा जाता है।
- हैंडऑफ़ में सार और उपयोगकर्ता के शब्द शामिल हैं, और प्राप्त करने वाले एजेंटों द्वारा रेट होते हैं।
- योग्य, स्वतंत्र समीक्षक हर महीने उत्तरों का नमूना लेते हैं।
- उपयोगकर्ताओं को बताया जाता है कि वे AI से बात कर रहे हैं और वह क्या कर सकता है।
- वास्तविक उपयोगकर्ताओं के साथ पहुँच-योग्यता और अन्य-भाषा परीक्षण होता है।
- एजेंट कार्रवाइयाँ जोखिम-वर्गीकृत, न्यूनतम विशेषाधिकार से अनुमत, और ऑडिट-लॉग हैं।
- पलट दरों और हानिकारक कार्रवाइयों की दोषरहित समीक्षा होती है।
- रुकने का नियम परिभाषित करता है कि सहायक कब संकरा या बंद करना है।
AI प्रॉम्प्ट
इरादे और हैंडऑफ़ नियम परिभाषित करें।
हम [संगठन का प्रकार] के लिए सेवा डेस्क चलाते हैं। संपर्क के सबसे आम कारण हैं: [मात्रा के साथ सूची]।
प्रस्तावित करें कि चैटबॉट को कौन-से इरादे पूरी तरह सँभालने चाहिए, किनमें केवल मदद करके फिर हैंडऑफ़
करना चाहिए, और कौन-से हमेशा व्यक्ति को जाने चाहिए, कारणों के साथ। साथ ले जाने योग्य हैंडऑफ़ जानकारी
शामिल करें। आँकड़े न गढ़ें। अपनी मान्यताएँ और संवेदनशील मामलों के जोखिम सूचीबद्ध करें।
नियंत्रण के दावे की जाँच करें।
हमारे चैटबॉट डैशबोर्ड पर नियंत्रण [मान] है। हमारे पास यह भी है: सात दिनों में वापसी संपर्क [मान],
सर्वेक्षण परिणाम [मान], और बातचीतों का नमूना [वर्णन करें]। समझाएँ कि सत्यापित समाधान क्या हो सकता है,
उसे हमारे डेटा से कैसे गणना करें, नियंत्रण और समाधान के बीच अंतर क्या सुझाता है, और आगे क्या
जाँचें। ऐसे कारण न दावा करें जिन्हें डेटा समर्थित नहीं कर सकता। अपनी मान्यताएँ सूचीबद्ध करें।
एजेंट कार्रवाइयों के लिए जोखिम वर्गीकरण डिज़ाइन करें।
AI एजेंट ये कार्रवाइयाँ कर सकता है: [सूची]। हर एक के लिए जोखिम वर्ग (सूचनात्मक, पलटने-योग्य कम प्रभाव,
परिणामी), उसे चाहिए अनुमति, क्या व्यक्ति को अनुमोदन करना चाहिए, क्या लॉग करें, उसे कैसे पलटें, और
सक्षम करने से पहले चलाने का परीक्षण प्रस्तावित करें। विशिष्ट उपकरण न मानें। अपनी मान्यताएँ और सुरक्षा
व कानूनी इनपुट चाहने वाले निर्णय सूचीबद्ध करें।
बॉट बातचीतों की समीक्षा की योजना बनाएँ।
बॉट बातचीतों की मासिक समीक्षा डिज़ाइन करें: नमूना आकार और चयन (कुछ छोड़ी बातचीतों और खराब सेवा के
जोखिम वाले उपयोगकर्ता समूहों की कुछ सहित), समीक्षक योग्यताएँ, शुद्धता, सुरक्षा और अनिश्चितता के बारे
में ईमानदारी के लिए छोटी रूब्रिक, त्रुटियाँ कैसे दर्ज करें और उनके स्रोत कैसे ठीक करें, और उपयोगकर्ताओं की
पहचान किए बिना कैसे रिपोर्ट करें। अपनी मान्यताएँ और गोपनीयता संबंधी सावधानियाँ सूचीबद्ध करें।
AI कौशल
- एजाइल ITIL मेट्रिक्स कौशल: चैटबॉट या AI एजेंट मेट्रिक की जोड़ी गई रेलिंग खोजने के लिए उपयोग करें।
- एजाइल ITIL मेट्रिक्स अनुरक्षक कौशल: यह जाँचने के लिए उपयोग करें कि चैटबॉट मेट्रिक प्रविष्टि समाधान मापती है और अपना हेरफेर का तरीका और रेलिंग रखती है।
मुख्य निष्कर्ष
- सत्यापित समाधान और वापसी संपर्क मापें, और नियंत्रण को केवल वर्णनात्मक आँकड़ा मानें।
- व्यक्ति तक का रास्ता छोटा और दिखता बनाएँ, और संदर्भ के साथ हैंडऑफ़ करें।
- सटीकता और सुरक्षा के लिए उत्तरों का नमूना लें, और सहायक जो ज्ञान उपयोग करता है उसे ताज़ा रखें।
- ईमानदार रहें कि उपयोगकर्ता AI से बात कर रहे हैं, और उन उपयोगकर्ताओं के साथ परखें जिनके विफल होने की सबसे अधिक संभावना है।
- कार्य करने वाले एजेंटों के लिए, जोखिम वर्गीकृत करें, अनुमतियाँ सीमित करें, परिणामी कार्रवाइयों के लिए अनुमोदन माँगें, और ऑडिट ट्रेल रखें।
- रुकने का नियम पहले से परिभाषित करें।
संदर्भ और आगे पढ़ें
- Weizenbaum, J., "ELIZA: A computer program for the study of natural language communication between man and machine," Communications of the ACM, 9(1), 1966.
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- European Parliament and Council, Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 2024.
- Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Chatbot.
- Wikipedia, Virtual assistant.
- Wikipedia, Intelligent agent.
- Wikipedia, Self-service.
- Wikipedia, Dark pattern.
- Wikipedia, Automated decision-making.
- Wikipedia, Goodhart's law.