सारांश और प्रेरणा

AI संगठन में कई दरवाज़ों से आता है। टीम कोडिंग सहायक अपनाती है। विक्रेता पहले से उपयोग के उत्पाद में जनरेटिव फ़ीचर जोड़ देता है। कर्मचारी सार्वजनिक उपकरण में दस्तावेज़ पेस्ट करता है। विभाग अनुरोधों को स्कोर करने के लिए मॉडल बनाता है। हर एक के अपने लाभ और जोखिम के साथ AI का उपयोग है, और कुछ ही एक जगह दिखते हैं। शासन संरचनाओं, नीतियों और अभ्यासों का समूह है जो उन उपयोगों को ज्ञात, जवाबदेह और पर्याप्त रूप से सुरक्षित बनाता है। जोखिम मेट्रिक्स बताते हैं कि शासन काम करता है या नहीं।

ITIL के पास निर्माण खंड हैं: सेवा मूल्य प्रणाली का शासन, जोखिम प्रबंधन, बदलाव सक्षमीकरण, सूचना सुरक्षा प्रबंधन, आपूर्तिकर्ता प्रबंधन और सतत सुधार। एजाइल और DevOps कार्य-पद्धतियाँ छोटे, नियंत्रित, पलटने-योग्य बदलाव की आदत, और पाइपलाइन में स्वचालित जाँचें देती हैं। AI शासन को अलग ब्रह्मांड नहीं चाहिए। उसे ये अभ्यास उन चीज़ों पर लागू चाहिए जो पारंपरिक सॉफ़्टवेयर से अलग व्यवहार करती हैं।

AI में अलग क्या है?

  • व्यवहार सांख्यिकीय है और कोड बदलाव के बिना बदल सकता है। विक्रेता अपडेट, उसके इनपुट में बदलाव, या प्रॉम्प्ट में बदलाव के बाद मॉडल अलग व्यवहार कर सकता है। उत्पादन में जो डेटा वह देखता है वह उस डेटा से भटक सकता है जिस पर परखा गया था, घटना जिसे मशीन लर्निंग में ड्रिफ़्ट कहते हैं। प्रणाली चुपचाप बिगड़ सकती है।
  • आउटपुट पूरी तरह पूर्वानुमेय नहीं। परीक्षण हर इनपुट कवर नहीं कर सकता, इसलिए मूल्यांकन प्रमाण से नहीं, नमूने और लक्षित परीक्षणों से होता है। प्रणालियाँ ऐसे तरीकों से विफल हो सकती हैं जिनकी उनके निर्माताओं ने कल्पना नहीं की।
  • हानियाँ बिखरी और असमान हो सकती हैं। एल्गोरिदमिक पूर्वाग्रह व्यवस्थित त्रुटि है जो कुछ समूहों के लिए अनुचित परिणामों की ओर ले जाती है। वह डेटा, डिज़ाइन, या उपयोग से उठ सकती है, और समग्र सटीकता के आँकड़ों में न दिखे।
  • नई हमले की सतहें प्रकट होती हैं। प्रॉम्प्ट इंजेक्शन ऐसा हमला है जिसमें इनपुट डेटा में छिपे निर्देश भाषा मॉडल को अनपेक्षित व्यवहार के लिए जोड़-तोड़ करते हैं। मॉडलों को डेटा उजागर करने या ऐसी कार्रवाई करने के लिए प्रेरित किया जा सकता है जो उनके स्वामी नहीं चाहते थे।
  • आपूर्तिकर्ताओं पर निर्भरता गहरी है। कई AI क्षमताएँ बाहरी प्रदाताओं से आती हैं, जिनके बनने या बदलने के बारे में दृश्यता सीमित है। आपूर्तिकर्ता माप अधिक मायने रखते हैं (देखें विषय 8.4, आपूर्तिकर्ता और अनुबंध मेट्रिक्स)।
  • नियम उभर रहे हैं और जगह के अनुसार भिन्न हैं। AI पर कानून, मानक और मार्गदर्शन तेज़ी से विकसित हो रहे हैं। यूरोपीय संघ का कृत्रिम बुद्धिमत्ता अधिनियम चरणों में लागू दायित्वों के साथ जोखिम-आधारित दृष्टिकोण लेता है, और अन्य अधिकार क्षेत्र अलग रास्ते ले रहे हैं। AI प्रबंधन प्रणालियों पर ISO/IEC 42001 और NIST AI जोखिम प्रबंधन ढाँचा जैसे मानक संरचनाएँ देते हैं। इस विषय में विशिष्ट नियमों के बारे में कथन अक्टूबर 2026 तक के हैं और दोबारा जाँचे जाने चाहिए, और आपके दायित्वों का मार्गदर्शन कानूनी सलाह से होना चाहिए। व्यापक क्षेत्र का वर्णन कई तरह से ज़िम्मेदार AI या भरोसेमंद AI के रूप में होता है, और कानून को AI के साथ कैसे बरतना चाहिए यह प्रश्न कृत्रिम बुद्धिमत्ता के विनियमन का विषय है।

शासन दो उल्टे तरीकों से विफल हो सकता है। वह इतना भारी हो सकता है कि टीमें उससे बचें, और AI उपयोग छाया IT के रूप में भूमिगत हो जाए। या वह कागज़ी अभ्यास हो सकता है, नीति और रजिस्टर के साथ जो अभ्यास को नहीं दर्शाते। एजाइल लक्ष्य बीच का रास्ता सुझाते हैं: नियम तय करने में हितधारकों की सतत भागीदारी, कम जोखिम वाले उपयोगों के लिए छोटे और तेज़ अनुमोदन, जहाँ हानि संभव हो वहाँ गहरी जाँच, और अनुभव बढ़ने के साथ नियंत्रणों का सतत सुधार। स्पष्ट सीमाओं वाले प्रेरित लोग, जिन पर उनके भीतर विवेक उपयोग करने का भरोसा हो, समस्याएँ रिपोर्ट करेंगे। जो लोग दंड से डरते हैं वे नहीं करेंगे।

गुडहार्ट के नियम की रेलिंग शासन मापों पर लागू होती है: जब "पंजीकृत AI उपयोगों का प्रतिशत" लक्ष्य हो, तो रजिस्टर ऐसी प्रविष्टियों से भरते हैं जिन्हें कोई नहीं पढ़ता, और वास्तविक उपयोग नज़र से बाहर रहते हैं (देखें विषय 1.2, गुडहार्ट का नियम और मेट्रिक्स का मनोविज्ञान)।

यह विषय भाग 8 के जोखिम, अनुपालन और सुरक्षा के विषयों पर, और इस भाग के पहले के विषयों पर बनता है।

मुख्य सिद्धांत

  • जानें AI कहाँ उपयोग होता है। उपयोगों का रजिस्टर, उत्पादों में अंतर्निहित और कर्मचारियों के अपने अपनाए सहित, आधार है।
  • जाँच को जोखिम से मिलाएँ। कम जोखिम वाले उपयोगों के लिए हल्की, परिणामी के लिए गहरी।
  • मॉडल और प्रॉम्प्ट बदलावों को बदलाव मानें। उन्हें परीक्षण, जोखिम के अनुपात में अनुमोदन, और पलटने की क्षमता चाहिए।
  • उपयोग से पहले और दौरान मूल्यांकन करें। यथार्थवादी मामलों पर परखें, और उत्पादन में परखते रहें।
  • सार्थक मानवीय निरीक्षण रखें। व्यक्ति समझने, प्रश्न करने और ओवरराइड करने में सक्षम होना चाहिए, और ऐसा करने का समय और अधिकार रखता हो।
  • दोष के बिना घटनाओं से सीखें। AI विफलताएँ नई हैं, और रिपोर्टिंग वह तरीका है जिससे संगठन सीखता है।
  • सुरक्षित मामलों के लिए अनुमोदन तेज़ करें। धीमा शासन उपयोग को नज़र से बाहर धकेलता है।

मेट्रिक परिभाषाएँ

मेट्रिक परिभाषा सूत्र इकाई डेटा स्रोत ITIL अभ्यास एजाइल समकक्ष आवृत्ति
AI उपयोग रजिस्टर कवरेज स्वतंत्र तरीकों से मिले AI उपयोगों का हिस्सा जो स्वामी और जोखिम वर्ग के साथ रजिस्टर में है स्वामी और जोखिम वर्ग के साथ रजिस्टर के उपयोग / स्वतंत्र खोज (खरीद, खर्च, पहचान, नेटवर्क और कर्मचारी रिपोर्टें) से मिले उपयोग प्रतिशत रजिस्टर, खरीद और खर्च डेटा, पहचान लॉग, सर्वेक्षण शासन; आईटी परिसंपत्ति प्रबंधन; जोखिम प्रबंधन दिखता कार्य और स्पष्ट स्वामित्व तिमाही
जोखिम आकलन ताज़गी मध्यम और उच्च जोखिम वाले उपयोगों का हिस्सा जिनका आवश्यक चक्र में जोखिम आकलन है चक्र में आकलित उपयोग / मध्यम और उच्च जोखिम उपयोग प्रतिशत जोखिम आकलन जोखिम प्रबंधन; सूचना सुरक्षा प्रबंधन जोखिमों पर नियमित चिंतन तिमाही
बदलाव नियंत्रण कवरेज उत्पादन में मॉडलों, प्रॉम्प्ट, उपकरणों और डेटा स्रोतों के बदलावों का हिस्सा जो आवश्यक परीक्षणों के साथ बदलाव नियंत्रण से गुज़रे बदलाव रिकॉर्ड, परीक्षण और जोखिम के अनुपात में अनुमोदन वाले बदलाव / पहचाने बदलाव प्रतिशत संस्करण इतिहास और विक्रेता रिलीज़ नोट से तुलना किए बदलाव रिकॉर्ड परिवर्तन सक्षमीकरण; रिलीज़ और तैनाती प्रबंधन छोटे, नियंत्रित, पलटने-योग्य बदलाव मासिक
मूल्यांकन ताज़गी उत्पादन उपयोगों का हिस्सा जिनका वर्तमान मूल्यांकन (जहाँ प्रासंगिक सटीकता, सुरक्षा और निष्पक्षता) है और परिणाम सहनशीलता के भीतर हैं चक्र में मूल्यांकन और स्वीकार्य परिणाम वाले उपयोग / दायरे के उत्पादन उपयोग प्रतिशत मूल्यांकन रिकॉर्ड गुणवत्ता आश्वासन; जोखिम प्रबंधन व्यवहार के लिए पूर्णता की परिभाषा तिमाही
मानवीय निरीक्षण प्रमाण दर नमूने के परिणामी आउटपुट या निर्णयों का हिस्सा जिनकी दर्ज, सारगर्भित मानवीय समीक्षा है प्रलेखित समीक्षा वाली नमूना मदें जो परिणाम बदल सकती थी / नमूने की मदें प्रतिशत नमूना निर्णय रिकॉर्ड जोखिम प्रबंधन; शासन रिलीज़ से पहले समीक्षा मासिक
AI घटना दर और नियंत्रण का समय AI से जुड़ी घटनाएँ (हानिकारक आउटपुट, डेटा एक्सपोज़र, असुरक्षित कार्रवाई) प्रति उपयोग और उन्हें नियंत्रित करने का समय प्रति तिमाही प्रति उत्पादन उपयोग घटनाएँ; पहचान से नियंत्रण तक के घंटों की माध्यिका और 85वाँ पर्सेंटाइल घटनाएँ; घंटे AI टैग वाले घटना रिकॉर्ड घटना प्रबंधन; सूचना सुरक्षा प्रबंधन दोषरहित प्रतिक्रिया और सीख तिमाही
आपूर्तिकर्ता AI उचित परिश्रम ताज़गी महत्वपूर्ण सेवाओं में AI फ़ीचर देने वाले आपूर्तिकर्ताओं का हिस्सा जिनका AI-विशिष्ट आकलन वर्तमान है वर्तमान AI आकलन वाले आपूर्तिकर्ता / AI फ़ीचर वाले महत्वपूर्ण आपूर्तिकर्ता प्रतिशत आपूर्तिकर्ता आकलन आपूर्तिकर्ता प्रबंधन; जोखिम प्रबंधन निर्भरताओं की नियमित समीक्षा तिमाही

रजिस्टर में "AI उपयोग" को व्यापक परिभाषित करें: मॉडल जो आप बनाते हैं, सेवाएँ जो आप खरीदते हैं, उत्पादों के भीतर फ़ीचर, और उपकरण जो कर्मचारी उपयोग करते हैं। जोखिम वर्ग और चक्र नीति में तय होते हैं। रजिस्टर कवरेज स्वतंत्र खोज के विरुद्ध मापा जाता है, रजिस्टर के विरुद्ध नहीं। बदलाव नियंत्रण कवरेज को बदलाव पहचानने का तरीका चाहिए: संस्करण नियंत्रण, विक्रेता सूचनाएँ, विन्यास निगरानी। मानवीय निरीक्षण प्रमाण को चाहिए कि समीक्षा परिणाम बदल सकती थी, यह नहीं कि बटन क्लिक हुआ। घटना दरें उपयोगों और प्रणालियों का वर्णन करती हैं और लोगों को रेट करने के लिए उपयोग नहीं होतीं।

सिफ़ारिशें

जानें और वर्गीकृत करें

1. पूछकर के साथ खोजकर भी रजिस्टर बनाएँ। सर्वेक्षण और नीति से शुरू करें, फिर खरीद और खर्च रिकॉर्ड, पहचान और पहुँच लॉग, नेटवर्क और क्लाउड बिलिंग डेटा, और विक्रेता उत्पाद अपडेट के विरुद्ध जाँचें। उन उपकरणों में अंतर्निहित AI फ़ीचर शामिल करें जिनके आप पहले से स्वामी हैं। आश्चर्यों की अपेक्षा रखें: लोग वे उपकरण उपयोग करते हैं जिन्हें आपने अनुमोदित नहीं किया, अक्सर अच्छे कारणों से। उन्हें जानकारी मानें (देखें विषय 7.2, सॉफ़्टवेयर परिसंपत्ति और लाइसेंस मेट्रिक्स)।

2. हर उपयोग को स्वामी और जोखिम वर्ग सौंपें। स्वामी वह व्यक्ति है जो उपयोग और उसके परिणामों के लिए जवाबदेह है। जोखिम वर्ग दर्शाता है कि प्रणाली विफल हो तो हानि क्या है: कौन प्रभावित होता है, क्या लोगों के बारे में निर्णय शामिल हैं, क्या वह अपने आप कार्य करती है, कौन-सा डेटा छूती है, और प्रभाव कितने पलटने-योग्य हैं। कम वर्ग स्पष्ट नियमों के साथ उपयोग करें। NIST AI जोखिम प्रबंधन ढाँचा, ISO/IEC 42001 और लागू कानून जैसे मान्य ढाँचों से लें, और अपने संदर्भ में ढालें।

3. अनुमोदन को अनुपातिक बनाएँ। कम जोखिम वाले उपयोगों के लिए कुछ प्रश्नों के साथ त्वरित स्व-सेवा पंजीकरण पर्याप्त है। परिणामी उपयोगों के लिए जोखिम आकलन, मूल्यांकन परिणाम, परिभाषित मानवीय निरीक्षण डिज़ाइन और हस्ताक्षर माँगें। सुरक्षित बहुमत के लिए तेज़ रास्ता लोगों को प्रणाली के भीतर रखता है, और खतरनाक कुछ के लिए धीमा रास्ता उन्हें उचित जाँच देता है।

परखें और बदलाव नियंत्रित करें

4. उपयोग से पहले और दौरान यथार्थवादी मामलों पर मूल्यांकन करें। वास्तविक इनपुट दर्शाने वाले परीक्षण मामलों का समूह बनाएँ, कठिन और विरोधी सहित, और आउटपुट को लिखित मानदंडों के विरुद्ध अंक दें। जहाँ लोग प्रभावित हो सकते हैं वहाँ सुरक्षा और निष्पक्षता की जाँच शामिल करें। मॉडल, प्रॉम्प्ट या डेटा बदलने पर और अनुसूची पर मूल्यांकन दोबारा चलाएँ। रेड टीम, वह समूह जो कमज़ोरियाँ खोजने के लिए प्रणाली पर जानबूझकर हमला करता है, उच्च जोखिम वाले उपयोगों के लिए उपयोगी अभ्यास है। सहायता प्राप्त कार्य के नमूना अभ्यास देखें (देखें विषय 10.2, AI-सहायता प्राप्त कार्य का मापन)।

5. मॉडलों, प्रॉम्प्ट और उपकरणों को बदलाव नियंत्रण में रखें। प्रॉम्प्ट और विन्यासों का कोड की तरह संस्करण बनाएँ। बदलावों के लिए जोखिम के अनुपात में परीक्षण और अनुमोदन माँगें, उन्हें दर्ज करें, और पलटने की क्षमता रखें। विक्रेता-संचालित मॉडल अपडेट ट्रैक करें, जो बिना सूचना व्यवहार बदल सकते हैं, और आपूर्तिकर्ताओं से सहमत हों कि आपको कैसे बताया जाएगा। मॉडल अपग्रेड को नियंत्रण की ज़रूरत वाला बदलाव मानें (देखें विषय 4.3, परिवर्तन सक्षमीकरण मेट्रिक्स)।

6. उत्पादन में निगरानी करें। इनपुट और आउटपुट में ड्रिफ़्ट, बढ़ती त्रुटि और ओवरराइड दरों, और असामान्य पैटर्न पर नज़र रखें। समीक्षा को ट्रिगर करने वाली सीमाएँ तय करें। कार्रवाई करने वाली प्रणालियों के लिए कार्रवाई लॉग की निगरानी करें। निगरानी वह तरीका है जिससे आप वे समस्याएँ खोजते हैं जो परीक्षण ने चूक दीं।

मानवीय निरीक्षण वास्तविक रखें

7. ऐसा निरीक्षण डिज़ाइन करें जो काम कर सके। तेज़ प्रणाली के हर आउटपुट की समीक्षा करता व्यक्ति साथ नहीं चल सकता, और जिस व्यक्ति से उसका अनुमोदन करने को कहा जाए जिसे वह समझ नहीं सकता वह निरीक्षण नहीं दे रहा। परिभाषित करें कि मनुष्य क्या करता है, उसके पास कौन-सी जानकारी है, कितना समय, और ओवरराइड करने का कौन-सा अधिकार। समीक्षाओं का नमूना लें कि वे सारगर्भित हैं। ऑटोमेशन पूर्वाग्रह, मशीन आउटपुट स्वीकार करने की प्रवृत्ति, से सचेत रहें (देखें विषय 10.1, सेवा प्रबंधन मापन में AI)।

8. ऑडिट ट्रेल रखें। इनपुट, आउटपुट, संस्करण, निर्णय और कार्रवाइयाँ ऐसे दर्ज करें जो जाँच का समर्थन करें, गोपनीयता नियमों और प्रतिधारण सीमाओं के अधीन। ऑडिट ट्रेल आपको उत्तर देने देता है कि क्या हुआ और क्यों। लोगों के बारे में परिणामी निर्णयों के लिए विचार करें कि आप क्या व्याख्या दे सकते हैं और कौन-सा अपील का रास्ता है (देखें विषय 8.3, अनुपालन और ऑडिट मेट्रिक्स)।

9. डेटा की रक्षा करें और हेरफेर का प्रतिरोध करें। नियंत्रित करें कि AI प्रणालियाँ कौन-सा डेटा देख और भेज सकती हैं। प्रॉम्प्ट इंजेक्शन और डेटा रिसाव के लिए परखें, विशेषकर उन प्रणालियों के लिए जो बाहरी सामग्री पढ़ती हैं या जिनके पास उपकरणों तक पहुँच है। कार्य करने वाले एजेंटों के लिए उपयोग किए न्यूनतम-विशेषाधिकार सिद्धांत लागू करें (देखें विषय 10.3, AI एजेंट और चैटबॉट मेट्रिक्स, और विषय 8.1, सुरक्षा घटना और कमज़ोरी मेट्रिक्स)। डिज़ाइन के समय गोपनीयता पर विचार करें, और डेटा संरक्षण विशेषज्ञों को शामिल करें।

उत्तर दें और सीखें

10. AI घटनाओं को घटनाएँ मानें। परिभाषित करें क्या गिना जाता है: हानिकारक या पक्षपाती आउटपुट, डेटा एक्सपोज़र, असुरक्षित कार्रवाइयाँ, उपयोगकर्ताओं तक पहुँचती महत्वपूर्ण त्रुटियाँ। AI टैग के साथ अपनी सामान्य घटना प्रक्रिया उपयोग करें, दोषरहित समीक्षा करें, और सबक मूल्यांकनों और नियंत्रणों को खिलाएँ। कर्मचारियों और उपयोगकर्ताओं के लिए रिपोर्टिंग आसान बनाएँ। नियंत्रण का समय किसी भी घटना जितना मायने रखता है (देखें विषय 3.4, बड़ी घटना मेट्रिक्स)।

11. आपूर्तिकर्ताओं के AI का प्रबंधन करें। आपूर्तिकर्ताओं से पूछें कि वे कौन-से AI फ़ीचर उपयोग करते हैं, उन्हें कैसे परखा और बदला जाता है, डेटा कैसे सँभाला जाता है, और घटनाएँ कैसे रिपोर्ट होती हैं। जहाँ मायने रखे वहाँ अनुबंधों में AI-विशिष्ट शर्तें जोड़ें, जिनमें भौतिक मॉडल बदलावों की सूचना शामिल है। महत्वपूर्ण आपूर्तिकर्ताओं का चक्र पर पुनः आकलन करें (देखें विषय 8.4, आपूर्तिकर्ता और अनुबंध मेट्रिक्स)।

12. शासन की स्वयं समीक्षा करें। हर तिमाही जाँचें कि माप क्या दिखाते हैं: कहाँ उपयोग अपंजीकृत गए, कौन-से अनुमोदन बहुत धीमे थे, कौन-से नियंत्रणों ने समस्याएँ नहीं पकड़ीं। नीति और रास्ते समायोजित करें। समीक्षा में कर्मचारियों और उपयोगकर्ताओं को शामिल करें। नियम छोटे, स्पष्ट और ताज़ा रखें, और वे नियंत्रण रिटायर करें जो अपनी लागत नहीं कमाते।

हेरफेर के तरीके और रेलिंग

मेट्रिक हेरफेर कैसे होता है जोड़ी गई रेलिंग मेट्रिक या अभ्यास
AI उपयोग रजिस्टर कवरेज प्रतिशत बढ़ाने के लिए तुच्छ उपयोग पंजीकृत करना; भाजक को जो पंजीकृत है उस तक सीमित करना भाजक के लिए स्वतंत्र खोज; गुणवत्ता के लिए रजिस्टर प्रविष्टियों का नमूना; अपंजीकृत उपयोगों के लिए क्षमादान
जोखिम आकलन ताज़गी हल्के आकलन जो हमेशा पास हों; कम जोखिम उपयोगों का आकलन आकलन की गहराई की समीक्षा; जाँचें कि जोखिम वर्ग मानदंडों से मेल खाता है
बदलाव नियंत्रण कवरेज विक्रेता बदलाव न पहचानना; बाद में बदलाव दर्ज करना संस्करण इतिहास और विक्रेता सूचनाओं से पहचान; रिलीज़ से पहले समयबद्ध बदलाव रिकॉर्ड
मूल्यांकन ताज़गी आसान मामलों पर मूल्यांकन; परिणाम देखने के बाद सहनशीलता चुनना स्वतंत्र पक्ष द्वारा समीक्षित परीक्षण समूह; पहले से तय सीमाएँ
मानवीय निरीक्षण प्रमाण दर पढ़े बिना अनुमोदन क्लिक करना; ऐसी समीक्षा दस्तावेज़ित करना जो परिणाम नहीं बदल सकती थी सार के लिए समीक्षाओं का नमूना; डाली ज्ञात त्रुटियाँ; समीक्षक भार
AI घटना दर और नियंत्रण का समय घटनाएँ रिपोर्ट न करना; परिभाषा संकरी करना आसान, दोष-मुक्त रिपोर्टिंग; उपयोगकर्ता शिकायतों और ऑडिट निष्कर्षों से तुलना
आपूर्तिकर्ता AI उचित परिश्रम ताज़गी मार्केटिंग द्वारा उत्तर दी प्रश्नावली; प्रमाण के बिना आकलन महत्वपूर्ण आपूर्तिकर्ताओं के लिए प्रमाण की आवश्यकता; स्वतंत्र सत्यापन

स्वस्थ पठन ऐसा रजिस्टर है जिसकी स्वतंत्र खोज पुष्टि करती है, आकलन जो जोखिम से मेल खाते हैं, बदलाव जो नियंत्रण से गुज़रते हैं, मूल्यांकन जो ताज़ा रखे जाते हैं, निरीक्षण जो वास्तविक त्रुटियाँ पाता है, घटनाएँ जो आसानी से रिपोर्ट और जल्दी नियंत्रित होती हैं, और आपूर्तिकर्ता जो साझा करते हैं कि वे क्या बदलते हैं।

समझौते: लाभ और हानि

दृष्टिकोण ताकत कमज़ोरी
हर AI उपयोग के लिए केंद्रीय अनुमोदन नियंत्रण, सुसंगति धीमा; उपयोग भूमिगत करता है
जोखिम स्तरों के साथ स्व-सेवा पंजीकरण सुरक्षित बहुमत के लिए तेज़ अच्छे मानदंड और जाँचें चाहिए
सार्वजनिक उपकरणों पर प्रतिबंध डेटा एक्सपोज़र घटाता है छाया उपयोग; खोए लाभ
मार्गदर्शन के साथ अनुमोदित उपकरण दिखता और प्रबंधनीय उपयोग प्रावधान और सहायता चाहिए
भारी प्रलेखन ऑडिट के लिए प्रमाण बोझ; अभ्यास न दर्शाए
पाइपलाइन में स्वचालित मूल्यांकन सतत, सुसंगत अच्छे परीक्षण समूह चाहिए; नई विफलताएँ चूक सकता है
सबकी मानवीय समीक्षा सुरक्षा पैमाने पर नहीं चलती; थकान
जोखिम-आधारित नमूना व्यावहारिक कुछ विफलताएँ निकल जाती हैं

सीधा उत्तर अनुमोदित उपकरण और कम जोखिम उपयोगों के लिए त्वरित रास्ता देना, जाँच परिणामी उपयोगों पर केंद्रित करना, मूल्यांकन और निगरानी स्वचालित करना, और मानवीय निरीक्षण वहाँ रखना है जहाँ वह वास्तव में काम कर सके।

अपनी टीम के साथ चर्चा के प्रश्न

1. हम आज AI कहाँ उपयोग करते हैं जो किसी सूची में नहीं है? टीम से ईमानदारी से पूछें, और क्षमादान की पेशकश करें। ड्राफ़्टिंग, सार, कोडिंग और विश्लेषण के लिए उपयोग उपकरण देखें, उत्पादों के भीतर वाले सहित। सुगमकर्ता को उपयोग बिना निर्णय के दर्ज करने चाहिए। सहमत हों कि उन्हें कौन पंजीकृत करेगा और किन पर निकटता से नज़र चाहिए।

2. यदि हमारे सबसे परिणामी AI उपयोग ने हानिकारक गलती की, तो हमें कैसे पता चलेगा और हम क्या करेंगे? पहचान, नियंत्रण, संचार और सीख से गुज़रें। निगरानी, स्वामित्व और उसे बंद करने के अधिकार के अंतर नोट करें। एक सुधार पर सहमत हों।

3. हमारे नीचे कौन-सा बदलाव बिना किसी के अनुमोदन के हो सकता है? मॉडल, प्रॉम्प्ट, डेटा स्रोत और विक्रेता अपडेट सूचीबद्ध करें। हर एक के लिए पूछें कि हमें कैसे पता चलेगा कि वह बदला और हम उसे कैसे परखेंगे। सहमत हों कि पहचान या परीक्षण कहाँ जोड़ना है।

4. क्या हमारी प्रक्रिया में AI आउटपुट की समीक्षा करने वाला व्यक्ति वास्तविक रूप से गंभीर त्रुटि पकड़ सकता है? मात्रा, जानकारी, समय और अधिकार देखें। डाली त्रुटि से परखें। यदि समीक्षा काम नहीं कर सकती, तो अधिक AI जोड़ने से पहले प्रक्रिया का पुनर्डिज़ाइन करें।

5. हमारे कौन-से नियम व्यस्त सहकर्मी के लिए पालन करना आसान हैं, और कौन-से वे टालेंगे? मौजूदा नियम सूचीबद्ध करें और उन्हें वास्तविक कार्यप्रवाहों के विरुद्ध परखें। चर्चा करें कि नियम क्यों टाले जाते हैं। उन बदलावों पर सहमत हों जो सुरक्षित रास्ते को आसान रास्ता बनाएँ।

6. हमारे आपूर्तिकर्ताओं ने अपने AI के बारे में हमें क्या बताया है, और हमने क्या नहीं पूछा? हाल की प्रश्नावलियाँ और अनुबंध जाँचें। AI फ़ीचर वाले महत्वपूर्ण आपूर्तिकर्ता और जानकारी के अंतर पहचानें। अगली समीक्षा के लिए प्रश्नों पर सहमत हों।

चार दृष्टिकोण

उत्पाद और डिलीवरी टीमें

डिलीवरी टीमें AI फ़ीचर बनाती और अपनाती हैं, और वे शासन को घर्षण या मदद के रूप में महसूस करती हैं। उन्हें उपयोग जल्दी पंजीकृत करने, यथार्थवादी मामलों पर परखने, प्रॉम्प्ट और मॉडल संस्करण नियंत्रण में रखने, और ऐसा निरीक्षण डिज़ाइन करना चाहिए जो काम करे। उन्हें कम जोखिम वाले उपयोगों के लिए तेज़ अनुमोदन से लाभ होता है।

सेवा और संचालन टीमें

संचालन टीमें उत्पादन में AI चलाती हैं और उसकी घटनाओं का उत्तर देती हैं। उन्हें ड्रिफ़्ट की निगरानी करनी, कार्रवाई लॉग रखने, AI घटनाएँ टैग करनी, और प्रणाली बंद करने का अधिकार और साधन रखने चाहिए। वे स्वयं भी AI उपयोग करती हैं और उन्हें वही नियम मानने चाहिए।

नेतृत्व और शासन

नेता जोखिम भूख तय करते हैं और परिणामों के जवाबदेह हैं। उन्हें रजिस्टर, मूल्यांकन और निगरानी को वित्त देना, स्वीकार करना कि कुछ AI उपयोग पास नहीं होंगे, उपयोगों की स्वतंत्र खोज माँगना, और घटनाएँ व नियंत्रण का समय ट्रैक करना चाहिए। शासन निकायों को नियम छोटे रखने, नियमित समीक्षा करने, और सुनिश्चित करना चाहिए कि कर्मचारियों और उपयोगकर्ताओं की आवाज़ है।

ग्राहक और उपयोगकर्ता

उपयोगकर्ता AI निर्णयों और आउटपुट से प्रभावित होते हैं, अक्सर बिना जाने। वे जानने के हक़दार हैं कि AI कब उन्हें प्रभावित करने वाले मामलों में शामिल है, व्यक्ति तक पहुँचने, और निर्णयों को चुनौती देने के। शिकायतें और अपीलें इसका आवश्यक प्रमाण हैं कि शासन व्यवहार में कैसे काम करता है।

व्यवहार में: एक एजाइल ITIL उदाहरण

एक क्षेत्रीय बैंक का तकनीक और संचालन प्रभाग तब AI नीति अपनाता है जब कर्मचारी सार्वजनिक उपकरण में ग्राहक विवरण पेस्ट कर देता है। अनुपालन टीम रजिस्टर प्रकाशित करती है और हर उपयोग के सूचीबद्ध होने की अपेक्षा करती है। नीचे की संख्याएँ उदाहरणार्थ संख्याएँ हैं।

तीन महीने बाद रजिस्टर में 38 AI उपयोग सूचीबद्ध हैं। तकनीकी जोखिम प्रमुख स्वतंत्र तरीकों से जाँचती हैं: खरीद और खर्च डेटा, AI सेवाओं में साइन-इन दिखाते पहचान लॉग, नेटवर्क डेटा, और गुमनाम कर्मचारी सर्वेक्षण। खोज 94 उपयोग पाती है, इसलिए रजिस्टर कवरेज 40 प्रतिशत है। सत्रह उन उपकरणों के भीतर फ़ीचर हैं जिनका बैंक पहले से लाइसेंसधारी है, और बारह कर्मचारियों द्वारा उपयोग किए सार्वजनिक उपकरण हैं। 38 पंजीकृत उपयोगों में से केवल 14 का जोखिम वर्ग है, और तीन सर्वाधिक जोखिम वाले, धोखाधड़ी अलर्ट को स्कोर करने वाला मॉडल, ग्राहकों के लिए चैटबॉट, और शिकायतों का सार बनाने वाला उपकरण, का पिछले साल में कोई मूल्यांकन नहीं हुआ। धोखाधड़ी मॉडल के विन्यास और चैटबॉट के प्रॉम्प्ट में बदलाव टीमें सीधे करती हैं, और पिछली तिमाही के बदलाव रिकॉर्ड संस्करण इतिहास में मिले बदलावों के 21 प्रतिशत को कवर करते हैं। मॉडल द्वारा खारिज 60 धोखाधड़ी अलर्ट का नमूना उनमें से 52 के लिए दर्ज मानवीय समीक्षा दिखाता है, पर पाँच ज्ञात चूकों का डाला समूह केवल एक समीक्षक ने पकड़ा, क्योंकि समीक्षक हर एक रोज़ कई सौ अलर्ट सँभालते हैं। एक घटना, जिसमें चैटबॉट ने ग्राहकों को पुरानी शुल्क राशि दी, शिकायत से मिली, और उसे नियंत्रित करने में छह दिन लगे क्योंकि किसी के पास उसे बंद करने का अधिकार नहीं था।

तकनीकी जोखिम प्रमुख टीमों के साथ शासन का पुनर्डिज़ाइन करती हैं। पाँच प्रश्नों वाला छोटा स्व-सेवा पंजीकरण कम जोखिम वाले उपयोगों को मिनटों में रजिस्टर में रखता है, और क्षमादान अवधि कर्मचारियों को उपयोग किए उपकरण सूचीबद्ध करने के लिए प्रोत्साहित करती है। जोखिम वर्ग हानि, डेटा और स्वायत्तता पर आधारित हैं। उच्च जोखिम उपयोगों को आकलन, यथार्थवादी और विरोधी मामलों के विरुद्ध मूल्यांकन, और परिभाषित निरीक्षण डिज़ाइन चाहिए। मॉडल, प्रॉम्प्ट और उपकरण जोखिम के अनुपात में परीक्षणों के साथ बदलाव नियंत्रण में जाते हैं, और चैटबॉट के प्रॉम्प्ट रोलबैक के साथ संस्करणित हैं। धोखाधड़ी अलर्ट प्रक्रिया का पुनर्डिज़ाइन होता है ताकि समीक्षक कम, बेहतर प्राथमिकता वाले अलर्ट सँभालें, और डाली त्रुटियाँ उनकी पहचान परखती हैं। हर उच्च जोखिम उपयोग का नामित स्वामी उसे बंद करने का अधिकार रखता है, और घटना प्रतिक्रिया AI को कवर करती है। बैंक के क्लाउड और AI आपूर्तिकर्ताओं से पूछा जाता है कि वे कौन-से AI फ़ीचर उपयोग करते हैं और बदलावों की सूचना कैसे देते हैं।

दो तिमाही बाद स्वतंत्र खोज से रजिस्टर कवरेज 88 प्रतिशत है, सभी उच्च जोखिम उपयोग चक्र में आकलित और मूल्यांकित हैं, बदलाव नियंत्रण कवरेज 84 प्रतिशत है, समीक्षकों द्वारा डाली-त्रुटि पहचान 5 में से 4 तक बढ़ती है, और AI घटना को नियंत्रित करने का माध्यिका समय 3 घंटे है। कर्मचारी अधिकांश कार्यों के लिए अनुमोदित उपकरण उपयोग करते हैं। वरिष्ठ कार्यकारी 100 प्रतिशत रजिस्टर कवरेज का लक्ष्य माँगते हैं। तकनीकी जोखिम प्रमुख स्वतंत्र खोज के विरुद्ध कवरेज, आकलन ताज़गी और घटना सँभाल ट्रैक करने का प्रस्ताव देती हैं, और समझाती हैं कि खोज के बिना रजिस्टर 100 प्रतिशत पहुँचकर भी जोखिम चूक सकता है। निर्णय दर्ज होता है।

क्षेत्र के अनुसार दृष्टि

स्टार्टअप। गति मायने रखती है और जोखिम ज़्यादातर डेटा एक्सपोज़र और अविश्वसनीय आउटपुट हैं। स्वामियों के साथ उपकरणों और उपयोगों की छोटी सूची रखें, कुछ स्पष्ट नियम तय करें कि कौन-सा डेटा कहाँ उपयोग हो सकता है, और प्रॉम्प्ट संस्करणित करें। जैसे-जैसे ग्राहकों की आश्वासन की माँग बढ़े, दोबारा देखें।

छोटा व्यवसाय। कर्मचारी सार्वजनिक उपकरण उपयोग करेंगे। अनुमोदित विकल्प दें, डेटा पर एक-पृष्ठ का नियम लिखें, और उपकरण कैसे उपयोग होते हैं इसकी समीक्षा करें। आपूर्तिकर्ताओं से उनके AI फ़ीचर के बारे में पूछें, और रिकॉर्ड रखें कि AI कहाँ ग्राहकों या कर्मचारियों के बारे में निर्णय लेता है।

उद्यम। पैमाने को संचालन मॉडल चाहिए: रजिस्टर, जोखिम स्तर, मूल्यांकन मानक, बदलाव नियंत्रण और घटना प्रक्रिया, मौजूदा जोखिम और सुरक्षा कार्यों के साथ एकीकृत। स्वतंत्र खोज उपयोग करें, पाइपलाइनों में मूल्यांकन स्वचालित करें, और मानकों से संरेखित करें। टीमों को तेज़ रास्ता दें।

सरकार और सार्वजनिक क्षेत्र। नागरिकों को प्रभावित करने वाले निर्णय पारदर्शिता, निष्पक्षता और अपील के कर्तव्य लाते हैं, और खरीद व कानूनी ढाँचे आकार देते हैं कि क्या अनुमत है। जहाँ आवश्यक हो उच्च-प्रभाव उपयोगों के सार्वजनिक रिकॉर्ड रखें, अधिकारों पर प्रभाव का आकलन करें, मनुष्यों को सार्थक रूप से वार्तालाप में रखें, और वर्तमान कानून और मार्गदर्शन जाँचें (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।

व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO

लागतों में रजिस्टर बनाने और बनाए रखने का प्रयास, खोज टूलिंग या विश्लेषण, जोखिम आकलन, मूल्यांकन समूह और रन, प्रॉम्प्ट और मॉडल के बदलाव नियंत्रण, निगरानी, प्रशिक्षण, और घटना प्रतिक्रिया क्षमता शामिल हैं। शासन उच्च जोखिम उपयोगों के लिए कुछ विलंब भी जोड़ता है। ये लागतें उपयोगों की संख्या और जोखिम के साथ बढ़ती हैं, जो कम जोखिम अनुमोदन को हल्का रखने का कारण है।

प्रतिफलों में टाली हानि और एक्सपोज़र, ऑडिट और नियामक समीक्षाओं में कम आश्चर्य, स्पष्ट नियमों से तेज़ सुरक्षित अपनाना, और ग्राहकों व कर्मचारियों का भरोसा शामिल हैं। अपने डेटा से मामला बनाएँ: रजिस्टर के बाहर मिले उपयोगों की संख्या और वे जो डेटा छूते हैं, घटनाएँ और उनकी लागत, पहले और बाद तदर्थ अनुमोदनों में बिताया समय, और ऑडिट के निष्कर्ष। जब तक आप स्रोत और अपने संदर्भ से प्रासंगिकता खोज न सकें, AI घटनाओं या जुर्मानों के प्रकाशित आँकड़े उद्धृत करने से बचें। शासन न करने की लागत शामिल करें, जिसमें महत्वपूर्ण कानूनी और प्रतिष्ठा की हानि की संभावना शामिल है (देखें विषय 7.7, निवेश पर प्रतिफल और व्यावसायिक औचित्य)।

प्रति-पैटर्न और जाल

  • ऐसा रजिस्टर जिसे कोई नहीं जाँचता। कवरेज ऊँचा दिखता है और वास्तविक उपयोग चूकता है। स्वतंत्र खोज उपयोग करें।
  • सर्वव्यापी प्रतिबंध। वे उपयोग भूमिगत करते हैं। अनुमोदित उपकरण और तेज़ रास्ता दें।
  • प्रॉम्प्ट और मॉडल को ऐसा विन्यास मानना जिसका कोई स्वामी नहीं। व्यवहार अनदेखे बदलता है। उन्हें बदलाव नियंत्रण में रखें।
  • एक बार मूल्यांकन। प्रणालियाँ भटकती और बदलती हैं। अनुसूची पर और बदलाव पर दोबारा चलाएँ।
  • नाम के निरीक्षण। समीक्षक वह नहीं पकड़ सकते जो नहीं देख सकते। डाली त्रुटियों से परखें और भार ठीक करें।
  • बंद करने का अधिकार नहीं। नियंत्रण में दिन लगते हैं। उन स्वामियों को नामित करें जिनके पास प्रणाली रोकने की शक्ति है।
  • आपूर्तिकर्ताओं के AI की अनदेखी। आपके जोखिम में उनका जोखिम शामिल है। पूछें, अनुबंध करें और दोबारा आकलन करें।
  • ऐसे नियम जिनका कोई पालन नहीं कर सकता। वे टाले जाते हैं। उन्हें छोटा रखें और सुरक्षित रास्ता आसान बनाएँ।

परिपक्वता मॉडल

आयाम 1 आरंभ 2 विकास 3 मानकीकरण 4 प्रबंधन 5 समन्वय
जानना और वर्गीकृत करना AI उपयोग का कोई दृश्य नहीं नीति और आंशिक सूची स्वामी और जोखिम वर्ग वाला रजिस्टर; कवरेज के लिए स्वतंत्र खोज उपयोग कवरेज, आकलन ताज़गी और अनुमोदन समय प्रबंधित व्यावसायिक इकाइयों और आपूर्तिकर्ताओं में साझा रजिस्टर दृश्य; वर्ग नियामकों और उपयोगकर्ताओं के साथ समीक्षित
परीक्षण और बदलाव तदर्थ कुछ उपयोगों के लिए कुछ मूल्यांकन यथार्थवादी मामलों पर मूल्यांकन; प्रॉम्प्ट और मॉडल बदलाव नियंत्रण में सतत मूल्यांकन और ड्रिफ़्ट निगरानी; कवरेज प्रबंधित पाइपलाइनों में स्वचालित, जोखिम-आधारित मूल्यांकन और बदलाव, स्वतंत्र रूप से ऑडिट
निरीक्षण और सीख भरोसे पर निर्भरता सिद्धांत रूप में समीक्षा मौजूद निरीक्षण डिज़ाइन और नमूना; AI घटनाएँ टैग और दोषरहित समीक्षित डाली-त्रुटि परीक्षण, नियंत्रण का समय और आपूर्तिकर्ता आकलन प्रबंधित निरीक्षण, घटना सीख और नीति कर्मचारियों, उपयोगकर्ताओं और साझेदारों के साथ सह-विकसित

चेकलिस्ट

  • रजिस्टर AI उपयोगों को स्वामी और जोखिम वर्ग के साथ सूचीबद्ध करता है, स्वतंत्र खोज के विरुद्ध जाँचा हुआ।
  • कम जोखिम उपयोगों के लिए तेज़ रास्ता है, और परिणामी के लिए गहरा रास्ता।
  • उच्च जोखिम उपयोगों का वर्तमान जोखिम आकलन और परिभाषित निरीक्षण डिज़ाइन है।
  • यथार्थवादी और विरोधी मामलों पर मूल्यांकन वर्तमान हैं और बदलाव पर दोबारा चलते हैं।
  • प्रॉम्प्ट, मॉडल, उपकरण और डेटा स्रोत संस्करणित और बदलाव नियंत्रण में हैं।
  • उत्पादन निगरानी ड्रिफ़्ट, त्रुटियों, ओवरराइड और असामान्य कार्रवाइयों पर नज़र रखती है।
  • निरीक्षण डाली त्रुटियों से परखा जाता है, और समीक्षक भार यथार्थवादी है।
  • ऑडिट ट्रेल गोपनीयता और प्रतिधारण नियमों के भीतर जाँच का समर्थन करते हैं।
  • AI घटनाएँ टैग, दोषरहित समीक्षित हैं, और स्वामी प्रणालियाँ बंद कर सकते हैं।
  • AI फ़ीचर वाले आपूर्तिकर्ता आकलित हैं और भौतिक बदलावों की सूचना देने के लिए बाध्य हैं।

AI प्रॉम्प्ट

AI उपयोगों के लिए जोखिम वर्गीकरण का मसौदा बनाएँ।

[संगठन का प्रकार] में AI उपयोगों के लिए सरल जोखिम वर्गीकरण (तीन या चार स्तर) प्रस्तावित करें, जो गलत
होने पर हानि, कौन प्रभावित होता है, लोगों के बारे में निर्णयों की संलग्नता, कार्रवाइयों की स्वायत्तता, डेटा
संवेदनशीलता और पलटने-योग्यता पर आधारित हो। हर स्तर के लिए उदाहरण उपयोग, आवश्यक अनुमोदन और प्रमाण,
और समीक्षा चक्र बताएँ। कानूनी निष्कर्ष न दें। अपनी मान्यताएँ और कानूनी, जोखिम व सुरक्षा विशेषज्ञों के साथ पुष्ट
करने के बिंदु सूचीबद्ध करें।

पंजीकरण फ़ॉर्म डिज़ाइन करें।

नए AI उपयोगों के लिए आठ से अधिक प्रश्न न वाला छोटा स्व-सेवा पंजीकरण फ़ॉर्म डिज़ाइन करें, जो स्वचालित रूप
से प्रारंभिक जोखिम वर्ग सौंपे और उच्च जोखिम उपयोगों को समीक्षा के लिए भेजे। उद्देश्य, डेटा, प्रभावित
उपयोगकर्ता, स्वायत्तता, विक्रेता और स्वामी कवर करें। समझाएँ कि कम जोखिम मामलों के लिए उसे त्वरित कैसे
रखें। अपनी मान्यताएँ और गलत वर्गीकरण के जोखिम सूचीबद्ध करें।

मूल्यांकन समूह की योजना बनाएँ।

हम [प्रक्रिया] में [कार्य] के लिए AI उपयोग करते हैं। मूल्यांकन समूह डिज़ाइन करने में मदद करें:
यथार्थवादी मामलों के प्रकार, कठिन और विरोधी मामले, सही और सुरक्षित आउटपुट के लिखित मानदंड, जहाँ लोग
प्रभावित हों वहाँ निष्पक्षता की जाँच, कितना बड़ा समूह व्यावहारिक है, कितनी बार दोबारा चलाएँ, और कौन-से
बदलाव दोबारा चलाने को ट्रिगर करें। यह दावा न करें कि समूह पर्याप्त है। अपनी मान्यताएँ और सीमाएँ सूचीबद्ध करें।

AI घटना की समीक्षा करें।

यहाँ AI-संबंधी घटना का विवरण है: [व्यक्तिगत डेटा के बिना चिपकाएँ]। दोषरहित समीक्षा का मसौदा बनाएँ:
समयरेखा, कैसे पहचानी गई, योगदान कारक (डेटा, प्रॉम्प्ट, मॉडल, निरीक्षण, आपूर्तिकर्ता, प्रक्रिया), प्रभाव, उसे
क्या नियंत्रित किया, और स्वामियों के साथ कार्रवाइयाँ। मूल्यांकन, निगरानी और बदलाव नियंत्रण में बदलाव
सुझाएँ। व्यक्तियों पर दोष न डालें। अपनी मान्यताएँ और खुले प्रश्न सूचीबद्ध करें।

AI कौशल

मुख्य निष्कर्ष

  • AI रजिस्टर स्वतंत्र खोज से बनाएँ, और जाँच को जोखिम से मिलाएँ, सुरक्षित उपयोगों के लिए तेज़ रास्ते के साथ।
  • मॉडलों, प्रॉम्प्ट, उपकरणों और डेटा स्रोतों को ऐसे बदलाव मानें जिन्हें परीक्षण, अनुमोदन और रोलबैक चाहिए।
  • उपयोग से पहले और दौरान, यथार्थवादी और विरोधी मामलों पर मूल्यांकन करें।
  • ऐसा मानवीय निरीक्षण डिज़ाइन करें जो काम कर सके, और उसे डाली त्रुटियों से परखें।
  • AI घटनाओं को अन्य घटनाओं की तरह दोषरहित समीक्षा के साथ मानें, और स्वामियों को प्रणालियाँ बंद करने की शक्ति दें।
  • आपूर्तिकर्ताओं से उनके AI के बारे में पूछें, और नियम छोटे व सुरक्षित रास्ता आसान रखें।

संदर्भ और आगे पढ़ें

  1. National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
  2. ISO/IEC 42001, Information technology: Artificial intelligence: Management system, International Organization for Standardization, 2023.
  3. ISO/IEC 23894, Information technology: Artificial intelligence: Guidance on risk management, International Organization for Standardization, 2023.
  4. European Parliament and Council, Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 2024.
  5. Organisation for Economic Co-operation and Development, OECD AI Principles, 2019 (updated 2024).
  6. Mitchell, M., et al., "Model Cards for Model Reporting," Proceedings of the Conference on Fairness, Accountability, and Transparency, 2019.
  7. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  8. Wikipedia, Algorithmic bias.
  9. Wikipedia, Prompt injection.
  10. Wikipedia, Artificial Intelligence Act.
  11. Wikipedia, Responsible AI.
  12. Wikipedia, Regulation of artificial intelligence.
  13. Wikipedia, Shadow IT.
  14. Wikipedia, Goodhart's law.
  15. Wikipedia, Audit trail.

एजाइल ITIL मेट्रिक्स — एजाइल आईटी सेवाओं को मापें, काम को बिगाड़े बिना।

स्रोत और योगदान: github.com/agile-itil-metrics. इनसे बनाया गया Lily Design System™.

नेतृत्व Joel Parker Henderson.