ตัวชี้วัดคุณภาพการกำหนดค่าและ CMDB
ฐานข้อมูลการกำหนดค่าคุ้มค่าก็ต่อเมื่อผู้คนเชื่อถือมันพอที่จะใช้ในการเปลี่ยนแปลงหรือเหตุขัดข้อง ดังนั้นจงวัดคุณภาพของมันจากการตอบคำถามจริงได้ดีเพียงใด และให้ทีมที่เป็นเจ้าของบริการรักษาบันทึกของตนให้เป็นปัจจุบัน
ภาพรวมและแรงจูงใจ
เมื่อเซิร์ฟเวอร์ฐานข้อมูลล้มเหลวตอนตีสาม จะมีคนถามว่าบริการใดพึ่งพามัน เมื่อทีมวางแผนการเปลี่ยนแปลง จะมีคนถามว่ายังมีอะไรอีกที่อาจพัง คำตอบควรมาจากบันทึกของสิ่งที่ประกอบเป็นบริการของคุณและวิธีที่สิ่งเหล่านั้นเชื่อมต่อกัน บันทึกนั้นคือหัวข้อของการจัดการการกำหนดค่า และฐานข้อมูลเบื้องหลังคือฐานข้อมูลการจัดการการกำหนดค่า ซึ่งมักย่อว่า CMDB
รายการกำหนดค่า (configuration item: CI) คือองค์ประกอบใดก็ตามที่ต้องจัดการเพื่อส่งมอบบริการไอที ได้แก่ เซิร์ฟเวอร์ แอปพลิเคชัน ฐานข้อมูล อุปกรณ์เครือข่าย บัญชีคลาวด์ สัญญา ฐานข้อมูลการจัดการการกำหนดค่า (configuration management database: CMDB) เก็บข้อมูลเกี่ยวกับ CI คุณลักษณะของ CI และความสัมพันธ์ระหว่าง CI ในที่ที่การจัดการสินทรัพย์ถามว่าคุณมีอะไร ใครเป็นเจ้าของ และมีต้นทุนเท่าใด (ดูหัวข้อ 7.1 “ตัวชี้วัดการจัดการสินทรัพย์ไอที”) การจัดการการกำหนดค่าถามว่าส่วนต่าง ๆ เข้ากันอย่างไรและอะไรพึ่งพาอะไร
CMDB มีชื่อเสียงปนเป และชื่อเสียงนั้นสมควรได้รับ หลายแห่งถูกสร้างเป็นแผนที่ครอบคลุมทุกอย่าง เติมข้อมูลที่เสื่อมเร็วกว่าที่ใครจะแก้ไขทัน แล้วถูกทอดทิ้ง ประเพณีแบบคล่องตัวและ DevOps เสนอจุดเริ่มต้นที่ดีกว่า ทีมที่อธิบายโครงสร้างพื้นฐานของตนเป็นโค้ดมีนิยามที่เชื่อถือได้และมีการควบคุมเวอร์ชันของสิ่งที่ตนใช้งาน และเผยแพร่เข้าสู่บันทึกร่วมโดยอัตโนมัติได้ โครงสร้างพื้นฐานเป็นโค้ดเปลี่ยนบันทึกให้เป็นผลพลอยได้จากการส่งมอบ ITIL 4 อธิบายแนวปฏิบัตินี้ว่าการจัดการการกำหนดค่าบริการ และเน้นข้อมูลที่ต้องใช้เพื่อสนับสนุนการตัดสินใจ ไม่ใช่ความครบถ้วนเพื่อตัวมันเอง
คุณภาพของบันทึกการกำหนดค่ามีหลายส่วน และสอดคล้องกับแนวคิดที่กว้างกว่าของความสมบูรณ์ของข้อมูล
- ความครบถ้วน: CI และคุณลักษณะที่สำคัญมีอยู่
- ความถูกต้อง: สิ่งที่บันทึกระบุตรงกับความเป็นจริง
- ความทันเวลา: การเปลี่ยนแปลงปรากฏในบันทึกเร็วพอที่จะเป็นประโยชน์
- ความสอดคล้อง: สิ่งเดียวกันไม่ถูกบันทึกสองครั้งภายใต้ชื่อต่างกัน การจับคู่บันทึกที่อ้างถึงสิ่งเดียวกันคือปัญหาของการระบุเอนทิตีที่ตรงกัน (entity resolution)
- คุณภาพของความสัมพันธ์: ความสัมพันธ์พึ่งพาระหว่าง CI มีอยู่และถูกต้อง นี่คือที่ที่คุณค่าและการเสื่อมสภาพส่วนใหญ่อยู่
บททดสอบที่ลึกที่สุดของ CMDB คือการใช้งาน บันทึกที่ผู้คนเปิดดูระหว่างเหตุขัดข้องและการเปลี่ยนแปลง และแก้ไขเมื่อผิด คือบันทึกที่มีสุขภาพดี บันทึกที่ถูกตรวจสอบเท่านั้นไม่ใช่ ดังนั้นมาตรวัดด้านล่างจึงจับคู่มาตรวัดคุณภาพกับมาตรวัดการใช้งาน
มาตรการป้องกันจากกฎของกูดฮาร์ตใช้ได้พร้อมกับจุดพลิกแพลง ความครบถ้วนทำให้พองได้ง่ายด้วยค่าเริ่มต้น และความถูกต้องอ้างได้ง่ายโดยไม่ตรวจสอบ ยืนยันหลักฐานอิสระและมาตรวัดการใช้งาน (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”)
หลักการสำคัญ
- เริ่มจากคำถาม ตัดสินใจว่าต้องการให้บันทึกตอบอะไร และสร้างเฉพาะสิ่งนั้น
- เลือกบันทึกที่เล็กกว่าและเชื่อถือได้ มากกว่าบันทึกที่ใหญ่กว่าและน่าสงสัย ขอบเขตขยายเมื่อได้รับความเชื่อถือ
- ให้แหล่งความจริงป้อนบันทึก ไปป์ไลน์ API คลาวด์ และการค้นพบควรเขียนลงบันทึก ไม่ใช่ผู้คนกับสเปรดชีต
- ให้ทีมบริการเป็นเจ้าของบันทึกของบริการตน ทีมรู้ความสัมพันธ์พึ่งพาของตน และรู้สึกถึงต้นทุนของความผิดพลาด
- วัดด้วยการใช้งานเช่นเดียวกับคุณภาพ บันทึกที่ดีมีคนเปิดดู
- ตรวจสอบเทียบกับความเป็นจริง ทดสอบบันทึกโดยถามว่ามันทำนายสิ่งที่เกิดขึ้นได้หรือไม่
- แก้ที่ต้นทาง บันทึกที่ผิดเป็นอาการ ค้นหากระบวนการที่ปล่อยให้เกิดการคลาดเคลื่อน
นิยามตัวชี้วัด
| ตัวชี้วัด | นิยาม | สูตร | หน่วย | แหล่งข้อมูล | แนวปฏิบัติ ITIL | คู่เทียบแบบคล่องตัว | ความถี่ |
|---|---|---|---|---|---|---|---|
| ความครบถ้วนของ CI | สัดส่วนของ CI ในขอบเขตที่มีคุณลักษณะที่จำเป็นทั้งหมดกรอกด้วยค่าที่ถูกต้อง | CI ในขอบเขตที่ทุกคุณลักษณะที่จำเป็นถูกต้อง / CI ในขอบเขต | เปอร์เซ็นต์ | CMDB กฎของคุณลักษณะ | การจัดการการกำหนดค่าบริการ; การจัดการสินทรัพย์ไอที | นิยามของความเสร็จสิ้นรวมคำอธิบายบริการ | รายเดือน |
| ความถูกต้องของ CI | สัดส่วนของ CI ในกลุ่มตัวอย่างที่บันทึกตรงกับหลักฐานในคุณลักษณะที่จำเป็น | CI ในกลุ่มตัวอย่างที่ตรงกันในทุกคุณลักษณะที่จำเป็น / CI ที่สุ่มตัวอย่าง | เปอร์เซ็นต์ | กลุ่มตัวอย่างจากการตรวจสอบเปรียบเทียบกับระบบที่ใช้งานจริง | การจัดการการกำหนดค่าบริการ | สถานะของโครงสร้างพื้นฐานเป็นโค้ดตรงกับความเป็นจริง | รายไตรมาส |
| ความครอบคลุมของความสัมพันธ์พึ่งพา | สัดส่วนของบริการสำคัญที่ความสัมพันธ์พึ่งพาต้นทางและปลายทางถูกจัดทำแผนที่และทบทวนแล้ว | บริการสำคัญที่มีแผนที่ความสัมพันธ์พึ่งพาซึ่งทบทวนใน 90 วันที่ผ่านมา / บริการสำคัญ | เปอร์เซ็นต์ | ความสัมพันธ์ใน CMDB และบันทึกการทบทวน | การจัดการการกำหนดค่าบริการ; การจัดการความพร้อมใช้งาน | การทบทวนสถาปัตยกรรมและความเป็นเจ้าของบริการ | รายไตรมาส |
| อัตราการทำนายผลกระทบถูกต้อง | สัดส่วนของเหตุขัดข้องและการเปลี่ยนแปลงที่บริการซึ่งได้รับผลกระทบจริงอยู่ในผลกระทบที่ CMDB ทำนายไว้ | เหตุขัดข้องหรือการเปลี่ยนแปลงที่ทำนายบริการที่ได้รับผลกระทบถูกต้องครบ / เหตุขัดข้องหรือการเปลี่ยนแปลงที่ทบทวน | เปอร์เซ็นต์ | การทบทวนหลังเหตุการณ์และบันทึกการเปลี่ยนแปลงเปรียบเทียบกับการสืบค้น CMDB | การจัดการเหตุขัดข้อง; การเปิดให้เกิดการเปลี่ยนแปลง | ข้อค้นพบจากการทบทวนแบบไม่กล่าวโทษเรื่องความสัมพันธ์พึ่งพาที่ขาด | รายไตรมาส |
| อัตรา CI ซ้ำ | สัดส่วนของ CI ที่ซ้ำกับ CI อื่น | CI ที่ถูกทำเครื่องหมายว่าซ้ำโดยกฎการจับคู่และยืนยันในการทบทวน / CI ในขอบเขต | เปอร์เซ็นต์ | รายงานการจับคู่ของ CMDB และตัวอย่างการทบทวน | การจัดการการกำหนดค่าบริการ | แหล่งความจริงเดียว | รายเดือน |
| ความล่าช้าในการปรับปรุง | ความล่าช้าระหว่างการเปลี่ยนแปลง CI ในโลกจริงกับการปรับปรุงใน CMDB | มัธยฐานและเปอร์เซ็นไทล์ที่ 85 ของชั่วโมงหรือวันตั้งแต่เหตุการณ์การเปลี่ยนแปลงถึงการปรับปรุง CMDB | ชั่วโมงหรือวัน | เหตุการณ์การเปลี่ยนแปลงและเหตุการณ์ของไปป์ไลน์เปรียบเทียบกับเวลาที่ประทับใน CMDB | การจัดการการกำหนดค่าบริการ; การเปิดให้เกิดการเปลี่ยนแปลง | การลงทะเบียนอัตโนมัติในไปป์ไลน์ | รายเดือน |
| อัตราการใช้ CMDB | สัดส่วนของเหตุขัดข้องและการเปลี่ยนแปลงที่อ้างอิง CI และในจำนวนนั้น สัดส่วนที่ผู้ใช้รายงานว่าบันทึกช่วยได้ | บันทึกที่อ้างอิง CI ที่ใช้ได้ / เหตุขัดข้องและการเปลี่ยนแปลงในรอบเวลา; รวมสัดส่วนของบันทึกที่ทบทวนซึ่งข้อมูล CI ช่วยได้ | เปอร์เซ็นต์ | เครื่องมือ ITSM คำถามข้อเสนอแนะสั้น ๆ | การจัดการเหตุขัดข้อง; การเปิดให้เกิดการเปลี่ยนแปลง | ทีมใช้บันทึกร่วมในงานของตน | รายเดือน |
กำหนดขอบเขตของ “CI ในขอบเขต” ตามประเภทและความสำคัญ และบันทึกไว้ CI ถูกต้องเฉพาะในคุณลักษณะที่คุณระบุว่าจำเป็น ความล่าช้าในการปรับปรุงเริ่มที่เหตุการณ์จริง เช่น การติดตั้งใช้งานหรือการซื้อ และหยุดเมื่อ CMDB สะท้อนเหตุการณ์นั้น อัตราการทำนายผลกระทบถูกต้องต้องมีขั้นตอนทบทวนที่บันทึกว่าบริการใดได้รับผลกระทบจริง และเชื่อถือได้เท่ากับการทบทวนนั้น
ข้อเสนอแนะ
ตัดสินใจว่าบันทึกมีไว้เพื่ออะไร
1. เขียนคำถามที่ CMDB ต้องตอบ คำถามทั่วไปได้แก่ อะไรพึ่งพาองค์ประกอบนี้ ใครเป็นเจ้าของบริการนี้ อะไรเปลี่ยนไปเมื่อเร็ว ๆ นี้ ความล้มเหลวตรงนี้จะกระทบอะไร และอะไรหมดการสนับสนุนแล้ว สำหรับแต่ละคำถาม ให้ระบุประเภท CI คุณลักษณะ และความสัมพันธ์ที่ต้องใช้ อะไรที่ไม่จำเป็นต่อการตอบคำถามเป็นตัวเลือกที่จะละไว้
2. เริ่มจากบริการที่สำคัญที่สุด เลือกบริการสำคัญไม่กี่รายการ จัดทำแผนที่ตั้งแต่ต้นจนจบ และทำให้ถูกต้องก่อนเพิ่ม แผนที่ที่เชื่อถือได้ของสิบบริการช่วยได้มากกว่าแผนที่ที่น่าสงสัยของหนึ่งพันบริการ ขยายเมื่อความเชื่อถือและการใช้งานเติบโต
3. กำหนดประเภท คุณลักษณะ และชนิดความสัมพันธ์อย่างเรียบง่าย รายการสั้น ๆ ของประเภท CI (บริการ แอปพลิเคชัน ฐานข้อมูล โฮสต์ เครือข่าย ทรัพยากรคลาวด์) และชนิดความสัมพันธ์ (พึ่งพา ทำงานบน เชื่อมต่อกับ เป็นเจ้าของโดย) ครอบคลุมความต้องการส่วนใหญ่ แบบจำลองที่พยายามจับทุกอย่างกรอกยากและสืบค้นยากกว่า เก็บแบบจำลองที่เขียนไว้และเปลี่ยนอย่างตั้งใจ
ป้อนบันทึกจากต้นทาง
4. เผยแพร่จากไปป์ไลน์และโค้ด ในที่ที่โครงสร้างพื้นฐานและแอปพลิเคชันถูกนิยามเป็นโค้ด ให้ไปป์ไลน์การส่งมอบสร้าง ปรับปรุง และปลดระวาง CI ในทุกการเปลี่ยนแปลง รวมข้อมูลความเป็นเจ้าของและความสัมพันธ์พึ่งพาที่ประกาศไว้ข้างโค้ด ถือว่าการประกาศเป็นส่วนหนึ่งของนิยามความเสร็จสิ้นของบริการ วิธีนี้ทำให้ความล่าช้าในการปรับปรุงใกล้ศูนย์และรักษาบันทึกให้สอดคล้องกับสิ่งที่ทำงานอยู่
5. ใช้การค้นพบเป็นความเห็นที่สอง การค้นพบบริการในเครือข่ายและคลาวด์พบสิ่งที่ทำงานอยู่จริงและวิธีที่เชื่อมต่อกัน เปรียบเทียบกับบันทึกที่ประกาศไว้ ความแตกต่างคือข้อค้นพบ ไม่ว่าการประกาศขาดอะไรไปหรือมีบางอย่างทำงานอยู่ที่ไม่ควรมี การค้นพบเพียงอย่างเดียวให้ข้อมูลที่รบกวนหากไม่มีความเป็นเจ้าของ ดังนั้นใช้เพื่อตรวจสอบ ไม่ใช่เพื่อสร้าง
6. ใช้ตัวระบุที่คงที่และกฎการจับคู่ รายการซ้ำเกิดเมื่อแหล่งต่างกันตั้งชื่อสิ่งเดียวกันต่างกัน ตกลงตัวระบุเฉพาะสำหรับ CI แต่ละประเภท บันทึกตัวระบุของแหล่ง และรันกฎการจับคู่เพื่อค้นหาและรวมรายการซ้ำ ทบทวนการจับคู่ด้วยมือเป็นตัวอย่าง เพราะการรวมอัตโนมัติอาจรวมสิ่งที่ต่างกัน
7. ให้ทีมบริการแต่ละทีมเป็นเจ้าของส่วนของตน ทีมที่สร้างและดำเนินบริการอยู่ในตำแหน่งที่ดีที่สุดที่จะรู้ความสัมพันธ์พึ่งพาและสังเกตข้อผิดพลาด ทำให้ง่ายสำหรับทีม ได้แก่ แม่แบบ การทบทวนสั้น ๆ ตอนวางแผน และข้อเสนอแนะเมื่อมีการใช้ข้อมูลของทีม ทีมส่วนกลางเป็นเจ้าของแบบจำลอง เครื่องมือ และการตรวจสอบ ไม่ใช่ทุกบันทึก
วัดคุณภาพและการใช้งาน
8. ตรวจสอบความถูกต้องด้วยการสุ่มตัวอย่าง ทุกไตรมาส สุ่มตัวอย่าง CI และตรวจเทียบกับระบบจริง และสุ่มตัวอย่างที่สองจากระบบจริงเพื่อตรวจสอบว่าปรากฏในบันทึก รายงานความถูกต้องตามประเภทและแสดงแหล่งหลักของข้อผิดพลาด คงวิธีสุ่มตัวอย่างให้เหมือนเดิมเพื่อให้แนวโน้มมีความหมาย
9. ทดสอบแผนที่กับเหตุขัดข้อง หลังเหตุขัดข้องหรือการเปลี่ยนแปลงที่สำคัญ เปรียบเทียบบริการที่ได้รับผลกระทบจริงกับที่ CMDB ทำนาย บันทึกส่วนที่พลาดและแก้ความสัมพันธ์พึ่งพาที่ขาด นี่คือการทดสอบความถูกต้องที่มีความหมายที่สุด เพราะตรวจสอบบันทึกเทียบกับเหตุการณ์ และอัตราการทำนายถูกต้องดีขึ้นเมื่อแผนที่ได้รับการแก้ไข ใช้การทบทวนแบบไม่กล่าวโทษเพื่อให้ผู้คนรายงานส่วนที่พลาดอย่างสะดวกใจ (ดูหัวข้อ 4.2 “ตัวชี้วัดการทบทวนหลังเหตุการณ์และการเรียนรู้”)
10. ติดตามการใช้งานและถามว่าช่วยได้หรือไม่ นับว่าเหตุขัดข้องและการเปลี่ยนแปลงอ้างอิง CI บ่อยเพียงใด และถามผู้ตอบสนองและผู้อนุมัติด้วยคำถามสั้น ๆ ว่าบันทึกช่วยได้หรือไม่ อัตราการใช้ที่เพิ่มขึ้นพร้อมคำตอบเชิงบวกคือสัญญาณที่ชัดเจนที่สุดของคุณค่า อัตราการใช้ต่ำหมายความว่าผู้คนไม่เชื่อถือบันทึกหรือไม่รู้ว่ามี ทั้งสองอย่างแก้ได้
11. ทบทวนแผนที่ความสัมพันธ์พึ่งพาเป็นประจำร่วมกับเจ้าของ ความสัมพันธ์พึ่งพาเปลี่ยนเมื่อซอฟต์แวร์วิวัฒนาการ ขอให้เจ้าของบริการสำคัญยืนยันแผนที่ของตนทุกไตรมาส โดยเหมาะที่สุดเป็นส่วนของการสนทนาเรื่องการวางแผนหรือสถาปัตยกรรม ใช้วันที่ยืนยันเป็นคุณลักษณะ และแสดงแผนที่ที่เลยกำหนด
รักษาความซื่อตรงและความได้สัดส่วน
12. เลิกสิ่งที่ไม่มีใครใช้ นำประเภท CI และคุณลักษณะที่ไม่มีคำถามใดต้องการและไม่มีใครเปิดดูออก ฟิลด์ที่น้อยลงแต่ดีขึ้นเพิ่มความถูกต้อง ทบทวนแบบจำลองทุกปีและบันทึกสิ่งที่นำออกพร้อมเหตุผล บันทึกที่เล็กลงมีสิ่งที่ต้องรักษาความจริงน้อยลง และทำให้มาตรวัดคุณภาพบรรลุได้อย่างซื่อตรงง่ายขึ้น
ช่องทางการบิดเบือนและมาตรการป้องกัน
| ตัวชี้วัด | ถูกบิดเบือนได้อย่างไร | ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่กัน |
|---|---|---|
| ความครบถ้วนของ CI | กรอกคุณลักษณะที่จำเป็นด้วยค่าเริ่มต้นหรือค่าตัวแทน; ลดรายการที่จำเป็นให้แคบลง | นับค่าเริ่มต้นและค่าตัวแทน; รายการที่จำเป็นคงที่; การสุ่มตัวอย่างความถูกต้อง |
| ความถูกต้องของ CI | สุ่มเฉพาะประเภทที่ง่าย; ตรวจสอบหลังเคลียร์ข้อมูล | สุ่มตัวอย่างอย่างเป็นอิสระจากทั้งสองทิศทาง; วิธีคงที่ |
| ความครอบคลุมของความสัมพันธ์พึ่งพา | ทำเครื่องหมายแผนที่ว่าทบทวนแล้วโดยไม่อ่าน; จัดทำแผนที่เฉพาะความสัมพันธ์พึ่งพาที่ง่าย | อัตราการทำนายผลกระทบถูกต้อง; สุ่มตรวจแผนที่เทียบกับทราฟฟิกจริง |
| อัตราการทำนายผลกระทบถูกต้อง | เลือกเหตุขัดข้องที่ผ่านไปได้ดี; บันทึกบริการที่ได้รับผลกระทบอย่างแคบ | ทบทวนเหตุขัดข้องสำคัญทั้งหมด; ผู้ทบทวนนอกทีมเจ้าของ |
| อัตรา CI ซ้ำ | รวม CI ที่ต่างกันเพื่อลดอัตรา; ผ่อนกฎการจับคู่ | สุ่มตรวจความถูกต้องของการรวม; บันทึกกฎการรวม |
| ความล่าช้าในการปรับปรุง | ลงวันที่เหตุการณ์การเปลี่ยนแปลงย้อนหลัง; นับเฉพาะการปรับปรุงอัตโนมัติ | เปรียบเทียบเวลาที่ประทับของเหตุการณ์และการปรับปรุงจากระบบต้นทาง; ร่องรอยการตรวจสอบ |
| อัตราการใช้ CMDB | เพิ่มการอ้างอิง CI เป็นพิธีการ; ทำให้ฟิลด์เป็นภาคบังคับด้วยค่าใดก็ได้ | ตรวจสอบว่า CI ที่อ้างอิงเกี่ยวข้องจริง; คำถามข้อเสนอแนะว่าช่วยได้หรือไม่ |
ค่าที่อ่านได้อย่างมีสุขภาพดีคือบันทึกที่เล็กลงด้วยความถูกต้องที่วัดได้สูง แผนที่ความสัมพันธ์พึ่งพาที่ทำนายเหตุขัดข้องจริง ความล่าช้าในการปรับปรุงใกล้ศูนย์สำหรับประเภทอัตโนมัติ และผู้คนที่บอกว่าใช้บันทึกเพราะมันช่วยได้
ข้อแลกเปลี่ยน: ข้อดีและข้อเสีย
| แนวทาง | จุดแข็ง | จุดอ่อน |
|---|---|---|
| CMDB ครอบคลุมทุกอย่าง | มุมมองกว้าง; รองรับกรณีใช้งานมาก | รักษาความจริงมีต้นทุนสูง; เสื่อมสภาพ |
| CMDB ขั้นต่ำที่ขับเคลื่อนด้วยคำถาม | เชื่อถือได้และถูก | มีช่องว่าง; ต้องมีวินัยในการขยาย |
| เติมข้อมูลด้วยการค้นพบ | พบสิ่งที่ไม่รู้จัก; แรงด้วยมือต่ำ | รบกวน; ขาดความเป็นเจ้าของและวัตถุประสงค์ |
| เติมข้อมูลด้วยไปป์ไลน์ | ถูกต้อง; ความล่าช้าต่ำ | จำกัดเฉพาะสิ่งที่สร้างผ่านไปป์ไลน์ |
| ส่วนกลางเป็นเจ้าของบันทึก | สอดคล้อง | ช้า; ห่างจากความรู้ |
| ทีมเป็นเจ้าของบันทึก | ถูกต้องและเร็ว | แตกต่างกัน; ต้องมีแม่แบบและการตรวจสอบ |
| แบบจำลองแบบกราฟ | เป็นธรรมชาติสำหรับความสัมพันธ์และการสืบค้นผลกระทบ | ต้องมีทักษะและเครื่องมือ |
| แบบจำลองตารางเชิงสัมพันธ์ | คุ้นเคยและเรียบง่าย | อึดอัดสำหรับการสืบค้นความสัมพันธ์พึ่งพาที่ลึก |
คำตอบในเชิงถ้อยความคือ เริ่มเล็กและขับเคลื่อนด้วยคำถาม เติมข้อมูลจากไปป์ไลน์โดยใช้การค้นพบเป็นความเห็นที่สอง และให้ทีมบริการรับผิดชอบบันทึกของตน ฐานข้อมูลแบบกราฟทำให้การถามคำถามความสัมพันธ์พึ่งพาเป็นธรรมชาติ แต่ฐานข้อมูลแบบเดิมก็ใช้ได้ถ้าแบบจำลองเรียบง่าย
คำถามสำหรับอภิปรายกับทีม
1. คำถามล่าสุดที่เราอยากให้ CMDB ตอบได้คืออะไร และมันตอบได้หรือไม่ นึกถึงเหตุขัดข้องหรือการเปลี่ยนแปลงล่าสุดที่มีคนค้นหาความสัมพันธ์พึ่งพา เขาพบอะไร และทำอะไรแทน ผู้อำนวยความสะดวกควรบันทึกคำถามและว่าบันทึกถูกเปิดดูหรือไม่ ผลลัพธ์เป็นตัวเลือกแรกสำหรับวัตถุประสงค์ของบันทึก
2. ถ้าบริการที่สำคัญที่สุดของเราล้มเหลวตอนนี้ เรามั่นใจเพียงใดในผลกระทบที่ทำนาย ขอผลกระทบที่ทำนายจาก CMDB และเปรียบเทียบกับสิ่งที่ผู้ที่รู้จักบริการเชื่อ จดความแตกต่าง ตกลงว่าจะตรวจสอบความสัมพันธ์พึ่งพาใดก่อนและใครจะตรวจ
3. ใครเป็นเจ้าของบันทึกของแต่ละบริการ และพวกเขารู้หรือไม่ ระบุบริการสำคัญและเจ้าของรายการ CMDB ของบริการ ถามว่าเจ้าของรู้และเพิ่งทบทวนหรือไม่ ในที่ที่เจ้าของคือ “ทีม CMDB” ให้อภิปรายวิธีย้ายความเป็นเจ้าของไปยังทีมบริการ
4. เรากรอกอะไรเพียงเพื่อให้ผ่านฟิลด์ที่จำเป็น มองหาค่าเริ่มต้นและค่าตัวแทน สิ่งเหล่านี้แสดงว่าแบบจำลองขอมากกว่าที่ใครรู้ ตัดสินใจว่าจะนำฟิลด์ออก ทำให้เป็นอัตโนมัติ หรือหาแหล่งจริง
5. บันทึกของเราขัดแย้งกับสิ่งที่ทำงานอยู่ตรงไหน เปรียบเทียบผลการค้นพบกับบันทึกสำหรับหนึ่งบริการ สำหรับแต่ละความแตกต่าง ถามว่าบันทึกหรือความเป็นจริงควรเปลี่ยน การสนทนามักพบทั้งข้อมูลที่ล้าสมัยและองค์ประกอบที่ไม่ได้รับอนุญาต
6. เราจะเลิกบันทึกอะไร ระบุประเภท คุณลักษณะ และความสัมพันธ์ที่ไม่มีใครใช้เป็นเวลาหกเดือน ถามว่าจะเกิดอะไรขึ้นถ้าแต่ละรายการหายไป ตกลงนำออกสองรายการและสังเกตว่ามีใครสังเกตเห็นหรือไม่
สี่มุมมอง
ทีมผลิตภัณฑ์และการส่งมอบ
ทีมส่งมอบถือความรู้ว่าบริการของตนพึ่งพาอะไร และอยู่ในตำแหน่งที่ดีที่สุดที่จะรักษาบันทึกให้ถูกต้อง ควรประกาศความเป็นเจ้าของและความสัมพันธ์พึ่งพาข้างโค้ด ทบทวนเมื่อการออกแบบเปลี่ยน และใช้บันทึกเมื่อวางแผนการเปลี่ยนแปลง นิยามความเสร็จสิ้นที่รวมการปรับปรุงคำอธิบายบริการรักษาบันทึกให้อยู่ใกล้งาน
ทีมบริการและปฏิบัติการ
ทีมปฏิบัติการเปิดดูบันทึกระหว่างเหตุขัดข้องและการเปลี่ยนแปลง จึงรู้สึกถึงความผิดพลาดก่อน ควรรายงานส่วนที่พลาดในการทบทวน ดำเนินการตรวจสอบการค้นพบ ดูแลกฎการจับคู่ และให้ข้อเสนอแนะแก่เจ้าของ ทีมยังดำเนินการเครื่องมือและการสุ่มตัวอย่างตรวจสอบ
ภาวะผู้นำและการกำกับดูแล
ผู้นำต้องการให้เห็นผลกระทบและความเสี่ยง และมักเป็นผู้สนับสนุนโครงการ CMDB ขนาดใหญ่ที่ทำให้ผิดหวัง ควรขอหลักฐานการใช้งานและความถูกต้องแทนจำนวนบันทึก สนับสนุนงบประมาณการเชื่อมไปป์ไลน์ และยอมรับขอบเขตที่เล็กกว่าแต่ทำได้ดี การกำกับดูแลควรคาดหวังที่จะเห็นอัตราการทำนายผลกระทบถูกต้องและรายการช่องว่าง
ลูกค้าและผู้ใช้
ผู้ใช้ได้ประโยชน์เมื่อวินิจฉัยเหตุขัดข้องได้เร็วขึ้นและการเปลี่ยนแปลงมีโอกาสทำให้บริการที่พึ่งพาพังน้อยลง ผู้ใช้แทบไม่เห็น CMDB แต่เห็นผลของมันในการสื่อสารที่ระบุบริการที่ได้รับผลกระทบอย่างถูกต้องและเรื่องไม่คาดคิดที่น้อยลงหลังการเปลี่ยนแปลง ข้อเสนอแนะของผู้ใช้หลังเหตุขัดข้องแสดงว่าภาพผลกระทบถูกต้องหรือไม่
ในทางปฏิบัติ: ตัวอย่าง ITIL แบบคล่องตัว
กลุ่มเทคโนโลยีของสายการบินแห่งชาติแห่งหนึ่งดำเนินแอปพลิเคชันราว 300 รายการและแพลตฟอร์มจองตั๋วสำหรับลูกค้า ตัวเลขด้านล่างเป็นตัวอย่างเพื่อประกอบการอธิบาย
CMDB เก็บ CI 180,000 รายการ และถูกเติมข้อมูลโดยเครื่องมือค้นพบเมื่อห้าปีก่อน หัวหน้าฝ่ายการจัดการบริการต้องการรู้ว่าคุ้มที่จะเก็บไว้หรือไม่ เธอขอให้ทีมเล็ก ๆ ทดสอบ ด้านคุณภาพ ทีมตรวจสอบ CI 150 รายการที่สุ่มตัวอย่างและพบว่าถูกต้อง 71 เปอร์เซ็นต์ในห้าคุณลักษณะที่จำเป็น ด้านแผนที่ ทีมทบทวนเหตุขัดข้องสำคัญ 20 ครั้งล่าสุดและเปรียบเทียบบริการที่ได้รับผลกระทบจริงกับที่ CMDB ทำนาย โดยทำนายบริการที่ได้รับผลกระทบถูกต้องครบใน 6 จาก 20 ครั้ง อัตราการทำนายถูกต้อง 30 เปอร์เซ็นต์ ด้านการใช้งาน 12 เปอร์เซ็นต์ของเหตุขัดข้องในไตรมาสที่ผ่านมาอ้างอิง CI และในการสำรวจสั้น ๆ ของผู้ตอบสนอง ส่วนใหญ่บอกว่าพึ่งหน้าวิกิแยกต่างหาก CI ซ้ำคิดเป็น 9 เปอร์เซ็นต์ของทั้งหมด
ทีมตัดสินใจสี่ข้อร่วมกับเจ้าของบริการ ลดขอบเขตเหลือ 40 บริการที่รองรับลูกค้ามากที่สุด พร้อม CI ห้าประเภทและชนิดความสัมพันธ์สี่ชนิด ขอให้แต่ละทีมบริการประกาศเจ้าของ ความสัมพันธ์พึ่งพา และที่ตั้งขณะทำงานในไฟล์สั้น ๆ ที่เก็บไว้กับโค้ด ซึ่งไปป์ไลน์เผยแพร่ไปยัง CMDB ทุกการปล่อยรุ่น รันการค้นพบทุกสัปดาห์และรายงานความแตกต่างต่อเจ้าของ และเพิ่มฟิลด์ในการทบทวนเหตุขัดข้อง “การทำนายของ CMDB ถูกต้องหรือไม่” และแก้ทุกส่วนที่พลาดภายในสองสัปดาห์
สองไตรมาสต่อมา CMDB ที่กำหนดขอบเขตแล้วมี CI 14,000 รายการ ความถูกต้องในกลุ่มตัวอย่างคือ 92 เปอร์เซ็นต์ ความล่าช้าในการปรับปรุงจากการปล่อยรุ่นถึงบันทึกน้อยกว่าหนึ่งชั่วโมงสำหรับบริการในไปป์ไลน์ และอัตราการทำนายถูกต้องใน 12 เหตุขัดข้องล่าสุดคือ 75 เปอร์เซ็นต์ การใช้ CMDB ในเหตุขัดข้องเพิ่มเป็น 58 เปอร์เซ็นต์ และผู้ตอบสนองบอกว่าไม่ต้องใช้หน้าวิกิอีกแล้ว ประธานเจ้าหน้าที่ฝ่ายปฏิบัติการขอแผนนำแอปพลิเคชันอีก 260 รายการเข้ามาพร้อมกัน หัวหน้าฝ่ายการจัดการบริการเสนอให้เพิ่มสิบบริการต่อไตรมาส หลังจากแต่ละบริการมีอัตราการทำนายถูกต้องเหนือระดับที่ตกลงกันในการทดสอบกับเหตุขัดข้อง และอธิบายว่าบันทึกกว้างก่อนหน้านี้ไม่เคยได้รับความเชื่อถือ มีการบันทึกการตัดสินใจนี้ พร้อมการทบทวนทุกไตรมาส
มุมมองตามประเภทองค์กร
สตาร์ทอัป แทบไม่จำเป็นต้องมี CMDB นอกจากแคตตาล็อกบริการและโค้ดโครงสร้างพื้นฐาน เก็บเจ้าของบริการและความสัมพันธ์พึ่งพาไว้ในที่เก็บโค้ดและสร้างแผนที่จากนั้น เพิ่มฐานข้อมูลเมื่อคำถามเกินกว่าไฟล์เท่านั้น
ธุรกิจขนาดเล็ก แผนภาพง่าย ๆ และรายการระบบพร้อมเจ้าของและผู้ขายอาจเพียงพอ ปรับปรุงหลังทุกการเปลี่ยนแปลงที่สำคัญ ต้านทานการซื้อแพลตฟอร์มสำหรับกลุ่มสินทรัพย์เล็ก แต่รักษาแผนภาพให้เป็นปัจจุบัน เพราะมีค่าอย่างยิ่งเมื่อระบบล่ม
องค์กรขนาดใหญ่ ขนาดต้องการแบบจำลอง ความเป็นเจ้าของแบบสหพันธ์ และการเชื่อมกับหลายแหล่ง รวมถึงการควบรวมกิจการ กำหนดมาตรฐานตัวระบุและแบบจำลองหลัก ให้ทีมขยายภายในกฎ และวัดการใช้งานและความถูกต้องตามโดเมน คาดว่าจะต้องดำเนินหน้าที่จับคู่และทำความสะอาดอย่างต่อเนื่อง
ภาครัฐและหน่วยงานสาธารณะ บริการมักตั้งอยู่บนระบบอายุยืน ผู้รับเหมา และโครงสร้างพื้นฐานร่วม และผลกระทบของเหตุขัดข้องอาจกระทบประชาชน จัดทำแผนที่ความสัมพันธ์พึ่งพากับผู้จัดหาและแพลตฟอร์มร่วมอย่างชัดเจน เก็บบันทึกสำหรับการตรวจสอบ และปรับให้สอดคล้องกับการวางแผนความต่อเนื่อง (ดูหัวข้อ 5.6 “ตัวชี้วัดความต่อเนื่องของบริการ”)
กรณีทางธุรกิจ: แรงจูงใจ ROI และ TCO
ต้นทุนคือแรงในการสร้างแบบจำลองและการกำกับดูแล การเชื่อมไปป์ไลน์และการค้นพบ เครื่องมือบางอย่าง และแรงในการตรวจสอบและแก้ไข หลายองค์กรมีแพลตฟอร์มอยู่แล้ว การเติมข้อมูลด้วยไปป์ไลน์ถูกเมื่อมีแม่แบบแล้ว โครงการขนาดใหญ่ที่เติมทุกอย่างพร้อมกันมีต้นทุนสูงและมักล้มเหลว
ผลตอบแทนคือเหตุขัดข้องที่สั้นลง การเปลี่ยนแปลงที่ปลอดภัยขึ้น และเวลาที่ใช้ตามหาข้อมูลน้อยลง สร้างกรณีจากหลักฐานของตนเอง ได้แก่ เวลาที่ผู้ตอบสนองใช้หาความสัมพันธ์พึ่งพาในเหตุขัดข้องทั่วไป สัดส่วนของเหตุขัดข้องที่ข้อมูลความสัมพันธ์พึ่งพาที่ขาดทำให้การวินิจฉัยล่าช้า และการเปลี่ยนแปลงที่ก่อให้เกิดผลกระทบที่ไม่คาดคิด อัตราการทำนายผลกระทบถูกต้องเป็นมาตรวัดโดยตรงว่าบันทึกจะช่วยได้หรือไม่ หลีกเลี่ยงข้ออ้างที่เผยแพร่เรื่องเปอร์เซ็นต์ของเหตุขัดข้องที่เกิดจากการเปลี่ยนแปลงหรือต้นทุนของการล่ม เว้นแต่คุณตรวจสอบย้อนแหล่งที่มาได้ นับต้นทุนของการรักษาบันทึกขนาดใหญ่ที่น่าสงสัยเทียบกับคุณค่าของบันทึกเล็กที่เชื่อถือได้
รูปแบบที่ไม่ควรทำและข้อควรระวัง
- เติมทุกอย่างก่อน บันทึกขนาดใหญ่ที่ล้าสมัยทำลายความเชื่อถือ เริ่มจากบริการสำคัญ
- การค้นพบเป็นแหล่งเดียว บอกไม่ได้ว่าทำไมบางสิ่งมีอยู่หรือใครเป็นเจ้าของ ผสานกับการประกาศ
- ตรวจสอบความครบถ้วนแล้วเรียกว่าคุณภาพ ครบถ้วนแต่ผิดแย่กว่าไม่ครบแต่ถูก สุ่มตัวอย่างเพื่อความถูกต้อง
- ทีมส่วนกลางเป็นเจ้าของข้อมูลทั้งหมด ทีมไม่รู้ข้อมูล ให้ทีมบริการเป็นเจ้าของ
- ฟิลด์ที่จำเป็นพร้อมค่าเริ่มต้น ดูครบถ้วนแต่ไม่มีข้อมูล นำออกหรือทำให้เป็นอัตโนมัติ
- วัดจากจำนวน CI มากกว่าไม่ได้ดีกว่า วัดความถูกต้อง อัตราการทำนาย และการใช้งาน
- ละเลยความสัมพันธ์ ถ้าไม่มีความสัมพันธ์พึ่งพา CMDB ก็เป็นเพียงบัญชีสินทรัพย์ ลงทุนในแผนที่สำหรับบริการสำคัญ
- โทษผู้คนเมื่อพลาด ผู้คนจะเลิกรายงาน ถือว่าความสัมพันธ์พึ่งพาที่พลาดเป็นข้อค้นพบ
แบบจำลองวุฒิภาวะ
| มิติ | 1 เริ่มต้น | 2 พัฒนา | 3 ทำให้เป็นมาตรฐาน | 4 บริหารจัดการ | 5 ประสานจัดการ |
|---|---|---|---|---|---|
| ขอบเขตและแบบจำลอง | อะไรก็ตามที่การค้นพบพบ | กำหนดแบบจำลองแล้ว; ขอบเขตกว้าง | แบบจำลองขับเคลื่อนด้วยคำถาม; จัดทำแผนที่บริการสำคัญแล้ว | ขอบเขตเติบโตเมื่ออัตราการทำนายและการใช้งานสนับสนุน | แบบจำลองแบบสหพันธ์ข้ามทีมและผู้จัดหา; ตัวระบุร่วมกัน |
| การเติมข้อมูลและคุณภาพ | โหลดด้วยมือหรือครั้งเดียว | การค้นพบและนำเข้าตามกำหนดเวลา | ไปป์ไลน์เผยแพร่จากโค้ด; การค้นพบเป็นตัวตรวจสอบ; ตรวจสอบด้วยการสุ่มตัวอย่าง | วัดและติดตามแนวโน้มความถูกต้อง ความล่าช้า และรายการซ้ำ | ฟีดแบบเรียลไทม์พร้อมการกระทบยอดอัตโนมัติและการยืนยันของเจ้าของ |
| การใช้งาน | แทบไม่มีใครเปิดดู | ใช้โดยไม่กี่ทีม | อ้างอิงในเหตุขัดข้องและการเปลี่ยนแปลงเป็นแนวปฏิบัติมาตรฐาน | ทดสอบการทำนายผลกระทบกับเหตุขัดข้อง; ติดตามการใช้งานและความช่วยเหลือ | บันทึกให้ข้อมูลการตัดสินใจอัตโนมัติและแผนที่ผู้จัดหาร่วม |
รายการตรวจสอบ
- เขียนคำถามที่ CMDB ต้องตอบไว้แล้ว
- ขอบเขตจำกัดที่บริการสำคัญ พร้อมกฎการขยายที่กำหนด
- แบบจำลองมีชุดประเภท คุณลักษณะ และชนิดความสัมพันธ์ขนาดเล็ก
- บริการสำคัญแต่ละรายการมีเจ้าของที่ยืนยันบันทึกในไตรมาสที่ผ่านมา
- ไปป์ไลน์เผยแพร่การเปลี่ยนแปลง CI สำหรับบริการที่สร้างเป็นโค้ด
- เปรียบเทียบผลการค้นพบกับบันทึกและทบทวนความแตกต่าง
- ตรวจสอบตัวอย่างสุ่มความถูกต้องทุกไตรมาสทั้งสองทิศทาง
- การทบทวนเหตุขัดข้องบันทึกว่าผลกระทบที่ทำนายถูกต้องหรือไม่
- ติดตามการใช้ CMDB ในเหตุขัดข้องและการเปลี่ยนแปลง พร้อมคำถามว่าช่วยได้หรือไม่
- เลิกประเภทและคุณลักษณะที่ไม่ได้ใช้ตามกำหนดเวลา
พรอมต์ AI
กำหนดคำถามและขอบเขต
เราดำเนิน [ประเภทขององค์กรและบริการ] สถานการณ์ทั่วไปที่เราต้องการข้อมูล
การกำหนดค่า: [รายการเหตุขัดข้อง การเปลี่ยนแปลง การตรวจสอบ] ร่างรายการคำถาม
ที่ CMDB ของเราควรตอบ ประเภท CI คุณลักษณะ และความสัมพันธ์ที่ต้องใช้สำหรับแต่ละ
คำถาม และขอบเขตเริ่มต้นขั้นต่ำของบริการที่สำคัญที่สุด อย่าคิดเครื่องมือขึ้นเอง
ระบุข้อสมมติของคุณและสิ่งที่ต้องยืนยันกับเจ้าของบริการ
วิเคราะห์ส่วนที่พลาดในการทำนายผลกระทบ
หลังเหตุขัดข้อง [คำอธิบาย] CMDB ทำนายบริการที่ได้รับผลกระทบดังนี้: [รายการ]
และบริการที่ได้รับผลกระทบจริงคือ: [รายการ] อธิบายสาเหตุที่เป็นไปได้ของแต่ละ
ความแตกต่าง (ความสัมพันธ์พึ่งพาที่ขาด ความสัมพันธ์ผิด ข้อมูลล้าสมัย ความสัมพันธ์
พึ่งพาทางอ้อม) เสนอวิธีตรวจสอบแต่ละข้อ และเสนอการแก้ที่ต้นทาง อย่าสมมติสาเหตุที่
ข้อมูลไม่สามารถรองรับได้ ระบุข้อสมมติของคุณ
ออกแบบไฟล์ประกาศสำหรับทีมบริการ
เสนอไฟล์ประกาศสั้น ๆ ที่มนุษย์อ่านได้ ซึ่งทีมบริการเก็บไว้กับโค้ดเพื่ออธิบาย
บริการให้ CMDB: เจ้าของ ผู้ติดต่อสนับสนุน ระดับ ความสัมพันธ์พึ่งพา ที่ตั้งขณะ
ทำงาน และการจัดชั้นความลับของข้อมูล รวมกฎการตรวจสอบที่ไปป์ไลน์ใช้ได้และ
ตัวอย่างขั้นต่ำสำหรับ [ประเภทของบริการ] จำกัดเฉพาะสิ่งที่คำถามใน [วางคำถาม]
ต้องการ ระบุข้อสมมติของคุณและฟิลด์ที่ควรทบทวนกับฝ่ายความมั่นคงปลอดภัย
วางแผนการตรวจสอบความถูกต้องรายไตรมาส
CMDB ของเรามี CI [จำนวน] รายการในประเภทเหล่านี้: [รายการ] ออกแบบการตรวจสอบ
รายไตรมาสโดยสุ่มตัวอย่างจากทั้งสองทิศทาง (จาก CMDB ไปสู่ความเป็นจริง และจาก
ความเป็นจริงไปสู่ CMDB) ระบุสิ่งที่ต้องตรวจสอบสำหรับแต่ละประเภท วิธีรายงาน
ความถูกต้องและแหล่งข้อผิดพลาดอย่างซื่อตรง และวิธีหลีกเลี่ยงการตรวจการบ้านตัวเอง
อย่ากล่าวเกินจริงเรื่องความแม่นยำทางสถิติ ระบุข้อสมมติของคุณ
ทักษะ AI
- ทักษะ Agile ITIL Metrics: ใช้เพื่อค้นหาตัวชี้วัดป้องกันที่จับคู่กันของตัวชี้วัดคุณภาพการกำหนดค่า
- ทักษะผู้ดูแล Agile ITIL Metrics: ใช้เพื่อตรวจสอบว่ารายการตัวชี้วัด CMDB มีช่องทางการบิดเบือน มาตรการป้องกัน และกฎหลักฐานอิสระครบถ้วน
ข้อสรุปสำคัญ
- สร้าง CMDB เพื่อตอบคำถามที่ระบุชื่อเกี่ยวกับบริการที่สำคัญที่สุด และขยายเมื่อความเชื่อถือเติบโต
- เติมข้อมูลจากไปป์ไลน์และโค้ด ใช้การค้นพบเป็นความเห็นที่สอง และให้ทีมบริการเป็นเจ้าของบันทึกของตน
- ทดสอบคุณภาพกับเหตุการณ์ เปรียบเทียบผลกระทบที่ทำนายกับสิ่งที่เกิดขึ้นจริงในเหตุขัดข้อง
- วัดการใช้งานและความช่วยเหลือ ไม่ใช่จำนวน CI
- สุ่มตัวอย่างเพื่อความถูกต้องจากหลักฐานอิสระทั้งสองทิศทาง
- เลิกสิ่งที่ไม่มีใครใช้ และแก้ข้อผิดพลาดที่ต้นทาง
เอกสารอ้างอิงและแหล่งอ่านเพิ่มเติม
- AXELOS (now PeopleCert), ITIL 4 Practice Guide: Service Configuration Management, TSO, 2020.
- Wang, R. Y., and Strong, D. M., "Beyond accuracy: what data quality means to data consumers," Journal of Management Information Systems, 12(4), 1996.
- DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd ed., Technics Publications, 2017.
- Morris, K., Infrastructure as Code, 2nd ed., O'Reilly, 2020.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Configuration item.
- Wikipedia, Configuration management database.
- Wikipedia, Infrastructure as code.
- Wikipedia, Data integrity.
- Wikipedia, Entity resolution.
- Wikipedia, Goodhart's law.
- Wikipedia, Service discovery.
- Wikipedia, Graph database.