ตัวชี้วัดเหตุขัดข้องรุนแรง
วัดเหตุขัดข้องรุนแรงในฐานะเหตุการณ์ที่เกิดได้ยากและมีต้นทุนสูงเพื่อเรียนรู้ ไม่ใช่ตารางจัดอันดับ ได้แก่ นับเหตุการณ์ จับเวลาอย่างซื่อตรง ประเมินขนาดผลกระทบต่อลูกค้า ตรวจสอบว่ามีการแจ้งผู้คน และพิสูจน์ว่าการดำเนินการติดตามผลเสร็จสิ้น
ภาพรวมและแรงจูงใจ
เหตุขัดข้องรุนแรงคือเหตุขัดข้องที่ร้ายแรงพอที่จะต้องมีการตอบสนองเกินกว่ากิจวัตรปกติ ITIL ซึ่งเป็นกรอบงานด้านการจัดการบริการไอทีที่รู้จักกันดีที่สุด อธิบายการจัดการเหตุขัดข้อง (incident management) ว่าคือการกู้คืนการปฏิบัติการของบริการให้เป็นปกติโดยเร็วที่สุด และคาดหวังให้องค์กรจัดการเหตุขัดข้องที่ร้ายแรงที่สุดผ่านเส้นทางที่แยกต่างหากและประสานกันมากกว่า องค์กรขีดเส้นแบ่งนั้นอย่างไรเป็นการตัดสินใจของตนเอง ทางเลือกที่พบบ่อยคือเหตุขัดข้องที่กระทบผู้ใช้จำนวนมากหรือบริการสำคัญ และต้องการหลายทีมทำงานร่วมกันภายใต้ผู้ประสานงานคนเดียว ให้เขียนนิยามของคุณเองไว้ เพราะตัวชี้วัดทุกตัวในหัวข้อนี้ขึ้นอยู่กับนิยามนั้น
เหตุขัดข้องรุนแรงมีน้อย ทีมหนึ่งอาจเห็นเหตุขัดข้องธรรมดาหลายสิบครั้งต่อสัปดาห์และเหตุขัดข้องรุนแรงสองสามครั้งต่อไตรมาส สิ่งนี้เปลี่ยนวิธีวัด สถิติทั่วไปของปริมาณเหตุขัดข้องและเวลาแก้ไข (ดูหัวข้อ 3.2 “ปริมาณและลำดับความสำคัญของเหตุขัดข้อง” และหัวข้อ 3.3 “เวลาตอบสนองและเวลาแก้ไขเหตุขัดข้อง”) สมมติว่ามีเหตุการณ์จำนวนมากและให้รางวัลแก่ค่าเฉลี่ย เมื่อมีเหตุขัดข้องรุนแรงเพียงหยิบมือต่อช่วงเวลา ค่าเฉลี่ยถูกครอบงำโดยคืนเลวร้ายคืนเดียว เส้นแนวโน้มส่วนใหญ่เป็นสัญญาณรบกวน และเปอร์เซ็นไทล์ (percentile) ไม่มีความหมายบนข้อมูลห้าจุด (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ”) แนวทางที่ซื่อตรงคือแสดงเหตุขัดข้องรุนแรงทุกครั้งเป็นแถวของตนเองพร้อมไทม์ไลน์ของตนเอง และสรุปเฉพาะในช่วงเวลาที่ยาวกว่า
มุมมองแบบคล่องตัวและมุมมองของ ITIL มาพบกันที่นี่โดยตรงกว่าที่ใดในหนังสือ ITIL ให้โครงสร้าง ได้แก่ เหตุขัดข้องรุนแรงที่ประกาศแล้ว ผู้ประสานงานที่ระบุชื่อ การสื่อสารที่กำหนดไว้ต่อผู้เกี่ยวข้องที่ได้รับผลกระทบ และการทบทวนภายหลัง ธรรมเนียมแบบคล่องตัว (agile)และวิศวกรรมความน่าเชื่อถือของไซต์ (SRE) ให้นิสัย ได้แก่ผู้บัญชาการเหตุการณ์ (incident commander)ที่ดำเนินการตอบสนอง การทบทวนแบบไม่กล่าวโทษว่าเกิดอะไรขึ้น และการมุ่งเน้นการเรียนรู้ที่ป้อนการปรับปรุงอย่างต่อเนื่อง หนังสือ Site Reliability Engineering ของ Google อธิบายทั้งรูปแบบการบัญชาการเหตุการณ์และแนวปฏิบัติการทบทวนหลังเหตุการณ์ (ดูเอกสารอ้างอิง) การทบทวนหลังเหตุการณ์ (postmortem) ในความหมายนี้คือบันทึกที่เขียนไว้ของเหตุขัดข้อง สาเหตุ และการดำเนินการที่ตามมา และที่นี่ใช้คำนี้สลับกับ “การทบทวนหลังเหตุขัดข้อง”
หัวข้อนี้ครอบคลุมห้าคำถาม เหตุขัดข้องรุนแรงเกิดบ่อยเพียงใด ใช้เวลานานเท่าใด และเวลาเท่าใดที่ผ่านไปก่อนที่ใครจะประกาศ ผู้ใช้กี่ราย และผู้ใช้กลุ่มใด รู้สึกถึงผลกระทบ ผู้คนได้ยินจากเราทันเวลาและเป็นจังหวะสม่ำเสมอหรือไม่ และการติดตามผลที่สัญญาไว้เกิดขึ้นหรือไม่ หัวข้อที่เกี่ยวข้องครอบคลุมสิ่งที่อยู่รอบ ๆ ได้แก่ ความพร้อมใช้งาน (ดูหัวข้อ 5.3 “ตัวชี้วัดความพร้อมใช้งาน”) คุณภาพของการทบทวนที่เขียน (ดูหัวข้อ 4.2 “ตัวชี้วัดการทบทวนหลังเหตุการณ์และการเรียนรู้”) สาเหตุเบื้องหลัง (ดูหัวข้อ 4.1 “ตัวชี้วัดการจัดการปัญหา”) และการเปลี่ยนแปลงที่มักเป็นตัวกระตุ้น (ดูหัวข้อ 4.4 “ความล้มเหลวของการเปลี่ยนแปลงและการทำซ้ำ”)
ศัพท์ที่ใช้ในหัวข้อนี้:
- เหตุขัดข้องรุนแรง (major incident): เหตุขัดข้องที่เข้าเกณฑ์การประกาศที่เขียนไว้ของคุณและกระตุ้นกระบวนการเหตุขัดข้องรุนแรง
- การประกาศ (declaration): ช่วงเวลาที่บุคคลผู้มีอำนาจเรียกใช้กระบวนการเหตุขัดข้องรุนแรงอย่างเป็นทางการ
- เวลาในการกู้คืน (time to restore): เวลาตั้งแต่เริ่มมีผลกระทบต่อลูกค้าจนถึงช่วงเวลาที่บริการกลับมาสำหรับผู้ใช้ ช่วงเวลาที่กู้คืนบริการไม่เหมือนกับการพบสาเหตุราก (root cause)
- ผู้บัญชาการเหตุการณ์ (incident commander): บทบาทที่ประสานการตอบสนอง มอบหมายงาน และตัดสินใจ เป็นบทบาทตลอดระยะเวลาของเหตุขัดข้อง ไม่ใช่ตำแหน่งงาน
- การทบทวนหลังเหตุขัดข้อง (post-incident review): การตรวจสอบเหตุขัดข้องอย่างมีโครงสร้างและไม่กล่าวโทษหลังจากบริการกลับมา
- รายการดำเนินการ (action item): การเปลี่ยนแปลงที่เฉพาะเจาะจง มีเจ้าของ มีกำหนดวัน ซึ่งเป็นผลจากการทบทวน
หลักการสำคัญ
- แสดงเหตุการณ์ แล้วจึงสรุป เหตุการณ์ที่เกิดได้ยากสมควรมีไทม์ไลน์แต่ละรายการ รายงานเหตุขัดข้องรุนแรงแต่ละครั้งแยกกัน และใช้สถิติสรุปเฉพาะในช่วงเวลายาว พร้อมจำนวนไว้ข้างกัน
- เริ่มนาฬิกาที่ผลกระทบ ไม่ใช่ที่การรับรู้ ระยะเวลาที่เริ่มเมื่อมีคนสังเกตเห็นซ่อนช่องว่างการตรวจพบ ซึ่งมักเป็นส่วนใหญ่ของเรื่องราว
- วัดประสบการณ์ของผู้ใช้ ไม่ใช่ความพยายามของทีม ผลกระทบต่อลูกค้าคือเหตุผลที่กระบวนการมีอยู่ ชั่วโมงความพยายามของผู้ตอบสนองเป็นต้นทุนที่ต้องติดตาม ไม่ใช่คะแนน
- การสื่อสารเป็นส่วนหนึ่งของการกู้คืน บริการที่กู้คืนแล้วแต่ผู้ใช้ยังคงเดาอยู่เพิ่งได้รับการแก้ไขครึ่งเดียว ปฏิบัติต่อความทันเวลาของการอัปเดตเป็นตัวชี้วัดของการตอบสนอง
- การทบทวนยังไม่เสร็จจนกว่าการดำเนินการจะเสร็จ เอกสารที่เสร็จแล้วแต่มีการดำเนินการค้างอยู่ไม่ได้เปลี่ยนอะไร วัดการดำเนินการตามจนเสร็จ ไม่ใช่เพียงการมีอยู่ของการทบทวน
- อย่าจัดอันดับผู้คน และอย่าลงโทษการประกาศ หากการประกาศเหตุขัดข้องรุนแรงทำให้ทีมของผู้ประกาศเสียหายในรายงาน จะมีการประกาศน้อยลงและตัวชี้วัดจะดีขึ้นขณะที่บริการแย่ลง
- รักษาเกณฑ์การประกาศให้คงที่ การเลื่อนเกณฑ์เปลี่ยนตัวชี้วัดทุกตัวในหัวข้อนี้ บันทึกทุกการเปลี่ยนแปลงพร้อมเหตุผลและวันที่
นิยามตัวชี้วัด
| ตัวชี้วัด | นิยาม | สูตร | หน่วย | แหล่งข้อมูล | แนวปฏิบัติ ITIL | คู่เทียบแบบคล่องตัว | ความถี่ |
|---|---|---|---|---|---|---|---|
| จำนวนเหตุขัดข้องรุนแรง | เหตุขัดข้องรุนแรงที่ประกาศในช่วงเวลา แยกตามบริการ | จำนวนเหตุขัดข้องที่เข้าเกณฑ์การประกาศและประกาศในช่วงเวลา ตามเวลาประกาศ เหตุขัดข้องที่ลดระดับภายในชั่วโมงแรกแสดงแยกและไม่นับ | จำนวนต่อไตรมาส | ระเบียนเหตุขัดข้องในเครื่องมือ ITSM ที่มีธงเหตุขัดข้องรุนแรง | การจัดการเหตุขัดข้อง | การทบทวนสุขภาพของทีมหรือบริการ | รายงานรายเดือน แนวโน้มรายไตรมาส |
| ระยะเวลาเหตุขัดข้องรุนแรง | เวลาที่ลูกค้าได้รับผลกระทบ | เวลาที่บริการกู้คืนลบเวลาเริ่มผลกระทบ ต่อเหตุขัดข้อง เวลาเริ่มผลกระทบคือหลักฐานแรกสุดในการเฝ้าติดตามหรือรายงานของผู้ใช้ครั้งแรก แล้วแต่อย่างใดมาก่อน การกู้คืนบางส่วนบันทึกเป็นเหตุการณ์ของตนเอง และการกู้คืนเต็มหยุดนาฬิกา | นาที ต่อเหตุขัดข้อง | ไทม์ไลน์การเฝ้าติดตาม ไทม์ไลน์เหตุขัดข้องในเครื่องมือ ITSM | การจัดการเหตุขัดข้อง การจัดการระดับบริการ | เวลาในการกู้คืนในตัวชี้วัดการส่งมอบ (ดูหัวข้อ 2.8 “ตัวชี้วัด DORA”) | ต่อเหตุขัดข้อง ค่ามัธยฐานและค่าสูงสุดช่วงยาวรายไตรมาส |
| เวลาในการประกาศ | ความล่าช้าระหว่างเริ่มมีผลกระทบกับการประกาศเหตุขัดข้องรุนแรง | เวลาประกาศลบเวลาเริ่มผลกระทบ ต่อเหตุขัดข้อง เหตุขัดข้องที่ไม่เคยประกาศพบได้จากการทบทวนรายไตรมาสของเหตุขัดข้องธรรมดาที่มีผลกระทบสูง และรวมไว้ด้วยเวลาประกาศเป็น n/a (ไม่เคยประกาศ) | นาที ต่อเหตุขัดข้อง | ไทม์ไลน์การเฝ้าติดตาม เส้นทางการตรวจสอบของเครื่องมือ ITSM | การจัดการเหตุขัดข้อง การเฝ้าติดตามและการจัดการเหตุการณ์ | นิยามของความพร้อมสำหรับการยกระดับในข้อตกลงการทำงานของทีม | ต่อเหตุขัดข้อง |
| ผลกระทบต่อลูกค้า | ผู้ใช้กี่รายและการใช้งานเท่าใดได้รับผลกระทบ | ผู้ใช้ที่ได้รับผลกระทบ (หรือคำขอที่ล้มเหลว) คูณนาทีที่ได้รับผลกระทบ ต่อเหตุขัดข้อง นับเฉพาะผู้ใช้ที่พยายามใช้บริการในช่วงผลกระทบ ไม่นับการบำรุงรักษาที่วางแผนไว้ | ผู้ใช้-นาที หรือคำขอที่ล้มเหลว | โทรมาตรบริการ ระเบียนการติดต่อฝ่ายสนับสนุน | การจัดการระดับบริการ การจัดการเหตุขัดข้อง | ตัวชี้วัดระดับบริการที่ผู้ใช้เห็น (ดูหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด”) | ต่อเหตุขัดข้อง |
| ความทันเวลาของการสื่อสาร | ผู้เกี่ยวข้องที่ได้รับผลกระทบได้รับแจ้งทันเวลาหรือไม่ | สัดส่วนเหตุขัดข้องรุนแรงที่ประกาศแจ้งลูกค้าครั้งแรกออกไปภายในเป้าหมายหลังการประกาศ และสัดส่วนการอัปเดตที่กำหนดไว้ซึ่งส่งภายในช่วงที่ตกลง นาฬิกาเริ่มที่การประกาศ ไม่นับข้อความภายในอย่างเดียว | ร้อยละของเหตุขัดข้อง ร้อยละของการอัปเดต | ประวัติหน้าสถานะ บันทึกการสื่อสารในเครื่องมือ ITSM | การจัดการเหตุขัดข้อง การจัดการระดับบริการ | การสื่อสารกับผู้มีส่วนได้ส่วนเสียในข้อตกลงการทำงานของทีม | ต่อเหตุขัดข้อง สรุปรายไตรมาส |
| ความทันเวลาของการทบทวนให้เสร็จ | การทบทวนเกิดขึ้นเร็วพอที่จะมีประโยชน์หรือไม่ | สัดส่วนเหตุขัดข้องรุนแรงที่มีการทบทวนเผยแพร่ภายในจำนวนวันทำการที่ตกลงหลังการกู้คืน นาฬิกาหยุดที่การเผยแพร่ ไม่ใช่ที่ฉบับร่างแรก ไม่นับเหตุขัดข้องที่ยังอยู่ในช่วงเวลา | ร้อยละ | คลังการทบทวน เครื่องมือ ITSM | การปรับปรุงอย่างต่อเนื่อง การจัดการปัญหา | การติดตามผลการปรับปรุง | รายไตรมาส |
| การดำเนินการตามรายการดำเนินการจนเสร็จ | การดำเนินการจากการทบทวนเสร็จสิ้นหรือไม่ | การดำเนินการจากการทบทวนที่เสร็จตามกำหนด / การดำเนินการจากการทบทวนที่ครบกำหนดในช่วงเวลา การดำเนินการที่ปิดเป็น “จะไม่ทำ” นับแยกพร้อมเหตุผล ไม่ซ่อน | ร้อยละ จำนวนที่เกินกำหนด | ตัวติดตามประเด็นที่เชื่อมกับการทบทวน | การปรับปรุงอย่างต่อเนื่อง การจัดการปัญหา | รายการแบ็กล็อกจากการทบทวนย้อนหลัง | รายเดือน |
| อัตราเหตุขัดข้องรุนแรงซ้ำ | การเกิดซ้ำของสาเหตุเดียวกัน | เหตุขัดข้องรุนแรงในช่วงเวลาที่สาเหตุที่บันทึกตรงกับเหตุขัดข้องรุนแรงก่อนหน้าในสิบสองเดือนก่อน / เหตุขัดข้องรุนแรงในช่วงเวลา การจับคู่ทำตามฟิลด์สาเหตุ ตรวจสอบด้วยมือ | ร้อยละ พร้อมแสดงจำนวน | ระเบียนการทบทวน ระเบียนปัญหา | การจัดการปัญหา | งานป้องกันในแบ็กล็อก | รายไตรมาส |
ทุกแถวต้องมีกฎนาฬิกาที่เขียนไว้ก่อนจะเชื่อถือ ข้อพิพาทเรื่องเวลาเริ่มผลกระทบและเวลากู้คืนเกิดบ่อยและควรยุติล่วงหน้า (ดูหัวข้อ 1.5 “แหล่งข้อมูลและการติดตั้งเครื่องมือวัด”)
ข้อเสนอแนะ
เขียนไว้ว่าอะไรทำให้เหตุขัดข้องรุนแรง
เผยแพร่เกณฑ์การประกาศที่ทุกคนที่อยู่เวรใช้ได้ เกณฑ์มักรวมผลกระทบ (ผู้ใช้ที่ได้รับผลกระทบ บริการสำคัญที่ด้อยลง ความเสี่ยงด้านความปลอดภัยหรือกฎหมาย) กับความจำเป็นในการประสานงาน (ต้องใช้มากกว่าหนึ่งทีม) รายการสั้น ๆ พร้อมตัวอย่างดีกว่าเมทริกซ์ยาว ระบุว่าใครประกาศได้ และทำให้ชัดว่าการประกาศด้วยความสุจริตไม่เคยเป็นข้อผิดพลาด แม้เหตุขัดข้องจะกลายเป็นเรื่องเล็ก
บันทึกเวอร์ชันของเกณฑ์ในระเบียนเหตุขัดข้องทุกรายการ เมื่อเกณฑ์เลื่อน แนวโน้มก็เลื่อนตาม หมายเลขเวอร์ชันหรือวันที่บนแต่ละระเบียนช่วยให้เปรียบเทียบสิ่งที่เหมือนกัน และอธิบายการกระโดดของจำนวนที่มาจากการเปลี่ยนกฎ
นับและจัดประเภทโดยไม่เปลี่ยนจำนวนให้เป็นเป้าหมาย
รายงานจำนวนพร้อมบริบท แสดงจำนวนเหตุขัดข้องรุนแรงต่อไตรมาสข้างบริการ ตัวกระตุ้น (การเปลี่ยนแปลง กำลังความสามารถ ระบบที่พึ่งพา ความมั่นคงปลอดภัย อื่น ๆ) และเวอร์ชันของเกณฑ์ จำนวนที่ไม่มีบริบทเชื้อเชิญเป้าหมายเช่น “น้อยกว่าสามครั้งต่อไตรมาส” ซึ่งสอนให้ผู้คนไม่ประกาศ ปฏิบัติต่อจำนวนที่ลดลงเป็นข่าวดีเฉพาะเมื่อเวลาในการประกาศและผลกระทบต่อลูกค้าคงที่
แยกที่ประกาศ ที่ลดระดับ และที่พลาด ติดตามเหตุขัดข้องที่ประกาศแล้วลดระดับ เพราะแสดงว่าเกณฑ์สมเหตุสมผลหรือไม่ ทบทวนตัวอย่างเหตุขัดข้องธรรมดาทุกไตรมาสเพื่อหารายการที่ควรประกาศ รายการที่พลาดให้ข้อมูลมากที่สุด
จับเวลาเหตุขัดข้องจากฝั่งผู้ใช้
เริ่มนาฬิกาเมื่อลูกค้าได้รับผลกระทบ ใช้หลักฐานที่เชื่อถือได้แรกสุด ซึ่งมักเป็นสัญญาณการเฝ้าติดตามที่มาก่อนตั๋วแรก เมื่อเวลาเริ่มไม่แน่นอน ให้บันทึกค่าประมาณและแหล่งที่มา ไม่ใช่เวลาที่ใครสังเกตเห็น ช่องว่างระหว่างเวลาเริ่มผลกระทบกับการประกาศเป็นตัวชี้วัดในตัวเองและมักปรับปรุงได้ถูกที่สุด
แบ่งไทม์ไลน์เป็นระยะ การตรวจพบ การประกาศ การวินิจฉัย การบรรเทา และการกู้คืนเต็มรูปแบบ แต่ละระยะมีสาเหตุของความล่าช้าและเจ้าของต่างกัน การแยกระยะของแต่ละเหตุขัดข้องแสดงว่าเวลาหายไปที่ใดโดยไม่ต้องใช้ค่าเฉลี่ย การกู้คืนบริการด้วยวิธีแก้ขัดและการแก้สาเหตุเป็นเหตุการณ์แยกกัน และอย่างหลังเป็นของการจัดการปัญหา
ใช้ค่ามัธยฐานและกรณีเลวร้ายที่สุดในช่วงเวลายาว พร้อมจำนวน สำหรับข้อมูลหนึ่งปี รายงานค่ามัธยฐานและระยะเวลาที่ยาวที่สุด และบอกว่ามาจากเหตุขัดข้องกี่รายการ หลีกเลี่ยงเวลาเฉลี่ยในการกู้คืนตัวเดียวสำหรับเหตุขัดข้องรุนแรง เมื่อมีเหตุการณ์ไม่กี่ครั้งมันไม่เสถียรและถูกบิดเบือนโดยการล่มยาวครั้งเดียว (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ”)
ประเมินขนาดผลกระทบต่อลูกค้าด้วยถ้อยคำที่ผู้ใช้จำได้
เลือกผลกระทบแบบอิงผู้ใช้มากกว่าแบบอิงเซิร์ฟเวอร์ คำขอที่ล้มเหลว ผู้ใช้ที่ได้รับผลกระทบ หรือธุรกรรมที่ได้รับผลกระทบ อธิบายสิ่งที่เกิดกับผู้คน นาทีของบริการที่ด้อยลงบนส่วนประกอบอธิบายสิ่งที่เกิดกับเครื่อง เมื่อคุณมีตัวชี้วัดระดับบริการ ให้ใช้ (ดูหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด”) และเชื่อมเหตุขัดข้องกับภาพความพร้อมใช้งาน (ดูหัวข้อ 5.3 “ตัวชี้วัดความพร้อมใช้งาน”)
เพิ่มข้อความผลกระทบด้วยภาษาธรรมดาในแต่ละระเบียน หนึ่งหรือสองประโยคที่ระบุว่าใครได้รับผลกระทบและพวกเขาทำอะไรไม่ได้ การติดต่อฝ่ายสนับสนุน การกล่าวถึงในโซเชียลมีเดีย และการยกระดับจากลูกค้าเป็นหลักฐานของข้อความนั้น ไม่ใช่ตัวชี้วัดที่ต้องทำให้สูงสุด
วัดการสื่อสารเป็นส่วนหนึ่งของการตอบสนอง
ตั้งเป้าหมายการสื่อสารตามกลุ่มผู้รับ ลูกค้าที่ได้รับผลกระทบ ผู้มีส่วนได้ส่วนเสียภายใน และผู้บริหารต้องการข้อความต่างกันในเวลาต่างกัน ตกลงเป้าหมายสำหรับการแจ้งครั้งแรกหลังการประกาศและจังหวะสม่ำเสมอของการอัปเดต และวัดการปฏิบัติตามต่อเหตุขัดข้อง จังหวะสำคัญกว่าเนื้อหา การอัปเดตที่บอกว่า “ไม่มีการเปลี่ยนแปลง อัปเดตครั้งต่อไปในสามสิบนาที” และมาถึงตรงเวลาสร้างความไว้วางใจมากกว่าความเงียบ
แยกการตอบสนองและการสื่อสารไว้ในมือคนละคน ผู้นำด้านการสื่อสารทำให้ผู้บัญชาการเหตุการณ์มุ่งเน้นการวินิจฉัยได้ ทีมเล็กใช้รายการตรวจสอบและแม่แบบที่เขียนไว้ล่วงหน้าแทนได้
ปิดวงจรการเรียนรู้
จัดการทบทวนโดยเร็วและเผยแพร่ ความจำจางหาย จึงกำหนดช่วงเวลาสำหรับการทบทวนและวัดว่าเป็นไปตามนั้นหรือไม่ การทบทวนเสร็จสำคัญน้อยกว่าสิ่งที่การทบทวนเปลี่ยน จึงควรจับคู่กับการดำเนินการตามจนเสร็จ หนังสือ Site Reliability Engineering ของ Google ให้เหตุผลสนับสนุนการทบทวนแบบไม่กล่าวโทษและการเขียนไว้ (ดูเอกสารอ้างอิง) และหัวข้อ 4.2 (“ตัวชี้วัดการทบทวนหลังเหตุการณ์และการเรียนรู้”) ครอบคลุมคุณภาพการทบทวน
ติดตามการดำเนินการจนจบ และอนุญาต “จะไม่ทำ” อย่างตรงไปตรงมา วางแต่ละการดำเนินการในแบ็กล็อกที่ทีมเจ้าของใช้อยู่แล้ว พร้อมเจ้าของและวันที่ บันทึกการดำเนินการที่ปฏิเสธพร้อมเหตุผล แทนที่จะปล่อยให้เน่าเสีย ทบทวนการดำเนินการที่เกินกำหนดในการทบทวนการปฏิบัติการหรือบริการ และถามว่าอะไรขวางอยู่ จำกัดจำนวนการดำเนินการต่อการทบทวนเพื่อให้ที่เหลืออยู่เป็นรายการที่สำคัญ
มองหารูปแบบข้ามเหตุขัดข้อง และส่งไปยังการจัดการปัญหา สาเหตุที่เกิดซ้ำ ตัวกระตุ้นที่พบบ่อย และช่องว่างการตรวจพบที่เกิดซ้ำเป็นสัญญาณที่การทบทวนครั้งเดียวมองข้าม ป้อนเข้าสู่กระบวนการปัญหาและข้อผิดพลาดที่ทราบ (ดูหัวข้อ 4.1 “ตัวชี้วัดการจัดการปัญหา”) และเข้าสู่การวางแผนของทีมที่เป็นเจ้าของบริการ ปฏิบัติต่ออัตราการเกิดซ้ำที่เพิ่มขึ้นเป็นสิ่งกระตุ้นให้สืบสวน ไม่ใช่คำตัดสิน
ช่องทางการบิดเบือนและมาตรการป้องกัน
| ตัวชี้วัด | วิธีที่ถูกบิดเบือน | ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่ |
|---|---|---|
| จำนวนเหตุขัดข้องรุนแรง | ยกเกณฑ์การประกาศให้สูงขึ้น คงเหตุขัดข้องไว้ที่ลำดับ “สูง” เพื่อไม่ให้ถูกประกาศ แยกเหตุการณ์เดียวเป็นหลายระเบียน หรือรวมหลายเหตุการณ์เป็นหนึ่ง | เกณฑ์ที่คงที่และมีเวอร์ชัน การสุ่มตรวจรายไตรมาสของเหตุขัดข้องธรรมดาที่มีผลกระทบสูง ติดตามผลกระทบต่อลูกค้าและเวลาในการประกาศข้างจำนวน |
| ระยะเวลาเหตุขัดข้องรุนแรง | เลื่อนเวลาเริ่มผลกระทบให้ช้าลง ประกาศว่า “กู้คืนแล้ว” ขณะที่ผู้ใช้ยังล้มเหลว หรือปิดและเปิดระเบียนใหม่ | เวลาเริ่มผลกระทบนำจากการเฝ้าติดตาม การกู้คืนยืนยันด้วยตัวชี้วัดที่ผู้ใช้เห็น ระเบียนที่เปิดใหม่และเชื่อมโยงนับเป็นเหตุขัดข้องเดียว |
| เวลาในการประกาศ | ประกาศเร็วกับทุกอย่างเพื่อให้ดูรวดเร็ว หรือย้อนวันที่การประกาศไปที่เวลาเริ่มผลกระทบ | สัดส่วนของเหตุขัดข้องที่ประกาศแล้วถูกลดระดับภายหลัง เส้นทางการตรวจสอบของเวลาประกาศ การสุ่มตรวจไทม์ไลน์เทียบกับข้อมูลการเฝ้าติดตามดิบ |
| ผลกระทบต่อลูกค้า | จำกัดนิยามของ “ได้รับผลกระทบ” นับเฉพาะผู้ใช้ที่เปิดตั๋ว หรือวัดระบบที่พึ่งพาที่ยังทำงานอยู่ | ผลกระทบที่ได้จากโทรมาตรเช่นเดียวกับการติดต่อ ข้อความผลกระทบด้วยภาษาธรรมดาที่ทบทวนในการทบทวนเหตุขัดข้อง |
| ความทันเวลาของการสื่อสาร | โพสต์ประกาศที่คลุมเครือเพื่อเริ่มนาฬิกา ส่งการอัปเดตที่ไม่มีเนื้อหา หรือนับข้อความภายใน | การตรวจเนื้อหาของตัวอย่างการอัปเดต ข้อเสนอแนะจากลูกค้าเรื่องความชัดเจน นับเฉพาะประกาศที่ถึงลูกค้า |
| ความทันเวลาของการทบทวนให้เสร็จ | เผยแพร่เอกสารบาง ๆ เพื่อให้ทันกำหนด หรือประกาศว่าการทบทวน “ไม่จำเป็น” | เพื่อนร่วมงานอ่านคุณภาพการทบทวนบนตัวอย่าง (ดูหัวข้อ 4.2 “ตัวชี้วัดการทบทวนหลังเหตุการณ์และการเรียนรู้”) แสดงสัดส่วนการทบทวนที่ยกเว้น |
| การดำเนินการตามรายการดำเนินการจนเสร็จ | เขียนการดำเนินการที่คลุมเครือหรือไม่สำคัญซึ่งปิดง่าย ปิดการดำเนินการโดยไม่ทำงานจริง หรือติดป้ายใหม่เป็น “จะไม่ทำ” | สุ่มตรวจคุณภาพการดำเนินการ ตรวจสอบการดำเนินการที่ปิดเทียบกับการเปลี่ยนแปลงระบบ ทบทวนสัดส่วนและเหตุผลของ “จะไม่ทำ” |
| อัตราเหตุขัดข้องรุนแรงซ้ำ | บันทึกแต่ละสาเหตุเป็นสาเหตุใหม่โดยเลือกถ้อยคำต่างออกไป หรือโทษทุกอย่างว่าเป็น “ความผิดพลาดของมนุษย์” | อนุกรมวิธานสาเหตุสั้น ๆ พร้อมนิยาม ผู้ที่อยู่นอกเหตุขัดข้องทบทวนฟิลด์สาเหตุ ไม่ยอมรับ “ความผิดพลาดของมนุษย์” เป็นสาเหตุโดยไม่มีคำอธิบายเชิงระบบ |
ภาพที่ดีคือจำนวนเหตุขัดข้องที่ประกาศอยู่ในระดับปานกลางและค่อนข้างคงที่ โดยมีการลดระดับเป็นครั้งคราวและมีเหตุที่พลาดซึ่งพบในการทบทวนเป็นครั้งคราว เวลาในการประกาศสั้นและลดลง ผลกระทบต่อลูกค้าต่อเหตุขัดข้องเป็นที่เข้าใจและลดลงในที่ที่ทำงานป้องกัน และการอัปเดตที่ส่งถึงลูกค้าเกือบทั้งหมดตรงตามกำหนด การทบทวนเผยแพร่ตรงเวลาและการดำเนินการส่วนใหญ่เสร็จสิ้น โดยมีชุดการดำเนินการที่ปฏิเสธน้อย ๆ อย่างตรงไปตรงมา หากทุกอย่างดูสมบูรณ์แบบ ให้ถามว่าเกณฑ์เลื่อนไปหรือผู้คนเลิกประกาศหรือไม่ (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”) กฎที่ตั้งชื่อตามชาร์ลส์ กูดฮาร์ต (Charles Goodhart)เห็นได้ง่ายที่สุดที่นี่ เพราะต้นทุนของตัวเลขที่ไม่ดีคือความเต็มใจที่ลดลงในการส่งสัญญาณเตือน
ข้อแลกเปลี่ยน: ข้อดีและข้อเสีย
| ทางเลือก | จุดแข็ง | จุดอ่อน |
|---|---|---|
| แสดงแต่ละเหตุขัดข้องเป็นแถว | รักษาบริบท หลีกเลี่ยงค่าเฉลี่ยที่ทำให้เข้าใจผิดบนจำนวนน้อย | สรุปให้ผู้นำยากกว่า ต้องมีเรื่องเล่าสั้น ๆ ต่อเหตุขัดข้อง |
| รายงานจำนวนเหตุขัดข้องรุนแรง | เรียบง่าย คุ้นเคย ผู้นำมองเห็น | เปลี่ยนเป็นเป้าหมายได้ง่าย ตอบสนองต่อการเปลี่ยนเกณฑ์ |
| เวลาจากเริ่มผลกระทบ | สะท้อนประสบการณ์ผู้ใช้ เผยช่องว่างการตรวจพบ | เวลาเริ่มผลกระทบบางครั้งไม่แน่นอนและต้องใช้วิจารณญาณ |
| เวลาจากการประกาศ | บันทึกและเปรียบเทียบง่าย | ซ่อนการตรวจพบที่ช้าและการประกาศที่ช้า |
| ผู้ใช้-นาทีของผลกระทบ | เปรียบเทียบข้ามเหตุขัดข้องและบริการได้ | ต้องมีโทรมาตร ปฏิบัติต่อผู้ใช้และนาทีทั้งหมดเท่ากัน |
| อัตราการทบทวนเสร็จ | รวบรวมง่าย กระตุ้นนิสัย | ให้รางวัลแก่เอกสาร ไม่ใช่การเรียนรู้ |
| อัตราการดำเนินการตามจนเสร็จ | เชื่อมการทบทวนกับการเปลี่ยนแปลง | บิดเบือนได้ด้วยการดำเนินการที่ไม่สำคัญ ต้องมีเจ้าของและแบ็กล็อก |
ใช้ชุดตัวชี้วัดเล็ก ๆ ที่ครอบคลุมทั้งวงจร (ประกาศ กู้คืน แจ้ง เรียนรู้ ทำให้เสร็จ) แทนการปรับให้ดีที่สุดเพียงตัวเดียว เพิ่มตัวชี้วัดผลกระทบเฉพาะเมื่อมีโทรมาตร เมื่อไม่มีโทรมาตร ข้อความผลกระทบที่เขียนอย่างรอบคอบให้ประโยชน์มากกว่าตัวเลขที่สร้างขึ้น
คำถามสำหรับอภิปรายกับทีม
1. อะไรทำให้เหตุขัดข้องเป็นเหตุขัดข้องรุนแรงที่นี่ และทุกคนที่อยู่เวรเห็นด้วยหรือไม่ นิยามเป็นรากฐานของตัวเลขอื่นทุกตัว ขอให้สามคนจัดประเภทเหตุขัดข้องล่าสุดเดียวกันและเปรียบเทียบคำตอบ ความเห็นที่ไม่ตรงกันแสดงว่าเกณฑ์คลุมเครือตรงไหน ผู้ดำเนินการอภิปรายควรจดตัวอย่างที่จะเพิ่มในเกณฑ์ที่เขียนไว้และตกลงว่าใครประกาศได้ ปิดท้ายด้วยการยืนยันว่าการประกาศด้วยความสุจริตยอมรับได้เสมอ แม้เหตุขัดข้องจะถูกลดระดับภายหลัง
2. ในเหตุขัดข้องรุนแรงครั้งล่าสุดของเรา ใช้เวลานานเท่าใดระหว่างเริ่มมีผลกระทบกับการประกาศ สร้างไทม์ไลน์ขึ้นใหม่จากการเฝ้าติดตาม ไม่ใช่ความจำ ช่องว่างมักใหญ่กว่าที่คาดและบางครั้งเป็นระยะที่ยาวที่สุด ถามว่ามีสัญญาณใดและใครเห็น และช่องว่างมาจากเกณฑ์ที่ไม่ชัดเจน การแจ้งเตือนที่ขาดหายไป หรือความลังเลที่จะประกาศ เลือกการเปลี่ยนแปลงหนึ่งอย่างที่จะทำให้สั้นลง และตัดสินใจว่าจะรู้ได้อย่างไร
3. ใครได้รับผลกระทบ และเรารู้ได้อย่างไร เปรียบเทียบสิ่งที่ทีมเชื่อในเวลานั้นกับสิ่งที่โทรมาตรและการติดต่อฝ่ายสนับสนุนแสดงภายหลัง ถามว่าลูกค้ากลุ่มใด หากมี ได้รับผลกระทบมากกว่ากลุ่มอื่น และเป็นกลุ่มที่สำคัญที่สุดต่อธุรกิจหรือกลุ่มที่รับมือได้น้อยที่สุดหรือไม่ อภิปรายว่าข้อความผลกระทบเป็นสิ่งที่ลูกค้าจำได้หรือไม่ ตกลงตัวชี้วัดผลกระทบหนึ่งอย่างที่คุณรวบรวมได้อย่างเชื่อถือได้ในครั้งหน้า
4. ผู้คนได้ยินจากเราเมื่อพวกเขาต้องการหรือไม่ และข้อความมีประโยชน์หรือไม่ ตรวจสอบการแจ้งครั้งแรกและแต่ละการอัปเดตเทียบกับจังหวะที่ตกลง อ่านข้อความจริงอย่างที่ลูกค้าจะอ่าน ถามว่าข้อความบอกสิ่งที่ทราบ สิ่งที่ไม่ทราบ และเมื่อใดจะมีการอัปเดตครั้งต่อไปหรือไม่ อภิปรายว่าใครเป็นเจ้าของการสื่อสารระหว่างเหตุขัดข้องและบุคคลนั้นว่างพอที่จะทำหรือไม่
5. อะไรเกิดขึ้นกับการดำเนินการจากการทบทวนสามครั้งล่าสุดของเรา ดึงการดำเนินการมารวมเป็นรายการเดียวและทำเครื่องหมายแต่ละรายการว่าเสร็จ กำลังดำเนินการ เกินกำหนด หรือปฏิเสธ สำหรับรายการที่เกินกำหนด ถามว่าอะไรขวางอยู่ ได้แก่ กำลังความสามารถ ความเป็นเจ้าของ ลำดับความสำคัญ หรือขอบเขตที่ไม่ชัดเจน ตัดสินใจว่าจะยกการดำเนินการที่เกินกำหนดขึ้นในการประชุมปฏิบัติการหรือการวางแผนครั้งต่อไปอย่างไร
6. หากเราถูกวัดจากจำนวนเหตุขัดข้องรุนแรง เราจะทำอะไรต่างออกไป และลูกค้าจะดีขึ้นหรือไม่ คำถามนี้เผยช่องทางการบิดเบือนก่อนที่จะเกิดขึ้น ขอให้กลุ่มพูดตรง ๆ ว่าอาจเปลี่ยนอะไร ได้แก่ เกณฑ์ ป้ายชื่อ ใครประกาศ จากนั้นถามว่าเป้าหมายที่ดีกว่าคืออะไร คำตอบที่ดีเคลื่อนไปทางผลกระทบต่อลูกค้า เวลาในการประกาศ และการดำเนินการตามจนเสร็จ ซึ่งบิดเบือนยากกว่าโดยไม่ช่วยผู้ใช้ บันทึกคำตอบเป็นมาตรการป้องกัน
สี่มุมมอง
ทีมผลิตภัณฑ์และการส่งมอบ
ทีมผลิตภัณฑ์พบเหตุขัดข้องรุนแรงเป็นการขัดจังหวะงานที่วางแผนไว้และเป็นข้อเสนอแนะต่อการเปลี่ยนแปลงของตนเอง พวกเขาได้ประโยชน์มากที่สุดจากตัวเลขผลกระทบที่ชัดเจน การเข้าถึงไทม์ไลน์เหตุขัดข้องของตนเองได้รวดเร็ว และการดำเนินการจากการทบทวนที่ตกอยู่ในแบ็กล็อกของพวกเขาพร้อมที่ว่างให้ทำ สำรองกำลังความสามารถสำหรับการติดตามผลเหตุขัดข้อง และปฏิบัติต่อการดำเนินการเป็นงานที่มีฐานะเท่ากับฟีเจอร์ แบ่งปันหมวดหมู่สาเหตุเพื่อให้ตัวกระตุ้นที่เกิดซ้ำนำไปสู่การเปลี่ยนแปลงแนวปฏิบัติ (ดูหัวข้อ 2.9 “งานปฏิบัติการและงานที่ไม่ได้วางแผน”)
ทีมบริการและปฏิบัติการ
ทีมปฏิบัติการดำเนินการตอบสนองและแบกต้นทุนของงานดึกดื่น พวกเขาต้องการเกณฑ์ที่ใช้ได้ตอนตีสาม บทบาทผู้บัญชาการและการสื่อสารที่จัดคนได้ และเครื่องมือที่บันทึกไทม์ไลน์ขณะที่เหตุการณ์เกิดขึ้นแทนที่จะเป็นจากความจำภายหลัง พวกเขาควรจับตาภาระที่เหตุขัดข้องรุนแรงวางไว้บนคนกลุ่มเล็ก (ดูหัวข้อ 5.7 “ตัวชี้วัดงานซ้ำซากและเวรเรียกฉุกเฉิน”) และใช้ตัวชี้วัดในหัวข้อนี้เพื่อขอให้มีงานป้องกัน ไม่ใช่เพื่อเปรียบเทียบผู้ตอบสนอง
ภาวะผู้นำและการกำกับดูแล
ผู้นำกำหนดบรรยากาศที่ตัดสินว่าผู้คนจะประกาศเร็วและรายงานอย่างซื่อตรงหรือไม่ พวกเขาควรขอเรื่องราวของเหตุขัดข้องรุนแรงแต่ละครั้งและแนวโน้มตลอดหนึ่งปี หลีกเลี่ยงเป้าหมายกับจำนวน และถามถึงผลกระทบต่อลูกค้า ช่องว่างการตรวจพบ และการดำเนินการที่เสร็จแล้ว สนับสนุนทุนสำหรับงานป้องกันที่การทบทวนแนะนำ และทบทวนในเวทีเดียวกับแผนการส่งมอบ การกำกับดูแลจึงเห็นได้ว่าบทเรียนกลายเป็นการเปลี่ยนแปลงหรือไม่ (ดูหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด” สำหรับวิธีเชื่อมความน่าเชื่อถือกับการลงทุน)
ลูกค้าและผู้ใช้
ลูกค้าตัดสินเหตุขัดข้องรุนแรงจากระยะเวลาที่พวกเขาได้รับผลกระทบ ได้รับแจ้งหรือไม่ และเกิดซ้ำอีกหรือไม่ พวกเขาได้รับบริการที่ดีกว่าจากประกาศที่ตรงไปตรงมาแต่เร็ว มากกว่าประกาศที่ขัดเกลาแต่ช้า ให้ช่องทางสถานะ จังหวะที่พวกเขาพึ่งพาได้ และคำอธิบายที่ชัดเจนภายหลังว่าเกิดอะไรขึ้นและอะไรจะเปลี่ยน ในที่ที่มีสัญญา ให้รายงานตามเงื่อนไขที่ตกลงในข้อตกลงระดับบริการ (ดูหัวข้อ 5.1 “ตัวชี้วัด SLA, OLA และ XLA”) ความพึงพอใจหลังเหตุขัดข้องควรค่าแก่การถาม (ดูหัวข้อ 6.1 “ตัวชี้วัดความพึงพอใจของลูกค้า”)
ในทางปฏิบัติ: ตัวอย่าง ITIL แบบคล่องตัว
ร้านค้าปลีกออนไลน์ขนาดกลางแห่งหนึ่งดำเนินหน้าร้าน บริการชำระเงิน และบริการจัดการคำสั่งซื้อ แต่ละบริการเป็นของทีมผลิตภัณฑ์ โดยมีทีมแพลตฟอร์มส่วนกลางอยู่เวรเรียกฉุกเฉิน กลุ่มการจัดการบริการขนาดเล็กดำเนินกระบวนการเหตุขัดข้องรุนแรง ตัวเลขทั้งหมดในตัวอย่างนี้เป็นตัวเลขประกอบ
ในสองไตรมาสที่ผ่านมา ร้านประกาศเหตุขัดข้องรุนแรงห้าครั้ง (ตัวเลขประกอบ) กลุ่มการจัดการบริการแสดงแต่ละครั้งเป็นแถวพร้อมเวลาเริ่มผลกระทบ เวลาประกาศ เวลากู้คืน ประมาณการคำสั่งซื้อที่ล้มเหลว เวลาของการแจ้งลูกค้าครั้งแรก และสถานะการทบทวน พวกเขาสังเกตว่าช่องว่างมัธยฐานระหว่างเริ่มมีผลกระทบกับการประกาศคือ 38 นาที (ตัวเลขประกอบ) เกือบยาวเท่ากับเวลามัธยฐานจากการประกาศถึงการกู้คืนที่ 52 นาที (ตัวเลขประกอบ) เมื่อมีเหตุขัดข้องห้าครั้ง พวกเขาถือว่าทั้งสองตัวเลขเป็นค่าคร่าว ๆ และอ่านไทม์ไลน์แทน สามในห้าแสดงการแจ้งเตือนจากการเฝ้าติดตามที่ทำงานตั้งแต่เนิ่น ๆ และค้างอยู่โดยไม่มีใครรับทราบในช่องทางที่ใช้ร่วมกัน
ทีมตัดสินใจส่งการแจ้งเตือนประเภทนั้นไปยังเพจเจอร์เวรเรียกฉุกเฉิน และเพิ่มบรรทัดในเกณฑ์ว่าสัญญาณความล้มเหลวของการชำระเงินที่ต่อเนื่องเพียงพอที่จะประกาศ โดยไม่ต้องรอตั๋ว พวกเขายังตั้งเป้าหมายการแจ้งลูกค้าครั้งแรกภายใน 20 นาทีหลังการประกาศ (ตัวเลขประกอบ) และตรวจสอบต่อเหตุขัดข้อง สองในห้าทำได้ ทีมติดตั้งใช้งานเพิ่มแม่แบบหน้าสถานะที่ผู้นำด้านการสื่อสารกรอกได้ภายใต้แรงกดดัน
ระหว่างการทบทวนเดียวกัน พวกเขาพบความเสี่ยงด้านการบิดเบือน ผู้จัดการของทีมผลิตภัณฑ์หนึ่งเสนอเป้าหมายรายไตรมาส “ไม่เกินสองเหตุขัดข้องรุนแรง” กลุ่มการจัดการบริการชี้ว่าไตรมาสก่อนมีเหตุขัดข้องหนึ่งครั้งที่คงอยู่ที่ลำดับความสำคัญสูงสี่ชั่วโมงขณะที่ลูกค้าชำระเงินล้มเหลว ซึ่งไม่เคยถูกประกาศเพราะทีมใกล้ถึงขีดจำกัด พวกเขาแทนที่เป้าหมายด้วยตัวชี้วัดสามตัว ได้แก่ เวลาในการประกาศ คำสั่งซื้อที่ล้มเหลวต่อเหตุขัดข้อง และสัดส่วนการดำเนินการจากการทบทวนที่เสร็จตรงเวลา พวกเขาเพิ่มมาตรการป้องกันเป็นการสุ่มตัวอย่างรายไตรมาสของเหตุขัดข้องลำดับความสำคัญสูงที่ผู้อยู่นอกทีมเจ้าของอ่าน ในไตรมาสถัดไป จำนวนที่ประกาศเพิ่มเป็นสี่ (ตัวเลขประกอบ) เวลามัธยฐานในการประกาศลดลง และการทบทวนแบบสุ่มไม่พบการประกาศที่พลาด
มุมมองตามประเภทองค์กร
สตาร์ตอัป สตาร์ตอัปอาจไม่มีกระบวนการเหตุขัดข้องรุนแรงที่เป็นทางการ มีเพียงผู้ที่ตื่นอยู่ เริ่มด้วยนิยามหนึ่งย่อหน้า ผู้ประสานงานที่ระบุชื่อสำหรับแต่ละเหตุการณ์ และเอกสารร่วมที่บันทึกไทม์ไลน์ นับเหตุขัดข้องและจดผลกระทบในหนึ่งประโยค การทบทวนอาจเป็นบันทึกครึ่งหน้า และการติดตามผลเป็นรายการในแบ็กล็อกของทีม
ธุรกิจขนาดเล็ก ธุรกิจขนาดเล็กมักพึ่งพาซัพพลายเออร์สำหรับบริการส่วนใหญ่ ไทม์ไลน์จึงรวมการรอซัพพลายเออร์ บันทึกเวลาติดต่อและตอบสนองของซัพพลายเออร์ในไทม์ไลน์เหตุขัดข้อง เพราะอธิบายระยะเวลาส่วนใหญ่และให้หลักฐานสำหรับการสนทนาเรื่องสัญญา รักษาการสื่อสารกับลูกค้าให้เรียบง่าย ได้แก่ ช่องทางเดียว บุคคลเดียว และช่วงการอัปเดตที่ระบุ
องค์กรขนาดใหญ่ องค์กรขนาดใหญ่ดำเนินบริการจำนวนมากและมีเหตุขัดข้องจำนวนมากในแต่ละช่วงเวลา ดังนั้นทั้งจำนวนต่อบริการและยอดรวมจึงมีประโยชน์ ความเสี่ยงคือเกณฑ์ที่ไม่สอดคล้องกันระหว่างหน่วยงาน และกระบวนการที่หนักจนทำให้การประกาศช้า ปรับนิยามให้สอดคล้อง รักษากระบวนการให้เบาในสิบห้านาทีแรก และใช้รูปแบบระเบียนร่วมเพื่อเปรียบเทียบผลกระทบและการสื่อสารได้
ภาครัฐและภาคสาธารณะ หน่วยงานสาธารณะมักมีหน้าที่ตามกฎหมาย เช่นการแจ้งหน่วยงานกำกับดูแลหรือสาธารณะ และต้นทุนความล้มเหลวที่สูงกว่าสำหรับประชาชนที่ไม่มีทางเลือกอื่น เพิ่มตัวชี้วัดการปฏิบัติตามหน้าที่การแจ้งและผลกระทบต่อกลุ่มเปราะบาง และเก็บระเบียนที่ทนต่อการตรวจสอบและคำขอข้อมูลสาธารณะ วงจรการจัดซื้ออาจทำให้รายการดำเนินการล่าช้า จึงควรติดตามการดำเนินการที่ถูกขวางและยกระดับ
กรณีทางธุรกิจ: แรงจูงใจ ROI และ TCO
แรงจูงใจคือการลดต้นทุนของเหตุขัดข้องที่สร้างความเสียหายมากที่สุด ได้แก่ รายได้หรือบริการที่สูญเสีย ความไว้วางใจที่เสียหาย ความเหนื่อยหน่ายของบุคลากร และความเสี่ยงด้านกฎระเบียบ ชุดตัวชี้วัดเหตุขัดข้องรุนแรงที่เล็กและสม่ำเสมอแสดงว่าต้นทุนนั้นมาจากที่ใด การตรวจพบและการสื่อสารดีขึ้นหรือไม่ และการลงทุนในการป้องกันเห็นผลหรือไม่ ตัวชี้วัดที่แสดงเพียงจำนวนผลักต้นทุนไปสู่การซ่อนเหตุขัดข้อง
ต้นทุนการรวบรวมอยู่ในระดับพอประมาณหากข้อมูลอยู่ในเครื่องมือ ITSM ระบบเฝ้าติดตาม และตัวติดตามประเด็นอยู่แล้ว ต้นทุนหลักคือการตกลงนิยาม การเชื่อมระเบียนเหตุขัดข้องกับการเฝ้าติดตามและแบ็กล็อกการดำเนินการ และเวลาที่ใช้เขียนแต่ละการทบทวน ตัวชี้วัดมีต้นทุนน้อยนอกเหนือจากการทำให้ระเบียนสม่ำเสมอ
ผลตอบแทนปรากฏเป็นเวลาในการประกาศที่สั้นลง การสื่อสารที่ชัดเจนขึ้น เหตุขัดข้องซ้ำที่น้อยลง และการทำงานซ้ำที่น้อยลง ไม่มีตัวเลขสากลที่ใช้ได้ ดังนั้นให้ประมาณของคุณเอง นำเหตุขัดข้องรุนแรงของปีที่แล้ว ประมาณต้นทุนของผลกระทบหนึ่งชั่วโมงสำหรับแต่ละบริการร่วมกับฝ่ายการเงิน และเปรียบเทียบกับต้นทุนของงานติดตามผลที่ต้องใช้เพื่อป้องกันสาเหตุที่เกิดซ้ำ ต้นทุนรวมในการเป็นเจ้าของรวมเวลาของผู้ทบทวน เครื่องมือสำหรับไทม์ไลน์และหน้าสถานะ และกำลังความสามารถที่กันไว้สำหรับการดำเนินการติดตามผล ซึ่งเป็นที่ที่โปรแกรมส่วนใหญ่ลงทุนน้อยเกินไป
รูปแบบที่ไม่ควรทำและข้อควรระวัง
- เป้าหมายสำหรับจำนวนเหตุขัดข้องรุนแรง สอนให้ผู้คนหลีกเลี่ยงการประกาศ แทนที่จะทำเช่นนั้น ให้ติดตามเวลาในการประกาศ ผลกระทบ และการดำเนินการตามจนเสร็จ และสุ่มตรวจหาการประกาศที่พลาด
- เวลาเฉลี่ยในการกู้คืนตัวเดียวสำหรับเหตุขัดข้องรุนแรง เมื่อมีเหตุการณ์น้อย การล่มยาวครั้งเดียวครอบงำ แทนที่จะทำเช่นนั้น ให้แสดงแต่ละเหตุขัดข้อง แล้วจึงแสดงค่ามัธยฐานและค่าที่ยาวที่สุดตลอดหนึ่งปีพร้อมจำนวน
- เริ่มนาฬิกาที่การประกาศ ซ่อนความล่าช้าของการตรวจพบและการประกาศ แทนที่จะทำเช่นนั้น ให้เริ่มที่หลักฐานแรกสุดของผลกระทบต่อลูกค้า และรายงานช่องว่างแยกต่างหาก
- จัดอันดับผู้ตอบสนองหรือทีมตามตัวชี้วัดเหตุขัดข้อง ทำลายความตรงไปตรงมาและทำให้การทบทวนเสียหาย แทนที่จะทำเช่นนั้น ให้รายงานตามบริการและระบบ และเก็บชื่อออกจากข้อมูล
- ถือว่าการทบทวนเสร็จเมื่อเผยแพร่เอกสาร การเปลี่ยนแปลงคือประเด็น แทนที่จะทำเช่นนั้น ให้วัดการดำเนินการตามจนเสร็จและดูการดำเนินการที่เกินกำหนดทุกเดือน
- การเปลี่ยนเกณฑ์อย่างเงียบ ๆ แนวโน้มไม่มีความหมาย แทนที่จะทำเช่นนั้น ให้ใส่เวอร์ชันให้เกณฑ์และบันทึกการเปลี่ยนแปลงในรายงาน
- นับเฉพาะตั๋วเป็นผลกระทบ ผู้ใช้ที่ได้รับผลกระทบจำนวนมากไม่เคยโทร แทนที่จะทำเช่นนั้น ให้ใช้โทรมาตรและเพิ่มข้อความผลกระทบด้วยภาษาธรรมดา
- ใช้ตัวชี้วัดเพื่อกล่าวโทษ ผู้คนจะซ่อนข้อเท็จจริง แทนที่จะทำเช่นนั้น ให้รักษาการทบทวนแบบไม่กล่าวโทษ มุ่งที่เงื่อนไขและการตัดสินใจ และมองหาสาเหตุเชิงระบบ
แบบจำลองวุฒิภาวะ
| มิติ | 1 เริ่มต้น | 2 พัฒนา | 3 ทำให้เป็นมาตรฐาน | 4 บริหารจัดการ | 5 ประสานจัดการ |
|---|---|---|---|---|---|
| นิยามและนาฬิกา | รุนแรงหมายถึงสิ่งที่คนเสียงดังที่สุดบอก เวลามาจากความจำ | บางทีมมีเกณฑ์และเขียนเวลาเริ่มและสิ้นสุด | นิยามเขียนไว้หนึ่งชุด มีเวอร์ชัน พร้อมกฎนาฬิกาสำหรับเวลาเริ่มผลกระทบ การประกาศ และการกู้คืน | ตรวจสอบนิยามและนาฬิกาเทียบกับการเฝ้าติดตาม บันทึกการเปลี่ยนแปลงพร้อมเหตุผล | ตกลงเกณฑ์และนาฬิกากับซัพพลายเออร์และลูกค้า ปรับปรุงเมื่อไม่ช่วยให้ตัดสินใจอีกต่อไป |
| ผลกระทบและการสื่อสาร | อธิบายผลกระทบด้วยเรื่องเล่า ส่งการอัปเดตเมื่อมีคนนึกได้ | ประมาณผลกระทบสำหรับบางเหตุขัดข้อง บางทีมใช้หน้าสถานะ | วัดผลกระทบจากโทรมาตรสำหรับบริการสำคัญ ตั้งและติดตามเป้าหมายการอัปเดต | ติดตามแนวโน้มผลกระทบและการสื่อสารและเชื่อมกับข้อเสนอแนะจากลูกค้า | แบ่งปันผลกระทบกับลูกค้าและซัพพลายเออร์ในรูปแบบร่วม พร้อมการดำเนินการปรับปรุงร่วมกัน |
| การทบทวนและการดำเนินการตามจนเสร็จ | การทบทวนเกิดน้อยและไม่ได้เขียน ลืมการดำเนินการ | บางทีมเขียนการทบทวน บันทึกการดำเนินการแต่ไม่ติดตาม | ทบทวนเหตุขัดข้องรุนแรงทุกครั้งตรงเวลา ติดตามการดำเนินการในแบ็กล็อกของทีม | ทบทวนการดำเนินการที่เกินกำหนดและสาเหตุที่เกิดซ้ำตามรอบ พร้อมงานป้องกันที่ได้รับทุน | แบ่งปันรูปแบบข้ามทีมและซัพพลายเออร์ การเรียนรู้เปลี่ยนการออกแบบและการวางแผนเป็นกิจวัตร |
| การใช้ในการตัดสินใจ | อ้างตัวเลขหลังเหตุการณ์ | แสดงจำนวนให้ผู้นำโดยไม่มีบริบท | แสดงไทม์ไลน์และแนวโน้มให้ทีมที่เป็นเจ้าของบริการ | จับคู่ตัวชี้วัดกับมาตรการป้องกันและใช้จัดลำดับความสำคัญของงานด้านความน่าเชื่อถือ | ตัดสินใจลงทุนด้านความน่าเชื่อถือร่วมกันโดยใช้หลักฐานผลกระทบและการเกิดซ้ำข้ามบริการ |
รายการตรวจสอบ
- เกณฑ์การประกาศเขียนไว้ มีเวอร์ชัน และทุกคนที่อยู่เวรรู้
- การประกาศด้วยความสุจริตปลอดภัยอย่างชัดแจ้ง และไม่มีเป้าหมายกับจำนวน
- นิยามเวลาเริ่มผลกระทบ การประกาศ และการกู้คืน และนำมาจากการเฝ้าติดตามหรือเส้นทางการตรวจสอบ
- แสดงเหตุขัดข้องรุนแรงแต่ละครั้งเป็นแถวของตนเองพร้อมไทม์ไลน์ตามระยะ
- ผลกระทบต่อลูกค้าได้จากโทรมาตรเมื่อมี และอธิบายในข้อความด้วยภาษาธรรมดา
- ตั้งเป้าหมายสำหรับการแจ้งครั้งแรกและจังหวะการอัปเดต และตรวจสอบต่อเหตุขัดข้อง
- เผยแพร่การทบทวนภายในช่วงเวลาที่ตกลงและการดำเนินการอยู่ในแบ็กล็อกของทีมเจ้าของ
- ทบทวนการดำเนินการที่เกินกำหนดและสาเหตุที่เกิดซ้ำตามกำหนด
- การสุ่มตรวจรายไตรมาสของเหตุขัดข้องธรรมดาที่มีผลกระทบสูงตรวจหาการประกาศที่พลาด
- ตัวชี้วัดทุกตัวมีมาตรการป้องกันที่ระบุชื่อ และไม่มีตัวชี้วัดใดใช้จัดอันดับบุคคล
พรอมต์ AI
ร่างเกณฑ์การประกาศเพื่อทบทวน
ฉันกำลังร่างเกณฑ์สำหรับการประกาศเหตุขัดข้องรุนแรงใน [ประเภทองค์กร]
บริการของเราคือ [รายการบริการ] และทีมของเราคือ [รายการทีม] ผู้ใช้คือ
[คำอธิบายผู้ใช้] เสนอชุดเกณฑ์การประกาศสั้น ๆ พร้อมตัวอย่างสองสามข้อสำหรับ
แต่ละเกณฑ์ รายการความกำกวมที่ทีมอาจโต้เถียง และคำถามที่ฉันควรตกลงกับ
[ผู้มีส่วนได้ส่วนเสีย] อย่าสร้างเกณฑ์หรือค่าเกณฑ์มาตรฐานขึ้นเอง ใช้
[ตัวแทน] ในที่ที่ต้องมีตัวเลข ระบุสมมติฐานของคุณ
สร้างไทม์ไลน์เหตุขัดข้องขึ้นใหม่และวิพากษ์
นี่คือไทม์ไลน์ของเหตุขัดข้องรุนแรง: [วางไทม์ไลน์พร้อมตราเวลาและแหล่งที่มา]
ระบุเวลาเริ่มผลกระทบ การประกาศ การบรรเทา และการกู้คืนเต็มรูปแบบ และบอกว่า
ตราเวลาใดไม่แน่นอนและเพราะเหตุใด แบ่งระยะเวลาเป็นระยะและจดว่าความล่าช้าใหญ่ที่สุด
เกิดที่ใด เสนอคำถามที่จะถามผู้ตอบสนองและหลักฐานการเฝ้าติดตามที่ควรมองหา
อย่าสร้างข้อเท็จจริงที่ไม่ได้อยู่ในไทม์ไลน์ ระบุสมมติฐานของคุณ
ทบทวนชุดการดำเนินการหลังเหตุขัดข้อง
ด้านล่างคือการดำเนินการจากการทบทวนหลังเหตุขัดข้อง [จำนวน] ครั้งสำหรับ
[บริการ]: [วางการดำเนินการพร้อมเจ้าของ วันครบกำหนด และสถานะ] จัดกลุ่มตามธีม
ทำเครื่องหมายรายการที่คลุมเครือ ไม่สำคัญ หรือไม่มีเจ้าของ และระบุรูปแบบที่บ่งชี้
ระเบียนปัญหาหรือรายการแบ็กล็อกสำหรับ [ทีมเจ้าของ] อย่าจัดอันดับบุคคลหรือทีม
ตามผลงาน อย่าสร้างสาเหตุขึ้นเอง ระบุสมมติฐานของคุณและข้อมูลที่ต้องใช้เพื่อ
ปรับปรุงการวิเคราะห์
ทดสอบตัวชี้วัดที่เสนอว่าบิดเบือนได้หรือไม่
เราวางแผนจะติดตาม [ชื่อตัวชี้วัด] นิยามว่า [นิยาม] และวัดจาก [แหล่งข้อมูล]
อธิบายว่าตัวชี้วัดนี้อาจถูกบิดเบือนโดย [บทบาท] ได้อย่างไร พฤติกรรมที่ซื่อตรงอะไร
ที่อาจถูกกีดกัน และตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่ใดจะจับแต่ละกรณีได้
ให้ข้อเสนอที่ปฏิบัติได้จริงสำหรับทีมขนาด [ขนาดทีม] อย่าสร้างค่าเกณฑ์มาตรฐาน
หรือแหล่งที่มาขึ้นเอง ระบุสมมติฐานของคุณ
ทักษะ AI
- ทักษะ Agile ITIL Metrics: ใช้เพื่อหาหัวข้อที่เกี่ยวข้องและมาตรการป้องกันที่ควรอยู่ข้างตัวชี้วัดเหตุขัดข้องรุนแรงแต่ละตัว
- ทักษะผู้ดูแล Agile ITIL Metrics: ใช้เพื่อตรวจสอบว่าหัวข้อนี้ฉบับที่แก้ไขยังคงเป็นไปตามแม่แบบและข้อตกลง
ข้อสรุปสำคัญ
- เหตุขัดข้องรุนแรงเกิดได้ยาก จึงควรแสดงแต่ละครั้งพร้อมไทม์ไลน์ และสรุปเฉพาะในช่วงเวลายาวโดยมีจำนวนอยู่ข้างตัวเลข
- เริ่มนาฬิกาที่ผลกระทบต่อลูกค้า และรายงานช่องว่างก่อนการประกาศเป็นตัวชี้วัดของตนเอง
- วัดผลกระทบในแง่ของผู้ใช้และการใช้งาน และเพิ่มข้อความด้วยภาษาธรรมดาสำหรับสิ่งที่ตัวเลขมองข้าม
- ปฏิบัติต่อความทันเวลาของการสื่อสารเป็นส่วนหนึ่งของการตอบสนอง โดยมีเป้าหมายตามกลุ่มผู้รับและจังหวะการอัปเดตที่สม่ำเสมอ
- การทบทวนเสร็จเมื่อการดำเนินการเสร็จ จึงควรติดตามการดำเนินการตามจนเสร็จและสาเหตุที่เกิดซ้ำ
- อย่าตั้งเป้าหมายกับจำนวน อย่าจัดอันดับผู้คน และทำให้การประกาศปลอดภัยอยู่เสมอ
เอกสารอ้างอิงและแหล่งอ่านเพิ่มเติม
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Lunney, L., and Lueder, S., "Postmortem Culture: Learning from Failure," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/postmortem-culture/
- Beyer, B., et al. (eds.), "Managing Incidents," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/managing-incidents/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Wikipedia, ITIL.
- Wikipedia, Incident management (ITSM).
- Wikipedia, Percentile.
- Wikipedia, Agile software development.
- Wikipedia, Site reliability engineering.
- Wikipedia, Incident commander.
- Wikipedia, Postmortem documentation.
- Wikipedia, Root cause analysis.
- Wikipedia, Goodhart's law.