ภาพรวมและแรงจูงใจ

เหตุขัดข้องรุนแรงคือเหตุขัดข้องที่ร้ายแรงพอที่จะต้องมีการตอบสนองเกินกว่ากิจวัตรปกติ ITIL ซึ่งเป็นกรอบงานด้านการจัดการบริการไอทีที่รู้จักกันดีที่สุด อธิบายการจัดการเหตุขัดข้อง (incident management) ว่าคือการกู้คืนการปฏิบัติการของบริการให้เป็นปกติโดยเร็วที่สุด และคาดหวังให้องค์กรจัดการเหตุขัดข้องที่ร้ายแรงที่สุดผ่านเส้นทางที่แยกต่างหากและประสานกันมากกว่า องค์กรขีดเส้นแบ่งนั้นอย่างไรเป็นการตัดสินใจของตนเอง ทางเลือกที่พบบ่อยคือเหตุขัดข้องที่กระทบผู้ใช้จำนวนมากหรือบริการสำคัญ และต้องการหลายทีมทำงานร่วมกันภายใต้ผู้ประสานงานคนเดียว ให้เขียนนิยามของคุณเองไว้ เพราะตัวชี้วัดทุกตัวในหัวข้อนี้ขึ้นอยู่กับนิยามนั้น

เหตุขัดข้องรุนแรงมีน้อย ทีมหนึ่งอาจเห็นเหตุขัดข้องธรรมดาหลายสิบครั้งต่อสัปดาห์และเหตุขัดข้องรุนแรงสองสามครั้งต่อไตรมาส สิ่งนี้เปลี่ยนวิธีวัด สถิติทั่วไปของปริมาณเหตุขัดข้องและเวลาแก้ไข (ดูหัวข้อ 3.2 “ปริมาณและลำดับความสำคัญของเหตุขัดข้อง” และหัวข้อ 3.3 “เวลาตอบสนองและเวลาแก้ไขเหตุขัดข้อง”) สมมติว่ามีเหตุการณ์จำนวนมากและให้รางวัลแก่ค่าเฉลี่ย เมื่อมีเหตุขัดข้องรุนแรงเพียงหยิบมือต่อช่วงเวลา ค่าเฉลี่ยถูกครอบงำโดยคืนเลวร้ายคืนเดียว เส้นแนวโน้มส่วนใหญ่เป็นสัญญาณรบกวน และเปอร์เซ็นไทล์ (percentile) ไม่มีความหมายบนข้อมูลห้าจุด (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ”) แนวทางที่ซื่อตรงคือแสดงเหตุขัดข้องรุนแรงทุกครั้งเป็นแถวของตนเองพร้อมไทม์ไลน์ของตนเอง และสรุปเฉพาะในช่วงเวลาที่ยาวกว่า

มุมมองแบบคล่องตัวและมุมมองของ ITIL มาพบกันที่นี่โดยตรงกว่าที่ใดในหนังสือ ITIL ให้โครงสร้าง ได้แก่ เหตุขัดข้องรุนแรงที่ประกาศแล้ว ผู้ประสานงานที่ระบุชื่อ การสื่อสารที่กำหนดไว้ต่อผู้เกี่ยวข้องที่ได้รับผลกระทบ และการทบทวนภายหลัง ธรรมเนียมแบบคล่องตัว (agile)และวิศวกรรมความน่าเชื่อถือของไซต์ (SRE) ให้นิสัย ได้แก่ผู้บัญชาการเหตุการณ์ (incident commander)ที่ดำเนินการตอบสนอง การทบทวนแบบไม่กล่าวโทษว่าเกิดอะไรขึ้น และการมุ่งเน้นการเรียนรู้ที่ป้อนการปรับปรุงอย่างต่อเนื่อง หนังสือ Site Reliability Engineering ของ Google อธิบายทั้งรูปแบบการบัญชาการเหตุการณ์และแนวปฏิบัติการทบทวนหลังเหตุการณ์ (ดูเอกสารอ้างอิง) การทบทวนหลังเหตุการณ์ (postmortem) ในความหมายนี้คือบันทึกที่เขียนไว้ของเหตุขัดข้อง สาเหตุ และการดำเนินการที่ตามมา และที่นี่ใช้คำนี้สลับกับ “การทบทวนหลังเหตุขัดข้อง”

หัวข้อนี้ครอบคลุมห้าคำถาม เหตุขัดข้องรุนแรงเกิดบ่อยเพียงใด ใช้เวลานานเท่าใด และเวลาเท่าใดที่ผ่านไปก่อนที่ใครจะประกาศ ผู้ใช้กี่ราย และผู้ใช้กลุ่มใด รู้สึกถึงผลกระทบ ผู้คนได้ยินจากเราทันเวลาและเป็นจังหวะสม่ำเสมอหรือไม่ และการติดตามผลที่สัญญาไว้เกิดขึ้นหรือไม่ หัวข้อที่เกี่ยวข้องครอบคลุมสิ่งที่อยู่รอบ ๆ ได้แก่ ความพร้อมใช้งาน (ดูหัวข้อ 5.3 “ตัวชี้วัดความพร้อมใช้งาน”) คุณภาพของการทบทวนที่เขียน (ดูหัวข้อ 4.2 “ตัวชี้วัดการทบทวนหลังเหตุการณ์และการเรียนรู้”) สาเหตุเบื้องหลัง (ดูหัวข้อ 4.1 “ตัวชี้วัดการจัดการปัญหา”) และการเปลี่ยนแปลงที่มักเป็นตัวกระตุ้น (ดูหัวข้อ 4.4 “ความล้มเหลวของการเปลี่ยนแปลงและการทำซ้ำ”)

ศัพท์ที่ใช้ในหัวข้อนี้:

  • เหตุขัดข้องรุนแรง (major incident): เหตุขัดข้องที่เข้าเกณฑ์การประกาศที่เขียนไว้ของคุณและกระตุ้นกระบวนการเหตุขัดข้องรุนแรง
  • การประกาศ (declaration): ช่วงเวลาที่บุคคลผู้มีอำนาจเรียกใช้กระบวนการเหตุขัดข้องรุนแรงอย่างเป็นทางการ
  • เวลาในการกู้คืน (time to restore): เวลาตั้งแต่เริ่มมีผลกระทบต่อลูกค้าจนถึงช่วงเวลาที่บริการกลับมาสำหรับผู้ใช้ ช่วงเวลาที่กู้คืนบริการไม่เหมือนกับการพบสาเหตุราก (root cause)
  • ผู้บัญชาการเหตุการณ์ (incident commander): บทบาทที่ประสานการตอบสนอง มอบหมายงาน และตัดสินใจ เป็นบทบาทตลอดระยะเวลาของเหตุขัดข้อง ไม่ใช่ตำแหน่งงาน
  • การทบทวนหลังเหตุขัดข้อง (post-incident review): การตรวจสอบเหตุขัดข้องอย่างมีโครงสร้างและไม่กล่าวโทษหลังจากบริการกลับมา
  • รายการดำเนินการ (action item): การเปลี่ยนแปลงที่เฉพาะเจาะจง มีเจ้าของ มีกำหนดวัน ซึ่งเป็นผลจากการทบทวน

หลักการสำคัญ

  • แสดงเหตุการณ์ แล้วจึงสรุป เหตุการณ์ที่เกิดได้ยากสมควรมีไทม์ไลน์แต่ละรายการ รายงานเหตุขัดข้องรุนแรงแต่ละครั้งแยกกัน และใช้สถิติสรุปเฉพาะในช่วงเวลายาว พร้อมจำนวนไว้ข้างกัน
  • เริ่มนาฬิกาที่ผลกระทบ ไม่ใช่ที่การรับรู้ ระยะเวลาที่เริ่มเมื่อมีคนสังเกตเห็นซ่อนช่องว่างการตรวจพบ ซึ่งมักเป็นส่วนใหญ่ของเรื่องราว
  • วัดประสบการณ์ของผู้ใช้ ไม่ใช่ความพยายามของทีม ผลกระทบต่อลูกค้าคือเหตุผลที่กระบวนการมีอยู่ ชั่วโมงความพยายามของผู้ตอบสนองเป็นต้นทุนที่ต้องติดตาม ไม่ใช่คะแนน
  • การสื่อสารเป็นส่วนหนึ่งของการกู้คืน บริการที่กู้คืนแล้วแต่ผู้ใช้ยังคงเดาอยู่เพิ่งได้รับการแก้ไขครึ่งเดียว ปฏิบัติต่อความทันเวลาของการอัปเดตเป็นตัวชี้วัดของการตอบสนอง
  • การทบทวนยังไม่เสร็จจนกว่าการดำเนินการจะเสร็จ เอกสารที่เสร็จแล้วแต่มีการดำเนินการค้างอยู่ไม่ได้เปลี่ยนอะไร วัดการดำเนินการตามจนเสร็จ ไม่ใช่เพียงการมีอยู่ของการทบทวน
  • อย่าจัดอันดับผู้คน และอย่าลงโทษการประกาศ หากการประกาศเหตุขัดข้องรุนแรงทำให้ทีมของผู้ประกาศเสียหายในรายงาน จะมีการประกาศน้อยลงและตัวชี้วัดจะดีขึ้นขณะที่บริการแย่ลง
  • รักษาเกณฑ์การประกาศให้คงที่ การเลื่อนเกณฑ์เปลี่ยนตัวชี้วัดทุกตัวในหัวข้อนี้ บันทึกทุกการเปลี่ยนแปลงพร้อมเหตุผลและวันที่

นิยามตัวชี้วัด

ตัวชี้วัด นิยาม สูตร หน่วย แหล่งข้อมูล แนวปฏิบัติ ITIL คู่เทียบแบบคล่องตัว ความถี่
จำนวนเหตุขัดข้องรุนแรง เหตุขัดข้องรุนแรงที่ประกาศในช่วงเวลา แยกตามบริการ จำนวนเหตุขัดข้องที่เข้าเกณฑ์การประกาศและประกาศในช่วงเวลา ตามเวลาประกาศ เหตุขัดข้องที่ลดระดับภายในชั่วโมงแรกแสดงแยกและไม่นับ จำนวนต่อไตรมาส ระเบียนเหตุขัดข้องในเครื่องมือ ITSM ที่มีธงเหตุขัดข้องรุนแรง การจัดการเหตุขัดข้อง การทบทวนสุขภาพของทีมหรือบริการ รายงานรายเดือน แนวโน้มรายไตรมาส
ระยะเวลาเหตุขัดข้องรุนแรง เวลาที่ลูกค้าได้รับผลกระทบ เวลาที่บริการกู้คืนลบเวลาเริ่มผลกระทบ ต่อเหตุขัดข้อง เวลาเริ่มผลกระทบคือหลักฐานแรกสุดในการเฝ้าติดตามหรือรายงานของผู้ใช้ครั้งแรก แล้วแต่อย่างใดมาก่อน การกู้คืนบางส่วนบันทึกเป็นเหตุการณ์ของตนเอง และการกู้คืนเต็มหยุดนาฬิกา นาที ต่อเหตุขัดข้อง ไทม์ไลน์การเฝ้าติดตาม ไทม์ไลน์เหตุขัดข้องในเครื่องมือ ITSM การจัดการเหตุขัดข้อง การจัดการระดับบริการ เวลาในการกู้คืนในตัวชี้วัดการส่งมอบ (ดูหัวข้อ 2.8 “ตัวชี้วัด DORA”) ต่อเหตุขัดข้อง ค่ามัธยฐานและค่าสูงสุดช่วงยาวรายไตรมาส
เวลาในการประกาศ ความล่าช้าระหว่างเริ่มมีผลกระทบกับการประกาศเหตุขัดข้องรุนแรง เวลาประกาศลบเวลาเริ่มผลกระทบ ต่อเหตุขัดข้อง เหตุขัดข้องที่ไม่เคยประกาศพบได้จากการทบทวนรายไตรมาสของเหตุขัดข้องธรรมดาที่มีผลกระทบสูง และรวมไว้ด้วยเวลาประกาศเป็น n/a (ไม่เคยประกาศ) นาที ต่อเหตุขัดข้อง ไทม์ไลน์การเฝ้าติดตาม เส้นทางการตรวจสอบของเครื่องมือ ITSM การจัดการเหตุขัดข้อง การเฝ้าติดตามและการจัดการเหตุการณ์ นิยามของความพร้อมสำหรับการยกระดับในข้อตกลงการทำงานของทีม ต่อเหตุขัดข้อง
ผลกระทบต่อลูกค้า ผู้ใช้กี่รายและการใช้งานเท่าใดได้รับผลกระทบ ผู้ใช้ที่ได้รับผลกระทบ (หรือคำขอที่ล้มเหลว) คูณนาทีที่ได้รับผลกระทบ ต่อเหตุขัดข้อง นับเฉพาะผู้ใช้ที่พยายามใช้บริการในช่วงผลกระทบ ไม่นับการบำรุงรักษาที่วางแผนไว้ ผู้ใช้-นาที หรือคำขอที่ล้มเหลว โทรมาตรบริการ ระเบียนการติดต่อฝ่ายสนับสนุน การจัดการระดับบริการ การจัดการเหตุขัดข้อง ตัวชี้วัดระดับบริการที่ผู้ใช้เห็น (ดูหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด”) ต่อเหตุขัดข้อง
ความทันเวลาของการสื่อสาร ผู้เกี่ยวข้องที่ได้รับผลกระทบได้รับแจ้งทันเวลาหรือไม่ สัดส่วนเหตุขัดข้องรุนแรงที่ประกาศแจ้งลูกค้าครั้งแรกออกไปภายในเป้าหมายหลังการประกาศ และสัดส่วนการอัปเดตที่กำหนดไว้ซึ่งส่งภายในช่วงที่ตกลง นาฬิกาเริ่มที่การประกาศ ไม่นับข้อความภายในอย่างเดียว ร้อยละของเหตุขัดข้อง ร้อยละของการอัปเดต ประวัติหน้าสถานะ บันทึกการสื่อสารในเครื่องมือ ITSM การจัดการเหตุขัดข้อง การจัดการระดับบริการ การสื่อสารกับผู้มีส่วนได้ส่วนเสียในข้อตกลงการทำงานของทีม ต่อเหตุขัดข้อง สรุปรายไตรมาส
ความทันเวลาของการทบทวนให้เสร็จ การทบทวนเกิดขึ้นเร็วพอที่จะมีประโยชน์หรือไม่ สัดส่วนเหตุขัดข้องรุนแรงที่มีการทบทวนเผยแพร่ภายในจำนวนวันทำการที่ตกลงหลังการกู้คืน นาฬิกาหยุดที่การเผยแพร่ ไม่ใช่ที่ฉบับร่างแรก ไม่นับเหตุขัดข้องที่ยังอยู่ในช่วงเวลา ร้อยละ คลังการทบทวน เครื่องมือ ITSM การปรับปรุงอย่างต่อเนื่อง การจัดการปัญหา การติดตามผลการปรับปรุง รายไตรมาส
การดำเนินการตามรายการดำเนินการจนเสร็จ การดำเนินการจากการทบทวนเสร็จสิ้นหรือไม่ การดำเนินการจากการทบทวนที่เสร็จตามกำหนด / การดำเนินการจากการทบทวนที่ครบกำหนดในช่วงเวลา การดำเนินการที่ปิดเป็น “จะไม่ทำ” นับแยกพร้อมเหตุผล ไม่ซ่อน ร้อยละ จำนวนที่เกินกำหนด ตัวติดตามประเด็นที่เชื่อมกับการทบทวน การปรับปรุงอย่างต่อเนื่อง การจัดการปัญหา รายการแบ็กล็อกจากการทบทวนย้อนหลัง รายเดือน
อัตราเหตุขัดข้องรุนแรงซ้ำ การเกิดซ้ำของสาเหตุเดียวกัน เหตุขัดข้องรุนแรงในช่วงเวลาที่สาเหตุที่บันทึกตรงกับเหตุขัดข้องรุนแรงก่อนหน้าในสิบสองเดือนก่อน / เหตุขัดข้องรุนแรงในช่วงเวลา การจับคู่ทำตามฟิลด์สาเหตุ ตรวจสอบด้วยมือ ร้อยละ พร้อมแสดงจำนวน ระเบียนการทบทวน ระเบียนปัญหา การจัดการปัญหา งานป้องกันในแบ็กล็อก รายไตรมาส

ทุกแถวต้องมีกฎนาฬิกาที่เขียนไว้ก่อนจะเชื่อถือ ข้อพิพาทเรื่องเวลาเริ่มผลกระทบและเวลากู้คืนเกิดบ่อยและควรยุติล่วงหน้า (ดูหัวข้อ 1.5 “แหล่งข้อมูลและการติดตั้งเครื่องมือวัด”)

ข้อเสนอแนะ

เขียนไว้ว่าอะไรทำให้เหตุขัดข้องรุนแรง

เผยแพร่เกณฑ์การประกาศที่ทุกคนที่อยู่เวรใช้ได้ เกณฑ์มักรวมผลกระทบ (ผู้ใช้ที่ได้รับผลกระทบ บริการสำคัญที่ด้อยลง ความเสี่ยงด้านความปลอดภัยหรือกฎหมาย) กับความจำเป็นในการประสานงาน (ต้องใช้มากกว่าหนึ่งทีม) รายการสั้น ๆ พร้อมตัวอย่างดีกว่าเมทริกซ์ยาว ระบุว่าใครประกาศได้ และทำให้ชัดว่าการประกาศด้วยความสุจริตไม่เคยเป็นข้อผิดพลาด แม้เหตุขัดข้องจะกลายเป็นเรื่องเล็ก

บันทึกเวอร์ชันของเกณฑ์ในระเบียนเหตุขัดข้องทุกรายการ เมื่อเกณฑ์เลื่อน แนวโน้มก็เลื่อนตาม หมายเลขเวอร์ชันหรือวันที่บนแต่ละระเบียนช่วยให้เปรียบเทียบสิ่งที่เหมือนกัน และอธิบายการกระโดดของจำนวนที่มาจากการเปลี่ยนกฎ

นับและจัดประเภทโดยไม่เปลี่ยนจำนวนให้เป็นเป้าหมาย

รายงานจำนวนพร้อมบริบท แสดงจำนวนเหตุขัดข้องรุนแรงต่อไตรมาสข้างบริการ ตัวกระตุ้น (การเปลี่ยนแปลง กำลังความสามารถ ระบบที่พึ่งพา ความมั่นคงปลอดภัย อื่น ๆ) และเวอร์ชันของเกณฑ์ จำนวนที่ไม่มีบริบทเชื้อเชิญเป้าหมายเช่น “น้อยกว่าสามครั้งต่อไตรมาส” ซึ่งสอนให้ผู้คนไม่ประกาศ ปฏิบัติต่อจำนวนที่ลดลงเป็นข่าวดีเฉพาะเมื่อเวลาในการประกาศและผลกระทบต่อลูกค้าคงที่

แยกที่ประกาศ ที่ลดระดับ และที่พลาด ติดตามเหตุขัดข้องที่ประกาศแล้วลดระดับ เพราะแสดงว่าเกณฑ์สมเหตุสมผลหรือไม่ ทบทวนตัวอย่างเหตุขัดข้องธรรมดาทุกไตรมาสเพื่อหารายการที่ควรประกาศ รายการที่พลาดให้ข้อมูลมากที่สุด

จับเวลาเหตุขัดข้องจากฝั่งผู้ใช้

เริ่มนาฬิกาเมื่อลูกค้าได้รับผลกระทบ ใช้หลักฐานที่เชื่อถือได้แรกสุด ซึ่งมักเป็นสัญญาณการเฝ้าติดตามที่มาก่อนตั๋วแรก เมื่อเวลาเริ่มไม่แน่นอน ให้บันทึกค่าประมาณและแหล่งที่มา ไม่ใช่เวลาที่ใครสังเกตเห็น ช่องว่างระหว่างเวลาเริ่มผลกระทบกับการประกาศเป็นตัวชี้วัดในตัวเองและมักปรับปรุงได้ถูกที่สุด

แบ่งไทม์ไลน์เป็นระยะ การตรวจพบ การประกาศ การวินิจฉัย การบรรเทา และการกู้คืนเต็มรูปแบบ แต่ละระยะมีสาเหตุของความล่าช้าและเจ้าของต่างกัน การแยกระยะของแต่ละเหตุขัดข้องแสดงว่าเวลาหายไปที่ใดโดยไม่ต้องใช้ค่าเฉลี่ย การกู้คืนบริการด้วยวิธีแก้ขัดและการแก้สาเหตุเป็นเหตุการณ์แยกกัน และอย่างหลังเป็นของการจัดการปัญหา

ใช้ค่ามัธยฐานและกรณีเลวร้ายที่สุดในช่วงเวลายาว พร้อมจำนวน สำหรับข้อมูลหนึ่งปี รายงานค่ามัธยฐานและระยะเวลาที่ยาวที่สุด และบอกว่ามาจากเหตุขัดข้องกี่รายการ หลีกเลี่ยงเวลาเฉลี่ยในการกู้คืนตัวเดียวสำหรับเหตุขัดข้องรุนแรง เมื่อมีเหตุการณ์ไม่กี่ครั้งมันไม่เสถียรและถูกบิดเบือนโดยการล่มยาวครั้งเดียว (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ”)

ประเมินขนาดผลกระทบต่อลูกค้าด้วยถ้อยคำที่ผู้ใช้จำได้

เลือกผลกระทบแบบอิงผู้ใช้มากกว่าแบบอิงเซิร์ฟเวอร์ คำขอที่ล้มเหลว ผู้ใช้ที่ได้รับผลกระทบ หรือธุรกรรมที่ได้รับผลกระทบ อธิบายสิ่งที่เกิดกับผู้คน นาทีของบริการที่ด้อยลงบนส่วนประกอบอธิบายสิ่งที่เกิดกับเครื่อง เมื่อคุณมีตัวชี้วัดระดับบริการ ให้ใช้ (ดูหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด”) และเชื่อมเหตุขัดข้องกับภาพความพร้อมใช้งาน (ดูหัวข้อ 5.3 “ตัวชี้วัดความพร้อมใช้งาน”)

เพิ่มข้อความผลกระทบด้วยภาษาธรรมดาในแต่ละระเบียน หนึ่งหรือสองประโยคที่ระบุว่าใครได้รับผลกระทบและพวกเขาทำอะไรไม่ได้ การติดต่อฝ่ายสนับสนุน การกล่าวถึงในโซเชียลมีเดีย และการยกระดับจากลูกค้าเป็นหลักฐานของข้อความนั้น ไม่ใช่ตัวชี้วัดที่ต้องทำให้สูงสุด

วัดการสื่อสารเป็นส่วนหนึ่งของการตอบสนอง

ตั้งเป้าหมายการสื่อสารตามกลุ่มผู้รับ ลูกค้าที่ได้รับผลกระทบ ผู้มีส่วนได้ส่วนเสียภายใน และผู้บริหารต้องการข้อความต่างกันในเวลาต่างกัน ตกลงเป้าหมายสำหรับการแจ้งครั้งแรกหลังการประกาศและจังหวะสม่ำเสมอของการอัปเดต และวัดการปฏิบัติตามต่อเหตุขัดข้อง จังหวะสำคัญกว่าเนื้อหา การอัปเดตที่บอกว่า “ไม่มีการเปลี่ยนแปลง อัปเดตครั้งต่อไปในสามสิบนาที” และมาถึงตรงเวลาสร้างความไว้วางใจมากกว่าความเงียบ

แยกการตอบสนองและการสื่อสารไว้ในมือคนละคน ผู้นำด้านการสื่อสารทำให้ผู้บัญชาการเหตุการณ์มุ่งเน้นการวินิจฉัยได้ ทีมเล็กใช้รายการตรวจสอบและแม่แบบที่เขียนไว้ล่วงหน้าแทนได้

ปิดวงจรการเรียนรู้

จัดการทบทวนโดยเร็วและเผยแพร่ ความจำจางหาย จึงกำหนดช่วงเวลาสำหรับการทบทวนและวัดว่าเป็นไปตามนั้นหรือไม่ การทบทวนเสร็จสำคัญน้อยกว่าสิ่งที่การทบทวนเปลี่ยน จึงควรจับคู่กับการดำเนินการตามจนเสร็จ หนังสือ Site Reliability Engineering ของ Google ให้เหตุผลสนับสนุนการทบทวนแบบไม่กล่าวโทษและการเขียนไว้ (ดูเอกสารอ้างอิง) และหัวข้อ 4.2 (“ตัวชี้วัดการทบทวนหลังเหตุการณ์และการเรียนรู้”) ครอบคลุมคุณภาพการทบทวน

ติดตามการดำเนินการจนจบ และอนุญาต “จะไม่ทำ” อย่างตรงไปตรงมา วางแต่ละการดำเนินการในแบ็กล็อกที่ทีมเจ้าของใช้อยู่แล้ว พร้อมเจ้าของและวันที่ บันทึกการดำเนินการที่ปฏิเสธพร้อมเหตุผล แทนที่จะปล่อยให้เน่าเสีย ทบทวนการดำเนินการที่เกินกำหนดในการทบทวนการปฏิบัติการหรือบริการ และถามว่าอะไรขวางอยู่ จำกัดจำนวนการดำเนินการต่อการทบทวนเพื่อให้ที่เหลืออยู่เป็นรายการที่สำคัญ

มองหารูปแบบข้ามเหตุขัดข้อง และส่งไปยังการจัดการปัญหา สาเหตุที่เกิดซ้ำ ตัวกระตุ้นที่พบบ่อย และช่องว่างการตรวจพบที่เกิดซ้ำเป็นสัญญาณที่การทบทวนครั้งเดียวมองข้าม ป้อนเข้าสู่กระบวนการปัญหาและข้อผิดพลาดที่ทราบ (ดูหัวข้อ 4.1 “ตัวชี้วัดการจัดการปัญหา”) และเข้าสู่การวางแผนของทีมที่เป็นเจ้าของบริการ ปฏิบัติต่ออัตราการเกิดซ้ำที่เพิ่มขึ้นเป็นสิ่งกระตุ้นให้สืบสวน ไม่ใช่คำตัดสิน

ช่องทางการบิดเบือนและมาตรการป้องกัน

ตัวชี้วัด วิธีที่ถูกบิดเบือน ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่
จำนวนเหตุขัดข้องรุนแรง ยกเกณฑ์การประกาศให้สูงขึ้น คงเหตุขัดข้องไว้ที่ลำดับ “สูง” เพื่อไม่ให้ถูกประกาศ แยกเหตุการณ์เดียวเป็นหลายระเบียน หรือรวมหลายเหตุการณ์เป็นหนึ่ง เกณฑ์ที่คงที่และมีเวอร์ชัน การสุ่มตรวจรายไตรมาสของเหตุขัดข้องธรรมดาที่มีผลกระทบสูง ติดตามผลกระทบต่อลูกค้าและเวลาในการประกาศข้างจำนวน
ระยะเวลาเหตุขัดข้องรุนแรง เลื่อนเวลาเริ่มผลกระทบให้ช้าลง ประกาศว่า “กู้คืนแล้ว” ขณะที่ผู้ใช้ยังล้มเหลว หรือปิดและเปิดระเบียนใหม่ เวลาเริ่มผลกระทบนำจากการเฝ้าติดตาม การกู้คืนยืนยันด้วยตัวชี้วัดที่ผู้ใช้เห็น ระเบียนที่เปิดใหม่และเชื่อมโยงนับเป็นเหตุขัดข้องเดียว
เวลาในการประกาศ ประกาศเร็วกับทุกอย่างเพื่อให้ดูรวดเร็ว หรือย้อนวันที่การประกาศไปที่เวลาเริ่มผลกระทบ สัดส่วนของเหตุขัดข้องที่ประกาศแล้วถูกลดระดับภายหลัง เส้นทางการตรวจสอบของเวลาประกาศ การสุ่มตรวจไทม์ไลน์เทียบกับข้อมูลการเฝ้าติดตามดิบ
ผลกระทบต่อลูกค้า จำกัดนิยามของ “ได้รับผลกระทบ” นับเฉพาะผู้ใช้ที่เปิดตั๋ว หรือวัดระบบที่พึ่งพาที่ยังทำงานอยู่ ผลกระทบที่ได้จากโทรมาตรเช่นเดียวกับการติดต่อ ข้อความผลกระทบด้วยภาษาธรรมดาที่ทบทวนในการทบทวนเหตุขัดข้อง
ความทันเวลาของการสื่อสาร โพสต์ประกาศที่คลุมเครือเพื่อเริ่มนาฬิกา ส่งการอัปเดตที่ไม่มีเนื้อหา หรือนับข้อความภายใน การตรวจเนื้อหาของตัวอย่างการอัปเดต ข้อเสนอแนะจากลูกค้าเรื่องความชัดเจน นับเฉพาะประกาศที่ถึงลูกค้า
ความทันเวลาของการทบทวนให้เสร็จ เผยแพร่เอกสารบาง ๆ เพื่อให้ทันกำหนด หรือประกาศว่าการทบทวน “ไม่จำเป็น” เพื่อนร่วมงานอ่านคุณภาพการทบทวนบนตัวอย่าง (ดูหัวข้อ 4.2 “ตัวชี้วัดการทบทวนหลังเหตุการณ์และการเรียนรู้”) แสดงสัดส่วนการทบทวนที่ยกเว้น
การดำเนินการตามรายการดำเนินการจนเสร็จ เขียนการดำเนินการที่คลุมเครือหรือไม่สำคัญซึ่งปิดง่าย ปิดการดำเนินการโดยไม่ทำงานจริง หรือติดป้ายใหม่เป็น “จะไม่ทำ” สุ่มตรวจคุณภาพการดำเนินการ ตรวจสอบการดำเนินการที่ปิดเทียบกับการเปลี่ยนแปลงระบบ ทบทวนสัดส่วนและเหตุผลของ “จะไม่ทำ”
อัตราเหตุขัดข้องรุนแรงซ้ำ บันทึกแต่ละสาเหตุเป็นสาเหตุใหม่โดยเลือกถ้อยคำต่างออกไป หรือโทษทุกอย่างว่าเป็น “ความผิดพลาดของมนุษย์” อนุกรมวิธานสาเหตุสั้น ๆ พร้อมนิยาม ผู้ที่อยู่นอกเหตุขัดข้องทบทวนฟิลด์สาเหตุ ไม่ยอมรับ “ความผิดพลาดของมนุษย์” เป็นสาเหตุโดยไม่มีคำอธิบายเชิงระบบ

ภาพที่ดีคือจำนวนเหตุขัดข้องที่ประกาศอยู่ในระดับปานกลางและค่อนข้างคงที่ โดยมีการลดระดับเป็นครั้งคราวและมีเหตุที่พลาดซึ่งพบในการทบทวนเป็นครั้งคราว เวลาในการประกาศสั้นและลดลง ผลกระทบต่อลูกค้าต่อเหตุขัดข้องเป็นที่เข้าใจและลดลงในที่ที่ทำงานป้องกัน และการอัปเดตที่ส่งถึงลูกค้าเกือบทั้งหมดตรงตามกำหนด การทบทวนเผยแพร่ตรงเวลาและการดำเนินการส่วนใหญ่เสร็จสิ้น โดยมีชุดการดำเนินการที่ปฏิเสธน้อย ๆ อย่างตรงไปตรงมา หากทุกอย่างดูสมบูรณ์แบบ ให้ถามว่าเกณฑ์เลื่อนไปหรือผู้คนเลิกประกาศหรือไม่ (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”) กฎที่ตั้งชื่อตามชาร์ลส์ กูดฮาร์ต (Charles Goodhart)เห็นได้ง่ายที่สุดที่นี่ เพราะต้นทุนของตัวเลขที่ไม่ดีคือความเต็มใจที่ลดลงในการส่งสัญญาณเตือน

ข้อแลกเปลี่ยน: ข้อดีและข้อเสีย

ทางเลือก จุดแข็ง จุดอ่อน
แสดงแต่ละเหตุขัดข้องเป็นแถว รักษาบริบท หลีกเลี่ยงค่าเฉลี่ยที่ทำให้เข้าใจผิดบนจำนวนน้อย สรุปให้ผู้นำยากกว่า ต้องมีเรื่องเล่าสั้น ๆ ต่อเหตุขัดข้อง
รายงานจำนวนเหตุขัดข้องรุนแรง เรียบง่าย คุ้นเคย ผู้นำมองเห็น เปลี่ยนเป็นเป้าหมายได้ง่าย ตอบสนองต่อการเปลี่ยนเกณฑ์
เวลาจากเริ่มผลกระทบ สะท้อนประสบการณ์ผู้ใช้ เผยช่องว่างการตรวจพบ เวลาเริ่มผลกระทบบางครั้งไม่แน่นอนและต้องใช้วิจารณญาณ
เวลาจากการประกาศ บันทึกและเปรียบเทียบง่าย ซ่อนการตรวจพบที่ช้าและการประกาศที่ช้า
ผู้ใช้-นาทีของผลกระทบ เปรียบเทียบข้ามเหตุขัดข้องและบริการได้ ต้องมีโทรมาตร ปฏิบัติต่อผู้ใช้และนาทีทั้งหมดเท่ากัน
อัตราการทบทวนเสร็จ รวบรวมง่าย กระตุ้นนิสัย ให้รางวัลแก่เอกสาร ไม่ใช่การเรียนรู้
อัตราการดำเนินการตามจนเสร็จ เชื่อมการทบทวนกับการเปลี่ยนแปลง บิดเบือนได้ด้วยการดำเนินการที่ไม่สำคัญ ต้องมีเจ้าของและแบ็กล็อก

ใช้ชุดตัวชี้วัดเล็ก ๆ ที่ครอบคลุมทั้งวงจร (ประกาศ กู้คืน แจ้ง เรียนรู้ ทำให้เสร็จ) แทนการปรับให้ดีที่สุดเพียงตัวเดียว เพิ่มตัวชี้วัดผลกระทบเฉพาะเมื่อมีโทรมาตร เมื่อไม่มีโทรมาตร ข้อความผลกระทบที่เขียนอย่างรอบคอบให้ประโยชน์มากกว่าตัวเลขที่สร้างขึ้น

คำถามสำหรับอภิปรายกับทีม

1. อะไรทำให้เหตุขัดข้องเป็นเหตุขัดข้องรุนแรงที่นี่ และทุกคนที่อยู่เวรเห็นด้วยหรือไม่ นิยามเป็นรากฐานของตัวเลขอื่นทุกตัว ขอให้สามคนจัดประเภทเหตุขัดข้องล่าสุดเดียวกันและเปรียบเทียบคำตอบ ความเห็นที่ไม่ตรงกันแสดงว่าเกณฑ์คลุมเครือตรงไหน ผู้ดำเนินการอภิปรายควรจดตัวอย่างที่จะเพิ่มในเกณฑ์ที่เขียนไว้และตกลงว่าใครประกาศได้ ปิดท้ายด้วยการยืนยันว่าการประกาศด้วยความสุจริตยอมรับได้เสมอ แม้เหตุขัดข้องจะถูกลดระดับภายหลัง

2. ในเหตุขัดข้องรุนแรงครั้งล่าสุดของเรา ใช้เวลานานเท่าใดระหว่างเริ่มมีผลกระทบกับการประกาศ สร้างไทม์ไลน์ขึ้นใหม่จากการเฝ้าติดตาม ไม่ใช่ความจำ ช่องว่างมักใหญ่กว่าที่คาดและบางครั้งเป็นระยะที่ยาวที่สุด ถามว่ามีสัญญาณใดและใครเห็น และช่องว่างมาจากเกณฑ์ที่ไม่ชัดเจน การแจ้งเตือนที่ขาดหายไป หรือความลังเลที่จะประกาศ เลือกการเปลี่ยนแปลงหนึ่งอย่างที่จะทำให้สั้นลง และตัดสินใจว่าจะรู้ได้อย่างไร

3. ใครได้รับผลกระทบ และเรารู้ได้อย่างไร เปรียบเทียบสิ่งที่ทีมเชื่อในเวลานั้นกับสิ่งที่โทรมาตรและการติดต่อฝ่ายสนับสนุนแสดงภายหลัง ถามว่าลูกค้ากลุ่มใด หากมี ได้รับผลกระทบมากกว่ากลุ่มอื่น และเป็นกลุ่มที่สำคัญที่สุดต่อธุรกิจหรือกลุ่มที่รับมือได้น้อยที่สุดหรือไม่ อภิปรายว่าข้อความผลกระทบเป็นสิ่งที่ลูกค้าจำได้หรือไม่ ตกลงตัวชี้วัดผลกระทบหนึ่งอย่างที่คุณรวบรวมได้อย่างเชื่อถือได้ในครั้งหน้า

4. ผู้คนได้ยินจากเราเมื่อพวกเขาต้องการหรือไม่ และข้อความมีประโยชน์หรือไม่ ตรวจสอบการแจ้งครั้งแรกและแต่ละการอัปเดตเทียบกับจังหวะที่ตกลง อ่านข้อความจริงอย่างที่ลูกค้าจะอ่าน ถามว่าข้อความบอกสิ่งที่ทราบ สิ่งที่ไม่ทราบ และเมื่อใดจะมีการอัปเดตครั้งต่อไปหรือไม่ อภิปรายว่าใครเป็นเจ้าของการสื่อสารระหว่างเหตุขัดข้องและบุคคลนั้นว่างพอที่จะทำหรือไม่

5. อะไรเกิดขึ้นกับการดำเนินการจากการทบทวนสามครั้งล่าสุดของเรา ดึงการดำเนินการมารวมเป็นรายการเดียวและทำเครื่องหมายแต่ละรายการว่าเสร็จ กำลังดำเนินการ เกินกำหนด หรือปฏิเสธ สำหรับรายการที่เกินกำหนด ถามว่าอะไรขวางอยู่ ได้แก่ กำลังความสามารถ ความเป็นเจ้าของ ลำดับความสำคัญ หรือขอบเขตที่ไม่ชัดเจน ตัดสินใจว่าจะยกการดำเนินการที่เกินกำหนดขึ้นในการประชุมปฏิบัติการหรือการวางแผนครั้งต่อไปอย่างไร

6. หากเราถูกวัดจากจำนวนเหตุขัดข้องรุนแรง เราจะทำอะไรต่างออกไป และลูกค้าจะดีขึ้นหรือไม่ คำถามนี้เผยช่องทางการบิดเบือนก่อนที่จะเกิดขึ้น ขอให้กลุ่มพูดตรง ๆ ว่าอาจเปลี่ยนอะไร ได้แก่ เกณฑ์ ป้ายชื่อ ใครประกาศ จากนั้นถามว่าเป้าหมายที่ดีกว่าคืออะไร คำตอบที่ดีเคลื่อนไปทางผลกระทบต่อลูกค้า เวลาในการประกาศ และการดำเนินการตามจนเสร็จ ซึ่งบิดเบือนยากกว่าโดยไม่ช่วยผู้ใช้ บันทึกคำตอบเป็นมาตรการป้องกัน

สี่มุมมอง

ทีมผลิตภัณฑ์และการส่งมอบ

ทีมผลิตภัณฑ์พบเหตุขัดข้องรุนแรงเป็นการขัดจังหวะงานที่วางแผนไว้และเป็นข้อเสนอแนะต่อการเปลี่ยนแปลงของตนเอง พวกเขาได้ประโยชน์มากที่สุดจากตัวเลขผลกระทบที่ชัดเจน การเข้าถึงไทม์ไลน์เหตุขัดข้องของตนเองได้รวดเร็ว และการดำเนินการจากการทบทวนที่ตกอยู่ในแบ็กล็อกของพวกเขาพร้อมที่ว่างให้ทำ สำรองกำลังความสามารถสำหรับการติดตามผลเหตุขัดข้อง และปฏิบัติต่อการดำเนินการเป็นงานที่มีฐานะเท่ากับฟีเจอร์ แบ่งปันหมวดหมู่สาเหตุเพื่อให้ตัวกระตุ้นที่เกิดซ้ำนำไปสู่การเปลี่ยนแปลงแนวปฏิบัติ (ดูหัวข้อ 2.9 “งานปฏิบัติการและงานที่ไม่ได้วางแผน”)

ทีมบริการและปฏิบัติการ

ทีมปฏิบัติการดำเนินการตอบสนองและแบกต้นทุนของงานดึกดื่น พวกเขาต้องการเกณฑ์ที่ใช้ได้ตอนตีสาม บทบาทผู้บัญชาการและการสื่อสารที่จัดคนได้ และเครื่องมือที่บันทึกไทม์ไลน์ขณะที่เหตุการณ์เกิดขึ้นแทนที่จะเป็นจากความจำภายหลัง พวกเขาควรจับตาภาระที่เหตุขัดข้องรุนแรงวางไว้บนคนกลุ่มเล็ก (ดูหัวข้อ 5.7 “ตัวชี้วัดงานซ้ำซากและเวรเรียกฉุกเฉิน”) และใช้ตัวชี้วัดในหัวข้อนี้เพื่อขอให้มีงานป้องกัน ไม่ใช่เพื่อเปรียบเทียบผู้ตอบสนอง

ภาวะผู้นำและการกำกับดูแล

ผู้นำกำหนดบรรยากาศที่ตัดสินว่าผู้คนจะประกาศเร็วและรายงานอย่างซื่อตรงหรือไม่ พวกเขาควรขอเรื่องราวของเหตุขัดข้องรุนแรงแต่ละครั้งและแนวโน้มตลอดหนึ่งปี หลีกเลี่ยงเป้าหมายกับจำนวน และถามถึงผลกระทบต่อลูกค้า ช่องว่างการตรวจพบ และการดำเนินการที่เสร็จแล้ว สนับสนุนทุนสำหรับงานป้องกันที่การทบทวนแนะนำ และทบทวนในเวทีเดียวกับแผนการส่งมอบ การกำกับดูแลจึงเห็นได้ว่าบทเรียนกลายเป็นการเปลี่ยนแปลงหรือไม่ (ดูหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด” สำหรับวิธีเชื่อมความน่าเชื่อถือกับการลงทุน)

ลูกค้าและผู้ใช้

ลูกค้าตัดสินเหตุขัดข้องรุนแรงจากระยะเวลาที่พวกเขาได้รับผลกระทบ ได้รับแจ้งหรือไม่ และเกิดซ้ำอีกหรือไม่ พวกเขาได้รับบริการที่ดีกว่าจากประกาศที่ตรงไปตรงมาแต่เร็ว มากกว่าประกาศที่ขัดเกลาแต่ช้า ให้ช่องทางสถานะ จังหวะที่พวกเขาพึ่งพาได้ และคำอธิบายที่ชัดเจนภายหลังว่าเกิดอะไรขึ้นและอะไรจะเปลี่ยน ในที่ที่มีสัญญา ให้รายงานตามเงื่อนไขที่ตกลงในข้อตกลงระดับบริการ (ดูหัวข้อ 5.1 “ตัวชี้วัด SLA, OLA และ XLA”) ความพึงพอใจหลังเหตุขัดข้องควรค่าแก่การถาม (ดูหัวข้อ 6.1 “ตัวชี้วัดความพึงพอใจของลูกค้า”)

ในทางปฏิบัติ: ตัวอย่าง ITIL แบบคล่องตัว

ร้านค้าปลีกออนไลน์ขนาดกลางแห่งหนึ่งดำเนินหน้าร้าน บริการชำระเงิน และบริการจัดการคำสั่งซื้อ แต่ละบริการเป็นของทีมผลิตภัณฑ์ โดยมีทีมแพลตฟอร์มส่วนกลางอยู่เวรเรียกฉุกเฉิน กลุ่มการจัดการบริการขนาดเล็กดำเนินกระบวนการเหตุขัดข้องรุนแรง ตัวเลขทั้งหมดในตัวอย่างนี้เป็นตัวเลขประกอบ

ในสองไตรมาสที่ผ่านมา ร้านประกาศเหตุขัดข้องรุนแรงห้าครั้ง (ตัวเลขประกอบ) กลุ่มการจัดการบริการแสดงแต่ละครั้งเป็นแถวพร้อมเวลาเริ่มผลกระทบ เวลาประกาศ เวลากู้คืน ประมาณการคำสั่งซื้อที่ล้มเหลว เวลาของการแจ้งลูกค้าครั้งแรก และสถานะการทบทวน พวกเขาสังเกตว่าช่องว่างมัธยฐานระหว่างเริ่มมีผลกระทบกับการประกาศคือ 38 นาที (ตัวเลขประกอบ) เกือบยาวเท่ากับเวลามัธยฐานจากการประกาศถึงการกู้คืนที่ 52 นาที (ตัวเลขประกอบ) เมื่อมีเหตุขัดข้องห้าครั้ง พวกเขาถือว่าทั้งสองตัวเลขเป็นค่าคร่าว ๆ และอ่านไทม์ไลน์แทน สามในห้าแสดงการแจ้งเตือนจากการเฝ้าติดตามที่ทำงานตั้งแต่เนิ่น ๆ และค้างอยู่โดยไม่มีใครรับทราบในช่องทางที่ใช้ร่วมกัน

ทีมตัดสินใจส่งการแจ้งเตือนประเภทนั้นไปยังเพจเจอร์เวรเรียกฉุกเฉิน และเพิ่มบรรทัดในเกณฑ์ว่าสัญญาณความล้มเหลวของการชำระเงินที่ต่อเนื่องเพียงพอที่จะประกาศ โดยไม่ต้องรอตั๋ว พวกเขายังตั้งเป้าหมายการแจ้งลูกค้าครั้งแรกภายใน 20 นาทีหลังการประกาศ (ตัวเลขประกอบ) และตรวจสอบต่อเหตุขัดข้อง สองในห้าทำได้ ทีมติดตั้งใช้งานเพิ่มแม่แบบหน้าสถานะที่ผู้นำด้านการสื่อสารกรอกได้ภายใต้แรงกดดัน

ระหว่างการทบทวนเดียวกัน พวกเขาพบความเสี่ยงด้านการบิดเบือน ผู้จัดการของทีมผลิตภัณฑ์หนึ่งเสนอเป้าหมายรายไตรมาส “ไม่เกินสองเหตุขัดข้องรุนแรง” กลุ่มการจัดการบริการชี้ว่าไตรมาสก่อนมีเหตุขัดข้องหนึ่งครั้งที่คงอยู่ที่ลำดับความสำคัญสูงสี่ชั่วโมงขณะที่ลูกค้าชำระเงินล้มเหลว ซึ่งไม่เคยถูกประกาศเพราะทีมใกล้ถึงขีดจำกัด พวกเขาแทนที่เป้าหมายด้วยตัวชี้วัดสามตัว ได้แก่ เวลาในการประกาศ คำสั่งซื้อที่ล้มเหลวต่อเหตุขัดข้อง และสัดส่วนการดำเนินการจากการทบทวนที่เสร็จตรงเวลา พวกเขาเพิ่มมาตรการป้องกันเป็นการสุ่มตัวอย่างรายไตรมาสของเหตุขัดข้องลำดับความสำคัญสูงที่ผู้อยู่นอกทีมเจ้าของอ่าน ในไตรมาสถัดไป จำนวนที่ประกาศเพิ่มเป็นสี่ (ตัวเลขประกอบ) เวลามัธยฐานในการประกาศลดลง และการทบทวนแบบสุ่มไม่พบการประกาศที่พลาด

มุมมองตามประเภทองค์กร

สตาร์ตอัป สตาร์ตอัปอาจไม่มีกระบวนการเหตุขัดข้องรุนแรงที่เป็นทางการ มีเพียงผู้ที่ตื่นอยู่ เริ่มด้วยนิยามหนึ่งย่อหน้า ผู้ประสานงานที่ระบุชื่อสำหรับแต่ละเหตุการณ์ และเอกสารร่วมที่บันทึกไทม์ไลน์ นับเหตุขัดข้องและจดผลกระทบในหนึ่งประโยค การทบทวนอาจเป็นบันทึกครึ่งหน้า และการติดตามผลเป็นรายการในแบ็กล็อกของทีม

ธุรกิจขนาดเล็ก ธุรกิจขนาดเล็กมักพึ่งพาซัพพลายเออร์สำหรับบริการส่วนใหญ่ ไทม์ไลน์จึงรวมการรอซัพพลายเออร์ บันทึกเวลาติดต่อและตอบสนองของซัพพลายเออร์ในไทม์ไลน์เหตุขัดข้อง เพราะอธิบายระยะเวลาส่วนใหญ่และให้หลักฐานสำหรับการสนทนาเรื่องสัญญา รักษาการสื่อสารกับลูกค้าให้เรียบง่าย ได้แก่ ช่องทางเดียว บุคคลเดียว และช่วงการอัปเดตที่ระบุ

องค์กรขนาดใหญ่ องค์กรขนาดใหญ่ดำเนินบริการจำนวนมากและมีเหตุขัดข้องจำนวนมากในแต่ละช่วงเวลา ดังนั้นทั้งจำนวนต่อบริการและยอดรวมจึงมีประโยชน์ ความเสี่ยงคือเกณฑ์ที่ไม่สอดคล้องกันระหว่างหน่วยงาน และกระบวนการที่หนักจนทำให้การประกาศช้า ปรับนิยามให้สอดคล้อง รักษากระบวนการให้เบาในสิบห้านาทีแรก และใช้รูปแบบระเบียนร่วมเพื่อเปรียบเทียบผลกระทบและการสื่อสารได้

ภาครัฐและภาคสาธารณะ หน่วยงานสาธารณะมักมีหน้าที่ตามกฎหมาย เช่นการแจ้งหน่วยงานกำกับดูแลหรือสาธารณะ และต้นทุนความล้มเหลวที่สูงกว่าสำหรับประชาชนที่ไม่มีทางเลือกอื่น เพิ่มตัวชี้วัดการปฏิบัติตามหน้าที่การแจ้งและผลกระทบต่อกลุ่มเปราะบาง และเก็บระเบียนที่ทนต่อการตรวจสอบและคำขอข้อมูลสาธารณะ วงจรการจัดซื้ออาจทำให้รายการดำเนินการล่าช้า จึงควรติดตามการดำเนินการที่ถูกขวางและยกระดับ

กรณีทางธุรกิจ: แรงจูงใจ ROI และ TCO

แรงจูงใจคือการลดต้นทุนของเหตุขัดข้องที่สร้างความเสียหายมากที่สุด ได้แก่ รายได้หรือบริการที่สูญเสีย ความไว้วางใจที่เสียหาย ความเหนื่อยหน่ายของบุคลากร และความเสี่ยงด้านกฎระเบียบ ชุดตัวชี้วัดเหตุขัดข้องรุนแรงที่เล็กและสม่ำเสมอแสดงว่าต้นทุนนั้นมาจากที่ใด การตรวจพบและการสื่อสารดีขึ้นหรือไม่ และการลงทุนในการป้องกันเห็นผลหรือไม่ ตัวชี้วัดที่แสดงเพียงจำนวนผลักต้นทุนไปสู่การซ่อนเหตุขัดข้อง

ต้นทุนการรวบรวมอยู่ในระดับพอประมาณหากข้อมูลอยู่ในเครื่องมือ ITSM ระบบเฝ้าติดตาม และตัวติดตามประเด็นอยู่แล้ว ต้นทุนหลักคือการตกลงนิยาม การเชื่อมระเบียนเหตุขัดข้องกับการเฝ้าติดตามและแบ็กล็อกการดำเนินการ และเวลาที่ใช้เขียนแต่ละการทบทวน ตัวชี้วัดมีต้นทุนน้อยนอกเหนือจากการทำให้ระเบียนสม่ำเสมอ

ผลตอบแทนปรากฏเป็นเวลาในการประกาศที่สั้นลง การสื่อสารที่ชัดเจนขึ้น เหตุขัดข้องซ้ำที่น้อยลง และการทำงานซ้ำที่น้อยลง ไม่มีตัวเลขสากลที่ใช้ได้ ดังนั้นให้ประมาณของคุณเอง นำเหตุขัดข้องรุนแรงของปีที่แล้ว ประมาณต้นทุนของผลกระทบหนึ่งชั่วโมงสำหรับแต่ละบริการร่วมกับฝ่ายการเงิน และเปรียบเทียบกับต้นทุนของงานติดตามผลที่ต้องใช้เพื่อป้องกันสาเหตุที่เกิดซ้ำ ต้นทุนรวมในการเป็นเจ้าของรวมเวลาของผู้ทบทวน เครื่องมือสำหรับไทม์ไลน์และหน้าสถานะ และกำลังความสามารถที่กันไว้สำหรับการดำเนินการติดตามผล ซึ่งเป็นที่ที่โปรแกรมส่วนใหญ่ลงทุนน้อยเกินไป

รูปแบบที่ไม่ควรทำและข้อควรระวัง

  • เป้าหมายสำหรับจำนวนเหตุขัดข้องรุนแรง สอนให้ผู้คนหลีกเลี่ยงการประกาศ แทนที่จะทำเช่นนั้น ให้ติดตามเวลาในการประกาศ ผลกระทบ และการดำเนินการตามจนเสร็จ และสุ่มตรวจหาการประกาศที่พลาด
  • เวลาเฉลี่ยในการกู้คืนตัวเดียวสำหรับเหตุขัดข้องรุนแรง เมื่อมีเหตุการณ์น้อย การล่มยาวครั้งเดียวครอบงำ แทนที่จะทำเช่นนั้น ให้แสดงแต่ละเหตุขัดข้อง แล้วจึงแสดงค่ามัธยฐานและค่าที่ยาวที่สุดตลอดหนึ่งปีพร้อมจำนวน
  • เริ่มนาฬิกาที่การประกาศ ซ่อนความล่าช้าของการตรวจพบและการประกาศ แทนที่จะทำเช่นนั้น ให้เริ่มที่หลักฐานแรกสุดของผลกระทบต่อลูกค้า และรายงานช่องว่างแยกต่างหาก
  • จัดอันดับผู้ตอบสนองหรือทีมตามตัวชี้วัดเหตุขัดข้อง ทำลายความตรงไปตรงมาและทำให้การทบทวนเสียหาย แทนที่จะทำเช่นนั้น ให้รายงานตามบริการและระบบ และเก็บชื่อออกจากข้อมูล
  • ถือว่าการทบทวนเสร็จเมื่อเผยแพร่เอกสาร การเปลี่ยนแปลงคือประเด็น แทนที่จะทำเช่นนั้น ให้วัดการดำเนินการตามจนเสร็จและดูการดำเนินการที่เกินกำหนดทุกเดือน
  • การเปลี่ยนเกณฑ์อย่างเงียบ ๆ แนวโน้มไม่มีความหมาย แทนที่จะทำเช่นนั้น ให้ใส่เวอร์ชันให้เกณฑ์และบันทึกการเปลี่ยนแปลงในรายงาน
  • นับเฉพาะตั๋วเป็นผลกระทบ ผู้ใช้ที่ได้รับผลกระทบจำนวนมากไม่เคยโทร แทนที่จะทำเช่นนั้น ให้ใช้โทรมาตรและเพิ่มข้อความผลกระทบด้วยภาษาธรรมดา
  • ใช้ตัวชี้วัดเพื่อกล่าวโทษ ผู้คนจะซ่อนข้อเท็จจริง แทนที่จะทำเช่นนั้น ให้รักษาการทบทวนแบบไม่กล่าวโทษ มุ่งที่เงื่อนไขและการตัดสินใจ และมองหาสาเหตุเชิงระบบ

แบบจำลองวุฒิภาวะ

มิติ 1 เริ่มต้น 2 พัฒนา 3 ทำให้เป็นมาตรฐาน 4 บริหารจัดการ 5 ประสานจัดการ
นิยามและนาฬิกา รุนแรงหมายถึงสิ่งที่คนเสียงดังที่สุดบอก เวลามาจากความจำ บางทีมมีเกณฑ์และเขียนเวลาเริ่มและสิ้นสุด นิยามเขียนไว้หนึ่งชุด มีเวอร์ชัน พร้อมกฎนาฬิกาสำหรับเวลาเริ่มผลกระทบ การประกาศ และการกู้คืน ตรวจสอบนิยามและนาฬิกาเทียบกับการเฝ้าติดตาม บันทึกการเปลี่ยนแปลงพร้อมเหตุผล ตกลงเกณฑ์และนาฬิกากับซัพพลายเออร์และลูกค้า ปรับปรุงเมื่อไม่ช่วยให้ตัดสินใจอีกต่อไป
ผลกระทบและการสื่อสาร อธิบายผลกระทบด้วยเรื่องเล่า ส่งการอัปเดตเมื่อมีคนนึกได้ ประมาณผลกระทบสำหรับบางเหตุขัดข้อง บางทีมใช้หน้าสถานะ วัดผลกระทบจากโทรมาตรสำหรับบริการสำคัญ ตั้งและติดตามเป้าหมายการอัปเดต ติดตามแนวโน้มผลกระทบและการสื่อสารและเชื่อมกับข้อเสนอแนะจากลูกค้า แบ่งปันผลกระทบกับลูกค้าและซัพพลายเออร์ในรูปแบบร่วม พร้อมการดำเนินการปรับปรุงร่วมกัน
การทบทวนและการดำเนินการตามจนเสร็จ การทบทวนเกิดน้อยและไม่ได้เขียน ลืมการดำเนินการ บางทีมเขียนการทบทวน บันทึกการดำเนินการแต่ไม่ติดตาม ทบทวนเหตุขัดข้องรุนแรงทุกครั้งตรงเวลา ติดตามการดำเนินการในแบ็กล็อกของทีม ทบทวนการดำเนินการที่เกินกำหนดและสาเหตุที่เกิดซ้ำตามรอบ พร้อมงานป้องกันที่ได้รับทุน แบ่งปันรูปแบบข้ามทีมและซัพพลายเออร์ การเรียนรู้เปลี่ยนการออกแบบและการวางแผนเป็นกิจวัตร
การใช้ในการตัดสินใจ อ้างตัวเลขหลังเหตุการณ์ แสดงจำนวนให้ผู้นำโดยไม่มีบริบท แสดงไทม์ไลน์และแนวโน้มให้ทีมที่เป็นเจ้าของบริการ จับคู่ตัวชี้วัดกับมาตรการป้องกันและใช้จัดลำดับความสำคัญของงานด้านความน่าเชื่อถือ ตัดสินใจลงทุนด้านความน่าเชื่อถือร่วมกันโดยใช้หลักฐานผลกระทบและการเกิดซ้ำข้ามบริการ

รายการตรวจสอบ

  • เกณฑ์การประกาศเขียนไว้ มีเวอร์ชัน และทุกคนที่อยู่เวรรู้
  • การประกาศด้วยความสุจริตปลอดภัยอย่างชัดแจ้ง และไม่มีเป้าหมายกับจำนวน
  • นิยามเวลาเริ่มผลกระทบ การประกาศ และการกู้คืน และนำมาจากการเฝ้าติดตามหรือเส้นทางการตรวจสอบ
  • แสดงเหตุขัดข้องรุนแรงแต่ละครั้งเป็นแถวของตนเองพร้อมไทม์ไลน์ตามระยะ
  • ผลกระทบต่อลูกค้าได้จากโทรมาตรเมื่อมี และอธิบายในข้อความด้วยภาษาธรรมดา
  • ตั้งเป้าหมายสำหรับการแจ้งครั้งแรกและจังหวะการอัปเดต และตรวจสอบต่อเหตุขัดข้อง
  • เผยแพร่การทบทวนภายในช่วงเวลาที่ตกลงและการดำเนินการอยู่ในแบ็กล็อกของทีมเจ้าของ
  • ทบทวนการดำเนินการที่เกินกำหนดและสาเหตุที่เกิดซ้ำตามกำหนด
  • การสุ่มตรวจรายไตรมาสของเหตุขัดข้องธรรมดาที่มีผลกระทบสูงตรวจหาการประกาศที่พลาด
  • ตัวชี้วัดทุกตัวมีมาตรการป้องกันที่ระบุชื่อ และไม่มีตัวชี้วัดใดใช้จัดอันดับบุคคล

พรอมต์ AI

ร่างเกณฑ์การประกาศเพื่อทบทวน

ฉันกำลังร่างเกณฑ์สำหรับการประกาศเหตุขัดข้องรุนแรงใน [ประเภทองค์กร]
บริการของเราคือ [รายการบริการ] และทีมของเราคือ [รายการทีม] ผู้ใช้คือ
[คำอธิบายผู้ใช้] เสนอชุดเกณฑ์การประกาศสั้น ๆ พร้อมตัวอย่างสองสามข้อสำหรับ
แต่ละเกณฑ์ รายการความกำกวมที่ทีมอาจโต้เถียง และคำถามที่ฉันควรตกลงกับ
[ผู้มีส่วนได้ส่วนเสีย] อย่าสร้างเกณฑ์หรือค่าเกณฑ์มาตรฐานขึ้นเอง ใช้
[ตัวแทน] ในที่ที่ต้องมีตัวเลข ระบุสมมติฐานของคุณ

สร้างไทม์ไลน์เหตุขัดข้องขึ้นใหม่และวิพากษ์

นี่คือไทม์ไลน์ของเหตุขัดข้องรุนแรง: [วางไทม์ไลน์พร้อมตราเวลาและแหล่งที่มา]
ระบุเวลาเริ่มผลกระทบ การประกาศ การบรรเทา และการกู้คืนเต็มรูปแบบ และบอกว่า
ตราเวลาใดไม่แน่นอนและเพราะเหตุใด แบ่งระยะเวลาเป็นระยะและจดว่าความล่าช้าใหญ่ที่สุด
เกิดที่ใด เสนอคำถามที่จะถามผู้ตอบสนองและหลักฐานการเฝ้าติดตามที่ควรมองหา
อย่าสร้างข้อเท็จจริงที่ไม่ได้อยู่ในไทม์ไลน์ ระบุสมมติฐานของคุณ

ทบทวนชุดการดำเนินการหลังเหตุขัดข้อง

ด้านล่างคือการดำเนินการจากการทบทวนหลังเหตุขัดข้อง [จำนวน] ครั้งสำหรับ
[บริการ]: [วางการดำเนินการพร้อมเจ้าของ วันครบกำหนด และสถานะ] จัดกลุ่มตามธีม
ทำเครื่องหมายรายการที่คลุมเครือ ไม่สำคัญ หรือไม่มีเจ้าของ และระบุรูปแบบที่บ่งชี้
ระเบียนปัญหาหรือรายการแบ็กล็อกสำหรับ [ทีมเจ้าของ] อย่าจัดอันดับบุคคลหรือทีม
ตามผลงาน อย่าสร้างสาเหตุขึ้นเอง ระบุสมมติฐานของคุณและข้อมูลที่ต้องใช้เพื่อ
ปรับปรุงการวิเคราะห์

ทดสอบตัวชี้วัดที่เสนอว่าบิดเบือนได้หรือไม่

เราวางแผนจะติดตาม [ชื่อตัวชี้วัด] นิยามว่า [นิยาม] และวัดจาก [แหล่งข้อมูล]
อธิบายว่าตัวชี้วัดนี้อาจถูกบิดเบือนโดย [บทบาท] ได้อย่างไร พฤติกรรมที่ซื่อตรงอะไร
ที่อาจถูกกีดกัน และตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่ใดจะจับแต่ละกรณีได้
ให้ข้อเสนอที่ปฏิบัติได้จริงสำหรับทีมขนาด [ขนาดทีม] อย่าสร้างค่าเกณฑ์มาตรฐาน
หรือแหล่งที่มาขึ้นเอง ระบุสมมติฐานของคุณ

ทักษะ AI

  • ทักษะ Agile ITIL Metrics: ใช้เพื่อหาหัวข้อที่เกี่ยวข้องและมาตรการป้องกันที่ควรอยู่ข้างตัวชี้วัดเหตุขัดข้องรุนแรงแต่ละตัว
  • ทักษะผู้ดูแล Agile ITIL Metrics: ใช้เพื่อตรวจสอบว่าหัวข้อนี้ฉบับที่แก้ไขยังคงเป็นไปตามแม่แบบและข้อตกลง

ข้อสรุปสำคัญ

  • เหตุขัดข้องรุนแรงเกิดได้ยาก จึงควรแสดงแต่ละครั้งพร้อมไทม์ไลน์ และสรุปเฉพาะในช่วงเวลายาวโดยมีจำนวนอยู่ข้างตัวเลข
  • เริ่มนาฬิกาที่ผลกระทบต่อลูกค้า และรายงานช่องว่างก่อนการประกาศเป็นตัวชี้วัดของตนเอง
  • วัดผลกระทบในแง่ของผู้ใช้และการใช้งาน และเพิ่มข้อความด้วยภาษาธรรมดาสำหรับสิ่งที่ตัวเลขมองข้าม
  • ปฏิบัติต่อความทันเวลาของการสื่อสารเป็นส่วนหนึ่งของการตอบสนอง โดยมีเป้าหมายตามกลุ่มผู้รับและจังหวะการอัปเดตที่สม่ำเสมอ
  • การทบทวนเสร็จเมื่อการดำเนินการเสร็จ จึงควรติดตามการดำเนินการตามจนเสร็จและสาเหตุที่เกิดซ้ำ
  • อย่าตั้งเป้าหมายกับจำนวน อย่าจัดอันดับผู้คน และทำให้การประกาศปลอดภัยอยู่เสมอ

เอกสารอ้างอิงและแหล่งอ่านเพิ่มเติม

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  2. Lunney, L., and Lueder, S., "Postmortem Culture: Learning from Failure," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/postmortem-culture/
  3. Beyer, B., et al. (eds.), "Managing Incidents," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/managing-incidents/
  4. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
  7. Wikipedia, ITIL.
  8. Wikipedia, Incident management (ITSM).
  9. Wikipedia, Percentile.
  10. Wikipedia, Agile software development.
  11. Wikipedia, Site reliability engineering.
  12. Wikipedia, Incident commander.
  13. Wikipedia, Postmortem documentation.
  14. Wikipedia, Root cause analysis.
  15. Wikipedia, Goodhart's law.

ตัวชี้วัด ITIL แบบคล่องตัว — วัดบริการไอทีแบบคล่องตัวโดยไม่บิดเบือนงาน

ซอร์สและการมีส่วนร่วม: github.com/agile-itil-metrics. สร้างด้วย Lily Design System™.

สร้างโดย Joel Parker Henderson.