ภาพรวมและแรงจูงใจ

การเฝ้าติดตามคือการรวบรวม ประมวลผล และแสดงข้อมูลเรียลไทม์เกี่ยวกับระบบ การเฝ้าติดตามระบบ (system monitoring) ตอบคำถามว่า “บริการทำงานในแบบที่ผู้ใช้ต้องการหรือไม่” การแจ้งเตือนคือจุดที่ข้อมูลนั้นขอให้มนุษย์ลงมือทำอะไรบางอย่าง ทีมส่วนใหญ่วัดกิจกรรมแรกได้ไม่ดีหรือไม่วัดเลย และวัดกิจกรรมที่สองผ่านข้อร้องเรียนเท่านั้น หัวข้อนี้ให้ชุดตัวชี้วัดเล็ก ๆ สำหรับทั้งสองอย่าง: การเฝ้าติดตามเห็นความล้มเหลวที่สำคัญหรือไม่ และการแจ้งเตือนที่มันส่งสมควรได้รับความสนใจที่เรียกร้องหรือไม่

ศัพท์ก่อน ในคำศัพท์ของ ITIL 4 เหตุการณ์ (event) คือการเปลี่ยนสถานะที่มีนัยสำคัญต่อการจัดการบริการ และการจัดการเหตุการณ์คือแนวปฏิบัติในการตรวจจับเหตุการณ์ ตัดสินว่าเหตุการณ์ใดสำคัญ และเลือกการตอบสนอง การแจ้งเตือน (alert) คือการแจ้งถึงมนุษย์ ส่งเป็นเพจ ข้อความ หรือตั๋ว เพจ (page) คือการแจ้งเตือนที่ขัดจังหวะบุคคลทันที ผลบวกลวง (false positive) คือการแจ้งเตือนที่ดังขึ้นทั้งที่ไม่มีอะไรต้องใส่ใจ และผลลบลวง (false negative) คือความล้มเหลวที่ไม่มีการแจ้งเตือนใดรายงาน ทั้งสองคำมาจากภาษาของผลบวกลวงและผลลบลวง (false positives and false negatives) การแจ้งเตือนที่นำไปปฏิบัติได้ (actionable alert) คือการแจ้งเตือนที่บุคคลมีการดำเนินการที่มีประโยชน์ให้ทำ และได้ทำ หรือเลือกไม่ทำโดยมีเหตุผลที่บันทึกไว้

สองด้านของการเฝ้าติดตามดึงกันไปคนละทาง การเพิ่มการแจ้งเตือนหลังเหตุขัดข้องทุกครั้งสร้างกำแพงของสัญญาณรบกวน การตัดออกเพื่อให้เงียบเสี่ยงต่อความเงียบในความล้มเหลวที่สำคัญ ภาษาของความแม่นยำและความครบถ้วน (precision and recall) เหมาะอย่างยิ่ง ความแม่นยำถามว่าสัดส่วนเท่าใดของการแจ้งเตือนที่ส่งคุ้มค่าที่จะส่ง ความครบถ้วนถามว่าสัดส่วนเท่าใดของปัญหาจริงที่การแจ้งเตือนจับได้ คุณภาพการแจ้งเตือนคือสมดุลระหว่างสองอย่าง และตัวชี้วัดที่ดูเพียงอย่างเดียวชวนให้ทีมสละอีกอย่าง อัตราส่วนสัญญาณต่อสัญญาณรบกวน (signal-to-noise ratio) จับความตึงเครียดเดียวกัน

ต้นทุนด้านมนุษย์คือเหตุผลที่หัวข้อนี้อยู่ในหนังสือตัวชี้วัดบริการ ความล้าจากการแจ้งเตือน (alarm fatigue) คือแนวโน้มที่มีการศึกษาอย่างดีว่าผู้ที่ได้รับสัญญาณเตือนจำนวนมาก ซึ่งส่วนใหญ่ไม่สำคัญ จะชินชาและตอบสนองช้าต่อสัญญาณที่สำคัญ เริ่มศึกษาครั้งแรกในสถานพยาบาลและใช้กับการหมุนเวรเรียกฉุกเฉิน (on-call)ใดก็ตามที่ถูกเรียกบ่อยเกินไปด้วยการแจ้งเตือนที่ไม่นำไปสู่อะไร ผู้ตอบสนองที่ล้าพลาดเหตุขัดข้องจริงและในที่สุดก็ออกจากการหมุนเวร

มุมมองต่างกันระหว่างสองแนวปฏิบัติที่หนังสือเล่มนี้รวมเข้าด้วยกัน ITIL 4 วางงานนี้ไว้ในแนวปฏิบัติการเฝ้าติดตามและการจัดการเหตุการณ์ โดยเชื่อมกับการจัดการเหตุขัดข้องและการจัดการระดับบริการ ความกังวลของมันคือเหตุการณ์ถูกตรวจจับ จัดประเภท และส่งต่อ เพื่อให้พบเหตุขัดข้องแต่เนิ่น ๆ และจัดการอย่างสม่ำเสมอ วิศวกรรมความน่าเชื่อถือของไซต์ (site reliability engineering: SRE) เข้ามาจากปลายอีกด้าน: หนังสือ Site Reliability Engineering ของ Google ให้เหตุผลว่าเพจควรเร่งด่วน สำคัญ นำไปปฏิบัติได้ และเป็นจริง และสิ่งอื่นทั้งหมดควรอยู่ในตั๋วหรือแดชบอร์ด ทีมแบบคล่องตัวพบเรื่องนี้ในฐานะข้อตกลงการทำงาน: ใครถูกปลุก เพราะอะไร และใครแก้การแจ้งเตือนที่ผิด ตัวชี้วัดด้านล่างยืมจากทั้งสามและรักษากฎข้อเดียว: ตัวชี้วัดอธิบายการหมุนเวร บริการ หรือกฎการแจ้งเตือน ไม่ใช่บุคคล

หัวข้อนี้ไม่ทำซ้ำหัวข้อข้างเคียง ระยะเวลาเหตุขัดข้องอยู่ในหัวข้อ 3.3 “เวลาตอบสนองและเวลาแก้ไขเหตุขัดข้อง” เหตุขัดข้องรุนแรงอยู่ในหัวข้อ 3.4 “ตัวชี้วัดเหตุขัดข้องรุนแรง” วัตถุประสงค์และงบข้อผิดพลาดอยู่ในหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด” และภาระของมนุษย์อยู่ในหัวข้อ 5.7 “ตัวชี้วัดงานซ้ำซากและเวรเรียกฉุกเฉิน” ที่นี่เรื่องคือคุณภาพของสัญญาณที่เริ่มสิ่งเหล่านั้นทั้งหมด การติดตั้งเครื่องมือวัดครอบคลุมในหัวข้อ 1.5 “แหล่งข้อมูลและการติดตั้งเครื่องมือวัด”

หลักการสำคัญ

  • เรียกคนด้วยอาการที่ผู้ใช้รู้สึก ส่วนที่เหลือใช้ตั๋วหรือแดชบอร์ด การแจ้งเตือนจากสิ่งที่ผู้ใช้สัมผัส (ข้อผิดพลาด ความช้า การใช้งานไม่ได้) ยังมีประโยชน์เมื่อระบบเปลี่ยน การแจ้งเตือนจากสาเหตุ (ดิสก์เต็ม ซีพียูยุ่ง) มีประโยชน์เฉพาะเมื่อมันทำนายอาการได้และบุคคลลงมือได้ก่อนที่อาการจะมาถึง
  • ทุกการแจ้งเตือนต้องนำไปสู่การดำเนินการ ถ้าการตอบสนองที่ถูกต้องต่อการแจ้งเตือนคือไม่ทำอะไร การแจ้งเตือนนั้นควรถูกเปลี่ยน ลดระดับเป็นตั๋ว หรือลบ วัดสัดส่วนที่นำไปสู่การดำเนินการ และถือส่วนที่เหลือเป็นข้อบกพร่องของการเฝ้าติดตาม
  • วัดทั้งความแม่นยำและความครบถ้วน การนับเฉพาะสัญญาณรบกวนให้รางวัลความเงียบ และการนับเฉพาะความครอบคลุมให้รางวัลปริมาณ ทั้งสองอย่างรวมกันอธิบายคุณภาพ และแต่ละอย่างทำหน้าที่เป็นมาตรการป้องกันของอีกอย่าง
  • ถือกฎการแจ้งเตือนทุกข้อเป็นผลิตภัณฑ์ที่มีเจ้าของ กฎมีวัตถุประสงค์ เกณฑ์ คู่มือปฏิบัติ และวันทบทวน กฎที่ไม่มีเจ้าของสะสม และสัญญาณรบกวนที่มันสร้างเป็นของไม่มีใคร
  • รายงานการหมุนเวรและบริการ ไม่ใช่บุคคล ภาระการแจ้งเตือนเป็นคุณสมบัติของวิธีออกแบบระบบและการหมุนเวร การระบุชื่อบุคคลเปลี่ยนปัญหาการออกแบบให้เป็นปัญหาการกล่าวโทษและซ่อนการแก้ไขที่แท้จริง

นิยามตัวชี้วัด

ตัวชี้วัดด้านล่างเลือกมาเป็นชุด ปริมาณเพียงอย่างเดียวไม่มีความหมาย การนำไปปฏิบัติได้บอกว่าปริมาณเป็นปัญหาหรือไม่ และความครอบคลุมกับเวลาตรวจจับบอกว่าความเงียบซ่อนอะไรไว้ ทั้งหมดคำนวณต่อบริการหรือต่อการหมุนเวร และทั้งหมดใช้บันทึกการแจ้งเตือนจากเครื่องมือเฝ้าติดตามและเพจที่เชื่อมกับบันทึกเหตุขัดข้องและตั๋ว

ตัวชี้วัด นิยาม สูตร หน่วย แหล่งข้อมูล แนวปฏิบัติ ITIL คู่เทียบแบบคล่องตัว ความถี่
ปริมาณการแจ้งเตือน จำนวนการแจ้งเตือนที่แจ้งถึงมนุษย์ แยกเป็นเพจและตั๋ว จำนวนการแจ้งที่แตกต่างกันซึ่งส่งถึงการหมุนเวรหรือคิวในรอบเวลา การแจ้งซ้ำของการแจ้งเตือนที่ยังเปิดอยู่เดียวกันถูกจัดกลุ่มเป็นหนึ่ง การแจ้งเตือนที่จัดการโดยระบบอัตโนมัติทั้งหมดโดยไม่แจ้งมนุษย์ถูกตัดออก รายงานต่อการหมุนเวรต่อสัปดาห์ และสัดส่วนนอกเวลางานแยกต่างหาก การแจ้งเตือนต่อการหมุนเวรต่อสัปดาห์ เครื่องมือเพจและการส่งต่อการแจ้งเตือน การเฝ้าติดตามและการจัดการเหตุการณ์ ข้อตกลงการทำงานของทีมเรื่องเวรเรียกฉุกเฉิน รายสัปดาห์
อัตราการแจ้งเตือนที่นำไปปฏิบัติได้ สัดส่วนของการแจ้งเตือนที่บุคคลดำเนินการที่มีประโยชน์หลังจากนั้น การแจ้งเตือนที่มีการดำเนินการที่บันทึกไว้ (แก้ไข บรรเทา ยกระดับ หรือเปลี่ยนกฎการแจ้งเตือน) / การแจ้งเตือนที่ทบทวนในรอบเวลา การแจ้งเตือนที่แก้ไขเองโดยอัตโนมัติก่อนมีการรับทราบนับว่านำไปปฏิบัติไม่ได้ การแจ้งเตือนที่ยังไม่ทบทวนรายงานเป็นจำนวนแยกต่างหาก ไม่ถูกตัดทิ้ง เปอร์เซ็นต์ บันทึกการแจ้งเตือนที่เชื่อมกับป้ายทบทวน ตั๋ว หรือเหตุขัดข้อง การเฝ้าติดตามและการจัดการเหตุการณ์ การจัดการเหตุขัดข้อง การดำเนินการปรับปรุงของทีมด้านปฏิบัติการ ทบทวนรายสัปดาห์ แนวโน้มรายเดือน
อัตราผลบวกลวง สัดส่วนของการแจ้งเตือนที่ดังขึ้นทั้งที่ไม่มีปัญหา การแจ้งเตือนที่ติดป้ายผลบวกลวงในการทบทวน / การแจ้งเตือนที่ทบทวนในรอบเวลา “ผลบวกลวง” หมายถึงเงื่อนไขนั้นไม่ใช่ข้อบกพร่องและไม่มีใครอยากถูกแจ้ง ปัญหาจริงที่เล็กเกินกว่าจะดำเนินการไม่ใช่ผลบวกลวง เปอร์เซ็นต์ ป้ายทบทวนการแจ้งเตือน การเฝ้าติดตามและการจัดการเหตุการณ์ การทบทวนสัญญาณรบกวนในการทบทวนย้อนหลัง รายเดือน
ความครอบคลุมการตรวจจับ สัดส่วนของบริการในขอบเขตที่มีการแจ้งเตือนที่ทดสอบแล้วบนอาการฝั่งผู้ใช้อย่างน้อยหนึ่งรายการ บริการที่มีการแจ้งเตือนอาการที่ผ่านการทดสอบหรือเหตุการณ์จริงใน 12 เดือนล่าสุด / บริการในขอบเขตของแคตตาล็อกบริการ รายการบริการในขอบเขตตรึงที่ต้นรอบเวลา เปอร์เซ็นต์ แคตตาล็อกบริการ รายการกฎการแจ้งเตือน บันทึกการทดสอบ การจัดการการกำหนดค่าบริการ การเฝ้าติดตามและการจัดการเหตุการณ์ นิยามของความเสร็จสำหรับบริการใหม่ รายไตรมาส
สัดส่วนการตรวจจับโดยการเฝ้าติดตาม สัดส่วนของเหตุขัดข้องที่การเฝ้าติดตามตรวจพบก่อนที่ผู้ใช้หรือเพื่อนร่วมงานจะรายงาน เหตุขัดข้องที่สัญญาณแรกคือการแจ้งเตือน / เหตุขัดข้องในรอบเวลา นาฬิกาคือเวลาเปิดเหตุขัดข้อง เหตุขัดข้องที่ไม่มีสัญญาณแรกที่บันทึกรายงานเป็นไม่ทราบ ไม่ใช่ว่าตรวจพบ เปอร์เซ็นต์ บันทึกเหตุขัดข้องที่มีฟิลด์สัญญาณแรก เส้นเวลาการแจ้งเตือน การจัดการเหตุขัดข้อง การทบทวนเหตุขัดข้อง (การเรียนรู้หลังเหตุการณ์) รายเดือน
เวลาถึงการตรวจจับ (time to detect: TTD) เวลาที่ผ่านไประหว่างจุดเริ่มผลกระทบต่อผู้ใช้กับการแจ้งเตือนแรกที่แจ้งถึงมนุษย์ เวลาของการแจ้งเตือนแรกที่แจ้งมนุษย์ ลบเวลาเริ่มผลกระทบ โดยจุดเริ่มผลกระทบคือเวลาแรกสุดที่ตัวบ่งชี้ระดับบริการละเมิด ตามที่กำหนดในการทบทวนเหตุขัดข้อง รายงานค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 95 เหตุขัดข้องที่ไม่มีการแจ้งเตือนถูกตัดออกและนับแยกต่างหาก นาที การทบทวนเหตุขัดข้อง เส้นเวลาการแจ้งเตือน ประวัติตัวบ่งชี้ระดับบริการ การจัดการเหตุขัดข้อง การเฝ้าติดตามและการจัดการเหตุการณ์ การทบทวนหลังเหตุการณ์ รายเดือน ต่อเหตุขัดข้อง
ความกระจุกตัวของการแจ้งเตือน สัดส่วนของปริมาณการแจ้งเตือนที่มาจากกฎที่รบกวนที่สุดไม่กี่ข้อ การแจ้งเตือนจากห้ากฎที่มีการแจ้งเตือนมากที่สุด / การแจ้งเตือนทั้งหมดในรอบเวลา การแจ้งเตือนเดียวกันจัดกลุ่มเป็นหนึ่ง จำนวนกฎห้าข้อเป็นข้อตกลงที่ทีมเปลี่ยนได้ถ้าบอกเหตุผล เปอร์เซ็นต์ รายการกฎการแจ้งเตือนและบันทึกเพจ การปรับปรุงอย่างต่อเนื่อง การเฝ้าติดตามและการจัดการเหตุการณ์ แบ็กล็อกการปรับปรุงจากการทบทวนย้อนหลัง รายเดือน
ความเป็นปัจจุบันของกฎการแจ้งเตือน สัดส่วนของกฎเพจที่มีเจ้าของ ลิงก์คู่มือปฏิบัติ และการทบทวนภายในช่วงที่ตกลง กฎเพจที่ตรงตามทั้งสามเงื่อนไข / กฎเพจทั้งหมด กฎที่ปิดใช้งานในรอบเวลาถูกตัดออก เปอร์เซ็นต์ รายการกฎการแจ้งเตือน การจัดการความรู้ การเฝ้าติดตามและการจัดการเหตุการณ์ ข้อตกลงการทำงานเรื่องความพร้อมด้านการปฏิบัติการ รายไตรมาส

ปริมาณการแจ้งเตือนต้องมีบริบท จึงควรอ่านข้างอัตราการแจ้งเตือนที่นำไปปฏิบัติได้ เวลาถึงการตรวจจับใช้จุดเริ่มผลกระทบต่อผู้ใช้ ไม่ใช่ตั๋ว เพราะนาฬิกาของตั๋วเริ่มหลังการตรวจจับ จุดเริ่มผลกระทบเป็นค่าประมาณจากการทบทวนเหตุขัดข้องและควรระบุว่าเป็นเช่นนั้น อัตราผลบวกลวงและอัตราการแจ้งเตือนที่นำไปปฏิบัติได้ไม่ใช่ส่วนเติมเต็มกัน เพราะการแจ้งเตือนอาจเป็นจริงแต่ไม่คุ้มเวลาของบุคคล

ข้อเสนอแนะ

ตัดสินใจว่าอะไรสมควรได้รับเพจ

1. เขียนนโยบายการเรียกคนและทำให้สั้น ระบุในหนึ่งย่อหน้าว่าอะไรสมควรได้รับเพจ (อาการที่ผู้ใช้รู้สึกอยู่ตอนนี้หรือจะรู้สึกในไม่ช้า ซึ่งบุคคลลงมือทำได้) และอะไรไม่สมควร ที่เหลือทั้งหมดไปที่คิวตั๋วหรือแดชบอร์ด บทว่าด้วยการเฝ้าติดตามระบบกระจายในหนังสือ SRE ของ Google เป็นจุดเริ่มต้นที่ดี (ดูหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด”)

2. แจ้งเตือนจากอาการ และเก็บสาเหตุไว้สำหรับการวินิจฉัย เพจสำหรับ “อัตราข้อผิดพลาดสูงกว่าเกณฑ์ที่ตกลง” คือเพจเกี่ยวกับผู้ใช้ เพจสำหรับ “ซีพียูสูง” คือเพจเกี่ยวกับการเดา เก็บสัญญาณระดับสาเหตุไว้บนแดชบอร์ดที่ผู้ตอบสนองจะดูเมื่อการแจ้งเตือนอาการดังขึ้น และเลื่อนระดับเป็นเพจเฉพาะเมื่อมันทำนายอาการได้อย่างน่าเชื่อถือพร้อมเวลาเตือนล่วงหน้าพอที่จะลงมือ

3. ผูกเกณฑ์การเรียกคนกับวัตถุประสงค์ระดับบริการ เมื่อบริการมีวัตถุประสงค์ระดับบริการ (service level objective: SLO) ให้แจ้งเตือนจากอัตราที่งบข้อผิดพลาดถูกใช้ แทนเกณฑ์ดิบ บทว่าด้วยการแจ้งเตือนจาก SLO ใน SRE Workbook อธิบายการแจ้งเตือนอัตราการเผางบและข้อแลกเปลี่ยนระหว่างความแม่นยำ ความครบถ้วน เวลาตรวจจับ และเวลารีเซ็ต วิธีนี้เรียกคนเมื่อมีสิ่งคุกคามวัตถุประสงค์และเงียบกับความผันผวนสั้น ๆ ที่ไม่ใช่

ทบทวนทุกการแจ้งเตือนตามจังหวะ

4. ติดป้ายทุกการแจ้งเตือนในการทบทวนสั้น ๆ สม่ำเสมอ กันสิบห้านาทีทุกสัปดาห์ให้แต่ละการหมุนเวรดูสิ่งที่ดังขึ้น สำหรับแต่ละการแจ้งเตือน บันทึกหนึ่งป้าย: นำไปปฏิบัติได้ ผลบวกลวง จริงแต่ไม่คุ้มเพจ หรือซ้ำ ป้ายคือข้อมูลของอัตราการแจ้งเตือนที่นำไปปฏิบัติได้และอัตราผลบวกลวง และการทบทวนคือที่ที่กฎที่รบกวนถูกแก้ในวันรุ่งขึ้น แทนที่จะเป็นไตรมาสหน้า

5. ทำให้การทบทวนสร้างการเปลี่ยนแปลง ทุกสัปดาห์ เลือกอย่างน้อยหนึ่งกฎเพื่อปรับ ลดระดับ รวม หรือลบ และบันทึกการเปลี่ยนแปลงในแบ็กล็อกของทีมเป็นงานปกติ

6. ลบโดยไม่กลัว ทีมเก็บการแจ้งเตือนไว้เพราะการลบรู้สึกเสี่ยงและไม่มีใครจำได้ว่าทำไมมันมี กำหนดให้ทุกกฎเพจมีวัตถุประสงค์และเจ้าของ และตกลงกันว่ากฎที่ไม่เคยนำไปสู่การดำเนินการในช่วงที่ระบุจะถูกลบหรือลดระดับ โดยบันทึกการเปลี่ยนแปลงเพื่อให้ย้อนกลับได้ ตัวชี้วัดความเป็นปัจจุบันของกฎทำให้วินัยนี้มองเห็นได้

วัดสิ่งที่การเฝ้าติดตามพลาด

7. ติดตามสัดส่วนเหตุขัดข้องที่ผู้ใช้พบก่อน หลังเหตุขัดข้องแต่ละครั้ง ให้บันทึกว่าถูกสังเกตครั้งแรกอย่างไร: การแจ้งเตือน เพื่อนร่วมงาน ลูกค้า ตั๋วสนับสนุน หรือการตรวจตามปกติ สัดส่วนที่การเฝ้าติดตามพบเป็นตัววัดความครบถ้วนที่ใช้ได้จริงที่ใกล้เคียงที่สุด ไม่สมบูรณ์ เพราะเหตุขัดข้องที่ไม่มีใครสังเกตไม่เคยเข้าตัวอย่าง จึงควรจับคู่กับการทดสอบการแจ้งเตือนเองเป็นระยะ

8. ประมาณเวลาถึงการตรวจจับอย่างซื่อตรง กำหนดจุดเริ่มผลกระทบต่อผู้ใช้ในการทบทวนหลังเหตุการณ์จากประวัติตัวบ่งชี้ระดับบริการ ไม่ใช่จากเวลาที่ใครพิมพ์ตั๋ว รายงานค่ามัธยฐานและเปอร์เซ็นไทล์สูง และแสดงเหตุขัดข้องที่ไม่มีการแจ้งเตือนเลยเป็นจำนวนแยก ค่าเฉลี่ยค่าเดียวซ่อนทั้งกรณีทั่วไปและหางที่แย่ (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ” และหัวข้อ 3.3 “เวลาตอบสนองและเวลาแก้ไขเหตุขัดข้อง”)

9. ทดสอบการแจ้งเตือนที่ท่านพึ่งพา ความครอบคลุมการตรวจจับน่าเชื่อถือก็ต่อเมื่อเห็นการแจ้งเตือนทำงานจริง ใส่การตรวจสอบในวันซ้อมรับมือหรือการซ้อมปล่อยรุ่นที่ตั้งใจก่อให้เกิดอาการและยืนยันว่าการแจ้งเตือนที่ถูกต้องดัง ถึงการหมุนเวรที่ถูกต้อง และเชื่อมกับคู่มือปฏิบัติที่ใช้ได้ การแจ้งเตือนที่ไม่เคยถูกทดสอบคือความหวัง ไม่ใช่มาตรการควบคุม (ดูหัวข้อ 5.6 “ตัวชี้วัดความต่อเนื่องของบริการ”)

รักษาเส้นทางสัญญาณให้สุขภาพดี

10. เฝ้าติดตามการเฝ้าติดตาม ความล้มเหลวเงียบของระบบเฝ้าติดตามดูเหมือนบริการที่สุขภาพดีทุกประการ เพิ่มการตรวจจังหวะหัวใจที่เรียกคนถ้าไปป์ไลน์การแจ้งเตือนหยุดส่ง และบันทึกว่าตัวไปป์ไลน์เองล้มเหลวบ่อยเพียงใด

11. จัดกลุ่ม ขจัดซ้ำ และเชื่อมโยงก่อนนับ จัดกลุ่มการแจ้งเตือนที่เกี่ยวข้องเป็นหนึ่ง ระงับการแจ้งซ้ำของการแจ้งเตือนที่เปิดอยู่แล้ว และส่งแต่ละรายการไปยังการหมุนเวรที่เป็นเจ้าของ เชื่อมแต่ละการแจ้งเตือนกับคู่มือปฏิบัติและกับเหตุขัดข้องหรือตั๋วที่มันสร้าง เพราะการเชื่อมนั้นคือสิ่งที่ให้คำนวณอัตราการแจ้งเตือนที่นำไปปฏิบัติได้และสัดส่วนการตรวจจับโดยการเฝ้าติดตามได้โดยไม่ต้องนับด้วยมือ (ดูหัวข้อ 1.5 “แหล่งข้อมูลและการติดตั้งเครื่องมือวัด”)

ช่องทางการบิดเบือนและมาตรการป้องกัน

ตัวชี้วัด ถูกบิดเบือนได้อย่างไร ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่
ปริมาณการแจ้งเตือน เพิ่มเกณฑ์ ใส่ความล่าช้ายาว หรือย้ายการแจ้งเตือนจากเพจไปคิวเงียบ เพื่อให้จำนวนลดขณะที่ปัญหาไม่ถูกเห็น แยกหรือรวมการแจ้งเตือนเพื่อเปลี่ยนจำนวน สัดส่วนการตรวจจับโดยการเฝ้าติดตามและเวลาถึงการตรวจจับ กฎว่าทุกการลดระดับต้องบันทึกพร้อมเหตุผลและทบทวนหลังหนึ่งไตรมาส
อัตราการแจ้งเตือนที่นำไปปฏิบัติได้ ติดป้ายการแจ้งเตือนว่านำไปปฏิบัติได้หลังเหตุการณ์ หรือทำการดำเนินการเล็กน้อย (ความเห็น การรับทราบ) เพื่อให้เข้าเกณฑ์ ปล่อยการแจ้งเตือนที่รบกวนไว้โดยไม่ทบทวนเพื่อไม่ให้เข้าตัวหาร จำนวนการแจ้งเตือนที่ยังไม่ทบทวนแสดงข้างอัตรา การสุ่มตรวจโดยผู้ที่อยู่นอกการหมุนเวร นิยามของ “การดำเนินการที่มีประโยชน์” ที่เขียนไว้
อัตราผลบวกลวง นิยามผลบวกลวงแคบเพื่อให้การแจ้งเตือน “จริงแต่ไร้ประโยชน์” นับเป็นจริง ปิดการแจ้งเตือนที่รบกวนโดยไม่ติดป้าย ติดตามอัตราการแจ้งเตือนที่นำไปปฏิบัติได้และป้าย “จริงแต่ไม่คุ้มเพจ” แยกกัน สุ่มตรวจการแจ้งเตือนที่ปิดแล้วเป็นระยะ
ความครอบคลุมการตรวจจับ เพิ่มการแจ้งเตือนเล็กน้อย (การปิง) ให้ทุกบริการเพื่ออ้างความครอบคลุม นับการแจ้งเตือนที่ไม่เคยทดสอบ ข้อกำหนดว่าการแจ้งเตือนต้องเฝ้าอาการฝั่งผู้ใช้และผ่านการทดสอบใน 12 เดือนล่าสุด สัดส่วนการตรวจจับโดยการเฝ้าติดตาม
สัดส่วนการตรวจจับโดยการเฝ้าติดตาม บันทึกทุกเหตุขัดข้องว่า “ตรวจพบโดยการเฝ้าติดตาม” แม้ผู้ใช้รายงานก่อน สร้างการแจ้งเตือนหลังเหตุการณ์แล้วอ้างถึง ปล่อยฟิลด์สัญญาณแรกว่างเพื่อเลี่ยงตัวเลขที่แย่ จำนวนที่ไม่ทราบแสดงข้างสัดส่วน หลักฐานสัญญาณแรกมาจากเส้นเวลาการแจ้งเตือน ไม่ใช่ความจำ เหตุขัดข้องที่ลูกค้ารายงานเชื่อมจากบันทึกฝ่ายสนับสนุน
เวลาถึงการตรวจจับ (time to detect: TTD) ประกาศจุดเริ่มผลกระทบช้ากว่าความจริง ตัดเหตุขัดข้องที่ไม่มีการแจ้งเตือนออก รายงานค่าเฉลี่ยเพื่อซ่อนหาง จุดเริ่มผลกระทบมาจากประวัติตัวบ่งชี้ระดับบริการ เหตุขัดข้องที่ไม่มีการแจ้งเตือนถูกนับและแสดง รายงานค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 95 ด้วยกัน
ความกระจุกตัวของการแจ้งเตือน แยกกฎที่รบกวนหนึ่งข้อเป็นหลายข้อเพื่อไม่ให้ข้อใดอยู่ในห้าอันดับแรก เปลี่ยนชื่อกฎ รายงานความกระจุกตัวตามข้อบกพร่องหรือบริการเบื้องหลังเช่นเดียวกับตามกฎ ติดตามปริมาณรวมและอัตราการแจ้งเตือนที่นำไปปฏิบัติได้ข้างกัน
ความเป็นปัจจุบันของกฎการแจ้งเตือน ใส่เจ้าของตัวแทน ลิงก์คู่มือปฏิบัติที่ว่าง หรือการทบทวนแบบประทับตราเพื่อให้ตรงเงื่อนไข สุ่มตรวจว่าลิงก์คู่มือปฏิบัติเปิดได้และถูกใช้ในการตอบสนองจริง แนวปฏิบัติทดสอบคู่มือในวันซ้อมรับมือ

การอ่านค่าที่ดีแสดงหลายอย่างพร้อมกัน ปริมาณการแจ้งเตือนต่อการหมุนเวรคงที่หรือลดลงและอยู่ในระดับที่ทีมเลือกว่ายั่งยืน อัตราการแจ้งเตือนที่นำไปปฏิบัติได้สูงขึ้นหลายเดือนเมื่อกฎที่รบกวนที่สุดถูกปรับ สัดส่วนการตรวจจับโดยการเฝ้าติดตามสูงและเวลาถึงการตรวจจับสั้นและไม่ยาวขึ้นเมื่อปริมาณลดลง ซึ่งพิสูจน์ว่าความเงียบเป็นสิ่งที่ได้มา ไม่ใช่ซื้อมา ความครอบคลุมการตรวจจับเติบโตเพราะบริการถูกทดสอบ ไม่ใช่เพราะเพิ่มการแจ้งเตือนเล็กน้อย ถ้าปริมาณลดลงขณะที่สัดส่วนการตรวจจับหรือเวลาถึงการตรวจจับแย่ลง ทีมได้แลกความครบถ้วนกับความสงบ และมาตรการป้องกันคือสิ่งที่เปิดเผยมัน

ข้อแลกเปลี่ยน: ข้อดีและข้อเสีย

แนวทาง ข้อดี ข้อเสีย
เพจน้อยและอิงอาการ กลางคืนเงียบ ไว้ใจแต่ละเพจสูง รักษาให้ทันสมัยง่าย เสี่ยงตรวจจับช้าสำหรับปัญหาที่สะสมช้า ต้องมีนิสัยตั๋วและแดชบอร์ดที่ดีสำหรับส่วนที่เหลือ
การแจ้งเตือนไวจำนวนมาก เตือนล่วงหน้าถึงปัญหาระดับสาเหตุ พลาดเหตุขัดข้องน้อยลง ความล้าจากการแจ้งเตือน การรับทราบช้าลง และการลาออกจากการหมุนเวร
การแจ้งเตือนอัตราการเผางบ SLO เพจผูกกับสิ่งที่คุกคามวัตถุประสงค์ ผันผวนน้อยลง ต้องมีตัวบ่งชี้ที่ดีและวัตถุประสงค์ที่ตกลง ต้องปรับเพื่อสมดุลระหว่างเวลาตรวจจับและความแม่นยำ
ทบทวนการแจ้งเตือนรายสัปดาห์ ข้อเสนอแนะรวดเร็ว แก้กฎที่รบกวนได้เร็ว ใช้เวลาทุกสัปดาห์ กลายเป็นการแสดงถ้าไม่มีการเปลี่ยนแปลงตามมา
ติดป้ายโดยมนุษย์ จับวิจารณญาณที่เครื่องมือใดไม่มี เป็นอัตนัย ป้ายเลื่อนระหว่างผู้ทบทวนและการหมุนเวรเว้นแต่เขียนนิยามไว้
การระงับและจัดกลุ่มอัตโนมัติ ลดสัญญาณรบกวนในระดับใหญ่ ลดเพจซ้ำ อาจซ่อนสัญญาณจริงถ้ากฎผิด ต้องมีการเฝ้าติดตามและทบทวนของตนเอง

ทุกทางเลือกแลกความแม่นยำกับความครบถ้วน และควรแลกอย่างตั้งใจและเขียนไว้ต่อบริการ เพราะบริบทคือสิ่งที่ทำให้ใครก็ตามอ่านตัวเลขได้อย่างยุติธรรม บริการที่การพลาดความล้มเหลวมีผลร้ายแรงอาจยอมรับอัตราที่นำไปปฏิบัติได้ต่ำลงเพื่อแลกกับการเตือนที่เร็วขึ้น โดยมีชั้นคัดแยกที่ส่งการแจ้งเตือนส่วนเกินไปคิวตั๋วในเวลากลางคืน

คำถามสำหรับอภิปรายกับทีม

1. เราอยากถูกปลุกเพราะอะไร และเพจใดของเดือนที่แล้วที่ถึงมาตรฐานนั้น เขียนนโยบายการเรียกคนในหนึ่งถึงสองประโยค แล้วนำเพจของเดือนที่แล้วมาทดสอบแต่ละอันเทียบกับมัน การฝึกนี้มีค่ากว่าเปอร์เซ็นต์ที่ได้ เพราะความเห็นต่างเผยว่าความคาดหวังของทีมต่างกันตรงไหน บันทึกเพจที่ไม่จำเป็นเป็นผู้สมัครที่จะลดระดับ

2. ถ้ากฎการแจ้งเตือนที่รบกวนที่สุดหายไปพรุ่งนี้ เราจะเสียอะไร ถามคำถามนี้กับแต่ละห้ากฎแรกตามปริมาณ มักไม่มีใครระบุความล้มเหลวเฉพาะที่กฎนั้นเคยจับได้ และนั่นเป็นสัญญาณว่าปรับหรือลบได้ ถ้ามีใครระบุได้ ให้ถามว่าความล้มเหลวนั้นจะกระตุ้นการแจ้งเตือนอาการด้วยหรือไม่

3. เราจะรู้ได้อย่างไรว่าการเฝ้าติดตามพลาดอะไร ดูเหตุขัดข้องสองสามครั้งล่าสุดและถามว่าใครสังเกตก่อนและผลกระทบดำเนินไปนานเท่าใดก่อนหน้านั้น คำตอบให้สัดส่วนการตรวจจับโดยการเฝ้าติดตามและเวลาถึงการตรวจจับโดยประมาณโดยไม่ต้องมีเครื่องมือใหม่ อภิปรายว่าสัญญาณใดจะจับแต่ละครั้งได้เร็วขึ้น

4. ภาระเวรเรียกฉุกเฉินของเรายั่งยืนหรือไม่ และเราจะรู้ได้อย่างไร ตกลงว่ายั่งยืนหมายถึงอะไรสำหรับการหมุนเวร เช่นขีดจำกัดเพจนอกเวลางานต่อสัปดาห์ และทบทวนแนวโน้มตามการหมุนเวร ไม่ใช่ตามบุคคล ถ้าภาระสูงกว่าระดับที่ตกลง ให้ถือเป็นข้อบกพร่องของบริการและวางแผนงานลดมัน รักษาตัวชี้วัดให้สอดคล้องกับหัวข้อ 5.7 “ตัวชี้วัดงานซ้ำซากและเวรเรียกฉุกเฉิน”

5. การแจ้งเตือนใดของเราที่ไม่เคยทดสอบ และเราจะทดสอบอย่างปลอดภัยได้อย่างไร ระบุบริการที่พึ่งพาการแจ้งเตือนอาการเดียว และถามว่ามีใครเคยเห็นมันดังจริงหรือในการซ้อมหรือไม่ วางแผนทดสอบหนึ่งครั้งและตรวจเส้นทางทั้งหมด: การตรวจจับ การส่งต่อ การแจ้ง คู่มือปฏิบัติ พิจารณาว่าไปป์ไลน์การแจ้งเตือนที่ล้มเหลวจะมองเห็นได้เลยหรือไม่

6. ตัวเลขเหล่านี้อาจถูกบิดเบือนที่นี่อย่างไร และเราจะสังเกตเห็นอะไร ขอให้ทีมอธิบายอย่างซื่อตรงว่าจะทำให้แต่ละตัวเลขดูดีขึ้นได้อย่างไรโดยไม่ปรับปรุงอะไรเลย จากนั้นตกลงว่ามาตรการป้องกันใดจะแสดงมันและใครดู การเอ่ยชื่อกลเม็ดล่วงหน้าทำให้มันน่าล่อใจน้อยลง (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”)

สี่มุมมอง

ทีมผลิตภัณฑ์และการส่งมอบ

ทีมที่สร้างและดำเนินบริการตัดสินใจว่ามันรายงานอะไรเกี่ยวกับตัวเอง ดังนั้นคุณภาพการแจ้งเตือนเริ่มที่นิยามของความเสร็จ ฟีเจอร์ใหม่ที่ส่งมอบพร้อมตัวบ่งชี้และการแจ้งเตือนที่ทดสอบของตนเองหลีกเลี่ยงการเฝ้าติดตามที่ติดตั้งเพิ่มหลังเหตุขัดข้องครั้งแรก ถือการปรับการแจ้งเตือนเป็นงานแบ็กล็อกปกติ

ทีมบริการและปฏิบัติการ

ทีมปฏิบัติการถือเพจเจอร์และรู้สึกถึงต้นทุนก่อน จึงเป็นเจ้าของจังหวะการทบทวน การติดป้าย และจังหวะหัวใจของไปป์ไลน์ เมื่อการแจ้งเตือนผิด การแก้ไขเป็นของเจ้าของกฎ ไม่ใช่ผู้ที่ได้รับเพจ

ภาวะผู้นำและการกำกับดูแล

ผู้นำขอตัวเลขการตรวจจับและการนำไปปฏิบัติได้ตามบริการ สนับสนุนเวลาปรับ และต้านเป้าหมายปริมาณการแจ้งเตือนที่ให้รางวัลความเงียบได้ ปริมาณที่ลดลงเป็นข่าวดีเมื่อสัดส่วนการตรวจจับและเวลาถึงการตรวจจับคงที่เท่านั้น ขีดจำกัดเวรเรียกฉุกเฉินที่ยั่งยืนเป็นการตัดสินใจเรื่องกำลังคนและการออกแบบ ไม่ใช่เรื่องการสร้างแรงจูงใจ

ลูกค้าและผู้ใช้

ลูกค้าไม่เคยเห็นการแจ้งเตือน พวกเขาเห็นว่าบริการล้มเหลวหรือไม่และใช้เวลาแก้นานเท่าใด การเฝ้าติดตามที่ดีปรากฏเป็นเหตุขัดข้องที่แก้ก่อนที่พวกเขาจะสังเกต และกรณีที่ลูกค้ารายงานก่อนน้อยลง เมื่อองค์กรใช้ตัวชี้วัดประสบการณ์ (ดูหัวข้อ 5.1 “ตัวชี้วัด SLA, OLA และ XLA”) สัดส่วนเหตุขัดข้องที่ผู้ใช้รายงานก่อนเป็นตัวบ่งชี้โดยตรงของช่องว่างด้านประสบการณ์

ในทางปฏิบัติ: ตัวอย่าง ITIL แบบคล่องตัว

ผู้ค้าปลีกออนไลน์ขนาดกลางดำเนินแพลตฟอร์มการสั่งซื้อที่มีสี่ทีมผลิตภัณฑ์และหนึ่งทีมแพลตฟอร์มที่สนับสนุนการหมุนเวรเรียกฉุกเฉิน ตัวเลขทั้งหมดในตัวอย่างนี้เป็นตัวอย่างประกอบ ตลอดสี่สัปดาห์ (ตัวอย่างประกอบ) การหมุนเวรได้รับ 240 เพจ โดย 70 เพจอยู่ระหว่าง 22:00 ถึง 07:00 ทีมทบทวนทุกเพจด้วยสี่ป้าย: นำไปปฏิบัติได้ ผลบวกลวง จริงแต่ไม่คุ้มเพจ และซ้ำ

การทบทวนแสดงอัตราการแจ้งเตือนที่นำไปปฏิบัติได้ 31 เปอร์เซ็นต์ (ตัวอย่างประกอบ) และอัตราผลบวกลวง 22 เปอร์เซ็นต์ (ตัวอย่างประกอบ) ห้ากฎสร้าง 58 เปอร์เซ็นต์ของเพจ (ตัวอย่างประกอบ) และกฎใหญ่ที่สุดคือเกณฑ์ดิสก์บนเซิร์ฟเวอร์แบตช์ที่ฟื้นเองเสมอ สัดส่วนการตรวจจับโดยการเฝ้าติดตามของไตรมาสก่อนคือ 62 เปอร์เซ็นต์ (ตัวอย่างประกอบ) และเวลาถึงการตรวจจับมัธยฐานคือ 14 นาที (ตัวอย่างประกอบ) โดยเปอร์เซ็นไทล์ที่ 95 คือ 51 นาที (ตัวอย่างประกอบ)

ทีมลดระดับสามกฎที่รบกวนไปคิวตั๋ว รวมรายการซ้ำเพื่อให้ข้อบกพร่องหนึ่งอย่างสร้างหนึ่งเพจ แทนที่การแจ้งเตือนจำนวนข้อผิดพลาดดิบบนการชำระเงินด้วยการแจ้งเตือนอัตราการเผางบข้อผิดพลาด (ดูหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด”) และเพิ่มการแจ้งเตือนอาการสำหรับอีเมลยืนยันคำสั่งซื้อ ซึ่งเป็นช่องว่างที่อยู่เบื้องหลังเหตุขัดข้องสองครั้งที่ลูกค้ารายงาน แต่ละการเปลี่ยนแปลงเป็นรายการแบ็กล็อกที่มีเจ้าของ สี่สัปดาห์ต่อมาเพจลดเหลือ 96 (ตัวอย่างประกอบ) และอัตราที่นำไปปฏิบัติได้เพิ่มเป็น 64 เปอร์เซ็นต์ (ตัวอย่างประกอบ) ขณะที่สัดส่วนการตรวจจับเพิ่มเป็น 71 เปอร์เซ็นต์ (ตัวอย่างประกอบ) และเวลาถึงการตรวจจับมัธยฐานคงที่ที่ 14 นาที ความเงียบดูเหมือนเป็นสิ่งที่ได้มา

ความเสี่ยงเรื่องการบิดเบือนปรากฏในเดือนที่สาม ผู้จัดการใหม่ตั้งเป้าหมายไม่เป็นทางการให้น้อยกว่า 60 เพจต่อสี่สัปดาห์ และการหมุนเวรหนึ่งไปถึงเป้าด้วยการยืดความล่าช้าของการแจ้งเตือนข้อผิดพลาดการชำระเงิน สัดส่วนการตรวจจับของมันลดเหลือ 55 เปอร์เซ็นต์ (ตัวอย่างประกอบ) และเวลาถึงการตรวจจับที่เปอร์เซ็นไทล์ที่ 95 พุ่งเป็น 80 นาที (ตัวอย่างประกอบ) เพราะมาตรการป้องกันอยู่ข้างปริมาณ การทบทวนจึงจับได้ ทีมถอนเป้าหมายปริมาณ คืนการแจ้งเตือน และบันทึกกรณีนี้ในทะเบียนตัวชี้วัด (ดูหัวข้อ 1.4 “การกำกับดูแลและความเป็นเจ้าของตัวชี้วัด”)

มุมมองตามประเภทองค์กร

สตาร์ทอัป เมื่อวิศวกรไม่กี่คนอยู่เวรกันหมด ลำดับความสำคัญคือนโยบายการเรียกคนสั้น ๆ และการแจ้งเตือนอาการไม่กี่รายการบนเส้นทางที่สร้างรายได้ การดูสิบนาทีวันจันทร์ว่าอะไรปลุกผู้คนก็เพียงพอ ความเสี่ยงหลักคือไม่มีการแจ้งเตือนเลย จนลูกค้าคือการเฝ้าติดตาม ให้นับว่าลูกค้าบอกท่านก่อนบ่อยเพียงใด

ธุรกิจขนาดเล็ก องค์กรเล็กมักพึ่งพาการเฝ้าติดตามของผู้จัดหา ตัวชี้วัดที่มีประโยชน์คือความครอบคลุมการตรวจจับสำหรับระบบไม่กี่ระบบที่ทำให้ธุรกิจหยุด และสัดส่วนเหตุขัดข้องที่ผู้ใช้พบ ขอข้อมูลการแจ้งเตือนจากผู้จัดหาที่สัญญาให้สิทธิ์ท่าน

องค์กรขนาดใหญ่ องค์กรใหญ่มีเครื่องมือและการหมุนเวรมากมาย และแต่ละทีมอาจนิยาม “นำไปปฏิบัติได้” ต่างกัน ทำนิยามและป้ายให้เป็นมาตรฐาน ทบทวนระดับทีม และรวมตามบริการแทนตามเครื่องมือ แพลตฟอร์มการหาความสัมพันธ์ของเหตุการณ์ลดปริมาณในระดับใหญ่ แต่ต้องมีการตรวจสอบความครบถ้วนของตนเอง

ภาครัฐและหน่วยงานสาธารณะ บริการบางอย่างทำงานในเวลาราชการและบางอย่าง เช่นระบบฉุกเฉินหรือสวัสดิการ ทำงานต่อเนื่อง ความครอบคลุมการตรวจจับและการแจ้งเตือนที่ทดสอบแล้วสำคัญที่สุดในที่ที่ความล้มเหลวมีผลทางกฎหมายหรือความปลอดภัย และบันทึกการทดสอบสนับสนุนการตรวจสอบได้ รายงานความครอบคลุมและการตรวจจับต่อหน่วยกำกับดูแล ไม่ใช่จำนวนการแจ้งเตือนดิบซึ่งอ่านผิดง่าย (ดูหัวข้อ 8.5 “การรายงานตามข้อกำหนดและต่อภาครัฐ”)

กรณีทางธุรกิจ: แรงจูงใจ ROI และ TCO

เหตุผลในการลงทุนเป็นเรื่องปฏิบัติ การตรวจจับที่ดีขึ้นทำให้ช่วงที่ผู้ใช้ได้รับผลกระทบสั้นลง เพจที่ไร้ประโยชน์น้อยลงปกป้องการนอนหลับ ลดการลาออกจากการหมุนเวร และเก็บความสนใจไว้สำหรับการแจ้งเตือนที่สำคัญ ต้นทุนของคุณภาพการแจ้งเตือนที่แย่มองเห็นยากเพราะกระจายอยู่ในการนอนหลับที่ถูกขัดจังหวะ การตอบสนองที่ช้า และการจากไปของวิศวกรที่มีประสบการณ์

ต้นทุนของการรวบรวมตัวชี้วัดเหล่านี้น้อยถ้าเชื่อมเครื่องมือการแจ้งเตือน เพจ และเหตุขัดข้องได้ และปานกลางถ้าเพิ่มป้ายด้วยมือ ต้นทุนหลักคือเวลาทบทวนรายสัปดาห์ งานปรับและลบ และการทดสอบการตรวจจับเป็นครั้งคราว การตัดกฎที่ไม่ใช้ยังลดต้นทุนใบอนุญาตและที่เก็บของการเฝ้าติดตาม และต้นทุนรวมของการเป็นเจ้าของควรรวมเวลาของบุคลากร

ผลตอบแทนปรากฏภายในไม่กี่เดือนเป็นการหมุนเวรที่เงียบลง สัดส่วนการตรวจจับโดยการเฝ้าติดตามที่สูงขึ้น และเวลาถึงการตรวจจับที่ไม่แย่ลง เพื่อแปลงเป็นเงิน ให้เปรียบเทียบต้นทุนของชั่วโมงเหตุขัดข้องและการลาออกจากการหมุนเวรกับต้นทุนของการทบทวน โดยใช้ตัวเลขของท่านเอง อย่าใช้ค่าเฉลี่ยของอุตสาหกรรมเว้นแต่ท่านอ้างแหล่งที่ตรวจสอบแล้วได้

รูปแบบที่ไม่ควรทำและข้อควรระวัง

  • ตั้งเป้าที่ปริมาณการแจ้งเตือน เป้าหมายบนจำนวนให้รางวัลความเงียบและเชิญชวนให้ซ่อนการแจ้งเตือน ตั้งเป้าที่อัตราการแจ้งเตือนที่นำไปปฏิบัติได้และสัดส่วนการตรวจจับ และใช้ปริมาณเป็นตัวเลขบริบทพร้อมขีดจำกัดความยั่งยืนที่ทีมเลือก
  • แจ้งเตือนทุกสาเหตุ เพจระดับสาเหตุหลายสิบรายการสร้างสัญญาณรบกวนแต่ก็ยังพลาดอาการที่ไม่มีใครคิดถึง ให้แจ้งเตือนจากอาการฝั่งผู้ใช้แทน
  • เพิ่มการแจ้งเตือนหลังเหตุขัดข้องทุกครั้งและไม่เคยลบเลย จับคู่ทุกการแจ้งเตือนใหม่กับการทบทวนอันที่มันทำให้ซ้ำซ้อน
  • นับการแจ้งเตือนโดยไม่ติดป้าย จำนวนที่ไม่มีการตัดสินความมีประโยชน์แยกการหมุนเวรที่รบกวนออกจากที่ยุ่งไม่ได้ ติดป้ายตัวอย่างทุกสัปดาห์ แม้มีเวลาเพียงไม่กี่นาที
  • ถือความครอบคลุมเป็นจำนวนการแจ้งเตือน บริการที่มีการแจ้งเตือนสาเหตุห้าสิบรายการและไม่มีการแจ้งเตือนอาการเลยครอบคลุมไม่ดี นิยามความครอบคลุมเป็นการตรวจจับอาการที่ทดสอบแล้ว
  • จัดอันดับบุคคลตามเพจที่จัดการหรือรับทราบ ลงโทษสมาชิกการหมุนเวรที่รับกะยาก และส่งเสริมการหลบเพจเจอร์ รายงานตามการหมุนเวรและบริการ และมองหาการแก้ไขด้านการออกแบบ
  • ไม่เคยทดสอบเส้นทางการแจ้งเตือน การแจ้งเตือนที่ไม่เคยเห็นว่าทำงานคือข้อสมมติ ใส่การทดสอบการแจ้งเตือนในวันซ้อมรับมือ และเฝ้าติดตามตัวไปป์ไลน์เอง

แบบจำลองวุฒิภาวะ

มิติ 1 เริ่มต้น 2 พัฒนา 3 ทำให้เป็นมาตรฐาน 4 บริหารจัดการ 5 ประสานจัดการ
นโยบายการเรียกคนและความเป็นเจ้าของกฎ เพิ่มการแจ้งเตือนเฉพาะกิจ ไม่มีใครรู้ว่าทำไมหลายอันจึงมี บางทีมมีนโยบายและเจ้าของกฎของตน นโยบายการเรียกคนสั้นหนึ่งฉบับ ทุกกฎเพจมีเจ้าของและคู่มือปฏิบัติ ติดตามและทบทวนความเป็นปัจจุบันของกฎ ลบกฎที่ไม่ใช้ตามกำหนด ปรับนโยบายและความเป็นเจ้าของข้ามทีมและผู้จัดหาเมื่อบริการเปลี่ยน
การวัดคุณภาพการแจ้งเตือน ร้องเรียนเรื่องสัญญาณรบกวน ไม่มีการนับ บางทีมนับปริมาณ ไม่มีการติดป้าย ทบทวนรายสัปดาห์ด้วยป้ายร่วม รายงานอัตราการแจ้งเตือนที่นำไปปฏิบัติได้และอัตราผลบวกลวงตามบริการ อัตรามีแนวโน้มและจับคู่กับตัวชี้วัดการตรวจจับ งานปรับปรุงได้รับทุน เชื่อมคุณภาพข้ามบริการและผู้จัดหา ปรับนิยามเมื่อไม่ช่วยการตัดสินใจอีกต่อไป
การตรวจจับและความครอบคลุม ลูกค้าและเพื่อนร่วมงานรายงานปัญหาส่วนใหญ่ การแจ้งเตือนอาการบนบริการหลักไม่กี่รายการ ติดตามความครอบคลุมการตรวจจับด้วยการแจ้งเตือนที่ทดสอบ บันทึกสัญญาณแรกของทุกเหตุขัดข้อง ทบทวนเวลาถึงการตรวจจับและสัดส่วนการตรวจจับโดยการเฝ้าติดตามพร้อมมาตรการป้องกัน ช่องว่างกลายเป็นงานที่วางแผน ทดสอบการตรวจจับเป็นกิจวัตรข้ามการพึ่งพาและผู้จัดหา รวมถึงไปป์ไลน์การแจ้งเตือน
การใช้ในการปรับปรุง การแก้การแจ้งเตือนตามหลังคืนที่แย่ที่สุด การแก้ไขตามหลังเหตุขัดข้อง การทบทวนแต่ละครั้งสร้างอย่างน้อยหนึ่งการเปลี่ยนแปลง ติดตามการเปลี่ยนแปลงถึงผลต่อปริมาณ การนำไปปฏิบัติได้ และการตรวจจับ ทบทวนภาระการหมุนเวร การตรวจจับ และงบข้อผิดพลาดร่วมกันเพื่อกำหนดทิศทางการลงทุน

รายการตรวจสอบ

  • เรามีนโยบายการเรียกคนที่เขียนไว้ไม่กี่ประโยคที่บอกว่าอะไรสมควรได้รับเพจ
  • ทุกกฎเพจมีเจ้าของ วัตถุประสงค์ และลิงก์คู่มือปฏิบัติ
  • แต่ละการหมุนเวรทบทวนสิ่งที่ดังขึ้นอย่างน้อยทุกสัปดาห์และติดป้ายแต่ละการแจ้งเตือน
  • การทบทวนแต่ละครั้งสร้างอย่างน้อยหนึ่งการเปลี่ยนแปลงกฎที่บันทึกไว้
  • เรารายงานปริมาณการแจ้งเตือน อัตราการแจ้งเตือนที่นำไปปฏิบัติได้ และอัตราผลบวกลวงตามการหมุนเวรและบริการ ไม่เคยตามบุคคล
  • ทุกเหตุขัดข้องบันทึกว่าตรวจพบครั้งแรกอย่างไร พร้อมตัวเลือกไม่ทราบ
  • เราประมาณจุดเริ่มผลกระทบจากประวัติตัวบ่งชี้ระดับบริการและรายงานเวลาถึงการตรวจจับค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 95
  • แต่ละบริการในขอบเขตมีการแจ้งเตือนอาการที่ทดสอบใน 12 เดือนล่าสุด
  • การตรวจจังหวะหัวใจเรียกเราถ้าไปป์ไลน์การแจ้งเตือนหยุด
  • เราตกลงภาระนอกเวลางานที่ยั่งยืนสำหรับแต่ละการหมุนเวรและทบทวนมัน
  • ไม่มีการตั้งเป้าที่ปริมาณการแจ้งเตือนเพียงอย่างเดียว

พรอมต์ AI

วัตถุประสงค์: ร่างนโยบายการเรียกคนสำหรับบริการจากตัวบ่งชี้และผลที่ตามมา

ช่วยฉันร่างนโยบายการเรียกคนสำหรับบริการ [ชื่อบริการ]
บริบท: ผู้ใช้คือ [กลุ่มผู้ใช้] อาการฝั่งผู้ใช้ที่เราใส่ใจคือ [อาการ เช่นข้อผิดพลาด ความหน่วง การใช้งานไม่ได้] ผลที่ตามมาของการพลาดความล้มเหลวคือ [ผลที่ตามมา] การหมุนเวรเรียกฉุกเฉินคือ [คำอธิบายการหมุนเวร เช่นชั่วโมงและขนาดทีม]
เขียนนโยบายสั้น (ไม่เกิน 200 คำ) ที่บอกว่าอะไรสมควรได้รับเพจ อะไรไปคิวตั๋ว และอะไรอยู่บนแดชบอร์ด
อย่าคิดเกณฑ์หรือค่าเทียบเคียงขึ้นเอง ให้ใส่ตัวแทน [เกณฑ์] ไว้ให้เราตั้งจากข้อมูลของเราเอง
ระบุคำถามที่คุณจะถามเราก่อนสรุป และระบุข้อสมมติของคุณ

วัตถุประสงค์: วิเคราะห์การทบทวนการแจ้งเตือนที่ส่งออกเพื่อหารูปแบบสัญญาณรบกวน

ฉันจะวางตารางการแจ้งเตือนของ [ช่วงเวลา] สำหรับการหมุนเวร [ชื่อการหมุนเวร] พร้อมคอลัมน์: [ชื่อคอลัมน์ เช่นกฎ เวลา ป้าย การดำเนินการที่ทำ บริการ]
คำนวณอัตราการแจ้งเตือนที่นำไปปฏิบัติได้ อัตราผลบวกลวง สัดส่วนนอกเวลางาน และสัดส่วนของการแจ้งเตือนจากห้ากฎที่รบกวนที่สุด โดยใช้เฉพาะข้อมูลที่ฉันวาง
เสนอว่ากฎใดควรปรับ รวม ลดระดับ หรือลบ พร้อมเหตุผลแต่ละข้อ และทำเครื่องหมายแต่ละข้อเสนอเป็นสมมติฐานที่ต้องตรวจสอบ
รายงานตามกฎ บริการ และการหมุนเวร ไม่เคยตามบุคคล อย่าคิดค่าเทียบเคียงขึ้นเอง
ระบุข้อสมมติของคุณและแถวใดที่คุณตัดออก

วัตถุประสงค์: ตรวจชุดตัวชี้วัดการแจ้งเตือนเพื่อหาความเสี่ยงของการบิดเบือนก่อนเผยแพร่

นี่คือตัวชี้วัดคุณภาพการแจ้งเตือนที่เราวางแผนจะเผยแพร่: [รายการตัวชี้วัดพร้อมนิยามและสูตร]
สำหรับแต่ละตัวชี้วัด อธิบายสองวิธีที่มันอาจถูกบิดเบือนหรืออ่านผิดในบริบทของเราคือ [ประเภทองค์กรและบริการ] และเสนอมาตรการป้องกันที่จับคู่จากรายการเดียวกันหรือแนวปฏิบัติที่เรานำมาใช้ได้
ชี้ตัวชี้วัดใดที่แสดงโดยไม่มีมาตรการป้องกัน
อย่าคิดแหล่งที่มาหรือค่าเทียบเคียงขึ้นเอง
ระบุข้อสมมติของคุณเกี่ยวกับวิธีที่เครื่องมือของเราบันทึกการแจ้งเตือนและเหตุขัดข้อง

วัตถุประสงค์: วางแผนการทดสอบการตรวจจับสำหรับบริการที่ความครอบคลุมอ่อน

บริการของเราคือ [รายการบริการ] และการแจ้งเตือนอาการที่เราเชื่อว่ามีอยู่คือ [รายการการแจ้งเตือน]
เสนอแผนทดสอบที่ปลอดภัยสำหรับ [วันซ้อมรับมือหรือการซ้อม] ครั้งถัดไปที่ตรวจว่า สำหรับแต่ละบริการ อาการที่ตั้งใจก่อให้เกิดกระตุ้นการแจ้งเตือน ถึง [การหมุนเวร] และเชื่อมกับคู่มือปฏิบัติ
บอกว่าควรแจ้งใครล่วงหน้าและบันทึกผลสำหรับความครอบคลุมการตรวจจับอย่างไร
อย่าคิดฟีเจอร์ของเครื่องมือขึ้นเอง ให้ถามฉันว่า [เครื่องมือเฝ้าติดตาม] ทำงานอย่างไร
ระบุข้อสมมติของคุณ

ทักษะ AI

  • ทักษะ Agile ITIL Metrics: ใช้เพื่อหาหัวข้อที่นิยามตัวชี้วัดที่เกี่ยวข้องและมาตรการป้องกันที่ควรอยู่ข้างตัวชี้วัดคุณภาพการแจ้งเตือน
  • ทักษะผู้ดูแล Agile ITIL Metrics: ใช้เพื่อตรวจว่าการแก้ไขหัวข้อนี้ยังคงแม่แบบ ตารางการบิดเบือน และการอ้างอิงข้ามหัวข้อให้สอดคล้องกัน

ข้อสรุปสำคัญ

  • ตัดสินการแจ้งเตือนจากว่ามันนำไปสู่การดำเนินการหรือไม่ และตัดสินการเฝ้าติดตามจากว่ามันจับปัญหาจริงได้มากเพียงใด ความแม่นยำและความครบถ้วนเป็นมาตรการป้องกันของกันและกัน
  • เรียกคนด้วยอาการที่ผู้ใช้รู้สึก ผูกเกณฑ์กับวัตถุประสงค์ระดับบริการเมื่อมี และเก็บสาเหตุไว้สำหรับการวินิจฉัย
  • ทบทวนสิ่งที่ดังขึ้นทุกสัปดาห์ ติดป้าย และสร้างอย่างน้อยหนึ่งการเปลี่ยนแปลงทุกครั้ง
  • อย่าตั้งเป้าที่ปริมาณการแจ้งเตือนเพียงอย่างเดียว ให้อ่านข้างอัตราการแจ้งเตือนที่นำไปปฏิบัติได้ สัดส่วนการตรวจจับโดยการเฝ้าติดตาม และเวลาถึงการตรวจจับ
  • ทดสอบการแจ้งเตือนและไปป์ไลน์การแจ้งเตือน เพราะการแจ้งเตือนที่ไม่ทดสอบคือข้อสมมติ
  • รายงานตามการหมุนเวรและบริการ ไม่ใช่บุคคล และถือภาระเวรเรียกฉุกเฉินที่ยั่งยืนเป็นเป้าหมายด้านการออกแบบ

เอกสารอ้างอิงและแหล่งอ่านเพิ่มเติม

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Monitoring Distributed Systems," https://sre.google/sre-book/monitoring-distributed-systems/
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Practical Alerting from Time-Series Data," https://sre.google/sre-book/practical-alerting/
  3. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, "Alerting on SLOs," https://sre.google/workbook/alerting-on-slos/
  4. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Wikipedia, System monitoring.
  7. Wikipedia, False positives and false negatives.
  8. Wikipedia, Precision and recall.
  9. Wikipedia, Signal-to-noise ratio.
  10. Wikipedia, Alarm fatigue.
  11. Wikipedia, On-call.
  12. Wikipedia, Site reliability engineering.
  13. Wikipedia, Service-level objective.

ตัวชี้วัด ITIL แบบคล่องตัว — วัดบริการไอทีแบบคล่องตัวโดยไม่บิดเบือนงาน

ซอร์สและการมีส่วนร่วม: github.com/agile-itil-metrics. สร้างด้วย Lily Design System™.

สร้างโดย Joel Parker Henderson.