ตัวชี้วัดการเฝ้าติดตามและคุณภาพการแจ้งเตือน
การแจ้งเตือนคือคำขอให้บุคคลหนึ่งให้ความสนใจ ดังนั้นจงวัดการเฝ้าติดตามด้วยความถี่ที่คำขอนั้นคุ้มค่าที่จะทำ สัดส่วนของปัญหาจริงที่มันจับได้ และการนอนหลับกับความไว้วางใจที่มันต้องแลกไป
ภาพรวมและแรงจูงใจ
การเฝ้าติดตามคือการรวบรวม ประมวลผล และแสดงข้อมูลเรียลไทม์เกี่ยวกับระบบ การเฝ้าติดตามระบบ (system monitoring) ตอบคำถามว่า “บริการทำงานในแบบที่ผู้ใช้ต้องการหรือไม่” การแจ้งเตือนคือจุดที่ข้อมูลนั้นขอให้มนุษย์ลงมือทำอะไรบางอย่าง ทีมส่วนใหญ่วัดกิจกรรมแรกได้ไม่ดีหรือไม่วัดเลย และวัดกิจกรรมที่สองผ่านข้อร้องเรียนเท่านั้น หัวข้อนี้ให้ชุดตัวชี้วัดเล็ก ๆ สำหรับทั้งสองอย่าง: การเฝ้าติดตามเห็นความล้มเหลวที่สำคัญหรือไม่ และการแจ้งเตือนที่มันส่งสมควรได้รับความสนใจที่เรียกร้องหรือไม่
ศัพท์ก่อน ในคำศัพท์ของ ITIL 4 เหตุการณ์ (event) คือการเปลี่ยนสถานะที่มีนัยสำคัญต่อการจัดการบริการ และการจัดการเหตุการณ์คือแนวปฏิบัติในการตรวจจับเหตุการณ์ ตัดสินว่าเหตุการณ์ใดสำคัญ และเลือกการตอบสนอง การแจ้งเตือน (alert) คือการแจ้งถึงมนุษย์ ส่งเป็นเพจ ข้อความ หรือตั๋ว เพจ (page) คือการแจ้งเตือนที่ขัดจังหวะบุคคลทันที ผลบวกลวง (false positive) คือการแจ้งเตือนที่ดังขึ้นทั้งที่ไม่มีอะไรต้องใส่ใจ และผลลบลวง (false negative) คือความล้มเหลวที่ไม่มีการแจ้งเตือนใดรายงาน ทั้งสองคำมาจากภาษาของผลบวกลวงและผลลบลวง (false positives and false negatives) การแจ้งเตือนที่นำไปปฏิบัติได้ (actionable alert) คือการแจ้งเตือนที่บุคคลมีการดำเนินการที่มีประโยชน์ให้ทำ และได้ทำ หรือเลือกไม่ทำโดยมีเหตุผลที่บันทึกไว้
สองด้านของการเฝ้าติดตามดึงกันไปคนละทาง การเพิ่มการแจ้งเตือนหลังเหตุขัดข้องทุกครั้งสร้างกำแพงของสัญญาณรบกวน การตัดออกเพื่อให้เงียบเสี่ยงต่อความเงียบในความล้มเหลวที่สำคัญ ภาษาของความแม่นยำและความครบถ้วน (precision and recall) เหมาะอย่างยิ่ง ความแม่นยำถามว่าสัดส่วนเท่าใดของการแจ้งเตือนที่ส่งคุ้มค่าที่จะส่ง ความครบถ้วนถามว่าสัดส่วนเท่าใดของปัญหาจริงที่การแจ้งเตือนจับได้ คุณภาพการแจ้งเตือนคือสมดุลระหว่างสองอย่าง และตัวชี้วัดที่ดูเพียงอย่างเดียวชวนให้ทีมสละอีกอย่าง อัตราส่วนสัญญาณต่อสัญญาณรบกวน (signal-to-noise ratio) จับความตึงเครียดเดียวกัน
ต้นทุนด้านมนุษย์คือเหตุผลที่หัวข้อนี้อยู่ในหนังสือตัวชี้วัดบริการ ความล้าจากการแจ้งเตือน (alarm fatigue) คือแนวโน้มที่มีการศึกษาอย่างดีว่าผู้ที่ได้รับสัญญาณเตือนจำนวนมาก ซึ่งส่วนใหญ่ไม่สำคัญ จะชินชาและตอบสนองช้าต่อสัญญาณที่สำคัญ เริ่มศึกษาครั้งแรกในสถานพยาบาลและใช้กับการหมุนเวรเรียกฉุกเฉิน (on-call)ใดก็ตามที่ถูกเรียกบ่อยเกินไปด้วยการแจ้งเตือนที่ไม่นำไปสู่อะไร ผู้ตอบสนองที่ล้าพลาดเหตุขัดข้องจริงและในที่สุดก็ออกจากการหมุนเวร
มุมมองต่างกันระหว่างสองแนวปฏิบัติที่หนังสือเล่มนี้รวมเข้าด้วยกัน ITIL 4 วางงานนี้ไว้ในแนวปฏิบัติการเฝ้าติดตามและการจัดการเหตุการณ์ โดยเชื่อมกับการจัดการเหตุขัดข้องและการจัดการระดับบริการ ความกังวลของมันคือเหตุการณ์ถูกตรวจจับ จัดประเภท และส่งต่อ เพื่อให้พบเหตุขัดข้องแต่เนิ่น ๆ และจัดการอย่างสม่ำเสมอ วิศวกรรมความน่าเชื่อถือของไซต์ (site reliability engineering: SRE) เข้ามาจากปลายอีกด้าน: หนังสือ Site Reliability Engineering ของ Google ให้เหตุผลว่าเพจควรเร่งด่วน สำคัญ นำไปปฏิบัติได้ และเป็นจริง และสิ่งอื่นทั้งหมดควรอยู่ในตั๋วหรือแดชบอร์ด ทีมแบบคล่องตัวพบเรื่องนี้ในฐานะข้อตกลงการทำงาน: ใครถูกปลุก เพราะอะไร และใครแก้การแจ้งเตือนที่ผิด ตัวชี้วัดด้านล่างยืมจากทั้งสามและรักษากฎข้อเดียว: ตัวชี้วัดอธิบายการหมุนเวร บริการ หรือกฎการแจ้งเตือน ไม่ใช่บุคคล
หัวข้อนี้ไม่ทำซ้ำหัวข้อข้างเคียง ระยะเวลาเหตุขัดข้องอยู่ในหัวข้อ 3.3 “เวลาตอบสนองและเวลาแก้ไขเหตุขัดข้อง” เหตุขัดข้องรุนแรงอยู่ในหัวข้อ 3.4 “ตัวชี้วัดเหตุขัดข้องรุนแรง” วัตถุประสงค์และงบข้อผิดพลาดอยู่ในหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด” และภาระของมนุษย์อยู่ในหัวข้อ 5.7 “ตัวชี้วัดงานซ้ำซากและเวรเรียกฉุกเฉิน” ที่นี่เรื่องคือคุณภาพของสัญญาณที่เริ่มสิ่งเหล่านั้นทั้งหมด การติดตั้งเครื่องมือวัดครอบคลุมในหัวข้อ 1.5 “แหล่งข้อมูลและการติดตั้งเครื่องมือวัด”
หลักการสำคัญ
- เรียกคนด้วยอาการที่ผู้ใช้รู้สึก ส่วนที่เหลือใช้ตั๋วหรือแดชบอร์ด การแจ้งเตือนจากสิ่งที่ผู้ใช้สัมผัส (ข้อผิดพลาด ความช้า การใช้งานไม่ได้) ยังมีประโยชน์เมื่อระบบเปลี่ยน การแจ้งเตือนจากสาเหตุ (ดิสก์เต็ม ซีพียูยุ่ง) มีประโยชน์เฉพาะเมื่อมันทำนายอาการได้และบุคคลลงมือได้ก่อนที่อาการจะมาถึง
- ทุกการแจ้งเตือนต้องนำไปสู่การดำเนินการ ถ้าการตอบสนองที่ถูกต้องต่อการแจ้งเตือนคือไม่ทำอะไร การแจ้งเตือนนั้นควรถูกเปลี่ยน ลดระดับเป็นตั๋ว หรือลบ วัดสัดส่วนที่นำไปสู่การดำเนินการ และถือส่วนที่เหลือเป็นข้อบกพร่องของการเฝ้าติดตาม
- วัดทั้งความแม่นยำและความครบถ้วน การนับเฉพาะสัญญาณรบกวนให้รางวัลความเงียบ และการนับเฉพาะความครอบคลุมให้รางวัลปริมาณ ทั้งสองอย่างรวมกันอธิบายคุณภาพ และแต่ละอย่างทำหน้าที่เป็นมาตรการป้องกันของอีกอย่าง
- ถือกฎการแจ้งเตือนทุกข้อเป็นผลิตภัณฑ์ที่มีเจ้าของ กฎมีวัตถุประสงค์ เกณฑ์ คู่มือปฏิบัติ และวันทบทวน กฎที่ไม่มีเจ้าของสะสม และสัญญาณรบกวนที่มันสร้างเป็นของไม่มีใคร
- รายงานการหมุนเวรและบริการ ไม่ใช่บุคคล ภาระการแจ้งเตือนเป็นคุณสมบัติของวิธีออกแบบระบบและการหมุนเวร การระบุชื่อบุคคลเปลี่ยนปัญหาการออกแบบให้เป็นปัญหาการกล่าวโทษและซ่อนการแก้ไขที่แท้จริง
นิยามตัวชี้วัด
ตัวชี้วัดด้านล่างเลือกมาเป็นชุด ปริมาณเพียงอย่างเดียวไม่มีความหมาย การนำไปปฏิบัติได้บอกว่าปริมาณเป็นปัญหาหรือไม่ และความครอบคลุมกับเวลาตรวจจับบอกว่าความเงียบซ่อนอะไรไว้ ทั้งหมดคำนวณต่อบริการหรือต่อการหมุนเวร และทั้งหมดใช้บันทึกการแจ้งเตือนจากเครื่องมือเฝ้าติดตามและเพจที่เชื่อมกับบันทึกเหตุขัดข้องและตั๋ว
| ตัวชี้วัด | นิยาม | สูตร | หน่วย | แหล่งข้อมูล | แนวปฏิบัติ ITIL | คู่เทียบแบบคล่องตัว | ความถี่ |
|---|---|---|---|---|---|---|---|
| ปริมาณการแจ้งเตือน | จำนวนการแจ้งเตือนที่แจ้งถึงมนุษย์ แยกเป็นเพจและตั๋ว | จำนวนการแจ้งที่แตกต่างกันซึ่งส่งถึงการหมุนเวรหรือคิวในรอบเวลา การแจ้งซ้ำของการแจ้งเตือนที่ยังเปิดอยู่เดียวกันถูกจัดกลุ่มเป็นหนึ่ง การแจ้งเตือนที่จัดการโดยระบบอัตโนมัติทั้งหมดโดยไม่แจ้งมนุษย์ถูกตัดออก รายงานต่อการหมุนเวรต่อสัปดาห์ และสัดส่วนนอกเวลางานแยกต่างหาก | การแจ้งเตือนต่อการหมุนเวรต่อสัปดาห์ | เครื่องมือเพจและการส่งต่อการแจ้งเตือน | การเฝ้าติดตามและการจัดการเหตุการณ์ | ข้อตกลงการทำงานของทีมเรื่องเวรเรียกฉุกเฉิน | รายสัปดาห์ |
| อัตราการแจ้งเตือนที่นำไปปฏิบัติได้ | สัดส่วนของการแจ้งเตือนที่บุคคลดำเนินการที่มีประโยชน์หลังจากนั้น | การแจ้งเตือนที่มีการดำเนินการที่บันทึกไว้ (แก้ไข บรรเทา ยกระดับ หรือเปลี่ยนกฎการแจ้งเตือน) / การแจ้งเตือนที่ทบทวนในรอบเวลา การแจ้งเตือนที่แก้ไขเองโดยอัตโนมัติก่อนมีการรับทราบนับว่านำไปปฏิบัติไม่ได้ การแจ้งเตือนที่ยังไม่ทบทวนรายงานเป็นจำนวนแยกต่างหาก ไม่ถูกตัดทิ้ง | เปอร์เซ็นต์ | บันทึกการแจ้งเตือนที่เชื่อมกับป้ายทบทวน ตั๋ว หรือเหตุขัดข้อง | การเฝ้าติดตามและการจัดการเหตุการณ์ การจัดการเหตุขัดข้อง | การดำเนินการปรับปรุงของทีมด้านปฏิบัติการ | ทบทวนรายสัปดาห์ แนวโน้มรายเดือน |
| อัตราผลบวกลวง | สัดส่วนของการแจ้งเตือนที่ดังขึ้นทั้งที่ไม่มีปัญหา | การแจ้งเตือนที่ติดป้ายผลบวกลวงในการทบทวน / การแจ้งเตือนที่ทบทวนในรอบเวลา “ผลบวกลวง” หมายถึงเงื่อนไขนั้นไม่ใช่ข้อบกพร่องและไม่มีใครอยากถูกแจ้ง ปัญหาจริงที่เล็กเกินกว่าจะดำเนินการไม่ใช่ผลบวกลวง | เปอร์เซ็นต์ | ป้ายทบทวนการแจ้งเตือน | การเฝ้าติดตามและการจัดการเหตุการณ์ | การทบทวนสัญญาณรบกวนในการทบทวนย้อนหลัง | รายเดือน |
| ความครอบคลุมการตรวจจับ | สัดส่วนของบริการในขอบเขตที่มีการแจ้งเตือนที่ทดสอบแล้วบนอาการฝั่งผู้ใช้อย่างน้อยหนึ่งรายการ | บริการที่มีการแจ้งเตือนอาการที่ผ่านการทดสอบหรือเหตุการณ์จริงใน 12 เดือนล่าสุด / บริการในขอบเขตของแคตตาล็อกบริการ รายการบริการในขอบเขตตรึงที่ต้นรอบเวลา | เปอร์เซ็นต์ | แคตตาล็อกบริการ รายการกฎการแจ้งเตือน บันทึกการทดสอบ | การจัดการการกำหนดค่าบริการ การเฝ้าติดตามและการจัดการเหตุการณ์ | นิยามของความเสร็จสำหรับบริการใหม่ | รายไตรมาส |
| สัดส่วนการตรวจจับโดยการเฝ้าติดตาม | สัดส่วนของเหตุขัดข้องที่การเฝ้าติดตามตรวจพบก่อนที่ผู้ใช้หรือเพื่อนร่วมงานจะรายงาน | เหตุขัดข้องที่สัญญาณแรกคือการแจ้งเตือน / เหตุขัดข้องในรอบเวลา นาฬิกาคือเวลาเปิดเหตุขัดข้อง เหตุขัดข้องที่ไม่มีสัญญาณแรกที่บันทึกรายงานเป็นไม่ทราบ ไม่ใช่ว่าตรวจพบ | เปอร์เซ็นต์ | บันทึกเหตุขัดข้องที่มีฟิลด์สัญญาณแรก เส้นเวลาการแจ้งเตือน | การจัดการเหตุขัดข้อง | การทบทวนเหตุขัดข้อง (การเรียนรู้หลังเหตุการณ์) | รายเดือน |
| เวลาถึงการตรวจจับ (time to detect: TTD) | เวลาที่ผ่านไประหว่างจุดเริ่มผลกระทบต่อผู้ใช้กับการแจ้งเตือนแรกที่แจ้งถึงมนุษย์ | เวลาของการแจ้งเตือนแรกที่แจ้งมนุษย์ ลบเวลาเริ่มผลกระทบ โดยจุดเริ่มผลกระทบคือเวลาแรกสุดที่ตัวบ่งชี้ระดับบริการละเมิด ตามที่กำหนดในการทบทวนเหตุขัดข้อง รายงานค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 95 เหตุขัดข้องที่ไม่มีการแจ้งเตือนถูกตัดออกและนับแยกต่างหาก | นาที | การทบทวนเหตุขัดข้อง เส้นเวลาการแจ้งเตือน ประวัติตัวบ่งชี้ระดับบริการ | การจัดการเหตุขัดข้อง การเฝ้าติดตามและการจัดการเหตุการณ์ | การทบทวนหลังเหตุการณ์ | รายเดือน ต่อเหตุขัดข้อง |
| ความกระจุกตัวของการแจ้งเตือน | สัดส่วนของปริมาณการแจ้งเตือนที่มาจากกฎที่รบกวนที่สุดไม่กี่ข้อ | การแจ้งเตือนจากห้ากฎที่มีการแจ้งเตือนมากที่สุด / การแจ้งเตือนทั้งหมดในรอบเวลา การแจ้งเตือนเดียวกันจัดกลุ่มเป็นหนึ่ง จำนวนกฎห้าข้อเป็นข้อตกลงที่ทีมเปลี่ยนได้ถ้าบอกเหตุผล | เปอร์เซ็นต์ | รายการกฎการแจ้งเตือนและบันทึกเพจ | การปรับปรุงอย่างต่อเนื่อง การเฝ้าติดตามและการจัดการเหตุการณ์ | แบ็กล็อกการปรับปรุงจากการทบทวนย้อนหลัง | รายเดือน |
| ความเป็นปัจจุบันของกฎการแจ้งเตือน | สัดส่วนของกฎเพจที่มีเจ้าของ ลิงก์คู่มือปฏิบัติ และการทบทวนภายในช่วงที่ตกลง | กฎเพจที่ตรงตามทั้งสามเงื่อนไข / กฎเพจทั้งหมด กฎที่ปิดใช้งานในรอบเวลาถูกตัดออก | เปอร์เซ็นต์ | รายการกฎการแจ้งเตือน | การจัดการความรู้ การเฝ้าติดตามและการจัดการเหตุการณ์ | ข้อตกลงการทำงานเรื่องความพร้อมด้านการปฏิบัติการ | รายไตรมาส |
ปริมาณการแจ้งเตือนต้องมีบริบท จึงควรอ่านข้างอัตราการแจ้งเตือนที่นำไปปฏิบัติได้ เวลาถึงการตรวจจับใช้จุดเริ่มผลกระทบต่อผู้ใช้ ไม่ใช่ตั๋ว เพราะนาฬิกาของตั๋วเริ่มหลังการตรวจจับ จุดเริ่มผลกระทบเป็นค่าประมาณจากการทบทวนเหตุขัดข้องและควรระบุว่าเป็นเช่นนั้น อัตราผลบวกลวงและอัตราการแจ้งเตือนที่นำไปปฏิบัติได้ไม่ใช่ส่วนเติมเต็มกัน เพราะการแจ้งเตือนอาจเป็นจริงแต่ไม่คุ้มเวลาของบุคคล
ข้อเสนอแนะ
ตัดสินใจว่าอะไรสมควรได้รับเพจ
1. เขียนนโยบายการเรียกคนและทำให้สั้น ระบุในหนึ่งย่อหน้าว่าอะไรสมควรได้รับเพจ (อาการที่ผู้ใช้รู้สึกอยู่ตอนนี้หรือจะรู้สึกในไม่ช้า ซึ่งบุคคลลงมือทำได้) และอะไรไม่สมควร ที่เหลือทั้งหมดไปที่คิวตั๋วหรือแดชบอร์ด บทว่าด้วยการเฝ้าติดตามระบบกระจายในหนังสือ SRE ของ Google เป็นจุดเริ่มต้นที่ดี (ดูหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด”)
2. แจ้งเตือนจากอาการ และเก็บสาเหตุไว้สำหรับการวินิจฉัย เพจสำหรับ “อัตราข้อผิดพลาดสูงกว่าเกณฑ์ที่ตกลง” คือเพจเกี่ยวกับผู้ใช้ เพจสำหรับ “ซีพียูสูง” คือเพจเกี่ยวกับการเดา เก็บสัญญาณระดับสาเหตุไว้บนแดชบอร์ดที่ผู้ตอบสนองจะดูเมื่อการแจ้งเตือนอาการดังขึ้น และเลื่อนระดับเป็นเพจเฉพาะเมื่อมันทำนายอาการได้อย่างน่าเชื่อถือพร้อมเวลาเตือนล่วงหน้าพอที่จะลงมือ
3. ผูกเกณฑ์การเรียกคนกับวัตถุประสงค์ระดับบริการ เมื่อบริการมีวัตถุประสงค์ระดับบริการ (service level objective: SLO) ให้แจ้งเตือนจากอัตราที่งบข้อผิดพลาดถูกใช้ แทนเกณฑ์ดิบ บทว่าด้วยการแจ้งเตือนจาก SLO ใน SRE Workbook อธิบายการแจ้งเตือนอัตราการเผางบและข้อแลกเปลี่ยนระหว่างความแม่นยำ ความครบถ้วน เวลาตรวจจับ และเวลารีเซ็ต วิธีนี้เรียกคนเมื่อมีสิ่งคุกคามวัตถุประสงค์และเงียบกับความผันผวนสั้น ๆ ที่ไม่ใช่
ทบทวนทุกการแจ้งเตือนตามจังหวะ
4. ติดป้ายทุกการแจ้งเตือนในการทบทวนสั้น ๆ สม่ำเสมอ กันสิบห้านาทีทุกสัปดาห์ให้แต่ละการหมุนเวรดูสิ่งที่ดังขึ้น สำหรับแต่ละการแจ้งเตือน บันทึกหนึ่งป้าย: นำไปปฏิบัติได้ ผลบวกลวง จริงแต่ไม่คุ้มเพจ หรือซ้ำ ป้ายคือข้อมูลของอัตราการแจ้งเตือนที่นำไปปฏิบัติได้และอัตราผลบวกลวง และการทบทวนคือที่ที่กฎที่รบกวนถูกแก้ในวันรุ่งขึ้น แทนที่จะเป็นไตรมาสหน้า
5. ทำให้การทบทวนสร้างการเปลี่ยนแปลง ทุกสัปดาห์ เลือกอย่างน้อยหนึ่งกฎเพื่อปรับ ลดระดับ รวม หรือลบ และบันทึกการเปลี่ยนแปลงในแบ็กล็อกของทีมเป็นงานปกติ
6. ลบโดยไม่กลัว ทีมเก็บการแจ้งเตือนไว้เพราะการลบรู้สึกเสี่ยงและไม่มีใครจำได้ว่าทำไมมันมี กำหนดให้ทุกกฎเพจมีวัตถุประสงค์และเจ้าของ และตกลงกันว่ากฎที่ไม่เคยนำไปสู่การดำเนินการในช่วงที่ระบุจะถูกลบหรือลดระดับ โดยบันทึกการเปลี่ยนแปลงเพื่อให้ย้อนกลับได้ ตัวชี้วัดความเป็นปัจจุบันของกฎทำให้วินัยนี้มองเห็นได้
วัดสิ่งที่การเฝ้าติดตามพลาด
7. ติดตามสัดส่วนเหตุขัดข้องที่ผู้ใช้พบก่อน หลังเหตุขัดข้องแต่ละครั้ง ให้บันทึกว่าถูกสังเกตครั้งแรกอย่างไร: การแจ้งเตือน เพื่อนร่วมงาน ลูกค้า ตั๋วสนับสนุน หรือการตรวจตามปกติ สัดส่วนที่การเฝ้าติดตามพบเป็นตัววัดความครบถ้วนที่ใช้ได้จริงที่ใกล้เคียงที่สุด ไม่สมบูรณ์ เพราะเหตุขัดข้องที่ไม่มีใครสังเกตไม่เคยเข้าตัวอย่าง จึงควรจับคู่กับการทดสอบการแจ้งเตือนเองเป็นระยะ
8. ประมาณเวลาถึงการตรวจจับอย่างซื่อตรง กำหนดจุดเริ่มผลกระทบต่อผู้ใช้ในการทบทวนหลังเหตุการณ์จากประวัติตัวบ่งชี้ระดับบริการ ไม่ใช่จากเวลาที่ใครพิมพ์ตั๋ว รายงานค่ามัธยฐานและเปอร์เซ็นไทล์สูง และแสดงเหตุขัดข้องที่ไม่มีการแจ้งเตือนเลยเป็นจำนวนแยก ค่าเฉลี่ยค่าเดียวซ่อนทั้งกรณีทั่วไปและหางที่แย่ (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ” และหัวข้อ 3.3 “เวลาตอบสนองและเวลาแก้ไขเหตุขัดข้อง”)
9. ทดสอบการแจ้งเตือนที่ท่านพึ่งพา ความครอบคลุมการตรวจจับน่าเชื่อถือก็ต่อเมื่อเห็นการแจ้งเตือนทำงานจริง ใส่การตรวจสอบในวันซ้อมรับมือหรือการซ้อมปล่อยรุ่นที่ตั้งใจก่อให้เกิดอาการและยืนยันว่าการแจ้งเตือนที่ถูกต้องดัง ถึงการหมุนเวรที่ถูกต้อง และเชื่อมกับคู่มือปฏิบัติที่ใช้ได้ การแจ้งเตือนที่ไม่เคยถูกทดสอบคือความหวัง ไม่ใช่มาตรการควบคุม (ดูหัวข้อ 5.6 “ตัวชี้วัดความต่อเนื่องของบริการ”)
รักษาเส้นทางสัญญาณให้สุขภาพดี
10. เฝ้าติดตามการเฝ้าติดตาม ความล้มเหลวเงียบของระบบเฝ้าติดตามดูเหมือนบริการที่สุขภาพดีทุกประการ เพิ่มการตรวจจังหวะหัวใจที่เรียกคนถ้าไปป์ไลน์การแจ้งเตือนหยุดส่ง และบันทึกว่าตัวไปป์ไลน์เองล้มเหลวบ่อยเพียงใด
11. จัดกลุ่ม ขจัดซ้ำ และเชื่อมโยงก่อนนับ จัดกลุ่มการแจ้งเตือนที่เกี่ยวข้องเป็นหนึ่ง ระงับการแจ้งซ้ำของการแจ้งเตือนที่เปิดอยู่แล้ว และส่งแต่ละรายการไปยังการหมุนเวรที่เป็นเจ้าของ เชื่อมแต่ละการแจ้งเตือนกับคู่มือปฏิบัติและกับเหตุขัดข้องหรือตั๋วที่มันสร้าง เพราะการเชื่อมนั้นคือสิ่งที่ให้คำนวณอัตราการแจ้งเตือนที่นำไปปฏิบัติได้และสัดส่วนการตรวจจับโดยการเฝ้าติดตามได้โดยไม่ต้องนับด้วยมือ (ดูหัวข้อ 1.5 “แหล่งข้อมูลและการติดตั้งเครื่องมือวัด”)
ช่องทางการบิดเบือนและมาตรการป้องกัน
| ตัวชี้วัด | ถูกบิดเบือนได้อย่างไร | ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่ |
|---|---|---|
| ปริมาณการแจ้งเตือน | เพิ่มเกณฑ์ ใส่ความล่าช้ายาว หรือย้ายการแจ้งเตือนจากเพจไปคิวเงียบ เพื่อให้จำนวนลดขณะที่ปัญหาไม่ถูกเห็น แยกหรือรวมการแจ้งเตือนเพื่อเปลี่ยนจำนวน | สัดส่วนการตรวจจับโดยการเฝ้าติดตามและเวลาถึงการตรวจจับ กฎว่าทุกการลดระดับต้องบันทึกพร้อมเหตุผลและทบทวนหลังหนึ่งไตรมาส |
| อัตราการแจ้งเตือนที่นำไปปฏิบัติได้ | ติดป้ายการแจ้งเตือนว่านำไปปฏิบัติได้หลังเหตุการณ์ หรือทำการดำเนินการเล็กน้อย (ความเห็น การรับทราบ) เพื่อให้เข้าเกณฑ์ ปล่อยการแจ้งเตือนที่รบกวนไว้โดยไม่ทบทวนเพื่อไม่ให้เข้าตัวหาร | จำนวนการแจ้งเตือนที่ยังไม่ทบทวนแสดงข้างอัตรา การสุ่มตรวจโดยผู้ที่อยู่นอกการหมุนเวร นิยามของ “การดำเนินการที่มีประโยชน์” ที่เขียนไว้ |
| อัตราผลบวกลวง | นิยามผลบวกลวงแคบเพื่อให้การแจ้งเตือน “จริงแต่ไร้ประโยชน์” นับเป็นจริง ปิดการแจ้งเตือนที่รบกวนโดยไม่ติดป้าย | ติดตามอัตราการแจ้งเตือนที่นำไปปฏิบัติได้และป้าย “จริงแต่ไม่คุ้มเพจ” แยกกัน สุ่มตรวจการแจ้งเตือนที่ปิดแล้วเป็นระยะ |
| ความครอบคลุมการตรวจจับ | เพิ่มการแจ้งเตือนเล็กน้อย (การปิง) ให้ทุกบริการเพื่ออ้างความครอบคลุม นับการแจ้งเตือนที่ไม่เคยทดสอบ | ข้อกำหนดว่าการแจ้งเตือนต้องเฝ้าอาการฝั่งผู้ใช้และผ่านการทดสอบใน 12 เดือนล่าสุด สัดส่วนการตรวจจับโดยการเฝ้าติดตาม |
| สัดส่วนการตรวจจับโดยการเฝ้าติดตาม | บันทึกทุกเหตุขัดข้องว่า “ตรวจพบโดยการเฝ้าติดตาม” แม้ผู้ใช้รายงานก่อน สร้างการแจ้งเตือนหลังเหตุการณ์แล้วอ้างถึง ปล่อยฟิลด์สัญญาณแรกว่างเพื่อเลี่ยงตัวเลขที่แย่ | จำนวนที่ไม่ทราบแสดงข้างสัดส่วน หลักฐานสัญญาณแรกมาจากเส้นเวลาการแจ้งเตือน ไม่ใช่ความจำ เหตุขัดข้องที่ลูกค้ารายงานเชื่อมจากบันทึกฝ่ายสนับสนุน |
| เวลาถึงการตรวจจับ (time to detect: TTD) | ประกาศจุดเริ่มผลกระทบช้ากว่าความจริง ตัดเหตุขัดข้องที่ไม่มีการแจ้งเตือนออก รายงานค่าเฉลี่ยเพื่อซ่อนหาง | จุดเริ่มผลกระทบมาจากประวัติตัวบ่งชี้ระดับบริการ เหตุขัดข้องที่ไม่มีการแจ้งเตือนถูกนับและแสดง รายงานค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 95 ด้วยกัน |
| ความกระจุกตัวของการแจ้งเตือน | แยกกฎที่รบกวนหนึ่งข้อเป็นหลายข้อเพื่อไม่ให้ข้อใดอยู่ในห้าอันดับแรก เปลี่ยนชื่อกฎ | รายงานความกระจุกตัวตามข้อบกพร่องหรือบริการเบื้องหลังเช่นเดียวกับตามกฎ ติดตามปริมาณรวมและอัตราการแจ้งเตือนที่นำไปปฏิบัติได้ข้างกัน |
| ความเป็นปัจจุบันของกฎการแจ้งเตือน | ใส่เจ้าของตัวแทน ลิงก์คู่มือปฏิบัติที่ว่าง หรือการทบทวนแบบประทับตราเพื่อให้ตรงเงื่อนไข | สุ่มตรวจว่าลิงก์คู่มือปฏิบัติเปิดได้และถูกใช้ในการตอบสนองจริง แนวปฏิบัติทดสอบคู่มือในวันซ้อมรับมือ |
การอ่านค่าที่ดีแสดงหลายอย่างพร้อมกัน ปริมาณการแจ้งเตือนต่อการหมุนเวรคงที่หรือลดลงและอยู่ในระดับที่ทีมเลือกว่ายั่งยืน อัตราการแจ้งเตือนที่นำไปปฏิบัติได้สูงขึ้นหลายเดือนเมื่อกฎที่รบกวนที่สุดถูกปรับ สัดส่วนการตรวจจับโดยการเฝ้าติดตามสูงและเวลาถึงการตรวจจับสั้นและไม่ยาวขึ้นเมื่อปริมาณลดลง ซึ่งพิสูจน์ว่าความเงียบเป็นสิ่งที่ได้มา ไม่ใช่ซื้อมา ความครอบคลุมการตรวจจับเติบโตเพราะบริการถูกทดสอบ ไม่ใช่เพราะเพิ่มการแจ้งเตือนเล็กน้อย ถ้าปริมาณลดลงขณะที่สัดส่วนการตรวจจับหรือเวลาถึงการตรวจจับแย่ลง ทีมได้แลกความครบถ้วนกับความสงบ และมาตรการป้องกันคือสิ่งที่เปิดเผยมัน
ข้อแลกเปลี่ยน: ข้อดีและข้อเสีย
| แนวทาง | ข้อดี | ข้อเสีย |
|---|---|---|
| เพจน้อยและอิงอาการ | กลางคืนเงียบ ไว้ใจแต่ละเพจสูง รักษาให้ทันสมัยง่าย | เสี่ยงตรวจจับช้าสำหรับปัญหาที่สะสมช้า ต้องมีนิสัยตั๋วและแดชบอร์ดที่ดีสำหรับส่วนที่เหลือ |
| การแจ้งเตือนไวจำนวนมาก | เตือนล่วงหน้าถึงปัญหาระดับสาเหตุ พลาดเหตุขัดข้องน้อยลง | ความล้าจากการแจ้งเตือน การรับทราบช้าลง และการลาออกจากการหมุนเวร |
| การแจ้งเตือนอัตราการเผางบ SLO | เพจผูกกับสิ่งที่คุกคามวัตถุประสงค์ ผันผวนน้อยลง | ต้องมีตัวบ่งชี้ที่ดีและวัตถุประสงค์ที่ตกลง ต้องปรับเพื่อสมดุลระหว่างเวลาตรวจจับและความแม่นยำ |
| ทบทวนการแจ้งเตือนรายสัปดาห์ | ข้อเสนอแนะรวดเร็ว แก้กฎที่รบกวนได้เร็ว | ใช้เวลาทุกสัปดาห์ กลายเป็นการแสดงถ้าไม่มีการเปลี่ยนแปลงตามมา |
| ติดป้ายโดยมนุษย์ | จับวิจารณญาณที่เครื่องมือใดไม่มี | เป็นอัตนัย ป้ายเลื่อนระหว่างผู้ทบทวนและการหมุนเวรเว้นแต่เขียนนิยามไว้ |
| การระงับและจัดกลุ่มอัตโนมัติ | ลดสัญญาณรบกวนในระดับใหญ่ ลดเพจซ้ำ | อาจซ่อนสัญญาณจริงถ้ากฎผิด ต้องมีการเฝ้าติดตามและทบทวนของตนเอง |
ทุกทางเลือกแลกความแม่นยำกับความครบถ้วน และควรแลกอย่างตั้งใจและเขียนไว้ต่อบริการ เพราะบริบทคือสิ่งที่ทำให้ใครก็ตามอ่านตัวเลขได้อย่างยุติธรรม บริการที่การพลาดความล้มเหลวมีผลร้ายแรงอาจยอมรับอัตราที่นำไปปฏิบัติได้ต่ำลงเพื่อแลกกับการเตือนที่เร็วขึ้น โดยมีชั้นคัดแยกที่ส่งการแจ้งเตือนส่วนเกินไปคิวตั๋วในเวลากลางคืน
คำถามสำหรับอภิปรายกับทีม
1. เราอยากถูกปลุกเพราะอะไร และเพจใดของเดือนที่แล้วที่ถึงมาตรฐานนั้น เขียนนโยบายการเรียกคนในหนึ่งถึงสองประโยค แล้วนำเพจของเดือนที่แล้วมาทดสอบแต่ละอันเทียบกับมัน การฝึกนี้มีค่ากว่าเปอร์เซ็นต์ที่ได้ เพราะความเห็นต่างเผยว่าความคาดหวังของทีมต่างกันตรงไหน บันทึกเพจที่ไม่จำเป็นเป็นผู้สมัครที่จะลดระดับ
2. ถ้ากฎการแจ้งเตือนที่รบกวนที่สุดหายไปพรุ่งนี้ เราจะเสียอะไร ถามคำถามนี้กับแต่ละห้ากฎแรกตามปริมาณ มักไม่มีใครระบุความล้มเหลวเฉพาะที่กฎนั้นเคยจับได้ และนั่นเป็นสัญญาณว่าปรับหรือลบได้ ถ้ามีใครระบุได้ ให้ถามว่าความล้มเหลวนั้นจะกระตุ้นการแจ้งเตือนอาการด้วยหรือไม่
3. เราจะรู้ได้อย่างไรว่าการเฝ้าติดตามพลาดอะไร ดูเหตุขัดข้องสองสามครั้งล่าสุดและถามว่าใครสังเกตก่อนและผลกระทบดำเนินไปนานเท่าใดก่อนหน้านั้น คำตอบให้สัดส่วนการตรวจจับโดยการเฝ้าติดตามและเวลาถึงการตรวจจับโดยประมาณโดยไม่ต้องมีเครื่องมือใหม่ อภิปรายว่าสัญญาณใดจะจับแต่ละครั้งได้เร็วขึ้น
4. ภาระเวรเรียกฉุกเฉินของเรายั่งยืนหรือไม่ และเราจะรู้ได้อย่างไร ตกลงว่ายั่งยืนหมายถึงอะไรสำหรับการหมุนเวร เช่นขีดจำกัดเพจนอกเวลางานต่อสัปดาห์ และทบทวนแนวโน้มตามการหมุนเวร ไม่ใช่ตามบุคคล ถ้าภาระสูงกว่าระดับที่ตกลง ให้ถือเป็นข้อบกพร่องของบริการและวางแผนงานลดมัน รักษาตัวชี้วัดให้สอดคล้องกับหัวข้อ 5.7 “ตัวชี้วัดงานซ้ำซากและเวรเรียกฉุกเฉิน”
5. การแจ้งเตือนใดของเราที่ไม่เคยทดสอบ และเราจะทดสอบอย่างปลอดภัยได้อย่างไร ระบุบริการที่พึ่งพาการแจ้งเตือนอาการเดียว และถามว่ามีใครเคยเห็นมันดังจริงหรือในการซ้อมหรือไม่ วางแผนทดสอบหนึ่งครั้งและตรวจเส้นทางทั้งหมด: การตรวจจับ การส่งต่อ การแจ้ง คู่มือปฏิบัติ พิจารณาว่าไปป์ไลน์การแจ้งเตือนที่ล้มเหลวจะมองเห็นได้เลยหรือไม่
6. ตัวเลขเหล่านี้อาจถูกบิดเบือนที่นี่อย่างไร และเราจะสังเกตเห็นอะไร ขอให้ทีมอธิบายอย่างซื่อตรงว่าจะทำให้แต่ละตัวเลขดูดีขึ้นได้อย่างไรโดยไม่ปรับปรุงอะไรเลย จากนั้นตกลงว่ามาตรการป้องกันใดจะแสดงมันและใครดู การเอ่ยชื่อกลเม็ดล่วงหน้าทำให้มันน่าล่อใจน้อยลง (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”)
สี่มุมมอง
ทีมผลิตภัณฑ์และการส่งมอบ
ทีมที่สร้างและดำเนินบริการตัดสินใจว่ามันรายงานอะไรเกี่ยวกับตัวเอง ดังนั้นคุณภาพการแจ้งเตือนเริ่มที่นิยามของความเสร็จ ฟีเจอร์ใหม่ที่ส่งมอบพร้อมตัวบ่งชี้และการแจ้งเตือนที่ทดสอบของตนเองหลีกเลี่ยงการเฝ้าติดตามที่ติดตั้งเพิ่มหลังเหตุขัดข้องครั้งแรก ถือการปรับการแจ้งเตือนเป็นงานแบ็กล็อกปกติ
ทีมบริการและปฏิบัติการ
ทีมปฏิบัติการถือเพจเจอร์และรู้สึกถึงต้นทุนก่อน จึงเป็นเจ้าของจังหวะการทบทวน การติดป้าย และจังหวะหัวใจของไปป์ไลน์ เมื่อการแจ้งเตือนผิด การแก้ไขเป็นของเจ้าของกฎ ไม่ใช่ผู้ที่ได้รับเพจ
ภาวะผู้นำและการกำกับดูแล
ผู้นำขอตัวเลขการตรวจจับและการนำไปปฏิบัติได้ตามบริการ สนับสนุนเวลาปรับ และต้านเป้าหมายปริมาณการแจ้งเตือนที่ให้รางวัลความเงียบได้ ปริมาณที่ลดลงเป็นข่าวดีเมื่อสัดส่วนการตรวจจับและเวลาถึงการตรวจจับคงที่เท่านั้น ขีดจำกัดเวรเรียกฉุกเฉินที่ยั่งยืนเป็นการตัดสินใจเรื่องกำลังคนและการออกแบบ ไม่ใช่เรื่องการสร้างแรงจูงใจ
ลูกค้าและผู้ใช้
ลูกค้าไม่เคยเห็นการแจ้งเตือน พวกเขาเห็นว่าบริการล้มเหลวหรือไม่และใช้เวลาแก้นานเท่าใด การเฝ้าติดตามที่ดีปรากฏเป็นเหตุขัดข้องที่แก้ก่อนที่พวกเขาจะสังเกต และกรณีที่ลูกค้ารายงานก่อนน้อยลง เมื่อองค์กรใช้ตัวชี้วัดประสบการณ์ (ดูหัวข้อ 5.1 “ตัวชี้วัด SLA, OLA และ XLA”) สัดส่วนเหตุขัดข้องที่ผู้ใช้รายงานก่อนเป็นตัวบ่งชี้โดยตรงของช่องว่างด้านประสบการณ์
ในทางปฏิบัติ: ตัวอย่าง ITIL แบบคล่องตัว
ผู้ค้าปลีกออนไลน์ขนาดกลางดำเนินแพลตฟอร์มการสั่งซื้อที่มีสี่ทีมผลิตภัณฑ์และหนึ่งทีมแพลตฟอร์มที่สนับสนุนการหมุนเวรเรียกฉุกเฉิน ตัวเลขทั้งหมดในตัวอย่างนี้เป็นตัวอย่างประกอบ ตลอดสี่สัปดาห์ (ตัวอย่างประกอบ) การหมุนเวรได้รับ 240 เพจ โดย 70 เพจอยู่ระหว่าง 22:00 ถึง 07:00 ทีมทบทวนทุกเพจด้วยสี่ป้าย: นำไปปฏิบัติได้ ผลบวกลวง จริงแต่ไม่คุ้มเพจ และซ้ำ
การทบทวนแสดงอัตราการแจ้งเตือนที่นำไปปฏิบัติได้ 31 เปอร์เซ็นต์ (ตัวอย่างประกอบ) และอัตราผลบวกลวง 22 เปอร์เซ็นต์ (ตัวอย่างประกอบ) ห้ากฎสร้าง 58 เปอร์เซ็นต์ของเพจ (ตัวอย่างประกอบ) และกฎใหญ่ที่สุดคือเกณฑ์ดิสก์บนเซิร์ฟเวอร์แบตช์ที่ฟื้นเองเสมอ สัดส่วนการตรวจจับโดยการเฝ้าติดตามของไตรมาสก่อนคือ 62 เปอร์เซ็นต์ (ตัวอย่างประกอบ) และเวลาถึงการตรวจจับมัธยฐานคือ 14 นาที (ตัวอย่างประกอบ) โดยเปอร์เซ็นไทล์ที่ 95 คือ 51 นาที (ตัวอย่างประกอบ)
ทีมลดระดับสามกฎที่รบกวนไปคิวตั๋ว รวมรายการซ้ำเพื่อให้ข้อบกพร่องหนึ่งอย่างสร้างหนึ่งเพจ แทนที่การแจ้งเตือนจำนวนข้อผิดพลาดดิบบนการชำระเงินด้วยการแจ้งเตือนอัตราการเผางบข้อผิดพลาด (ดูหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด”) และเพิ่มการแจ้งเตือนอาการสำหรับอีเมลยืนยันคำสั่งซื้อ ซึ่งเป็นช่องว่างที่อยู่เบื้องหลังเหตุขัดข้องสองครั้งที่ลูกค้ารายงาน แต่ละการเปลี่ยนแปลงเป็นรายการแบ็กล็อกที่มีเจ้าของ สี่สัปดาห์ต่อมาเพจลดเหลือ 96 (ตัวอย่างประกอบ) และอัตราที่นำไปปฏิบัติได้เพิ่มเป็น 64 เปอร์เซ็นต์ (ตัวอย่างประกอบ) ขณะที่สัดส่วนการตรวจจับเพิ่มเป็น 71 เปอร์เซ็นต์ (ตัวอย่างประกอบ) และเวลาถึงการตรวจจับมัธยฐานคงที่ที่ 14 นาที ความเงียบดูเหมือนเป็นสิ่งที่ได้มา
ความเสี่ยงเรื่องการบิดเบือนปรากฏในเดือนที่สาม ผู้จัดการใหม่ตั้งเป้าหมายไม่เป็นทางการให้น้อยกว่า 60 เพจต่อสี่สัปดาห์ และการหมุนเวรหนึ่งไปถึงเป้าด้วยการยืดความล่าช้าของการแจ้งเตือนข้อผิดพลาดการชำระเงิน สัดส่วนการตรวจจับของมันลดเหลือ 55 เปอร์เซ็นต์ (ตัวอย่างประกอบ) และเวลาถึงการตรวจจับที่เปอร์เซ็นไทล์ที่ 95 พุ่งเป็น 80 นาที (ตัวอย่างประกอบ) เพราะมาตรการป้องกันอยู่ข้างปริมาณ การทบทวนจึงจับได้ ทีมถอนเป้าหมายปริมาณ คืนการแจ้งเตือน และบันทึกกรณีนี้ในทะเบียนตัวชี้วัด (ดูหัวข้อ 1.4 “การกำกับดูแลและความเป็นเจ้าของตัวชี้วัด”)
มุมมองตามประเภทองค์กร
สตาร์ทอัป เมื่อวิศวกรไม่กี่คนอยู่เวรกันหมด ลำดับความสำคัญคือนโยบายการเรียกคนสั้น ๆ และการแจ้งเตือนอาการไม่กี่รายการบนเส้นทางที่สร้างรายได้ การดูสิบนาทีวันจันทร์ว่าอะไรปลุกผู้คนก็เพียงพอ ความเสี่ยงหลักคือไม่มีการแจ้งเตือนเลย จนลูกค้าคือการเฝ้าติดตาม ให้นับว่าลูกค้าบอกท่านก่อนบ่อยเพียงใด
ธุรกิจขนาดเล็ก องค์กรเล็กมักพึ่งพาการเฝ้าติดตามของผู้จัดหา ตัวชี้วัดที่มีประโยชน์คือความครอบคลุมการตรวจจับสำหรับระบบไม่กี่ระบบที่ทำให้ธุรกิจหยุด และสัดส่วนเหตุขัดข้องที่ผู้ใช้พบ ขอข้อมูลการแจ้งเตือนจากผู้จัดหาที่สัญญาให้สิทธิ์ท่าน
องค์กรขนาดใหญ่ องค์กรใหญ่มีเครื่องมือและการหมุนเวรมากมาย และแต่ละทีมอาจนิยาม “นำไปปฏิบัติได้” ต่างกัน ทำนิยามและป้ายให้เป็นมาตรฐาน ทบทวนระดับทีม และรวมตามบริการแทนตามเครื่องมือ แพลตฟอร์มการหาความสัมพันธ์ของเหตุการณ์ลดปริมาณในระดับใหญ่ แต่ต้องมีการตรวจสอบความครบถ้วนของตนเอง
ภาครัฐและหน่วยงานสาธารณะ บริการบางอย่างทำงานในเวลาราชการและบางอย่าง เช่นระบบฉุกเฉินหรือสวัสดิการ ทำงานต่อเนื่อง ความครอบคลุมการตรวจจับและการแจ้งเตือนที่ทดสอบแล้วสำคัญที่สุดในที่ที่ความล้มเหลวมีผลทางกฎหมายหรือความปลอดภัย และบันทึกการทดสอบสนับสนุนการตรวจสอบได้ รายงานความครอบคลุมและการตรวจจับต่อหน่วยกำกับดูแล ไม่ใช่จำนวนการแจ้งเตือนดิบซึ่งอ่านผิดง่าย (ดูหัวข้อ 8.5 “การรายงานตามข้อกำหนดและต่อภาครัฐ”)
กรณีทางธุรกิจ: แรงจูงใจ ROI และ TCO
เหตุผลในการลงทุนเป็นเรื่องปฏิบัติ การตรวจจับที่ดีขึ้นทำให้ช่วงที่ผู้ใช้ได้รับผลกระทบสั้นลง เพจที่ไร้ประโยชน์น้อยลงปกป้องการนอนหลับ ลดการลาออกจากการหมุนเวร และเก็บความสนใจไว้สำหรับการแจ้งเตือนที่สำคัญ ต้นทุนของคุณภาพการแจ้งเตือนที่แย่มองเห็นยากเพราะกระจายอยู่ในการนอนหลับที่ถูกขัดจังหวะ การตอบสนองที่ช้า และการจากไปของวิศวกรที่มีประสบการณ์
ต้นทุนของการรวบรวมตัวชี้วัดเหล่านี้น้อยถ้าเชื่อมเครื่องมือการแจ้งเตือน เพจ และเหตุขัดข้องได้ และปานกลางถ้าเพิ่มป้ายด้วยมือ ต้นทุนหลักคือเวลาทบทวนรายสัปดาห์ งานปรับและลบ และการทดสอบการตรวจจับเป็นครั้งคราว การตัดกฎที่ไม่ใช้ยังลดต้นทุนใบอนุญาตและที่เก็บของการเฝ้าติดตาม และต้นทุนรวมของการเป็นเจ้าของควรรวมเวลาของบุคลากร
ผลตอบแทนปรากฏภายในไม่กี่เดือนเป็นการหมุนเวรที่เงียบลง สัดส่วนการตรวจจับโดยการเฝ้าติดตามที่สูงขึ้น และเวลาถึงการตรวจจับที่ไม่แย่ลง เพื่อแปลงเป็นเงิน ให้เปรียบเทียบต้นทุนของชั่วโมงเหตุขัดข้องและการลาออกจากการหมุนเวรกับต้นทุนของการทบทวน โดยใช้ตัวเลขของท่านเอง อย่าใช้ค่าเฉลี่ยของอุตสาหกรรมเว้นแต่ท่านอ้างแหล่งที่ตรวจสอบแล้วได้
รูปแบบที่ไม่ควรทำและข้อควรระวัง
- ตั้งเป้าที่ปริมาณการแจ้งเตือน เป้าหมายบนจำนวนให้รางวัลความเงียบและเชิญชวนให้ซ่อนการแจ้งเตือน ตั้งเป้าที่อัตราการแจ้งเตือนที่นำไปปฏิบัติได้และสัดส่วนการตรวจจับ และใช้ปริมาณเป็นตัวเลขบริบทพร้อมขีดจำกัดความยั่งยืนที่ทีมเลือก
- แจ้งเตือนทุกสาเหตุ เพจระดับสาเหตุหลายสิบรายการสร้างสัญญาณรบกวนแต่ก็ยังพลาดอาการที่ไม่มีใครคิดถึง ให้แจ้งเตือนจากอาการฝั่งผู้ใช้แทน
- เพิ่มการแจ้งเตือนหลังเหตุขัดข้องทุกครั้งและไม่เคยลบเลย จับคู่ทุกการแจ้งเตือนใหม่กับการทบทวนอันที่มันทำให้ซ้ำซ้อน
- นับการแจ้งเตือนโดยไม่ติดป้าย จำนวนที่ไม่มีการตัดสินความมีประโยชน์แยกการหมุนเวรที่รบกวนออกจากที่ยุ่งไม่ได้ ติดป้ายตัวอย่างทุกสัปดาห์ แม้มีเวลาเพียงไม่กี่นาที
- ถือความครอบคลุมเป็นจำนวนการแจ้งเตือน บริการที่มีการแจ้งเตือนสาเหตุห้าสิบรายการและไม่มีการแจ้งเตือนอาการเลยครอบคลุมไม่ดี นิยามความครอบคลุมเป็นการตรวจจับอาการที่ทดสอบแล้ว
- จัดอันดับบุคคลตามเพจที่จัดการหรือรับทราบ ลงโทษสมาชิกการหมุนเวรที่รับกะยาก และส่งเสริมการหลบเพจเจอร์ รายงานตามการหมุนเวรและบริการ และมองหาการแก้ไขด้านการออกแบบ
- ไม่เคยทดสอบเส้นทางการแจ้งเตือน การแจ้งเตือนที่ไม่เคยเห็นว่าทำงานคือข้อสมมติ ใส่การทดสอบการแจ้งเตือนในวันซ้อมรับมือ และเฝ้าติดตามตัวไปป์ไลน์เอง
แบบจำลองวุฒิภาวะ
| มิติ | 1 เริ่มต้น | 2 พัฒนา | 3 ทำให้เป็นมาตรฐาน | 4 บริหารจัดการ | 5 ประสานจัดการ |
|---|---|---|---|---|---|
| นโยบายการเรียกคนและความเป็นเจ้าของกฎ | เพิ่มการแจ้งเตือนเฉพาะกิจ ไม่มีใครรู้ว่าทำไมหลายอันจึงมี | บางทีมมีนโยบายและเจ้าของกฎของตน | นโยบายการเรียกคนสั้นหนึ่งฉบับ ทุกกฎเพจมีเจ้าของและคู่มือปฏิบัติ | ติดตามและทบทวนความเป็นปัจจุบันของกฎ ลบกฎที่ไม่ใช้ตามกำหนด | ปรับนโยบายและความเป็นเจ้าของข้ามทีมและผู้จัดหาเมื่อบริการเปลี่ยน |
| การวัดคุณภาพการแจ้งเตือน | ร้องเรียนเรื่องสัญญาณรบกวน ไม่มีการนับ | บางทีมนับปริมาณ ไม่มีการติดป้าย | ทบทวนรายสัปดาห์ด้วยป้ายร่วม รายงานอัตราการแจ้งเตือนที่นำไปปฏิบัติได้และอัตราผลบวกลวงตามบริการ | อัตรามีแนวโน้มและจับคู่กับตัวชี้วัดการตรวจจับ งานปรับปรุงได้รับทุน | เชื่อมคุณภาพข้ามบริการและผู้จัดหา ปรับนิยามเมื่อไม่ช่วยการตัดสินใจอีกต่อไป |
| การตรวจจับและความครอบคลุม | ลูกค้าและเพื่อนร่วมงานรายงานปัญหาส่วนใหญ่ | การแจ้งเตือนอาการบนบริการหลักไม่กี่รายการ | ติดตามความครอบคลุมการตรวจจับด้วยการแจ้งเตือนที่ทดสอบ บันทึกสัญญาณแรกของทุกเหตุขัดข้อง | ทบทวนเวลาถึงการตรวจจับและสัดส่วนการตรวจจับโดยการเฝ้าติดตามพร้อมมาตรการป้องกัน ช่องว่างกลายเป็นงานที่วางแผน | ทดสอบการตรวจจับเป็นกิจวัตรข้ามการพึ่งพาและผู้จัดหา รวมถึงไปป์ไลน์การแจ้งเตือน |
| การใช้ในการปรับปรุง | การแก้การแจ้งเตือนตามหลังคืนที่แย่ที่สุด | การแก้ไขตามหลังเหตุขัดข้อง | การทบทวนแต่ละครั้งสร้างอย่างน้อยหนึ่งการเปลี่ยนแปลง | ติดตามการเปลี่ยนแปลงถึงผลต่อปริมาณ การนำไปปฏิบัติได้ และการตรวจจับ | ทบทวนภาระการหมุนเวร การตรวจจับ และงบข้อผิดพลาดร่วมกันเพื่อกำหนดทิศทางการลงทุน |
รายการตรวจสอบ
- เรามีนโยบายการเรียกคนที่เขียนไว้ไม่กี่ประโยคที่บอกว่าอะไรสมควรได้รับเพจ
- ทุกกฎเพจมีเจ้าของ วัตถุประสงค์ และลิงก์คู่มือปฏิบัติ
- แต่ละการหมุนเวรทบทวนสิ่งที่ดังขึ้นอย่างน้อยทุกสัปดาห์และติดป้ายแต่ละการแจ้งเตือน
- การทบทวนแต่ละครั้งสร้างอย่างน้อยหนึ่งการเปลี่ยนแปลงกฎที่บันทึกไว้
- เรารายงานปริมาณการแจ้งเตือน อัตราการแจ้งเตือนที่นำไปปฏิบัติได้ และอัตราผลบวกลวงตามการหมุนเวรและบริการ ไม่เคยตามบุคคล
- ทุกเหตุขัดข้องบันทึกว่าตรวจพบครั้งแรกอย่างไร พร้อมตัวเลือกไม่ทราบ
- เราประมาณจุดเริ่มผลกระทบจากประวัติตัวบ่งชี้ระดับบริการและรายงานเวลาถึงการตรวจจับค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 95
- แต่ละบริการในขอบเขตมีการแจ้งเตือนอาการที่ทดสอบใน 12 เดือนล่าสุด
- การตรวจจังหวะหัวใจเรียกเราถ้าไปป์ไลน์การแจ้งเตือนหยุด
- เราตกลงภาระนอกเวลางานที่ยั่งยืนสำหรับแต่ละการหมุนเวรและทบทวนมัน
- ไม่มีการตั้งเป้าที่ปริมาณการแจ้งเตือนเพียงอย่างเดียว
พรอมต์ AI
วัตถุประสงค์: ร่างนโยบายการเรียกคนสำหรับบริการจากตัวบ่งชี้และผลที่ตามมา
ช่วยฉันร่างนโยบายการเรียกคนสำหรับบริการ [ชื่อบริการ]
บริบท: ผู้ใช้คือ [กลุ่มผู้ใช้] อาการฝั่งผู้ใช้ที่เราใส่ใจคือ [อาการ เช่นข้อผิดพลาด ความหน่วง การใช้งานไม่ได้] ผลที่ตามมาของการพลาดความล้มเหลวคือ [ผลที่ตามมา] การหมุนเวรเรียกฉุกเฉินคือ [คำอธิบายการหมุนเวร เช่นชั่วโมงและขนาดทีม]
เขียนนโยบายสั้น (ไม่เกิน 200 คำ) ที่บอกว่าอะไรสมควรได้รับเพจ อะไรไปคิวตั๋ว และอะไรอยู่บนแดชบอร์ด
อย่าคิดเกณฑ์หรือค่าเทียบเคียงขึ้นเอง ให้ใส่ตัวแทน [เกณฑ์] ไว้ให้เราตั้งจากข้อมูลของเราเอง
ระบุคำถามที่คุณจะถามเราก่อนสรุป และระบุข้อสมมติของคุณ
วัตถุประสงค์: วิเคราะห์การทบทวนการแจ้งเตือนที่ส่งออกเพื่อหารูปแบบสัญญาณรบกวน
ฉันจะวางตารางการแจ้งเตือนของ [ช่วงเวลา] สำหรับการหมุนเวร [ชื่อการหมุนเวร] พร้อมคอลัมน์: [ชื่อคอลัมน์ เช่นกฎ เวลา ป้าย การดำเนินการที่ทำ บริการ]
คำนวณอัตราการแจ้งเตือนที่นำไปปฏิบัติได้ อัตราผลบวกลวง สัดส่วนนอกเวลางาน และสัดส่วนของการแจ้งเตือนจากห้ากฎที่รบกวนที่สุด โดยใช้เฉพาะข้อมูลที่ฉันวาง
เสนอว่ากฎใดควรปรับ รวม ลดระดับ หรือลบ พร้อมเหตุผลแต่ละข้อ และทำเครื่องหมายแต่ละข้อเสนอเป็นสมมติฐานที่ต้องตรวจสอบ
รายงานตามกฎ บริการ และการหมุนเวร ไม่เคยตามบุคคล อย่าคิดค่าเทียบเคียงขึ้นเอง
ระบุข้อสมมติของคุณและแถวใดที่คุณตัดออก
วัตถุประสงค์: ตรวจชุดตัวชี้วัดการแจ้งเตือนเพื่อหาความเสี่ยงของการบิดเบือนก่อนเผยแพร่
นี่คือตัวชี้วัดคุณภาพการแจ้งเตือนที่เราวางแผนจะเผยแพร่: [รายการตัวชี้วัดพร้อมนิยามและสูตร]
สำหรับแต่ละตัวชี้วัด อธิบายสองวิธีที่มันอาจถูกบิดเบือนหรืออ่านผิดในบริบทของเราคือ [ประเภทองค์กรและบริการ] และเสนอมาตรการป้องกันที่จับคู่จากรายการเดียวกันหรือแนวปฏิบัติที่เรานำมาใช้ได้
ชี้ตัวชี้วัดใดที่แสดงโดยไม่มีมาตรการป้องกัน
อย่าคิดแหล่งที่มาหรือค่าเทียบเคียงขึ้นเอง
ระบุข้อสมมติของคุณเกี่ยวกับวิธีที่เครื่องมือของเราบันทึกการแจ้งเตือนและเหตุขัดข้อง
วัตถุประสงค์: วางแผนการทดสอบการตรวจจับสำหรับบริการที่ความครอบคลุมอ่อน
บริการของเราคือ [รายการบริการ] และการแจ้งเตือนอาการที่เราเชื่อว่ามีอยู่คือ [รายการการแจ้งเตือน]
เสนอแผนทดสอบที่ปลอดภัยสำหรับ [วันซ้อมรับมือหรือการซ้อม] ครั้งถัดไปที่ตรวจว่า สำหรับแต่ละบริการ อาการที่ตั้งใจก่อให้เกิดกระตุ้นการแจ้งเตือน ถึง [การหมุนเวร] และเชื่อมกับคู่มือปฏิบัติ
บอกว่าควรแจ้งใครล่วงหน้าและบันทึกผลสำหรับความครอบคลุมการตรวจจับอย่างไร
อย่าคิดฟีเจอร์ของเครื่องมือขึ้นเอง ให้ถามฉันว่า [เครื่องมือเฝ้าติดตาม] ทำงานอย่างไร
ระบุข้อสมมติของคุณ
ทักษะ AI
- ทักษะ Agile ITIL Metrics: ใช้เพื่อหาหัวข้อที่นิยามตัวชี้วัดที่เกี่ยวข้องและมาตรการป้องกันที่ควรอยู่ข้างตัวชี้วัดคุณภาพการแจ้งเตือน
- ทักษะผู้ดูแล Agile ITIL Metrics: ใช้เพื่อตรวจว่าการแก้ไขหัวข้อนี้ยังคงแม่แบบ ตารางการบิดเบือน และการอ้างอิงข้ามหัวข้อให้สอดคล้องกัน
ข้อสรุปสำคัญ
- ตัดสินการแจ้งเตือนจากว่ามันนำไปสู่การดำเนินการหรือไม่ และตัดสินการเฝ้าติดตามจากว่ามันจับปัญหาจริงได้มากเพียงใด ความแม่นยำและความครบถ้วนเป็นมาตรการป้องกันของกันและกัน
- เรียกคนด้วยอาการที่ผู้ใช้รู้สึก ผูกเกณฑ์กับวัตถุประสงค์ระดับบริการเมื่อมี และเก็บสาเหตุไว้สำหรับการวินิจฉัย
- ทบทวนสิ่งที่ดังขึ้นทุกสัปดาห์ ติดป้าย และสร้างอย่างน้อยหนึ่งการเปลี่ยนแปลงทุกครั้ง
- อย่าตั้งเป้าที่ปริมาณการแจ้งเตือนเพียงอย่างเดียว ให้อ่านข้างอัตราการแจ้งเตือนที่นำไปปฏิบัติได้ สัดส่วนการตรวจจับโดยการเฝ้าติดตาม และเวลาถึงการตรวจจับ
- ทดสอบการแจ้งเตือนและไปป์ไลน์การแจ้งเตือน เพราะการแจ้งเตือนที่ไม่ทดสอบคือข้อสมมติ
- รายงานตามการหมุนเวรและบริการ ไม่ใช่บุคคล และถือภาระเวรเรียกฉุกเฉินที่ยั่งยืนเป็นเป้าหมายด้านการออกแบบ
เอกสารอ้างอิงและแหล่งอ่านเพิ่มเติม
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Monitoring Distributed Systems," https://sre.google/sre-book/monitoring-distributed-systems/
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Practical Alerting from Time-Series Data," https://sre.google/sre-book/practical-alerting/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, "Alerting on SLOs," https://sre.google/workbook/alerting-on-slos/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, System monitoring.
- Wikipedia, False positives and false negatives.
- Wikipedia, Precision and recall.
- Wikipedia, Signal-to-noise ratio.
- Wikipedia, Alarm fatigue.
- Wikipedia, On-call.
- Wikipedia, Site reliability engineering.
- Wikipedia, Service-level objective.