ตัวชี้วัดความพร้อมใช้งาน
ความพร้อมใช้งานคือสัดส่วนของเวลา หรือของคำขอของผู้ใช้ ที่บริการทำสิ่งที่ผู้ใช้ต้องการได้ และจะบอกความจริงก็ต่อเมื่อท่านนิยามคำว่า “ใช้งานได้” จากฝั่งผู้ใช้ นับการหยุดที่วางแผนไว้และที่ไม่ได้วางแผนแยกกัน และเข้าใจเลขคณิตของเลขเก้าก่อนจะสัญญาเลขใดเลขหนึ่ง
ภาพรวมและแรงจูงใจ
ความพร้อมใช้งานเป็นตัวเลขที่ถูกอ้างถึงมากที่สุดในการจัดการบริการ และเป็นหนึ่งในตัวเลขที่นิยามได้ไม่ชัดที่สุด ข้อความอย่าง “บริการพร้อมใช้งาน 99.9 เปอร์เซ็นต์เมื่อเดือนที่แล้ว” ฟังดูแม่นยำ แต่ซ่อนการตัดสินใจอย่างน้อยสี่เรื่อง: อะไรนับเป็นบริการ อะไรนับเป็น “พร้อมใช้งาน” ชั่วโมงใดอยู่ในขอบเขต และเหตุขัดข้องใดถูกยกเว้น สองทีมอาจรายงานบริการเดียวกันในเดือนเดียวกันและเผยแพร่ตัวเลขที่ต่างกันเป็นอันดับขนาด โดยที่ไม่มีใครคำนวณผิด
หัวข้อนี้ทำให้การตัดสินใจเหล่านั้นชัดเจน ครอบคลุมการคำนวณเวลาใช้งานได้และเวลาหยุดทำงาน ความพร้อมใช้งานถ่วงน้ำหนักตามผู้ใช้ การหยุดที่วางแผนไว้เทียบกับที่ไม่ได้วางแผน และเลขคณิตของเลขเก้า สร้างบนตัวบ่งชี้ระดับบริการ (SLI) วัตถุประสงค์ระดับบริการ (SLO) และงบข้อผิดพลาด (ดูหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด”) และบนมุมมองเชิงสัญญาของระดับบริการ (ดูหัวข้อ 5.1 “ตัวชี้วัด SLA, OLA และ XLA”) หัวข้อเหล่านั้นบอกวิธีเลือกเป้าหมาย หัวข้อนี้บอกวิธีคำนวณตัวเลขที่ใช้เทียบกับเป้าหมาย
ศัพท์ที่ใช้ในหัวข้อนี้
- ความพร้อมใช้งาน (availability) คือความสามารถของบริการที่ทำสิ่งที่ผู้ใช้ต้องการเมื่อพวกเขาต้องการ มักแสดงเป็นเปอร์เซ็นต์ในรอบเวลาหนึ่ง แนวคิดทั่วไปอธิบายไว้ในบทความเรื่องความพร้อมใช้งานสูง (high availability)
- เวลาหยุดทำงาน (downtime) คือช่วงที่บริการใช้งานไม่ได้ หัวข้อนี้ใช้ เหตุล่ม (outage) สำหรับเหตุการณ์เวลาหยุดทำงานต่อเนื่องหนึ่งครั้ง และ การเสื่อมสภาพ (degradation) สำหรับช่วงที่บริการทำงานแต่ต่ำกว่าคุณภาพที่ตกลง
- เวลาใช้งานได้ (uptime) คือส่วนเติมเต็มของเวลาหยุดทำงานภายในหน้าต่างการวัด ความพร้อมใช้งานตามเวลาคือเวลาใช้งานได้หารด้วยเวลารวมที่อยู่ในขอบเขต
- ความพร้อมใช้งานตามคำขอ (request-based availability) คือสัดส่วนคำขอที่ใช้ได้ซึ่งสำเร็จ ดังนั้นความล้มเหลวที่กระทบคำขอ 5 เปอร์เซ็นต์เป็นเวลาหนึ่งชั่วโมงจึงนับเป็น 5 เปอร์เซ็นต์ของการจราจรหนึ่งชั่วโมง ไม่ใช่เวลาหยุดทำงานเต็มหนึ่งชั่วโมง
- ความพร้อมใช้งานถ่วงน้ำหนักตามผู้ใช้ (user-weighted availability) ขยายมุมมองตามคำขอโดยถ่วงน้ำหนักความล้มเหลวตามจำนวนหรือความสำคัญของผู้ใช้ที่ได้รับผลกระทบ เช่นนับเซสชันที่ล้มเหลวหรือเส้นทางที่ล้มเหลวแทนคำขอดิบ
- ข้อตกลงระดับบริการ (SLA) คือข้อผูกพันต่อลูกค้า และ วัตถุประสงค์ระดับบริการ (SLO) คือเป้าหมายภายในของตัวบ่งชี้ บทความข้อตกลงระดับบริการและวัตถุประสงค์ระดับบริการให้นิยามทั่วไป
- เวลาหยุดที่วางแผนไว้ (planned downtime) คือเหตุล่มที่ประกาศล่วงหน้าและอนุมัติผ่านการสนับสนุนการเปลี่ยนแปลง เวลาหยุดที่ไม่ได้วางแผน (unplanned downtime) คือที่เหลือทั้งหมด เส้นแบ่งระหว่างสองอย่างนี้เป็นหนึ่งในเส้นที่ถูกโต้แย้งมากที่สุดในการรายงานความพร้อมใช้งาน
- เวลาเฉลี่ยระหว่างความล้มเหลว (mean time between failures: MTBF) คือเวลาดำเนินงานเฉลี่ยระหว่างเหตุล่ม และ เวลาเฉลี่ยในการซ่อม (mean time to repair) คือเวลาเฉลี่ยในการฟื้นคืน ทั้งสองเป็นค่าเฉลี่ย หนังสือเล่มนี้จึงอ่านเป็นการกระจาย (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ”)
- การเฝ้าติดตามแบบสังเคราะห์ (synthetic monitoring) ใช้โพรบที่เขียนสคริปต์ให้ทำตัวเหมือนผู้ใช้และรายงานความสำเร็จหรือความล้มเหลว การเฝ้าติดตามผู้ใช้จริง (real user monitoring) บันทึกประสบการณ์ของผู้ใช้จริงขณะที่ใช้บริการ
- ITIL เป็นกรอบแนวทางที่รู้จักกันดีที่สุดสำหรับการจัดการบริการไอที ใน ITIL 4 แนวปฏิบัติการจัดการความพร้อมใช้งานเกี่ยวข้องกับการทำให้แน่ใจว่าบริการส่งมอบระดับความพร้อมใช้งานที่ตกลงกัน และทำงานใกล้ชิดกับการเฝ้าติดตามและการจัดการเหตุการณ์ การจัดการเหตุขัดข้อง และการจัดการความต่อเนื่องของบริการ
ทำไมตัวเลขเดียวไม่เคยพอ
เหตุล่มสิบครั้งครั้งละสี่นาทีกับเหตุล่มหนึ่งครั้งสี่สิบนาทีให้เวลาหยุดทำงานรวมเท่ากัน แต่ผู้ใช้รู้สึกต่างกันและต้องการการตอบสนองต่างกัน รูปแบบแรกชี้ไปที่บริการที่เปราะบาง รูปแบบที่สองชี้ไปที่การตรวจจับหรือการฟื้นคืนที่ช้า ด้วยเหตุนี้ตัวชี้วัดในที่นี้จึงมาเป็นชุดเล็ก แต่ละตัวมีมาตรการป้องกัน เพื่อให้ทีมอภิปรายความพร้อมใช้งานอย่างซื่อตรงโดยไม่แข่งกันหาเลขเก้าให้มากที่สุด
มุมมอง ITIL และแบบคล่องตัวต่างกันอย่างไร
ใน ITIL ความพร้อมใช้งานเป็นคุณลักษณะที่บริหารจัดการของบริการ ตกลงกับลูกค้าและรายงานโดยการจัดการระดับบริการเทียบกับเป้าหมายที่ระบุ พร้อมชั่วโมงให้บริการที่ชัดเจนและข้อยกเว้นเช่นการบำรุงรักษาที่วางแผนไว้
ในแนวปฏิบัติแบบคล่องตัวและวิศวกรรมความน่าเชื่อถือของไซต์ (SRE) ความพร้อมใช้งานเป็น SLI หนึ่งในหลายตัว เปรียบเทียบกับ SLO หนังสือ Site Reliability Engineering ของ Google กล่าวว่าความพร้อมใช้งานตามเวลาเหมาะกับระบบเดี่ยว ขณะที่อัตราความสำเร็จของคำขอเหมาะกับบริการแบบกระจายที่ใช้งานได้บางส่วนตลอดเวลา และยังกล่าวว่า 100 เปอร์เซ็นต์แทบไม่เคยเป็นเป้าหมายที่เหมาะสม เพราะต้นทุนของเลขเก้าแต่ละตัวที่เพิ่มขึ้นสูงชันมาก
ใช้วินัยของ ITIL เรื่องขอบเขต ชั่วโมง และข้อยกเว้นที่ตกลงกัน เพื่อนิยามตัวหาร ใช้วินัยของ SRE เรื่องตัวบ่งชี้ที่ยึดผู้ใช้เป็นศูนย์กลางและงบข้อผิดพลาด เพื่อนิยามตัวตั้งและตัดสินใจว่าจะทำอะไรกับผลลัพธ์
หลักการสำคัญ
- นิยามคำว่า “พร้อมใช้งาน” จากฝั่งผู้ใช้ บริการที่ตอบการตรวจสุขภาพขณะที่ผู้ใช้ลงชื่อเข้าใช้ไม่ได้คือบริการที่ล่มสำหรับผู้คนที่สำคัญ
- เขียนตัวหารไว้ ระบุขอบเขตบริการ ชั่วโมงในขอบเขต เขตเวลา และหน้าต่างการวัดก่อนคำนวณอะไร
- นับเหตุล่มที่วางแผนไว้และที่ไม่ได้วางแผนแยกกัน รายงานทั้งสองอย่างด้วยกัน และไม่ปล่อยให้อย่างใดอย่างหนึ่งซ่อนอยู่ในอีกอย่าง
- เลือกตัวชี้วัดตามคำขอและถ่วงน้ำหนักตามผู้ใช้สำหรับบริการแบบกระจาย ความล้มเหลวบางส่วนไม่ใช่เวลาใช้งานได้เต็มและไม่ใช่เวลาหยุดเต็ม
- แปลงเลขเก้าเป็นนาที เป้าหมายจะเข้าใจได้ก็ต่อเมื่อผู้คนบอกได้ว่ามันอนุญาตให้ล้มเหลวกี่นาทีต่อเดือน
- เลือกจำนวนเลขเก้าที่ผู้ใช้ต้องการ เกินจากจุดนั้น เลขเก้าที่เพิ่มแต่ละตัวมีต้นทุนมากกว่าที่ได้คืน
- อธิบายบริการ ไม่ใช่บุคคล ความพร้อมใช้งานเป็นของบริการและทีมที่ดำเนินบริการ ไม่ใช่คะแนนของบุคคล
นิยามตัวชี้วัด
แต่ละแถวระบุนาฬิกาและขอบเขตของตน ใช้เวลาตามปฏิทินเว้นแต่แถวนั้นระบุเป็นอย่างอื่น เมื่อตัวชี้วัดใช้การกระจาย ให้รายงานค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 95 และระบุหน้าต่าง
| ตัวชี้วัด | นิยาม | สูตร | หน่วย | แหล่งข้อมูล | แนวปฏิบัติ ITIL | คู่เทียบแบบคล่องตัว | ความถี่ |
|---|---|---|---|---|---|---|---|
| ความพร้อมใช้งานตามเวลา | สัดส่วนของเวลาในขอบเขตที่บริการเป็นไปตามนิยามที่เขียนไว้ของ “ใช้งานได้” | (นาทีในขอบเขตของหน้าต่าง ลบนาทีหยุดทำงานที่ไม่ได้วางแผน) / นาทีในขอบเขตของหน้าต่าง นาฬิกาเริ่มที่โพรบแรกที่ล้มเหลวซึ่งภายหลังยืนยันว่ากระทบผู้ใช้ หรือที่จุดเริ่มผลกระทบที่ยืนยันซึ่งบันทึกในการทบทวนเหตุขัดข้อง และหยุดเมื่อบริการเป็นไปตามนิยามอีกครั้ง เวลาหยุดที่วางแผนไว้ภายในชั่วโมงให้บริการที่ตกลงแสดงแยก และเวลานอกชั่วโมงให้บริการที่ตกลงถูกตัดออกจากตัวหาร | เปอร์เซ็นต์ | ผลการเฝ้าติดตามแบบสังเคราะห์ บันทึกเหตุขัดข้องพร้อมการประทับเวลาเริ่มผลกระทบและฟื้นคืน | การจัดการความพร้อมใช้งาน การจัดการระดับบริการ | SLI ตามเวลาสำหรับระบบเดี่ยว (ดูหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด”) | รายเดือน |
| ความพร้อมใช้งานตามคำขอ | สัดส่วนของคำขอที่ใช้ได้ซึ่งสำเร็จ | คำขอที่ใช้ได้ที่สำเร็จ / คำขอที่ใช้ได้ทั้งหมดในหน้าต่าง คำขอที่ใช้ได้ไม่รวมคำขอที่รูปแบบผิดและข้อผิดพลาดฝั่งไคลเอนต์ที่เกิดจากผู้เรียก ความล้มเหลวที่เกิดจากบริการ รวมถึงการหมดเวลา นับเป็นความล้มเหลว รายงานแยกตามบริการและตามเส้นทางผู้ใช้ | เปอร์เซ็นต์ | บันทึกและตัวชี้วัดของตัวกระจายโหลด เกตเวย์ หรือแอปพลิเคชัน | การจัดการความพร้อมใช้งาน การเฝ้าติดตามและการจัดการเหตุการณ์ | SLI อัตราความสำเร็จพร้อม SLO และงบข้อผิดพลาด (ดูหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด”) | แนวโน้มรายวัน รายงานรายเดือน |
| ความพร้อมใช้งานถ่วงน้ำหนักตามผู้ใช้ | ความพร้อมใช้งานที่ถ่วงน้ำหนักตามผู้ใช้หรือเส้นทางที่ได้รับผลกระทบ เหตุล่มช่วงเร่งด่วนจึงนับมากกว่าเหตุล่มข้ามคืน | 1 ลบ (เซสชันผู้ใช้ที่ล้มเหลวหรือเส้นทางที่ล้มเหลว / เซสชันผู้ใช้หรือเส้นทางทั้งหมด) ในหน้าต่าง เซสชันนับว่าล้มเหลวถ้าขั้นตอนสำคัญที่กำหนดล้มเหลว ความสำเร็จบางส่วนรายงานเป็นสัดส่วนการเสื่อมสภาพแยกต่างหาก ไม่รวมเข้าด้วยกัน | เปอร์เซ็นต์ | การเฝ้าติดตามผู้ใช้จริง บันทึกเซสชันของแอปพลิเคชัน เหตุการณ์วิเคราะห์ | การจัดการความพร้อมใช้งาน การจัดการระดับบริการ | SLI ตามเส้นทางและตัวชี้วัดประสบการณ์ในหัวข้อ 6.2 (ดูหัวข้อ 6.2 “ข้อตกลงระดับประสบการณ์”) | รายเดือน |
| เวลาหยุดที่ไม่ได้วางแผน | นาทีที่บริการใช้งานไม่ได้โดยไม่มีการแจ้งล่วงหน้าที่อนุมัติ | ผลรวมระยะเวลาเหตุล่มในหน้าต่าง จากจุดเริ่มผลกระทบที่ยืนยันถึงการฟื้นคืนที่ยืนยัน สำหรับเหตุล่มที่ไม่ได้ประกาศและอนุมัติผ่านการสนับสนุนการเปลี่ยนแปลงก่อนเริ่ม เหตุล่มที่ซ้อนทับกันในบริการเดียวกันถูกรวมเป็นหนึ่ง ไม่ได้บวกซ้ำ รายงานเป็นนาทีรวม จำนวนเหตุล่ม และค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 95 ของระยะเวลาเหตุล่ม | นาที | บันทึกเหตุขัดข้องพร้อมการประทับเวลาเริ่มผลกระทบและฟื้นคืน | การจัดการเหตุขัดข้อง การจัดการความพร้อมใช้งาน | เวลาฟื้นคืนที่อ่านเป็นการกระจาย (ดูหัวข้อ 3.3 “เวลาตอบสนองและเวลาแก้ไขเหตุขัดข้อง”) | รายเดือน |
| สัดส่วนเวลาหยุดที่วางแผนไว้ | สัดส่วนของเวลาหยุดทำงานทั้งหมดที่ประกาศและอนุมัติล่วงหน้า | นาทีหยุดที่วางแผนไว้ / (นาทีหยุดที่วางแผนไว้บวกที่ไม่ได้วางแผน) ในหน้าต่าง เหตุล่มนับว่าวางแผนไว้ก็ต่อเมื่ออนุมัติผ่านบันทึกการเปลี่ยนแปลงก่อนเริ่ม และเวลาเริ่มและจบถูกสื่อสารให้ผู้ใช้ทราบ การเกินหน้าต่างที่อนุมัติถูกจัดประเภทใหม่เป็นไม่ได้วางแผนตั้งแต่ขณะที่หน้าต่างสิ้นสุด | เปอร์เซ็นต์ | บันทึกการเปลี่ยนแปลงพร้อมหน้าต่างที่อนุมัติ บันทึกเหตุขัดข้อง ประวัติหน้าสถานะ | การสนับสนุนการเปลี่ยนแปลง การจัดการความพร้อมใช้งาน | แนวปฏิบัติการปล่อยรุ่นและการบำรุงรักษาที่นิยมการติดตั้งใช้งานแบบไม่มีเวลาหยุด (ดูหัวข้อ 4.3 “ตัวชี้วัดการสนับสนุนการเปลี่ยนแปลง”) | รายเดือน |
| ความถี่และระยะห่างของเหตุล่ม | เหตุล่มเริ่มบ่อยเพียงใดและบริการทำงานได้นานเท่าใดระหว่างเหตุล่ม | จำนวนเหตุล่มที่เริ่มในหน้าต่าง และสำหรับเหตุล่มติดกันแต่ละคู่ นาทีของเวลาใช้งานได้ระหว่างการฟื้นคืนของเหตุแรกกับจุดเริ่มของเหตุที่สอง สรุปเป็นค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 5 ไม่รายงานเป็นค่าเฉลี่ยค่าเดียวเมื่อมีช่วงน้อยกว่าสิบช่วง | จำนวน นาที | บันทึกเหตุขัดข้อง ประวัติการเฝ้าติดตาม | การจัดการเหตุขัดข้อง การจัดการปัญหา | สัญญาณความเสถียรควบคู่กับอัตราความล้มเหลวของการเปลี่ยนแปลง (ดูหัวข้อ 4.4 “ความล้มเหลวของการเปลี่ยนแปลงและการทำซ้ำ”) | รายเดือน |
| สัดส่วนการเสื่อมสภาพ | เวลาที่บริการทำงานแต่ต่ำกว่าคุณภาพที่ตกลง | นาทีที่ตัวบ่งชี้ความหน่วง ข้อผิดพลาด หรือความถูกต้องละเมิดเกณฑ์ ไม่รวมนาทีที่นับเป็นเวลาหยุดทำงานแล้ว / นาทีในขอบเขต เกณฑ์ระบุต่อบริการ เช่นใน SLO | เปอร์เซ็นต์ | การเฝ้าติดตามและการวัด SLI | การจัดการความพร้อมใช้งาน การจัดการความจุและประสิทธิภาพ | SLI ด้านความหน่วง (ดูหัวข้อ 5.4 “ตัวชี้วัดความจุและประสิทธิภาพ”) | รายเดือน |
| ความครอบคลุมของการวัด | การวัดความพร้อมใช้งานสังเกตพฤติกรรมฝั่งผู้ใช้ของบริการได้มากเพียงใด | เส้นทางผู้ใช้ที่สำคัญที่มีโพรบที่ทำงานอยู่หรือการวัดผู้ใช้จริง / เส้นทางผู้ใช้ที่สำคัญที่ระบุในนิยามบริการ | เปอร์เซ็นต์ | นิยามบริการ การกำหนดค่าการเฝ้าติดตาม | การเฝ้าติดตามและการจัดการเหตุการณ์ การจัดการความพร้อมใช้งาน | ความครอบคลุมของการสังเกตการณ์และคุณภาพการแจ้งเตือน (ดูหัวข้อ 5.5 “ตัวชี้วัดการเฝ้าติดตามและคุณภาพการแจ้งเตือน”) | รายไตรมาส |
หมายเหตุสองข้อเรื่องข้อมูล โพรบที่ตรวจทุกห้านาทีแยกแยะเหตุล่มสองนาทีไม่ได้ ดังนั้นให้บันทึกช่วงเวลาของโพรบไว้ข้างตัวเลข และใช้ฟิลด์จุดเริ่มผลกระทบในบันทึกเหตุขัดข้อง (ดูหัวข้อ 1.5 “แหล่งข้อมูลและการติดตั้งเครื่องมือวัด”) ทุกครั้งที่นิยามของ “ใช้งานได้” เปลี่ยน ให้ทำเครื่องหมายบนแผนภูมิแนวโน้ม
ข้อเสนอแนะ
นิยามการวัด
1. เขียนนิยามบริการก่อนเปอร์เซ็นต์ ระบุขอบเขตบริการ เส้นทางผู้ใช้ที่สำคัญ ชั่วโมงในขอบเขต เขตเวลา และหน้าต่าง (โดยปกติคือหนึ่งเดือนปฏิทิน) ระบุว่าการพึ่งพาใดนับ: ถ้าผู้ให้บริการชำระเงินล้มเหลวและผู้ใช้ชำระเงินไม่ได้ นั่นเป็นเหตุล่มของท่านหรือไม่ บันทึกคำตอบไว้ในทะเบียนตัวชี้วัด (ดูหัวข้อ 1.4 “การกำกับดูแลและความเป็นเจ้าของตัวชี้วัด”) ข้อพิพาทเรื่องความพร้อมใช้งานส่วนใหญ่คือข้อพิพาทเรื่องหน้านี้ และการยุติล่วงหน้าถูกกว่าการยุติหลังเกิดเหตุล่มมาก
2. นิยาม “ใช้งานได้” เป็นผลลัพธ์ของผู้ใช้ ไม่ใช่สถานะของเซิร์ฟเวอร์ การตรวจสุขภาพที่ส่งผลสำเร็จขณะที่การลงชื่อเข้าใช้เสียวัดสิ่งที่ผิด เลือกเส้นทางสำคัญจำนวนน้อย เช่น “ค้นหาและดูรายการ” “ลงชื่อเข้าใช้” หรือ “ยื่นคำร้อง” และนิยามความสำเร็จของแต่ละเส้นทางด้วยถ้อยคำที่ผู้ใช้จดจำได้ โพรบเส้นทางแบบต้นทางถึงปลายทาง และถือว่าการตอบสนองช้าเกินเกณฑ์ที่ตกลงเป็นการเสื่อมสภาพ ไม่ใช่ใช้งานได้
3. ใช้ตัวชี้วัดตามคำขอสำหรับบริการแบบกระจาย และตัวชี้วัดตามเวลาเมื่อบริการเปิดหรือปิดจริง ๆ บริการระดับโลกแทบไม่เคยล่มทั้งหมด ดังนั้นการนับนาทีของความล้มเหลวทั้งหมดจึงละเลยความล้มเหลวจริงส่วนใหญ่ รายงานทั้งสองอย่างเมื่อทำได้ และบอกว่าอย่างใดเป็นตัวเลขหลักและเพราะเหตุใด
4. เพิ่มการถ่วงน้ำหนักตามผู้ใช้เมื่อโหลดไม่สม่ำเสมอ เหตุล่มสิบนาทีตอนตีสี่กับเหตุล่มตอนเริ่มวันซื้อขายมีระยะเวลาเท่ากันแต่ต้นทุนต่างกันมาก ถ่วงน้ำหนักด้วยเซสชันหรือธุรกรรมในนาทีที่ล้มเหลว หรือรายงานนาทีเหตุล่มช่วงเร่งด่วนเป็นตัวเลขแยก
5. วัดจากภายนอกโดเมนความล้มเหลว โพรบภายในเครือข่ายหรือภูมิภาคเดียวกับบริการล้มเหลวไปด้วย หรือรายงานความสำเร็จต่อไปขณะที่เส้นทางที่ผู้ใช้ใช้เสีย รันโพรบสังเคราะห์จากอย่างน้อยสองที่ตั้งที่เป็นอิสระต่อกัน และตรวจสอบเทียบกับข้อมูลผู้ใช้จริง
จัดการเหตุล่มที่วางแผนและไม่ได้วางแผนอย่างซื่อตรง
6. รายงานเวลาหยุดที่วางแผนและไม่ได้วางแผนเคียงกัน ข้อตกลงจำนวนมากยกเว้นการบำรุงรักษาที่วางแผนไว้ ซึ่งสมเหตุสมผล ผู้ใช้ก็ยังสัมผัสมันเป็นเวลาหยุดทำงาน จึงควรแสดงนาทีที่ถูกยกเว้นและสัดส่วนที่วางแผนไว้ข้างตัวเลขหลัก (ดูหัวข้อ 4.3 “ตัวชี้วัดการสนับสนุนการเปลี่ยนแปลง”)
7. ทำให้ป้าย “วางแผนไว้” ได้มายาก นิยามว่าวางแผนไว้คืออนุมัติผ่านบันทึกการเปลี่ยนแปลงก่อนเหตุล่มเริ่ม พร้อมสื่อสารเวลาเริ่มและจบให้ผู้ใช้ล่วงหน้า เหตุล่มที่ประกาศหลังเริ่มแล้วคือไม่ได้วางแผน การเกินหน้าต่างที่อนุมัติคือไม่ได้วางแผนตั้งแต่ขณะที่หน้าต่างสิ้นสุด กฎสามข้อนี้ป้องกันไม่ให้ป้ายกลายเป็นวิธีติดป้ายความล้มเหลวใหม่
8. พยายามลดเวลาหยุดที่วางแผนไว้ การติดตั้งใช้งานแบบทยอย ฟีเจอร์แฟลก การย้ายสคีมาแบบไม่ล็อก และการปล่อยแบบบลูกรีน ช่วยให้ทีมเปลี่ยนบริการได้โดยไม่ต้องปิด ติดตามนาทีหยุดที่วางแผนไว้เป็นแนวโน้มและถามว่าต้องทำอะไรเพื่อให้เข้าใกล้ศูนย์
อ่านตัวเลขให้ดี
9. แปลงเลขเก้าเป็นนาทีและแสดงมัน ตารางด้านล่างให้เลขคณิตสำหรับเดือน 30 วัน (43,200 นาที) และปี 365 วัน (525,600 นาที) วางนาทีที่อนุญาตไว้บนแดชบอร์ดข้างเป้าหมาย และแสดงนาทีที่ใช้ไปแล้วในหน้าต่าง ผู้คนตัดสินใจเรื่อง “43 นาทีต่อเดือน” ได้ดีกว่า “สามเลขเก้า”
| เป้าหมายความพร้อมใช้งาน | เวลาหยุดที่อนุญาตในเดือน 30 วัน | เวลาหยุดที่อนุญาตในปี 365 วัน |
|---|---|---|
| 99 เปอร์เซ็นต์ | 432 นาที (7.2 ชั่วโมง) | 5,256 นาที (87.6 ชั่วโมง) |
| 99.5 เปอร์เซ็นต์ | 216 นาที (3.6 ชั่วโมง) | 2,628 นาที (43.8 ชั่วโมง) |
| 99.9 เปอร์เซ็นต์ | 43.2 นาที | 525.6 นาที (8.76 ชั่วโมง) |
| 99.95 เปอร์เซ็นต์ | 21.6 นาที | 262.8 นาที (4.38 ชั่วโมง) |
| 99.99 เปอร์เซ็นต์ | 4.32 นาที | 52.56 นาที |
| 99.999 เปอร์เซ็นต์ | ประมาณ 26 วินาที | ประมาณ 5.26 นาที |
ค่าเหล่านี้สมมติว่านาฬิกาเดินตลอดหน้าต่าง ถ้าวัดเฉพาะชั่วโมงให้บริการที่ตกลง นาทีที่อนุญาตจะลดลงตามสัดส่วน และท่านควรระบุเช่นนั้น
10. เคารพต้นทุนของเลขเก้าแต่ละตัวที่เพิ่มและขีดจำกัดของการพึ่งพา หนังสือ SRE ระบุว่าต้นทุนความน่าเชื่อถือสูงขึ้นชันมากกับเลขเก้าแต่ละตัวที่เพิ่ม และเป้าหมายควรสะท้อนสิ่งที่ผู้ใช้ต้องการและสิ่งที่ธุรกิจยอมจ่าย บริการแทบไม่อาจพร้อมใช้งานมากกว่าการพึ่งพาที่ต้องใช้แบบอนุกรม ถ้าองค์ประกอบสำคัญสามอย่างแต่ละอย่างทำได้ 99.9 เปอร์เซ็นต์และคำขอต้องใช้ทั้งสาม ความพร้อมใช้งานที่คาดหวังดีที่สุดของชุดรวมคือประมาณ 99.7 เปอร์เซ็นต์ เพราะความน่าจะเป็นของความล้มเหลวบวกกันเมื่อองค์ประกอบเป็นอิสระต่อกัน ทำการคูณก่อนสัญญาตัวเลขใด
11. ดูระยะห่างและรูปร่าง ไม่ใช่แค่ยอดรวม เหตุล่มสั้นที่เกิดบ่อยต้องการการตอบสนองต่างจากเหตุล่มยาวที่หายาก เชื่อมเหตุล่มยาวเข้ากับการตรวจจับและการฟื้นคืน (ดูหัวข้อ 3.3 “เวลาตอบสนองและเวลาแก้ไขเหตุขัดข้อง”) และกับมุมมองเหตุขัดข้องรุนแรง (ดูหัวข้อ 3.4 “ตัวชี้วัดเหตุขัดข้องรุนแรง”)
12. ปิดวงรอบด้วยงบข้อผิดพลาดและบันทึกปัญหา เป้าหมายความพร้อมใช้งานมีประโยชน์เมื่อมันเปลี่ยนสิ่งที่ทีมทำ เมื่องบเวลาหยุดที่อนุญาตรายเดือนเกือบหมด ให้ชะลอการเปลี่ยนแปลงเสี่ยงและย้ายแรงไปงานด้านความน่าเชื่อถือ ตามที่อธิบายในนโยบายงบข้อผิดพลาด (ดูหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด”) เมื่อสาเหตุเดิมเกิดซ้ำ ให้เปิดบันทึกปัญหาและติดตามจนมีการแก้ไข (ดูหัวข้อ 4.1 “ตัวชี้วัดการจัดการปัญหา”)
ช่องทางการบิดเบือนและมาตรการป้องกัน
| ตัวชี้วัด | ถูกบิดเบือนได้อย่างไร | ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่ |
|---|---|---|
| ความพร้อมใช้งานตามเวลา | โพรบหน้าเล็กน้อยที่ยังใช้งานได้ขณะที่เส้นทางจริงล้มเหลว ยืดช่วงเวลาโพรบให้เหตุล่มสั้นหลุดระหว่างการตรวจ ลดชั่วโมงในขอบเขต นับเหตุล่มเป็นการเสื่อมสภาพ | ความพร้อมใช้งานถ่วงน้ำหนักตามผู้ใช้และการเฝ้าติดตามผู้ใช้จริง ระบุช่วงเวลาโพรบข้างตัวเลข สุ่มตรวจเหตุขัดข้องเทียบกับบันทึกการเฝ้าติดตาม |
| ความพร้อมใช้งานตามคำขอ | นับคำของ่าย (การตรวจสุขภาพ แอสเซตที่แคช) ในตัวหารเพื่อเจือจางความล้มเหลว จัดประเภทข้อผิดพลาดของเซิร์ฟเวอร์เป็นข้อผิดพลาดของไคลเอนต์ ตัดการลองใหม่ที่ผู้ใช้สัมผัสเป็นความล้มเหลวออก | อัตราความสำเร็จต่อเส้นทางสำคัญ ไม่ใช่ต่อคำขอ ทบทวนรายการข้อยกเว้น เปรียบเทียบกับเหตุขัดข้องที่ผู้ใช้รายงาน |
| ความพร้อมใช้งานถ่วงน้ำหนักตามผู้ใช้ | เลือกการถ่วงน้ำหนักให้ความล้มเหลวช่วงเร่งด่วนมีความสำคัญน้อย นิยามเซสชัน “สำเร็จ” หลวมจนขั้นตอนที่เสียยังผ่าน | เผยแพร่กฎการถ่วงน้ำหนักและรายการเส้นทาง เปรียบเทียบกับปริมาณข้อร้องเรียนและการติดต่อฝ่ายสนับสนุนระหว่างเหตุล่ม |
| เวลาหยุดที่ไม่ได้วางแผน | จัดประเภทเหตุล่มใหม่เป็นวางแผนไว้หลังเกิดเหตุ ถ่วงจุดเริ่มผลกระทบที่ยืนยัน แยกเหตุล่มหนึ่งเป็นสองเพื่อให้ดูสั้นลง | สัดส่วนเวลาหยุดที่วางแผนไว้ พร้อมกฎว่าเหตุล่มที่ประกาศหลังเริ่มแล้วคือไม่ได้วางแผน เปรียบเทียบจุดเริ่มผลกระทบกับข้อมูลการเฝ้าติดตาม |
| สัดส่วนเวลาหยุดที่วางแผนไว้ | จองการเปลี่ยนแปลงเป็นหน้าต่างที่อนุมัติเพื่อให้การเกินเวลาและความล้มเหลวนับเป็นวางแผนไว้ เพิ่มสัดส่วนที่วางแผนไว้โดยกำหนดการบำรุงรักษาที่ไม่จำเป็น | นาทีที่เกินถูกจัดประเภทใหม่เป็นไม่ได้วางแผน อัตราความล้มเหลวของการเปลี่ยนแปลงและสัดส่วนการเปลี่ยนแปลงฉุกเฉิน (ดูหัวข้อ 4.4 “ความล้มเหลวของการเปลี่ยนแปลงและการทำซ้ำ”) |
| ความถี่และระยะห่างของเหตุล่ม | รวมเหตุขัดข้อง หรือเปิดเหตุขัดข้องใหม่หลังช่องว่างยาวเท่านั้น เพื่อให้จำนวนต่ำ ระงับการแจ้งเตือนเพื่อให้เหตุล่มสั้นไม่ถูกบันทึก | สุ่มตรวจการแจ้งเตือนและเหตุขัดข้องเทียบกับเหตุการณ์การเฝ้าติดตามดิบ ความครอบคลุมการเฝ้าติดตามและคุณภาพการแจ้งเตือน (ดูหัวข้อ 5.5 “ตัวชี้วัดการเฝ้าติดตามและคุณภาพการแจ้งเตือน”) |
| สัดส่วนการเสื่อมสภาพ | ตั้งเกณฑ์หลวมจนบริการช้าไม่เคยละเมิด ประกาศเวลาเสื่อมสภาพว่าใช้งานได้ | ทบทวนเปอร์เซ็นไทล์ของความหน่วงและความช้าที่ผู้ใช้รายงานข้างตัวเลข (ดูหัวข้อ 5.4 “ตัวชี้วัดความจุและประสิทธิภาพ”) |
| ความครอบคลุมของการวัด | ระบุเฉพาะเส้นทางที่โพรบง่าย ทำให้ความครอบคลุมอ่านได้ 100 เปอร์เซ็นต์ นับเส้นทางว่าครอบคลุมด้วยโพรบที่ไม่เคยรัน | รายการเส้นทางที่ตกลงกับเจ้าของบริการและผู้ใช้ สุ่มตรวจประวัติการรันโพรบทุกไตรมาส |
การอ่านค่าที่ดีแสดงตัวเลขที่เคลื่อนไหวด้วยเหตุผลที่ทีมอธิบายได้ โดยเห็นทั้งเวลาหยุดที่วางแผนและไม่ได้วางแผน และตัวเลขถ่วงน้ำหนักตามผู้ใช้ใกล้เคียงตัวเลขหลัก จงสงสัยเดือนสมบูรณ์แบบที่มาพร้อมข้อร้องเรียน การตกต่ำที่ซื่อตรงเป็นครั้งคราวแสดงว่าระบบบันทึกทำงาน
ข้อแลกเปลี่ยน: ข้อดีและข้อเสีย
| แนวทาง | จุดแข็ง | จุดอ่อน |
|---|---|---|
| ความพร้อมใช้งานตามเวลา | เรียบง่าย เข้าใจกันกว้างขวาง เปรียบเทียบกับสัญญาง่าย | มองความล้มเหลวบางส่วนเป็นทั้งหมดหรือไม่มีเลย ละเลยว่าเมื่อใดและใคร |
| ความพร้อมใช้งานตามคำขอ | สะท้อนความล้มเหลวบางส่วน ขยายไปยังบริการแบบกระจายได้ | ขึ้นกับนิยามที่ดีของคำขอที่ใช้ได้ อาจถูกเจือจางด้วยการจราจรง่าย |
| ความพร้อมใช้งานถ่วงน้ำหนักตามผู้ใช้ | ใกล้สิ่งที่ผู้ใช้สัมผัส แสดงต้นทุนของความล้มเหลวช่วงเร่งด่วน | ต้องมีข้อมูลเซสชันหรือเส้นทาง อธิบายยากกว่า |
| ยกเว้นเวลาหยุดที่วางแผนไว้ | ตรงกับข้อตกลงจำนวนมาก ให้รางวัลการแจ้งล่วงหน้า | อาจซ่อนผลกระทบจริง เชิญชวนให้ติดป้ายใหม่ |
| เป้าหมายปานกลางพร้อมงบข้อผิดพลาด | สร้างสมดุลระหว่างความน่าเชื่อถือกับความเร็วในการส่งมอบ | ต้องมีวินัยในการลงมือเมื่องบหมด |
คำตอบในเชิงถ้อยความคือเลือกตัวชี้วัดที่ง่ายที่สุดที่เหมาะกับบริการ เพิ่มการถ่วงน้ำหนักตามผู้ใช้เมื่อโหลดไม่สม่ำเสมอ และชัดเจนทุกข้อยกเว้น ตัวชี้วัดที่ไม่หรูเท่าแต่ทุกคนเข้าใจทำประโยชน์ได้มากกว่าตัวที่ซับซ้อนที่ไม่มีใครไว้ใจ
คำถามสำหรับอภิปรายกับทีม
1. “พร้อมใช้งาน” หมายถึงอะไรสำหรับบริการที่สำคัญที่สุดของเรา และผู้ใช้จะเห็นด้วยหรือไม่ ขอให้แต่ละคนอธิบายในหนึ่งประโยคว่าผู้ใช้ต้องทำอะไรได้เพื่อให้บริการนับว่าใช้งานได้ เปรียบเทียบคำตอบกับนิยามที่เขียนไว้และกับโพรบที่ป้อนแดชบอร์ด ผู้อำนวยความสะดวกควรฟังหาช่องว่าง เช่นการลงชื่อเข้าใช้ การค้นหา หรือการชำระเงินที่ทำงานในโพรบแต่ล้มเหลวในทางปฏิบัติ จบด้วยการตกลงว่านิยามต้องระบุเส้นทางผู้ใช้ใดบ้าง
2. เหตุล่มใดจากไตรมาสที่แล้วที่การคำนวณของเราจะยกเว้น และนั่นยุติธรรมหรือไม่ ระบุเหตุล่มและทำเครื่องหมายแต่ละรายการเป็นวางแผนไว้ ไม่ได้วางแผน หรือถูกยกเว้น ถามว่าใครตัดสินแต่ละกรณีและเมื่อใด ผู้อำนวยความสะดวกควรบันทึกกรณีที่ผู้ใช้จะไม่เห็นด้วยกับป้าย และใช้กรณีเหล่านั้นทำให้กฎเข้มงวดขึ้น
3. เป้าหมายของเราอนุญาตเวลาหยุดกี่นาที และเราใช้ไปแล้วกี่นาทีในหน้าต่างนี้ แปลงเป้าหมายเป็นนาทีของเดือนและปีบนกระดานไวต์บอร์ด เปรียบเทียบกับนาทีที่ใช้ไปแล้ว ถามว่าทีมจะทำอะไรต่างไปถ้าเหลืองบเพียง 20 เปอร์เซ็นต์ วิธีนี้ทำให้เป้าหมายนามธรรมเป็นรูปธรรมและเชื่อมตัวเลขเข้ากับนโยบายงบข้อผิดพลาด
4. การวัดของเราอาจพลาดความล้มเหลวที่ผู้ใช้จะรู้สึกได้ที่ใด ไล่ดูที่ตั้งโพรบ ช่วงเวลา เส้นทางที่ครอบคลุม และการพึ่งพา ถามว่าความล้มเหลวแบบใดจะผ่านทุกโพรบแต่ยังทำให้บริการเสียสำหรับผู้ใช้ ตกลงเพิ่มโพรบใหม่หนึ่งตัวหรือการวัดผู้ใช้จริงหนึ่งอย่าง
5. เรากำลังวางแผนเหตุล่มที่เราหลีกเลี่ยงได้หรือไม่ ดูเวลาหยุดที่วางแผนไว้ในหกเดือนที่ผ่านมาและถามว่าอะไรบังคับให้เกิดเหตุล่มแต่ละครั้ง บางครั้งหลีกเลี่ยงไม่ได้ เช่นข้อกำหนดของผู้ขาย ส่วนอื่นมาจากแนวทางการปล่อยรุ่นหรือการย้ายระบบที่เปลี่ยนได้ ถามว่าต้องทำอะไรเพื่อกำจัดแหล่งที่ใหญ่ที่สุด และใครเป็นเจ้าของงานนั้น
6. ถ้าตัวเลขหลักดูสมบูรณ์แบบ อะไรจะทำให้เราสงสัย ระบุสัญญาณที่จะขัดแย้งกับแดชบอร์ด: ปริมาณข้อร้องเรียน การติดต่อฝ่ายสนับสนุน หรือความทรงจำของทีมเวรเรียกฉุกเฉิน ตรวจว่าตอนนี้มีอยู่หรือไม่ ตกลงการเปรียบเทียบหนึ่งอย่างที่จะวางบนแดชบอร์ด
สี่มุมมอง
ทีมผลิตภัณฑ์และการส่งมอบ
ทีมส่งมอบส่งผลต่อความพร้อมใช้งานทุกครั้งที่เปลี่ยนบริการ ทีมออกแบบการติดตั้งใช้งานแบบไม่มีเวลาหยุดได้ ใช้ฟีเจอร์แฟลกจำกัดรัศมีผลกระทบ และถือว่างบข้อผิดพลาดเป็นข้อมูลนำเข้าของการตัดสินใจปล่อยรุ่น โดยอ่านความพร้อมใช้งานข้างตัวชี้วัดการติดตั้งใช้งาน (ดูหัวข้อ 2.8 “ตัวชี้วัด DORA”)
ทีมบริการและปฏิบัติการ
ทีมปฏิบัติการเป็นเจ้าของโพรบ บันทึกเหตุขัดข้อง และการหมุนเวรที่สร้างข้อมูล ควรรักษานิยามและรายการข้อยกเว้นให้เป็นปัจจุบัน บันทึกจุดเริ่มผลกระทบอย่างซื่อตรง และทบทวนการเฝ้าติดตามเทียบกับเหตุขัดข้องจริง ความพร้อมใช้งานเป็นของบริการและการหมุนเวร ไม่ใช่ของวิศวกรเวรคนใดคนหนึ่ง (ดูหัวข้อ 5.7 “ตัวชี้วัดงานซ้ำซากและเวรเรียกฉุกเฉิน”)
ภาวะผู้นำและการกำกับดูแล
ผู้นำกำหนดแรงจูงใจที่ตัดสินว่าข้อมูลความพร้อมใช้งานตรงไปตรงมาหรือไม่ การทบทวนที่ถามว่า “ทำไมถึงเสียเลขเก้าไปตัวหนึ่ง” สอนให้ทีมซ่อนเหตุล่มไว้ในข้อยกเว้น ให้ถามว่าทีมเรียนรู้อะไรและการลงทุนใดจะลดเหตุล่ม และอย่าขอเลขเก้ามากกว่าที่ผู้ใช้จะสังเกตเห็น (ดูหัวข้อ 8.4 “ตัวชี้วัดผู้ให้บริการและสัญญา” สำหรับข้อผูกพันของผู้จัดหา)
ลูกค้าและผู้ใช้
ผู้ใช้ตัดสินความพร้อมใช้งานจากว่าพวกเขาทำสิ่งที่มาทำได้หรือไม่ พวกเขายอมรับช่วงบำรุงรักษาที่ป้ายบอกล่วงหน้าได้ดีกว่าเรื่องที่มาแบบไม่ทันตั้งตัวมาก ให้หน้าสถานะที่มีเวลาเริ่มและจบอย่างซื่อตรง และอ่านข้อเสนอแนะของพวกเขาควบคู่กับตัวเลข (ดูหัวข้อ 6.2 “ข้อตกลงระดับประสบการณ์”)
ในทางปฏิบัติ: ตัวอย่าง ITIL แบบคล่องตัว
ผู้ค้าปลีกออนไลน์ขนาดกลางดำเนินหน้าร้าน บริการชำระเงิน และบริการติดตามคำสั่งซื้อ ตัวเลขในตัวอย่างนี้เป็นตัวอย่างประกอบ
ทีมชำระเงินรายงานความพร้อมใช้งานตามเวลา 99.95 เปอร์เซ็นต์สำหรับเดือน ซึ่งอนุญาตเวลาหยุดที่ไม่ได้วางแผน 21.6 นาที และแดชบอร์ดแสดง 99.96 เปอร์เซ็นต์ หัวหน้าฝ่ายสนับสนุนลูกค้ารู้สึกไม่สบายใจ เพราะการติดต่อฝ่ายสนับสนุนเรื่องการชำระเงินล้มเหลวเพิ่มขึ้นในเดือนเดียวกัน เธอขอให้ทีมทบทวนการวัด
ทีมพบสามประเด็น โพรบตรวจหน้า “เข้าถึงการชำระเงินได้” ทุกห้านาที ไม่ใช่เส้นทางชำระเงินทั้งหมด ข้อมูลตามคำขอแสดงว่าในสองเย็น การหมดเวลาของผู้ให้บริการชำระเงินทำให้ความพยายามชำระเงินราว 4 เปอร์เซ็นต์ล้มเหลวประมาณ 50 นาทีในแต่ละเย็น และโพรบไม่เคยสังเกตเพราะตัวหน้าโหลดได้ และการย้ายฐานข้อมูลที่เกินหน้าต่างที่อนุมัติ 18 นาทีถูกบันทึกทั้งหมดเป็นการบำรุงรักษาที่วางแผนไว้
ทีมทำการเปลี่ยนแปลงสี่อย่าง เพิ่มโพรบสังเคราะห์สำหรับเส้นทางชำระเงินทั้งหมดจากสองที่ตั้งที่ช่วงหนึ่งนาที เพิ่มตัวเลขตามคำขอและถ่วงน้ำหนักตามผู้ใช้โดยใช้เซสชันที่ถึงขั้นตอนชำระเงิน จัดประเภทนาทีที่เกินใหม่เป็นไม่ได้วางแผน และเพิ่มสัดส่วนเวลาหยุดที่วางแผนไว้และความครอบคลุมของการวัดลงในรายงาน
บนฐานที่แก้ไขแล้ว เดือนนั้นแสดงความพร้อมใช้งานตามเวลา 99.93 เปอร์เซ็นต์ ความพร้อมใช้งานตามคำขอ 99.90 เปอร์เซ็นต์ และความพร้อมใช้งานถ่วงน้ำหนักตามผู้ใช้ 99.84 เปอร์เซ็นต์ เพราะความล้มเหลวเกิดในช่วงเร่งด่วนตอนเย็น ทั้งสามพลาดเป้าหมาย 99.95 เปอร์เซ็นต์ ซึ่งน่าอึดอัด ทีมและหัวหน้าฝ่ายสนับสนุนตกลงกันว่าตัวเลขก่อนหน้านี้ใจกว้างเกินไป พวกเขาเขียนนิยามที่แก้ไขแล้วลงในทะเบียนตัวชี้วัดและให้นโยบายงบข้อผิดพลาดมีผล: ในเดือนถัดไป การเปลี่ยนแปลงเสี่ยงของบริการชำระเงินรอจนกว่างบจะฟื้น และทีมเปิดบันทึกปัญหาสำหรับการหมดเวลาของผู้ให้บริการชำระเงิน (ดูหัวข้อ 4.1 “ตัวชี้วัดการจัดการปัญหา”)
ความเสี่ยงเรื่องการบิดเบือนที่พวกเขาจับได้คือการติดป้ายใหม่ ผู้จัดการคนหนึ่งเสนอให้เรียกส่วนที่เกินเวลาว่า “การบำรุงรักษาที่ขยายออก” เพื่อปกป้องเป้าหมาย สัดส่วนเวลาหยุดที่วางแผนไว้ พร้อมกฎว่าส่วนที่เกินกลายเป็นไม่ได้วางแผน ทำให้การจัดประเภทใหม่นั้นมองเห็นได้ และทีมรักษาตัวเลขที่ซื่อตรงไว้
มุมมองตามประเภทองค์กร
สตาร์ทอัป ทีมเล็กมักมีบริการเดียวและการเฝ้าติดตามน้อย เริ่มด้วยโพรบหนึ่งตัวบนเส้นทางที่สำคัญที่สุดและนิยาม “ใช้งานได้” หนึ่งย่อหน้า เลือกเป้าหมายพอประมาณ แปลงเป็นนาที และหลีกเลี่ยงการสัญญาเลขเก้าที่ทีมยังวัดไม่ได้
ธุรกิจขนาดเล็ก บริการมักเป็นเครื่องมือที่โฮสต์บวกระบบเฉพาะไม่กี่ระบบ และความพร้อมใช้งานขึ้นกับผู้จัดหา บันทึกเหตุล่มของผู้จัดหาตามที่กระทบผู้ใช้ของท่าน เปรียบเทียบกับที่ผู้จัดหารายงาน และจำกัดชุดตัวเลขไว้ที่สองถึงสามตัว
องค์กรขนาดใหญ่ บริการ ทีม และผู้จัดหาจำนวนมากทำให้นิยามที่ใช้อยู่เพิ่มทวีคูณ เผยแพร่นิยามความพร้อมใช้งานมาตรฐานหนึ่งเดียวพร้อมรายการสั้น ๆ ของความแตกต่างที่อนุญาต ดูแลทะเบียนตัวชี้วัดให้เป็นปัจจุบัน และตรวจให้แน่ใจว่ากฎวางแผนและไม่ได้วางแผนเหมือนกันข้ามทีมก่อนเปรียบเทียบ เลือกการรายงานระดับบริการแทนตารางจัดอันดับทีม เพราะบริการต่างกันที่โหลดและความสำคัญ
ภาครัฐและหน่วยงานสาธารณะ บริการสาธารณะมักมีชั่วโมงให้บริการตามกฎหมาย ข้อผูกพันที่เผยแพร่ และสัญญาที่มีเครดิตอย่างเป็นทางการ รายงานเทียบกับสิ่งเหล่านั้นตามที่เขียนไว้ แสดงมุมมองถ่วงน้ำหนักตามผู้ใช้ข้างกัน และเปิดเผยข้อยกเว้น (ดูหัวข้อ 8.5 “การรายงานตามข้อกำหนดและต่อภาครัฐ”)
กรณีทางธุรกิจ: แรงจูงใจ ROI และ TCO
ต้นทุนหลักคือเวลาเขียนนิยามบริการและทะเบียน การเฝ้าติดตามที่โพรบเส้นทางสำคัญจากภายนอกโดเมนความล้มเหลว และแรงที่ใช้รวมข้อมูลเหตุขัดข้อง การเปลี่ยนแปลง และการเฝ้าติดตามเพื่อแยกเวลาหยุดที่วางแผนและไม่ได้วางแผน การเฝ้าติดตามผู้ใช้จริงเพิ่มต้นทุนเครื่องมือและพื้นที่จัดเก็บ องค์กรส่วนใหญ่มีข้อมูลบางส่วนอยู่แล้ว การลงทุนแรกจึงมักอยู่ที่นิยาม
ผลตอบแทนมาจากการตัดสินใจที่ดีขึ้นและข้อพิพาทที่น้อยลง ทีมที่วัดจากฝั่งผู้ใช้พบความล้มเหลวที่การตรวจสุขภาพพลาด จัดการข้อตกลงได้ง่ายขึ้นด้วยนิยามเดียว และเทียบต้นทุนของเลขเก้าที่เพิ่มกับคุณค่าต่อผู้ใช้ได้ อธิบายประโยชน์เป็นรูปแบบ เช่นเรื่องที่ทำให้ประหลาดใจน้อยลงในการทบทวนข้อตกลง และวัดฐานของท่านเอง เช่นช่องว่างระหว่างตัวเลขหลักกับตัวเลขถ่วงน้ำหนักตามผู้ใช้ อย่ายืมตัวเลขจากองค์กรอื่น
รูปแบบที่ไม่ควรทำและข้อควรระวัง
- อ้างเลขเก้าโดยไม่บอกนาที เป้าหมายที่ไม่มีใครแปลเป็นเวลาหยุดที่อนุญาตได้ชี้นำการตัดสินใจไม่ได้ ให้แสดงนาทีที่อนุญาตและที่ใช้ไปข้างทุกเป้าหมาย
- วัดเซิร์ฟเวอร์แทนเส้นทาง การตรวจสุขภาพสีเขียวอยู่ข้างการลงชื่อเข้าใช้ที่เสียได้ โพรบเส้นทางสำคัญแบบต้นทางถึงปลายทางและเปรียบเทียบกับข้อมูลผู้ใช้จริง
- ปล่อยให้ป้ายวางแผนไว้ดูดซับความล้มเหลว หมวดวางแผนไว้ที่อ้างได้ง่ายทำให้ตัวเลขไม่ได้วางแผนว่างเปล่า ให้ต้องอนุมัติก่อนเหตุล่ม สื่อสารมัน และจัดประเภทส่วนที่เกินใหม่
- เฉลี่ยข้ามบริการและชั่วโมง ตัวเลขผสมซ่อนบริการสำคัญและชั่วโมงที่คับคั่ง รายงานต่อบริการ และเพิ่มมุมมองถ่วงน้ำหนักตามผู้ใช้
- สัญญาเลขเก้ามากกว่าที่การพึ่งพาอนุญาต องค์ประกอบที่ต่ออนุกรมกันเกินความพร้อมใช้งานรวมของมันไม่ได้ คูณก่อนสัญญา และขอตัวเลขที่วัดได้จากผู้จัดหา
- ถือ 100 เปอร์เซ็นต์เป็นเป้า ต้นทุนพุ่งชันและการเปลี่ยนแปลงช้าลง เลือกเป้าหมายจากความต้องการของผู้ใช้และใช้งบข้อผิดพลาด
- จัดอันดับทีมหรือบุคคลตามเลขเก้า บริการต่างกันที่โหลดและความสำคัญ และตารางจัดอันดับสอนให้ทีมซ่อนเหตุล่ม ให้แสดงแนวโน้มของแต่ละบริการเองและเปรียบเทียบกับเป้าหมายของมันเอง
แบบจำลองวุฒิภาวะ
| มิติ | 1 เริ่มต้น | 2 พัฒนา | 3 ทำให้เป็นมาตรฐาน | 4 บริหารจัดการ | 5 ประสานจัดการ |
|---|---|---|---|---|---|
| นิยามและนาฬิกา | “ใช้งานได้” หมายถึงสิ่งที่เครื่องมือเฝ้าติดตามแสดง เวลาเหตุล่มประมาณการทีหลัง | เขียนไว้สำหรับบางบริการ เวลาของโพรบและเหตุขัดข้องไม่ตรงกัน | นิยามที่เขียนไว้หนึ่งฉบับต่อบริการ พร้อมเส้นทาง ชั่วโมง ข้อยกเว้น และกฎนาฬิกา | ทบทวนนิยามตามจังหวะ บันทึกการเปลี่ยนแปลงและทำเครื่องหมายบนแผนภูมิ | นิยามสอดคล้องกับผู้จัดหาและลูกค้า และปรับเมื่อไม่ช่วยการตัดสินใจอีกต่อไป |
| คุณภาพการวัด | รายงานด้วยมือหรือการตรวจสุขภาพเดียว | โพรบสำหรับบางบริการ ข้อมูลตามคำขอในบางบันทึก | โพรบจากภายนอกเข้าบนเส้นทางสำคัญบวกตัวเลขตามคำขอจากแหล่งมาตรฐาน | ตัวเลขถ่วงน้ำหนักตามผู้ใช้จากข้อมูลผู้ใช้จริง ติดตามและสุ่มตรวจความครอบคลุม | แบ่งปันการวัดข้ามทีมและผู้จัดหาและกระทบยอดโดยอัตโนมัติ |
| การจัดการที่วางแผนและไม่ได้วางแผน | ไม่แยก นับการบำรุงรักษาเฉพาะกิจ | บางทีมใช้ป้ายวางแผนไว้ กฎต่างกัน | กฎเดียว: อนุมัติก่อนเหตุล่มและสื่อสาร จัดประเภทส่วนที่เกินใหม่ | สัดส่วนที่วางแผนไว้มีแนวโน้มพร้อมเป้าหมายลด | การเปลี่ยนแปลงแบบไม่มีเวลาหยุดเป็นค่าเริ่มต้น และเวลาหยุดที่วางแผนไว้หายากและเจรจากัน |
| การใช้ในการตัดสินใจ | รายงานหลังมีข้อร้องเรียน | ฝ่ายปฏิบัติการทบทวนรายเดือน | แสดงเป้าหมายเป็นนาที | นโยบายงบข้อผิดพลาดเปลี่ยนงาน พร้อมเงินทุน | ถ่วงดุลความพร้อมใช้งาน ต้นทุน และประสบการณ์ร่วมกัน |
รายการตรวจสอบ
- แต่ละบริการมีนิยามที่เขียนไว้ของ “พร้อมใช้งาน” ที่ระบุเส้นทางผู้ใช้ที่สำคัญ
- ระบุหน้าต่างการวัด ชั่วโมงในขอบเขต และเขตเวลาสำหรับทุกตัวเลข
- รายการข้อยกเว้นเขียนไว้ ทบทวน และแสดงข้างตัวเลขหลัก
- เวลาหยุดที่วางแผนไว้ต้องมีการเปลี่ยนแปลงที่อนุมัติและการแจ้งล่วงหน้า ส่วนที่เกินนับเป็นไม่ได้วางแผน
- โพรบรันจากภายนอกโดเมนความล้มเหลว ที่ช่วงเวลาที่ระบุ บนเส้นทางสำคัญ
- ตัวเลขตามคำขอหรือถ่วงน้ำหนักตามผู้ใช้อยู่ข้างตัวเลขตามเวลา
- แต่ละเป้าหมายแสดงเป็นนาทีที่อนุญาตและนาทีที่ใช้ไปในหน้าต่างปัจจุบัน
- รายงานจำนวนเหตุล่มและเปอร์เซ็นไทล์ของระยะเวลา ไม่ใช่แค่ยอดรวม
- คูณความพร้อมใช้งานของการพึ่งพาก่อนสัญญาเป้าหมาย
- บันทึกการเปลี่ยนนิยามและทำเครื่องหมายบนแผนภูมิแนวโน้ม
- รายงานความพร้อมใช้งานต่อบริการ ไม่เคยต่อบุคคล
พรอมต์ AI
ร่างนิยามความพร้อมใช้งานของบริการ
ฉันกำลังเขียนนิยามความพร้อมใช้งานสำหรับ [ชื่อบริการ] ซึ่งเป็น [ประเภทบริการ]
ที่ [กลุ่มผู้ใช้] ใช้ เส้นทางผู้ใช้ที่สำคัญคือ [รายการเส้นทาง] ชั่วโมงให้บริการ
ที่ตกลงคือ [ชั่วโมงและเขตเวลา] การพึ่งพาที่ทราบคือ [รายการ] การเฝ้าติดตามของเรา
ประกอบด้วย [โพรบ บันทึก ข้อมูลผู้ใช้จริง]
ร่างนิยามหนึ่งหน้าที่ครอบคลุม: สิ่งที่นับว่าใช้งานได้สำหรับแต่ละเส้นทาง หน้าต่างการวัด
ชั่วโมงในขอบเขต ข้อยกเว้น กฎของเวลาหยุดที่วางแผนไว้เทียบกับที่ไม่ได้วางแผน
จุดเริ่มและหยุดของนาฬิกาสำหรับเหตุล่ม และตัวชี้วัดที่ต้องรายงาน อย่าคิดเป้าหมาย
หรือค่าเทียบเคียงขึ้นเอง ระบุข้อสมมติของคุณและคำถามที่ฉันควรตอบเพื่อให้นิยามสมบูรณ์
แปลงเป้าหมายเป็นเวลาหยุดที่อนุญาตและทดสอบ
เป้าหมายของเราสำหรับ [ชื่อบริการ] คือ [เปอร์เซ็นต์ความพร้อมใช้งาน] ในช่วง [หน้าต่าง
เช่นเดือน 30 วัน] เวลาในขอบเขตคือ [ชั่วโมง] การพึ่งพาที่จำเป็นของเราและ
ความพร้อมใช้งานที่ระบุหรือวัดได้คือ [รายการ หรือ “ไม่ทราบ”]
คำนวณเวลาหยุดที่เป้าหมายนี้อนุญาตเป็นนาทีสำหรับหน้าต่างและสำหรับหนึ่งปี โดยใช้
ชั่วโมงในขอบเขต จากนั้นประมาณความพร้อมใช้งานรวมที่ดีที่สุดถ้าการพึ่งพาต้องใช้
แบบอนุกรมและล้มเหลวอย่างเป็นอิสระต่อกัน และอธิบายสูตรที่ใช้ ชี้จุดที่ข้อมูลนำเข้า
ของฉันไม่แน่นอนเกินกว่าจะสรุปอะไรได้ อย่าให้ตัวเลขความพร้อมใช้งานของการพึ่งพา
ใดที่ฉันไม่ได้ให้ ระบุข้อสมมติของคุณ
ทบทวนเหตุล่มหนึ่งเดือนเพื่อหาปัญหาการจัดประเภท
นี่คือบันทึกเหตุล่มของ [ชื่อบริการ] สำหรับ [เดือน]: [วางบันทึกพร้อมจุดเริ่มผลกระทบ
เวลาฟื้นคืน ป้ายวางแผนไว้หรือไม่ได้วางแผน เวลาอนุมัติ และหมายเหตุ โดยลบข้อมูลส่วนบุคคลออกแล้ว]
สำหรับแต่ละเหตุล่ม ตรวจว่าป้ายวางแผนไว้หรือไม่ได้วางแผนเป็นไปตามกฎนี้หรือไม่:
[วางกฎของท่าน] ระบุบันทึกที่จุดเริ่มผลกระทบดูช้าเกินไป ที่เหตุล่มหนึ่งดูเหมือนถูกแยก
หรือรวม และที่ส่วนที่เกินควรถูกจัดประเภทใหม่ สรุปรูปแบบตามบริการและสาเหตุ
ไม่เคยตามบุคคล บอกฉันว่าคุณตัดสินอะไรจากข้อมูลไม่ได้ ระบุข้อสมมติของคุณ
ทักษะ AI
- ทักษะ Agile ITIL Metrics: ใช้เพื่อหาหัวข้อที่เกี่ยวข้องและมาตรการป้องกันที่จับคู่สำหรับตัวชี้วัดความพร้อมใช้งานที่ท่านกำลังจะรายงาน
- ทักษะผู้ดูแล Agile ITIL Metrics: ใช้เพื่อตรวจว่าการแก้ไขหัวข้อนี้ยังคงจับคู่ทุกตัวชี้วัดกับช่องทางการบิดเบือนและมาตรการป้องกัน
ข้อสรุปสำคัญ
- ความพร้อมใช้งานมีความหมายก็ต่อเมื่อเขียน “ใช้งานได้” ขอบเขตบริการ ชั่วโมง และข้อยกเว้นไว้จากฝั่งผู้ใช้
- ตัวชี้วัดตามคำขอและถ่วงน้ำหนักตามผู้ใช้อธิบายบริการแบบกระจายและโหลดที่ไม่สม่ำเสมอได้ดีกว่านาทีของความล้มเหลวทั้งหมด
- รายงานเวลาหยุดที่วางแผนและไม่ได้วางแผนด้วยกัน และทำให้ป้ายวางแผนไว้ได้มายาก
- แปลงทุกเป้าหมายเป็นนาที และคูณการพึ่งพาแบบอนุกรมก่อนสัญญาจำนวนเลขเก้า
- เลขเก้าแต่ละตัวที่เพิ่มมีต้นทุนมากกว่าตัวก่อน จึงเลือกเป้าหมายจากสิ่งที่ผู้ใช้ต้องการและใช้งบข้อผิดพลาดลงมือตามนั้น
- อธิบายบริการและการหมุนเวร ไม่ใช่บุคคล และทดสอบทุกตัวเลขหลักเทียบกับประสบการณ์ของผู้ใช้
เอกสารอ้างอิงและแหล่งอ่านเพิ่มเติม
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, chapter "Embracing Risk", https://sre.google/sre-book/embracing-risk/.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, chapter "Service Level Objectives", https://sre.google/sre-book/service-level-objectives/.
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SLOs, O'Reilly Media, 2018, chapter "Implementing SLOs", https://sre.google/workbook/implementing-slos/.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, High availability.
- Wikipedia, Downtime.
- Wikipedia, Service-level agreement.
- Wikipedia, Service-level objective.
- Wikipedia, Mean time between failures.
- Wikipedia, Mean time to repair.
- Wikipedia, Synthetic monitoring.
- Wikipedia, Real user monitoring.
- Wikipedia, ITIL.