SLI, SLO และงบข้อผิดพลาด
วัตถุประสงค์ระดับบริการเปลี่ยนคำว่า “น่าเชื่อถือพอ” ให้เป็นตัวเลขที่ผู้ใช้ ทีมผลิตภัณฑ์ และทีมปฏิบัติการเห็นร่วมกัน และงบข้อผิดพลาดที่เหลืออยู่เปลี่ยนตัวเลขนั้นให้เป็นการตัดสินใจร่วมกันเรื่องความเสี่ยงที่ใช้จ่ายได้ แทนที่จะเป็นการโต้เถียงเรื่องการกล่าวโทษ
ภาพรวมและแรงจูงใจ
ทุกบริการมีระดับความน่าเชื่อถืออยู่แล้ว ไม่ว่าจะมีใครวัดหรือไม่ ถ้าไม่มีใครระบุ ผู้ใช้จะสันนิษฐานระดับหนึ่ง ทีมผลิตภัณฑ์สันนิษฐานอีกระดับ และทีมปฏิบัติการปกป้องระดับที่สาม ความแตกต่างนี้จะถูกค้นพบระหว่างเกิดเหตุล่ม หัวข้อนี้ครอบคลุมแนวคิดที่เชื่อมโยงกันสามอย่างซึ่งวิศวกรรมความน่าเชื่อถือของไซต์ (site reliability engineering: SRE) ใช้ปิดช่องว่างนั้น ได้แก่ตัวบ่งชี้ระดับบริการ วัตถุประสงค์ระดับบริการ และงบข้อผิดพลาด
ตัวบ่งชี้ระดับบริการ (service level indicator: SLI) คือการวัดด้านหนึ่งของบริการตามที่ผู้ใช้สัมผัส ด้านทั่วไปได้แก่คำขอสำเร็จหรือไม่ ใช้เวลานานเท่าใด ข้อมูลที่ส่งกลับสดใหม่หรือไม่ และถูกต้องหรือไม่ SLI ที่ดีแสดงเป็นอัตราส่วน คือจำนวนเหตุการณ์ที่ดีหารด้วยจำนวนเหตุการณ์ที่ใช้ได้ ในหน้าต่างเวลาที่กำหนด วัตถุประสงค์ระดับบริการ (service level objective: SLO) คือเป้าหมายของอัตราส่วนนั้นในช่วงเวลาหนึ่ง เช่น “คำขอชำระเงินที่ใช้ได้ร้อยละ 99.9 สำเร็จในช่วง 28 วันที่เลื่อนต่อเนื่อง” งบข้อผิดพลาด คือสิ่งที่วัตถุประสงค์อนุญาตให้ผิดพลาดได้: 100 เปอร์เซ็นต์ลบด้วย SLO ที่ 99.9 เปอร์เซ็นต์ งบคือ 0.1 เปอร์เซ็นต์ของเหตุการณ์ที่ใช้ได้
งบข้อผิดพลาดเปลี่ยนบทสนทนา ถ้าบริการใช้งบไปน้อย ทีมมีที่ว่างที่จะปล่อยรุ่นเร็วขึ้น ลองการเปลี่ยนแปลงที่เสี่ยง และทำการทดลอง ถ้างบเกือบหมด ทีมเดิมจะชะลองานฟีเจอร์และทุ่มแรงไปที่ความน่าเชื่อถือจนกว่างบจะฟื้น การตัดสินใจมาจากตัวเลขที่ตกลงกันล่วงหน้า จึงไม่ขึ้นกับว่าใครอาวุโสที่สุดหรือโน้มน้าวเก่งที่สุดในการประชุม
อัตราการเผางบ (burn rate) คือความเร็วที่งบถูกใช้ เทียบกับอัตราที่จะใช้งบหมดพอดีเมื่อสิ้นหน้าต่างเวลา อัตราการเผางบ 1 หมายความว่างบจะหมดพอดีเมื่อสิ้นหน้าต่าง อัตราการเผางบ 10 หมายความว่างบจะหมดภายในหนึ่งในสิบของหน้าต่าง อัตราการเผางบเป็นสะพานจาก SLO ไปสู่การแจ้งเตือน เพราะบอกว่าปัญหาเร่งด่วนเพียงใดในแง่ต้นทุนที่มีต่อวัตถุประสงค์
มุมมองแบบคล่องตัวและ ITIL มาพบกันตรงนี้ และใช้คำศัพท์ต่างกันสำหรับแนวคิดที่เกี่ยวข้อง ใน ITIL 4 การจัดการระดับบริการคือแนวปฏิบัติที่กำหนด วัด และรายงานระดับบริการ และข้อตกลงระดับบริการ (service level agreement: SLA) คือข้อตกลงที่จัดทำเป็นเอกสารระหว่างผู้ให้บริการกับลูกค้า (ดูหัวข้อ 5.1 “ตัวชี้วัด SLA, OLA และ XLA”) SLO คือเป้าหมายภายในที่มักเข้มงวดกว่า SLA และเป็นของทีมที่ดำเนินบริการ SLA มีผลที่ตามมา เช่นเครดิตหรือค่าปรับ SLO มีกฎการตัดสินใจ ทีมแบบคล่องตัวที่เป็นเจ้าของบริการของตน (“สร้างเอง ดูแลเอง”) ใช้ SLO เพื่อให้ต้นทุนของความน่าเชื่อถือปรากฏในแบ็กล็อกเดียวกับฟีเจอร์ ทีมที่ปฏิบัติตามแนวปฏิบัติ ITIL อาจถือ SLI เป็นรูปแบบที่วัดได้ของสิ่งที่ลูกค้าบอกว่าต้องการ และถือ SLO เป็นเป้าหมายใช้งานที่ปกป้อง SLA
ความพร้อมใช้งาน (availability) เป็น SLI ที่คุ้นเคยที่สุดและครอบคลุมโดยละเอียดที่อื่น (ดูหัวข้อ 5.3 “ตัวชี้วัดความพร้อมใช้งาน”) ความหน่วง ความถูกต้อง ความสดใหม่ และปริมาณงานที่ผ่านก็เป็นตัวเลือกเช่นกัน ทักษะอยู่ที่การเลือกตัวบ่งชี้จากสิ่งที่ผู้ใช้ใส่ใจ แทนที่จะเลือกจากสิ่งที่เก็บได้ง่าย การใช้ CPU บนเซิร์ฟเวอร์เก็บง่ายแต่บอกน้อยว่าลูกค้าชำระเงินได้หรือไม่ สัดส่วนคำขอชำระเงินที่เสร็จภายในสองวินาทีบอกได้มาก สำหรับความหน่วง ให้รายงานเปอร์เซ็นไทล์ (percentile) ไม่ใช่ค่าเฉลี่ย เพราะค่าเฉลี่ยซ่อนหางช้าที่ผู้ใช้สังเกตเห็น (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ” และหัวข้อ 5.4 “ตัวชี้วัดความจุและประสิทธิภาพ”)
หลักการสำคัญ
- เริ่มจากผู้ใช้ ไม่ใช่เซิร์ฟเวอร์ เลือกตัวบ่งชี้ที่อธิบายประสบการณ์ที่คนจดจำได้ เช่น “การชำระเงินของฉันผ่าน” แล้วย้อนกลับไปว่าจะวัดอะไร
- เป้าหมายที่ต่ำกว่า 100 เปอร์เซ็นต์คือการตัดสินใจ ไม่ใช่การยอมรับความพ่ายแพ้ ความน่าเชื่อถือสมบูรณ์แบบเป็นไปไม่ได้และแพงเกินไป และผู้ใช้มักแยกความต่างไม่ได้เกินจุดหนึ่ง งบทำให้ข้อแลกเปลี่ยนนี้ชัดเจน
- ตั้งวัตถุประสงค์ร่วมกับผู้ที่พึ่งพามัน SLO คือข้อตกลงที่เจรจากันระหว่างฝ่ายผลิตภัณฑ์ ฝ่ายปฏิบัติการ และลูกค้า ไม่ใช่ตัวเลขที่ทีมเดียวเลือกเอง
- ตกลงผลที่ตามมาก่อนที่งบจะหมด นโยบายงบข้อผิดพลาดที่เขียนในสัปดาห์ที่สงบจะถูกปฏิบัติตามในสัปดาห์ที่ตึงเครียด นโยบายที่คิดขึ้นระหว่างเกิดเหตุล่มจะถูกโต้เถียง
- แจ้งเตือนจากการเผางบ ไม่ใช่ทุกความผันผวนเล็กน้อย เรียกคนเฉพาะเมื่องบถูกใช้เร็วพอที่จะคุกคามวัตถุประสงค์ และส่งการเผางบที่ช้ากว่านั้นไปเป็นตั๋ว
- SLO อธิบายบริการ ไม่ใช่บุคคล งบเป็นของบริการและทีม ไม่ใช่คะแนนของวิศวกร
นิยามตัวชี้วัด
ตัวชี้วัดด้านล่างอธิบายระบบ SLO ของบริการ สี่ตัวแรกเป็นแกนของแนวปฏิบัติ และสองตัวสุดท้ายอธิบายสุขภาพของแนวปฏิบัติเอง ทุกนาฬิกาและขอบเขตระบุไว้ในคอลัมน์สูตร “เหตุการณ์ที่ใช้ได้” คือเหตุการณ์ที่นับต่อ SLI หลังข้อยกเว้นที่ตกลงในเอกสาร SLO เช่นคำขอจากการทดสอบโหลดของทีมเอง ซึ่งถูกตัดออก
| ตัวชี้วัด | นิยาม | สูตร | หน่วย | แหล่งข้อมูล | แนวปฏิบัติ ITIL | คู่เทียบแบบคล่องตัว | ความถี่ |
|---|---|---|---|---|---|---|---|
| การบรรลุ SLI | สัดส่วนของเหตุการณ์ที่ใช้ได้ซึ่งเป็นเหตุการณ์ที่ดี สำหรับตัวบ่งชี้หนึ่งของบริการหนึ่ง | เหตุการณ์ที่ดี / เหตุการณ์ที่ใช้ได้ สำหรับหน้าต่างตั้งแต่ต้นจนจบรอบรายงาน เหตุการณ์ที่เอกสาร SLO ยกเว้น (การทดสอบโหลด การบำรุงรักษาที่กำหนดไว้ซึ่งประกาศล่วงหน้า หาก SLO ระบุเช่นนั้น) ถูกตัดออกจากทั้งตัวตั้งและตัวหาร | เปอร์เซ็นต์ | เทเลเมทรีของตัวกระจายโหลด แอปพลิเคชัน หรือโพรบสังเคราะห์ แพลตฟอร์มการเฝ้าติดตามหรือการสังเกตการณ์ | การจัดการระดับบริการ การเฝ้าติดตามและการจัดการเหตุการณ์ | นิยามของความเสร็จสำหรับความสามารถในการปฏิบัติการ การทบทวนสุขภาพบริการร่วมกับผู้มีส่วนได้ส่วนเสีย | ต่อเนื่อง รายงานรายวันและต่อหน้าต่าง |
| การปฏิบัติตาม SLO | SLI บรรลุวัตถุประสงค์ตลอดหน้าต่าง SLO หรือไม่ และสำหรับกี่หน้าต่างล่าสุด | หน้าต่างที่การบรรลุ SLI เท่ากับหรือสูงกว่าวัตถุประสงค์ / หน้าต่างที่ประเมิน ในช่วง 12 เดือนล่าสุด หน้าต่างที่ยังเปิดอยู่ไม่รวม | เปอร์เซ็นต์ของหน้าต่าง | ประวัติการบรรลุ SLI | การจัดการระดับบริการ การปรับปรุงอย่างต่อเนื่อง | เป้าหมายของทีมหรือข้อตกลงการทำงานเรื่องความน่าเชื่อถือ | รายเดือน พร้อมแนวโน้มรายไตรมาส |
| งบข้อผิดพลาดที่เหลือ | ส่วนของงบที่ยังไม่ได้ใช้ในหน้าต่างปัจจุบัน | 1 - (เหตุการณ์ที่ไม่ดีจนถึงตอนนี้ / เหตุการณ์ที่ไม่ดีที่อนุญาตสำหรับทั้งหน้าต่าง) โดยเหตุการณ์ที่ไม่ดีที่อนุญาต = (1 - SLO) x เหตุการณ์ที่ใช้ได้ที่คาดไว้สำหรับทั้งหน้าต่าง นาฬิกาเริ่มที่ต้นหน้าต่างและหยุดที่ปลายหน้าต่าง | เปอร์เซ็นต์ของงบ | การบรรลุ SLI และการพยากรณ์ปริมาณ | การจัดการระดับบริการ การจัดการความเสี่ยง | การตรวจความพร้อมก่อนปล่อยรุ่น ข้อมูลนำเข้าของงานที่วางแผน | รายวัน ทบทวนรายสัปดาห์ |
| อัตราการเผางบ | ความเร็วที่งบถูกใช้เทียบกับอัตราการใช้แบบสม่ำเสมอ | (เหตุการณ์ที่ไม่ดี / เหตุการณ์ที่ใช้ได้ ในช่วงย้อนหลัง) / (1 - SLO) ช่วงย้อนหลังต้องระบุ เช่น 1 ชั่วโมงหรือ 6 ชั่วโมง | อัตราส่วน (1 หมายถึงพอดีงบ) | เทเลเมทรี SLI ที่ความละเอียดเวลาละเอียด | การเฝ้าติดตามและการจัดการเหตุการณ์ การจัดการเหตุขัดข้อง | กฎการแจ้งเตือนเวรเรียกฉุกเฉิน ตัวกระตุ้นการรุมแก้ปัญหา | ต่อเนื่อง ประเมินในกฎการแจ้งเตือน |
| การปฏิบัติตามนโยบายงบ | บ่อยเพียงใดที่ผลที่ตามมาซึ่งตกลงไว้ถูกนำมาใช้เมื่อถึงตัวกระตุ้นในนโยบายงบข้อผิดพลาด | ตัวกระตุ้นในรอบเวลาที่การดำเนินการตามนโยบายเกิดขึ้นภายในเวลาที่ตกลง / ตัวกระตุ้นที่ถึงในรอบเวลา ตัวกระตุ้นที่ได้รับการยกเว้นอย่างเป็นทางการพร้อมเหตุผลที่บันทึกไว้นับแยกต่างหาก ไม่ถูกตัดออก | เปอร์เซ็นต์ | เอกสารนโยบาย บันทึกการตัดสินใจ และประวัติแบ็กล็อก | การจัดการระดับบริการ การสนับสนุนการเปลี่ยนแปลง | ข้อตกลงการทำงาน การติดตามผลหลังการทบทวน | รายไตรมาส |
| ความครอบคลุมของ SLO | สัดส่วนของเส้นทางผู้ใช้ที่สำคัญหรือบริการในขอบเขตที่มี SLO ปัจจุบันและ SLI ที่ใช้งานได้ | บริการหรือเส้นทางในขอบเขตที่มี SLO อย่างน้อยหนึ่งรายการซึ่งข้อมูล SLI มาถึงใน 7 วันล่าสุด / บริการหรือเส้นทางในขอบเขต “ในขอบเขต” ระบุไว้ในแคตตาล็อกบริการ (service catalogue ตามศัพท์ของ ITIL) | เปอร์เซ็นต์ | แคตตาล็อกบริการ ทะเบียน SLO และการกำหนดค่าการเฝ้าติดตาม | การจัดการแคตตาล็อกบริการ การจัดการระดับบริการ | รายการความเป็นเจ้าของบริการของทีม | รายไตรมาส |
ช่วงย้อนหลังของอัตราการเผางบและหน้าต่าง SLO เป็นทางเลือก หน้าต่าง 28 วันที่เลื่อนต่อเนื่องครอบคลุมสัปดาห์เต็ม ให้ระบุทางเลือกในเอกสาร SLO และรักษาให้คงที่ มิฉะนั้นแนวโน้มจะทำให้เข้าใจผิด
ข้อเสนอแนะ
เลือกตัวบ่งชี้จากสิ่งที่ผู้ใช้ใส่ใจ
1. เริ่มจากเส้นทางผู้ใช้ที่สำคัญ ระบุสามถึงหกสิ่งที่ผู้ใช้ต้องทำได้เพื่อให้บริการคุ้มค่าแก่การใช้ เช่นลงชื่อเข้าใช้ ค้นหา ชำระเงิน และดาวน์โหลดใบแจ้งยอด เขียนแต่ละข้อเป็นประโยคจากฝั่งผู้ใช้ แล้วเลือก SLI ที่แสดงว่าประโยคนั้นเป็นจริงหรือไม่ วิธีนี้ทำให้ SLO มีน้อยและป้องกันไม่ให้เกิดแคตตาล็อกของมาตรวัดเชิงเทคนิคที่ไม่มีใครอ่าน
2. แสดงแต่ละ SLI เป็นเหตุการณ์ที่ดีต่อเหตุการณ์ที่ใช้ได้ อัตราส่วนอธิบายง่าย รวมยอดง่าย และแปลงเป็นงบง่าย นิยาม “ดี” ด้วยเกณฑ์ที่ผู้ใช้ยอมรับได้ และนิยาม “ใช้ได้” เพื่อให้การจราจรที่ไม่อาจให้บริการได้อย่างสมเหตุสมผล เช่นคำขอที่ถูกบล็อกเพราะการละเมิด ถูกตัดออกในแบบที่มีเอกสารรองรับ เขียนทั้งสองนิยามไว้ในเอกสาร SLO เพราะตัวหารคือที่ซ่อนของความไม่ลงรอยส่วนใหญ่
3. วัดให้ใกล้ผู้ใช้เท่าที่ทำได้จริง อัตราความสำเร็จฝั่งเซิร์ฟเวอร์อาจสมบูรณ์แบบในขณะที่ปัญหาเครือข่ายหรือฝั่งไคลเอนต์ทำให้บริการใช้ไม่ได้ วัดที่ตัวกระจายโหลดหรือขอบเครือข่าย และเพิ่มโพรบสังเคราะห์หรือการวัดฝั่งไคลเอนต์สำหรับเส้นทางที่สำคัญที่สุด จุดวัดแต่ละจุดมีต้นทุนและจุดบอด จึงควรบันทึกว่าแต่ละ SLI ใช้จุดใด (ดูหัวข้อ 1.5 “แหล่งข้อมูลและการติดตั้งเครื่องมือวัด”)
4. ใช้เปอร์เซ็นไทล์สำหรับความหน่วง พร้อมเกณฑ์ “คำขอค้นหาร้อยละ 95 เสร็จภายใน 800 มิลลิวินาที” เป็น SLI “ความหน่วงเฉลี่ย” ไม่ใช่ เพราะคำขอที่เร็วไม่กี่รายการอาจชดเชยคำขอที่ช้าจำนวนมาก เมื่อเป็นประโยชน์ ให้ใช้สองเกณฑ์ เช่นค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 99 เพราะหางช้ากำหนดความรู้สึกของบริการ (ดูหัวข้อ 5.4 “ตัวชี้วัดความจุและประสิทธิภาพ”)
ตั้งวัตถุประสงค์ที่ผู้คนปกป้องได้
5. ตั้ง SLO แรกจากผลงานปัจจุบันและความต้องการของผู้ใช้ แล้วค่อยทำให้เข้มขึ้น วัด SLI สักสองสามสัปดาห์ ถามผู้ใช้และเจ้าหน้าที่สนับสนุนว่าระดับใดที่พวกเขาสังเกตเห็น และตั้งวัตถุประสงค์ที่บริการทำได้ในวันนี้โดยมีที่ว่างเหลือ วัตถุประสงค์ที่ตั้งสูงกว่าผลงานปัจจุบันมากคือการผิดข้อตกลงถาวร และผู้คนจะเลิกมอง วัตถุประสงค์ที่ตั้งต่ำกว่าสิ่งที่ผู้ใช้ได้รับมากปล่อยให้คุณภาพเสื่อมโดยไม่มีใครเห็น ทบทวนอีกครั้งหลังหนึ่งไตรมาส
6. รักษา SLO ให้เข้มกว่า SLA และแยกจากกัน ถ้าข้อตกลงกับลูกค้าสัญญา 99.5 เปอร์เซ็นต์ วัตถุประสงค์ของทีมอาจเป็น 99.9 เปอร์เซ็นต์ เพื่อให้งบหมดก่อนข้ามเส้นตามสัญญา อย่าทำให้ SLO และ SLA เป็นตัวเลขเดียวกัน และอย่ารายงานอย่างหนึ่งเป็นอีกอย่างหนึ่ง ข้อตกลงเป็นเอกสารเชิงพาณิชย์และกฎหมาย ส่วนวัตถุประสงค์เป็นกฎการตัดสินใจทางวิศวกรรม (ดูหัวข้อ 5.1 “ตัวชี้วัด SLA, OLA และ XLA”)
7. คำนึงถึงการพึ่งพา บริการไม่อาจน่าเชื่อถือกว่าสิ่งที่มันพึ่งพา เว้นแต่จะลดระดับอย่างนุ่มนวล ระบุการพึ่งพาหลัก รวมถึงผู้จัดหา และถามว่าผลงานจริงของพวกเขาบ่งชี้อะไรต่อวัตถุประสงค์ของท่าน
ใช้งบเป็นเครื่องมือตัดสินใจ
8. เขียนนโยบายงบข้อผิดพลาดก่อนที่จะต้องใช้ นโยบายระบุว่าจะเกิดอะไรขึ้นที่ระดับการใช้ที่กำหนด แบบง่ายมีสามขั้น: ดำเนินงานปกติขณะที่ยังมีงบเหลือ ทบทวนการเปลี่ยนแปลงเสี่ยงเพิ่มเติมและให้งานด้านความน่าเชื่อถือมาก่อนเมื่อใช้ไปถึงสัดส่วนที่ระบุ และหยุดการปล่อยฟีเจอร์ที่ไม่จำเป็นเมื่องบหมดจนกว่างบจะฟื้น ระบุว่าใครให้ข้อยกเว้นได้และบันทึกอย่างไร ผู้นำฝ่ายผลิตภัณฑ์และฝ่ายปฏิบัติการควรลงนามทั้งคู่ เพื่อให้นโยบายใช้กับทั้งสองฝั่งอย่างเท่าเทียม
9. ใช้งบอย่างตั้งใจ งบที่ไม่เคยถูกแตะแสดงว่าวัตถุประสงค์เข้มเกินไปหรือทีมระมัดระวังเกินไป ใช้งบที่เหลือสำหรับการทดลอง จังหวะการปล่อยรุ่นที่เร็วขึ้น การปล่อยแบบคานารี และฟีเจอร์ทอกเกิล (feature toggle) ที่ให้ทดสอบบนระบบจริงโดยเปิดรับผลกระทบจำกัด และใช้การปล่อยแบบคานารี (canary release) เพื่อจับปัญหาขณะที่ผู้ใช้เพียงส่วนน้อยได้รับผลกระทบ ถือว่างบที่ไม่ถูกแตะอย่างสม่ำเสมอเป็นสิ่งกระตุ้นให้ถามว่าวัตถุประสงค์ตรงกับสิ่งที่ผู้ใช้ต้องการหรือไม่ (ดูหัวข้อ 4.5 “ตัวชี้วัดการปล่อยรุ่นและการติดตั้งใช้งาน”)
10. แจ้งเตือนจากอัตราการเผางบหลายระดับ การเผางบเร็ว เช่นอัตราสูงพอที่จะใช้งบส่วนใหญ่ภายในหนึ่งชั่วโมง ให้เรียกคน การเผางบช้า เช่นอัตราปานกลางที่ยังจะทำให้งบหมดภายในไม่กี่วัน ให้สร้างตั๋วสำหรับเวลาทำงาน การใช้ช่วงย้อนหลังสองช่วงขึ้นไปจับได้ทั้งความล้มเหลวฉับพลันและการรั่วช้า และลดการเรียกจากความผันผวนสั้น ๆ ที่กินงบน้อย บทว่าด้วยการแจ้งเตือนจาก SLO ใน Site Reliability Workbook อธิบายรูปแบบนี้ และควรปรับเกณฑ์ให้เหมาะกับบริการของท่าน ไม่ใช่คัดลอก (ดูหัวข้อ 5.5 “ตัวชี้วัดการเฝ้าติดตามและคุณภาพการแจ้งเตือน”)
11. เชื่อมเหตุขัดข้อง ปัญหา และการเรียนรู้เข้ากับงบ หลังเหตุขัดข้อง ให้บันทึกว่าใช้งบไปเท่าใดควบคู่กับระยะเวลาและผลกระทบ ใช้ตัวเลขนั้นจัดลำดับความสำคัญของบันทึกปัญหาและการดำเนินการติดตามผล (ดูหัวข้อ 4.1 “ตัวชี้วัดการจัดการปัญหา” และหัวข้อ 4.2 “ตัวชี้วัดการทบทวนหลังเหตุการณ์และการเรียนรู้”) ต้นทุนงบยังให้หน่วยร่วมแก่การทบทวนเหตุขัดข้องรุนแรงเพื่อเปรียบเทียบความล้มเหลวที่ต่างกันมาก (ดูหัวข้อ 3.4 “ตัวชี้วัดเหตุขัดข้องรุนแรง”)
รักษาแนวปฏิบัติให้ซื่อตรงและมีชีวิต
12. ทบทวน SLO เทียบกับความเป็นจริงทุกไตรมาส เปรียบเทียบ SLO กับการติดต่อฝ่ายสนับสนุน ข้อร้องเรียน และผลความพึงพอใจ ถ้าผู้ใช้ไม่พอใจขณะที่ SLO เป็นสีเขียว แสดงว่า SLI ผิดหรือเป้าหมายหลวมเกินไป ถ้า SLO เป็นสีแดงและไม่มีใครบ่น เป้าหมายอาจเข้มเกินไป บันทึกการเปลี่ยนแปลงแต่ละครั้งและเหตุผล และแสดงการเปลี่ยนแปลงบนแผนภูมิแนวโน้ม (ดูหัวข้อ 6.2 “ข้อตกลงระดับประสบการณ์”)
ช่องทางการบิดเบือนและมาตรการป้องกัน
| ตัวชี้วัด | ถูกบิดเบือนได้อย่างไร | ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่ |
|---|---|---|
| การบรรลุ SLI | ทำให้เหตุการณ์ “ที่ใช้ได้” แคบลงจนความล้มเหลวหลุดไป เช่นตัดคำขอที่ลองใหม่หรือทั้งประเภทข้อผิดพลาดออก วัดเฉพาะองค์ประกอบที่แข็งแรงที่สุด โพรบจากตำแหน่งที่เอื้ออำนวยเท่านั้น | เผยแพร่นิยาม SLI และข้อยกเว้นในเอกสาร SLO พร้อมบันทึกการเปลี่ยนแปลง เปรียบเทียบ SLI กับการติดต่อฝ่ายสนับสนุนและข้อร้องเรียนของผู้ใช้ ทบทวนเหตุการณ์ที่ถูกยกเว้นและปริมาณของมันเป็นประจำ |
| การปฏิบัติตาม SLO | ตั้งวัตถุประสงค์ต่ำพอที่จะผ่านเสมอ เปลี่ยนความยาวหน้าต่างหลังช่วงที่แย่ นิยามการผิดข้อตกลงใหม่ให้เป็นช่วงบำรุงรักษา | ตั้งวัตถุประสงค์ด้วยข้อมูลจากผู้ใช้และทบทวนตามกำหนด ตรึงหน้าต่างไว้ในเอกสาร รายงานจำนวนข้อยกเว้นและการเปลี่ยนหน้าต่างที่ไม่ได้วางแผนควบคู่กับการปฏิบัติตาม |
| งบข้อผิดพลาดที่เหลือ | จัดประเภทเหตุการณ์ที่ไม่ดีใหม่เป็นที่ยกเว้น เพิ่มปริมาณที่คาดไว้จนจำนวนที่ไม่ดีที่อนุญาตดูมากขึ้น รีเซ็ตหน้าต่างก่อนเวลา | คำนวณเหตุการณ์ที่ไม่ดีที่อนุญาตจากปริมาณจริงเมื่อสิ้นหน้าต่าง แสดงปริมาณเหตุการณ์ที่ยกเว้นข้างงบ กำหนดวันที่หน้าต่างล่วงหน้า |
| อัตราการเผางบ | ปรับเกณฑ์การแจ้งเตือนจนการเผางบไม่เคยกระตุ้น ใช้ช่วงย้อนหลังยาวจนการเผางบเร็วถูกเฉลี่ยหาย | ทดสอบความครอบคลุมของการแจ้งเตือนด้วยเหตุขัดข้องในอดีต (“กฎนี้จะเรียกคนไหม”) อัตราการแจ้งเตือนที่นำไปปฏิบัติได้และจำนวนการตรวจจับที่พลาด (ดูหัวข้อ 5.5 “ตัวชี้วัดการเฝ้าติดตามและคุณภาพการแจ้งเตือน”) |
| การปฏิบัติตามนโยบายงบ | ให้ข้อยกเว้นเป็นประจำ เขียนนโยบายที่ตัวกระตุ้นไม่มีทางถึง นับตั๋วความน่าเชื่อถือแบบพิธีเป็นการดำเนินการตามนโยบาย | นับและทบทวนข้อยกเว้นแยกต่างหาก สัดส่วนข้อยกเว้นในรอบเวลา งานด้านความน่าเชื่อถือที่เสร็จ (ดูหัวข้อ 4.1 “ตัวชี้วัดการจัดการปัญหา”) |
| ความครอบคลุมของ SLO | เพิ่ม SLO ที่ไม่สำคัญให้ทุกบริการเพื่อเพิ่มเปอร์เซ็นต์ นับเส้นทางว่าครอบคลุมทั้งที่ไม่มีข้อมูลไหลเข้า | ตรวจความสดของข้อมูล SLI (ข้อมูลมาถึงใน 7 วันล่าสุด) ทบทวนว่า SLO ครอบคลุมเส้นทางสำคัญ ไม่ใช่จุดปลายทางรอง |
การอ่านค่าที่ดีแสดง SLI ที่ตามสิ่งที่ผู้ใช้รายงาน วัตถุประสงค์ที่บางครั้งพลาดและบางครั้งบรรลุสบาย ๆ และงบที่ใช้อย่างตั้งใจ นโยบายถูกนำมาใช้เมื่อถึงตัวกระตุ้น ข้อยกเว้นหายากและบันทึกไว้ และทุกการเปลี่ยนนิยามมองเห็นได้บนแผนภูมิ บริการที่มีงบเหลือ 100 เปอร์เซ็นต์ตลอดเวลา หรือที่ผิดข้อตกลงตลอดเวลา สมควรได้รับการสนทนาเรื่องวัตถุประสงค์ ไม่ใช่การชมหรือการกล่าวโทษ จำไว้ว่าตัวเลขใดตัวเลขหนึ่งเป็นสิ่งกระตุ้นให้ตั้งคำถาม (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”)
ข้อแลกเปลี่ยน: ข้อดีและข้อเสีย
| แนวทาง | จุดแข็ง | จุดอ่อน |
|---|---|---|
| SLI ตามเส้นทางผู้ใช้ | ตรงกับสิ่งที่ผู้ใช้รู้สึก มีจำนวนน้อย อธิบายให้ผู้ที่ไม่ใช่วิศวกรเข้าใจง่าย | ต้องใช้แรงติดตั้งเครื่องมือวัดแบบต้นทางถึงปลายทาง อาจพลาดข้อบกพร่องภายในที่ยังไปไม่ถึงผู้ใช้ |
| SLI ตามองค์ประกอบหรือทรัพยากร (CPU หน่วยความจำ ความลึกคิว) | เก็บถูก มีประโยชน์ต่อการวินิจฉัยและความจุ | เป็นตัวแทนประสบการณ์ผู้ใช้ได้ไม่ดี สร้างการแจ้งเตือนมากมายที่ไม่สำคัญ |
| หน้าต่างเลื่อนต่อเนื่อง | ราบรื่น ไม่มีหน้าผาสิ้นเดือน เป็นปัจจุบันเสมอ | อธิบายให้ผู้บริหารยากกว่าเดือนปฏิทิน วันแย่ ๆ ค้างอยู่ตลอดหน้าต่าง |
| การแจ้งเตือนจากอัตราการเผางบ | เรียกคนเมื่อวัตถุประสงค์เสี่ยงจริง เตือนผิดน้อยลง | ตั้งค่าและทดสอบซับซ้อนกว่า เกณฑ์ต้องปรับตามแต่ละบริการ |
เลือก SLI ให้น้อย ตั้งร่วมกับผู้ใช้ และให้งบกำหนดจังหวะการเปลี่ยนแปลง ความเข้มงวดที่เหมาะสมคือวัตถุประสงค์ที่หลวมที่สุดที่ยังทำให้ผู้ใช้พอใจ เพราะเลขเก้าที่เพิ่มแต่ละตัวมีต้นทุนมากกว่าตัวก่อน
คำถามสำหรับอภิปรายกับทีม
1. ผู้ใช้บริการนี้ต้องทำอะไรได้บ้าง และเราจะรู้ได้อย่างไรว่าพวกเขาทำไม่ได้ ขอให้แต่ละคนเขียนสามสิ่งที่สำคัญที่สุดที่ผู้ใช้ทำกับบริการ โดยไม่มองแดชบอร์ดใด ๆ เปรียบเทียบรายการและจดความแตกต่างระหว่างฝ่ายผลิตภัณฑ์ ฝ่ายปฏิบัติการ และฝ่ายสนับสนุน จากนั้นถามว่าเส้นทางใดมี SLI อยู่ในขณะนี้ ผู้อำนวยความสะดวกควรมองหาเส้นทางสำคัญที่ไม่มีการวัด และการวัดที่ไม่อธิบายเส้นทางใดเลย
2. ถ้า SLO ของเราคือ 99.9 เปอร์เซ็นต์และเราบรรลุ ผู้ใช้จะพอใจหรือไม่ และเรารู้ได้อย่างไร วาง SLO ปัจจุบันเคียงกับการติดต่อฝ่ายสนับสนุน ข้อร้องเรียน และผลความพึงพอใจของไตรมาสที่แล้ว ถามว่าสอดคล้องกันหรือไม่ ถ้า SLO เป็นสีเขียวแต่ผู้ใช้ไม่พอใจ SLI หรือเป้าหมายต้องปรับปรุง ถ้าผู้ใช้พอใจแต่ SLO เป็นสีแดง เป้าหมายอาจเข้มกว่าที่ใครต้องการ ตกลงการดำเนินการหนึ่งอย่างเพื่อนำวัตถุประสงค์และประสบการณ์มาอยู่ด้วยกัน
3. เราจะทำอะไรต่างไปจริง ๆ ถ้างบข้อผิดพลาดหมด อ่านนโยบายงบข้อผิดพลาดปัจจุบันออกเสียง หรือร่างร่วมกันถ้ายังไม่มี ถามว่าใครจะหยุดอะไร และใครมีอำนาจให้ข้อยกเว้น ผู้อำนวยความสะดวกควรกดดันให้ได้การดำเนินการที่เป็นรูปธรรม เช่นหยุดการปล่อยรุ่นที่ไม่จำเป็นและย้ายบุคคลที่ระบุชื่อไปทำงานด้านความน่าเชื่อถือ แทนเจตนารมณ์ทั่วไป นโยบายที่ไม่มีใครเชื่อว่าจะถูกปฏิบัติตามแย่กว่าไม่มีนโยบาย
4. ครั้งสุดท้ายที่เรารับความเสี่ยงเพราะมีงบเหลือคือเมื่อใด อภิปรายว่าทีมใช้งบของตนหรือเพียงเฝ้าไว้ ดูไตรมาสที่แล้ว: มีช่วงที่งบแทบไม่ถูกแตะขณะที่การปล่อยรุ่นช้าหรือไม่ ถามว่าทีมจะลองอะไรถ้ารู้ว่าปลอดภัย คำถามนี้เผยความระมัดระวังเกินเหตุ และคำตอบมักชี้ไปที่การปล่อยแบบคานารี ฟีเจอร์ทอกเกิล หรือไปป์ไลน์ที่เร็วขึ้นซึ่งจะช่วยให้ทีมใช้งบได้ดี
5. การแจ้งเตือนใดของเราจะดังทันเวลาสำหรับเหตุขัดข้องแย่ ๆ ครั้งล่าสุด และอันใดจะดังโดยไม่จำเป็น นำเหตุขัดข้องสำคัญครั้งล่าสุดมาเล่นซ้ำประวัติการแจ้งเตือนเทียบกับมัน นับการเรียกที่มาถึง มาหลังผลกระทบเริ่มนานเท่าใด และกี่ครั้งที่มาจากเหตุการณ์ที่เสียงบแทบไม่มี อภิปรายว่าการแจ้งเตือนจากอัตราการเผางบจะทำได้ดีกว่าหรือไม่ เป้าหมายคือรายการสั้น ๆ ของการเปลี่ยนแปลงการแจ้งเตือนที่แต่ละข้อมีเจ้าของ ไม่ใช่การอภิปรายกล่าวโทษว่าใครเข้าเวร
6. ใครเป็นเจ้าของ SLO แต่ละรายการ และเราเปลี่ยนรายการหนึ่งโดยตั้งใจครั้งสุดท้ายเมื่อใด ระบุ SLO และเขียนเจ้าของไว้ข้างแต่ละรายการ เป็นทีมหรือบทบาท ถามว่าแต่ละรายการถูกทบทวนครั้งสุดท้ายเมื่อใดและอะไรเปลี่ยน SLO ที่ไม่มีใครแตะมาหนึ่งปีเป็นสัญญาณว่ามันไม่ช่วยการตัดสินใจอีกต่อไป ตกลงวันทบทวนของแต่ละรายการ และตกลงว่าใครมีสิทธิ์เลิกใช้ SLO ที่ไม่มีประโยชน์แล้ว
สี่มุมมอง
ทีมผลิตภัณฑ์และการส่งมอบ
ทีมส่งมอบได้กฎที่ชัดเจนว่าควรเคลื่อนไหวเร็วเพียงใด เมื่อมีงบเหลือ ทีมปล่อยรุ่นได้บ่อยขึ้นและลองการเปลี่ยนแปลงที่กล้าขึ้น เมื่องบต่ำ ทีมใส่งานด้านความน่าเชื่อถือในแบ็กล็อกโดยไม่ต้องเจรจายาว ควรช่วยเลือกตัวบ่งชี้เพราะรู้ว่าเส้นทางใดสำคัญ และควรติดตั้งเครื่องมือวัดให้ฟีเจอร์ใหม่โดยคำนึงถึง SLI ตั้งแต่ต้น (ดูหัวข้อ 2.8 “ตัวชี้วัด DORA”) งบเป็นทรัพยากรของทีมที่ใช้วางแผน ไม่ใช่ตัวเลขที่ต้องซ่อน
ทีมบริการและปฏิบัติการ
ทีมปฏิบัติการใช้ SLO ตัดสินว่าอะไรสมควรเรียกคนและอะไรรอถึงเช้าได้ การแจ้งเตือนจากอัตราการเผางบลดสัญญาณรบกวนและผูกงานเวรเรียกฉุกเฉินเข้ากับสิ่งที่ผู้ใช้รู้สึก (ดูหัวข้อ 5.7 “ตัวชี้วัดงานซ้ำซากและเวรเรียกฉุกเฉิน”) ทีมรักษานิยาม SLI ให้ซื่อตรง ดูแลเทเลเมทรีเบื้องหลัง และบันทึกต้นทุนงบในบันทึกเหตุขัดข้องและปัญหา
ภาวะผู้นำและการกำกับดูแล
ผู้นำควรถามสามคำถาม: วัตถุประสงค์คืออะไร เหลืองบเท่าใด และเราจะทำอะไรถ้างบหมด ผู้นำลงนามนโยบายงบข้อผิดพลาดและสนับสนุนทีมเมื่อนโยบายบอกให้ชะลอ หลีกเลี่ยงการทำให้การปฏิบัติตาม SLO เป็นตัวชี้วัดโบนัส ซึ่งเชิญชวนให้ทำนิยามแคบลงและตั้งเป้าหมายอ่อน
ลูกค้าและผู้ใช้
ลูกค้าได้ประโยชน์เมื่อวัตถุประสงค์สะท้อนสิ่งที่พวกเขาต้องการและเมื่อเห็นได้ว่าบริการทำผลงานเทียบกับมันอย่างไร ควรปรึกษาพวกเขาเมื่อตั้งวัตถุประสงค์ เพราะความอดทนต่อความช้าหรือเวลาหยุดทำงานต่างกันตามงานและช่วงเวลาของวัน ตัวชี้วัดประสบการณ์ เช่นความพึงพอใจและความพยายาม ตรวจว่า SLO จับสิ่งที่พวกเขารู้สึกหรือไม่ (ดูหัวข้อ 6.1 “ตัวชี้วัดความพึงพอใจของลูกค้า”)
ในทางปฏิบัติ: ตัวอย่าง ITIL แบบคล่องตัว
ผู้ค้าปลีกออนไลน์ขนาดกลางมีทีมชำระเงิน ทีมแพลตฟอร์ม และเซอร์วิสเดสก์ บริการชำระเงินสำคัญต่อธุรกิจ ตัวเลขทั้งหมดในตัวอย่างนี้เป็นตัวอย่างประกอบ
ทีมนิยาม SLI หนึ่งตัวสำหรับเส้นทาง “ชำระเงินคำสั่งซื้อ”: สัดส่วนคำขอชำระเงินที่ใช้ได้ซึ่งส่งผลสำเร็จกลับมาภายใน 2 วินาที วัดที่ตัวกระจายโหลด คำขอที่ใช้ได้ไม่รวมการทดสอบโหลดของทีมเองและคำขอที่บริการตรวจจับการฉ้อโกงปฏิเสธตามการออกแบบ SLO คือ 99.9 เปอร์เซ็นต์ในช่วง 28 วันที่เลื่อนต่อเนื่อง หน้าต่างมีคำขอที่ใช้ได้ที่คาดไว้ 12,000,000 รายการ ดังนั้นงบคือคำขอที่ไม่ดี 12,000 รายการ (0.1 เปอร์เซ็นต์) นโยบายงบข้อผิดพลาดซึ่งลงนามโดยหัวหน้าฝ่ายผลิตภัณฑ์และหัวหน้าฝ่ายแพลตฟอร์มมีสามระดับ: เมื่อใช้งบไป 50 เปอร์เซ็นต์ การเปลี่ยนแปลงเสี่ยงต้องมีผู้ทบทวนคนที่สองและการปล่อยแบบคานารี เมื่อ 75 เปอร์เซ็นต์ งานด้านความน่าเชื่อถือได้ความสำคัญก่อนในการสนทนาวางแผนครั้งถัดไป เมื่อ 100 เปอร์เซ็นต์ การปล่อยฟีเจอร์ที่ไม่จำเป็นหยุดจนกว่างบจะฟื้น
ในวันที่ 10 ของหน้าต่าง ทีมเห็นคำขอที่ไม่ดี 7,800 รายการจากที่คาดไว้ราว 4,285,714 รายการจนถึงตอนนี้ ได้การบรรลุ SLI ราว 99.82 เปอร์เซ็นต์ ใช้งบไป 65 เปอร์เซ็นต์ ขณะที่หน้าต่างผ่านไปเพียง 36 เปอร์เซ็นต์ อัตราการเผางบในช่วงนี้ราว 1.8 ดังนั้นด้วยจังหวะนี้งบจะหมดราววันที่ 15 การติดตั้งใช้งานที่ไม่ดีครั้งหนึ่งเป็นสาเหตุของความล้มเหลว 5,000 รายการ บันทึกเหตุขัดข้องแสดงว่าความล้มเหลวกินเวลา 22 นาที การทบทวนเหตุขัดข้องรุนแรงระบุว่าไปป์ไลน์ขาดการตรวจสอบ และต้นทุนงบของเหตุขัดข้องถูกบันทึกในบันทึกปัญหา (ดูหัวข้อ 4.1 “ตัวชี้วัดการจัดการปัญหา”)
ทีมปฏิบัติตามนโยบาย การดำเนินการระดับที่สองมีผลทันที ดังนั้นการเปลี่ยนแปลงเสี่ยงต้องใช้การปล่อยแบบคานารี และการประชุมวางแผนย้ายการตรวจสอบไปป์ไลน์ไปไว้บนสุดของคิวงาน เจ้าของผลิตภัณฑ์ยอมให้หยุดฟีเจอร์โปรโมชันที่ไม่เร่งด่วน ถึงวันที่ 28 ใช้งบไป 94 เปอร์เซ็นต์ และทีมจบหน้าต่างภายในวัตถุประสงค์
ความเสี่ยงเรื่องการบิดเบือนปรากฏในการทบทวน ทีมอื่นซึ่งดูแลบริการค้นหาของผู้ค้าปลีกรายงาน 99.95 เปอร์เซ็นต์สำหรับไตรมาส ขณะที่เซอร์วิสเดสก์บันทึกว่าการติดต่อ “ค้นหาใช้ไม่ได้” เพิ่มขึ้น เมื่อสืบสวน ทีมแพลตฟอร์มพบว่าทีมค้นหานิยาม “ที่ใช้ได้” ใหม่ให้ไม่รวมคำขอที่ลองใหม่ภายใน 5 วินาที ซึ่งตัดความล้มเหลวจริงจำนวนมากออก การทบทวนคืนนิยามเดิม แสดงไตรมาสใหม่ และเพิ่มมาตรการป้องกันสองข้อ: ทุกการเปลี่ยนนิยามต้องบันทึกในเอกสาร SLO พร้อมเหตุผล และเปรียบเทียบการบรรลุ SLI กับการติดต่อฝ่ายสนับสนุนทุกเดือน ไม่มีใครโกหก เพราะการเปลี่ยนแปลงทำเพื่อลดสัญญาณรบกวน การแก้ไขจึงเป็นนิยามที่ชัดเจนขึ้น ไม่ใช่การตักเตือน
มุมมองตามประเภทองค์กร
สตาร์ทอัป เริ่มด้วย SLO หนึ่งรายการสำหรับเส้นทางสำคัญที่สุด วัดที่ขอบเครือข่าย พร้อมนโยบายง่าย ๆ ที่จบในหนึ่งหน้า อย่าสร้างแพลตฟอร์มสำหรับ SLO หลายสิบรายการ งบช่วยให้ทีมเล็กโต้เถียงกันน้อยลงว่าควรปล่อยรุ่นวันศุกร์หรือไม่
ธุรกิจขนาดเล็ก ธุรกิจเล็กมักพึ่งพาเครื่องมือที่โฮสต์และผู้จัดหา ดังนั้น SLI อาจมาจากข้อมูลสถานะของผู้จัดหาหรือโพรบภายนอกอย่างง่าย อ่านระดับบริการของผู้จัดหาเป็นลายลักษณ์อักษรและตรวจเทียบกับความต้องการของท่านเอง
องค์กรขนาดใหญ่ บริการ ทีม และผู้จัดหาจำนวนมากทำให้ความสม่ำเสมอสำคัญขึ้น จัดให้มีแม่แบบร่วมสำหรับเอกสาร SLO ทะเบียนกลาง และวิธีมาตรฐานคำนวณการบรรลุและงบ เพื่อให้ผู้นำเปรียบเทียบและรวมยอดได้โดยไม่ต้องโต้เถียงเรื่องนิยาม ให้ทีมบริการเป็นเจ้าของ SLO และให้ส่วนกลางดูแลทะเบียน
ภาครัฐและหน่วยงานสาธารณะ บริการมักต้องบรรลุเป้าหมายตามกฎหมายหรือที่เผยแพร่ และความล้มเหลวอาจถูกรายงานต่อสาธารณะ รักษาข้อผูกพันตามสัญญาหรือตามกฎหมายให้แยกจากวัตถุประสงค์ภายใน และตรวจให้แน่ใจว่า SLO ภายในเข้มกว่า จัดทำเอกสารนิยาม SLI ข้อยกเว้น และสายทางของข้อมูลสำหรับการตรวจสอบ และวางแผนสำหรับการเข้าถึงได้และสำหรับผู้ใช้ที่เลือกผู้ให้บริการรายอื่นไม่ได้ (ดูหัวข้อ 8.5 “การรายงานตามข้อกำหนดและต่อภาครัฐ”)
กรณีทางธุรกิจ: แรงจูงใจ ROI และ TCO
แรงจูงใจคือการโต้เถียงน้อยลงและการตัดสินใจเรื่องความน่าเชื่อถือที่ดีขึ้น เมื่อไม่มีวัตถุประสงค์ งานด้านความน่าเชื่อถือแข่งกับฟีเจอร์ด้วยพลังของผู้ที่เถียงเสียงดังที่สุด เมื่อมีวัตถุประสงค์และงบ ข้อแลกเปลี่ยนมองเห็นและตกลงล่วงหน้า และผู้ใช้ได้บริการที่น่าเชื่อถือเท่าที่ต้องการ โดยทีมไม่ต้องจ่ายเพื่อความน่าเชื่อถือเกินจุดนั้น
ต้นทุนมีสี่ส่วน ส่วนแรกคือการออกแบบ: เวิร์กช็อปเลือกเส้นทาง ตัวบ่งชี้ และวัตถุประสงค์ และเขียนนโยบาย ส่วนที่สองคือการติดตั้งเครื่องมือวัด: เทเลเมทรีในจุดที่ถูกต้อง โพรบ และไปป์ไลน์ที่แปลงเหตุการณ์เป็นการบรรลุและงบ (ดูหัวข้อ 1.5 “แหล่งข้อมูลและการติดตั้งเครื่องมือวัด”) ส่วนที่สามคือการดำเนินงาน: กฎการแจ้งเตือน แดชบอร์ด การทบทวนรายไตรมาส และเวลารักษานิยามให้เป็นปัจจุบัน ส่วนที่สี่คือต้นทุนค่าเสียโอกาสเมื่อนโยบายหยุดงานฟีเจอร์ ซึ่งเป็นต้นทุนของการรักษาข้อตกลงและเป็นเหตุผลที่ต้องตกลงก่อนแรงกดดันมาถึง
ผลตอบแทนปรากฏในรูปแบบที่ทีมติดตามด้วยตนเองได้: การเรียกที่ไม่ต้องดำเนินการน้อยลง การถกเถียงว่าควรปล่อยรุ่นหรือไม่สั้นลง งานด้านความน่าเชื่อถือที่กำหนดไว้ก่อนงบหมดแทนที่จะหลังเหตุขัดข้องรุนแรง และเรื่องที่ทำให้ลูกค้าประหลาดใจน้อยลง อธิบายประโยชน์โดยเปรียบเทียบตัวเลขของทีมเองก่อนและหลัง เช่นจำนวนการเรียกต่อการหมุนเวรและสัดส่วนงบที่เหตุขัดข้องใหญ่ที่สุดใช้ไป
รูปแบบที่ไม่ควรทำและข้อควรระวัง
- SLO มากเกินไป วัตถุประสงค์หลายสิบรายการเจือจางความสนใจ และไม่มีใครบอกได้ว่ารายการใดสำคัญ เริ่มจากเส้นทางผู้ใช้ที่สำคัญและเลิกใช้ที่เหลือ
- SLO เท่ากับ SLA การรายงานตัวเลขเดียวเป็นทั้งสองอย่างกำจัดส่วนเผื่อความปลอดภัยและปนกฎทางวิศวกรรมกับคำมั่นเชิงพาณิชย์ ให้วัตถุประสงค์เข้มกว่าข้อตกลง
- นโยบายที่ไม่เคยบังคับใช้ ถ้างบหมดแล้วไม่มีอะไรเปลี่ยน แนวปฏิบัติสูญเสียความน่าเชื่อถือ ให้ผู้นำลงนามนโยบายและบันทึกทุกข้อยกเว้นพร้อมเหตุผล
- ใช้งบเป็นสกอร์การ์ดของบุคคล การจัดอันดับวิศวกรหรือเจ้าหน้าที่เวรตามงบที่ใช้ทำให้ผู้คนซ่อนเหตุขัดข้องและทำนิยามให้แคบลง ให้ถือว่างบเป็นของบริการและอภิปรายสาเหตุในระดับระบบ (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”)
- แจ้งเตือนทุกครั้งที่ตก การเรียกคนจากอาการดิบสร้างความล้าจากการแจ้งเตือนและฝึกให้ผู้คนเมินการเรียก ให้เรียกคนจากอัตราการเผางบและส่งการเผางบช้าไปเป็นตั๋ว
- ตั้งแล้วลืม SLO ที่ไม่มีใครทบทวนจะห่างจากสิ่งที่ผู้ใช้ต้องการ กำหนดการทบทวนรายไตรมาสและบันทึกว่าอะไรเปลี่ยนและเพราะเหตุใด
แบบจำลองวุฒิภาวะ
| มิติ | 1 เริ่มต้น | 2 พัฒนา | 3 ทำให้เป็นมาตรฐาน | 4 บริหารจัดการ | 5 ประสานจัดการ |
|---|---|---|---|---|---|
| ตัวบ่งชี้และวัตถุประสงค์ | อธิบายความน่าเชื่อถือด้วยถ้อยคำ รายงานเวลาใช้งานได้ของเซิร์ฟเวอร์ | บางทีมนิยาม SLI เป้าหมายต่างกันและแทบไม่ทบทวน | เส้นทางผู้ใช้ที่สำคัญมี SLI และ SLO ที่จัดทำเอกสารในแม่แบบร่วม | SLO มีแนวโน้ม ตรวจเทียบกับข้อเสนอแนะของผู้ใช้ และทำให้เข้มหรือหลวมขึ้นด้วยหลักฐาน | SLO ตกลงกับลูกค้าและผู้จัดหา และสอดคล้องกับบริการและสัญญาที่พึ่งพากัน |
| งบข้อผิดพลาดและนโยบาย | ไม่มีงบ ความน่าเชื่อถือเทียบกับฟีเจอร์ตัดสินด้วยการโต้เถียง | คำนวณงบสำหรับบางบริการ ไม่มีผลที่ตามมาที่ตกลง | นโยบายที่เขียนไว้ ลงนามโดยฝ่ายผลิตภัณฑ์และฝ่ายปฏิบัติการ พร้อมตัวกระตุ้นที่กำหนด | วัดการปฏิบัติตามนโยบาย ทบทวนข้อยกเว้น งบเป็นข้อมูลให้การวางแผนปล่อยรุ่น | การตัดสินใจเรื่องงบประสานกันข้ามทีมที่ใช้การพึ่งพาร่วมกัน นโยบายปรับตามเงื่อนไข |
| การแจ้งเตือนและการตอบสนอง | การแจ้งเตือนตามเกณฑ์บนทรัพยากรดิบ เรียกคนมาก | มีการแจ้งเตือนจากอัตราการเผางบบ้าง เกณฑ์คัดลอกจากตัวอย่าง | การแจ้งเตือนอัตราการเผางบหลายหน้าต่างสำหรับ SLO หลัก พร้อมตั๋วสำหรับการเผางบช้า | วัดและปรับคุณภาพการแจ้งเตือนด้วยเหตุขัดข้องในอดีต | การแจ้งเตือนสอดคล้องข้ามห่วงโซ่บริการ และการปรับปรุงขับเคลื่อนด้วยการทบทวนร่วมกัน |
รายการตรวจสอบ
- ระบุเส้นทางผู้ใช้ที่สำคัญของบริการ แต่ละเส้นทางเขียนจากฝั่งผู้ใช้
- แต่ละ SLI นิยามเป็นเหตุการณ์ที่ดีต่อเหตุการณ์ที่ใช้ได้ พร้อมเขียนข้อยกเว้นไว้
- SLI ด้านความหน่วงใช้เปอร์เซ็นไทล์และเกณฑ์ที่ระบุ ไม่ใช่ค่าเฉลี่ย
- แต่ละ SLO ระบุเป้าหมาย หน้าต่าง และจุดที่วัด SLI
- SLO เข้มกว่า SLA ใด ๆ และรายงานแยกกัน
- มีนโยบายงบข้อผิดพลาด ลงนามโดยผู้นำฝ่ายผลิตภัณฑ์และฝ่ายปฏิบัติการ และระบุว่าใครให้ข้อยกเว้นได้
- การแจ้งเตือนอัตราการเผางบใช้ช่วงย้อนหลังอย่างน้อยสองช่วง และการเผางบช้าสร้างตั๋วแทนการเรียกคน
- บันทึกเหตุขัดข้องแต่ละรายการแสดงงบที่ใช้ไป
- เปรียบเทียบการบรรลุ SLI กับการติดต่อฝ่ายสนับสนุนและผลความพึงพอใจทุกเดือน
- SLO ทุกรายการมีเจ้าของ (ทีมหรือบทบาท) และวันทบทวน และบันทึกการเปลี่ยนแปลงพร้อมเหตุผล
- ไม่มีผล SLO ใดถูกใช้จัดอันดับหรือให้รางวัลบุคคล
พรอมต์ AI
ร่าง SLI ที่เป็นตัวเลือกจากเส้นทางผู้ใช้
ฉันดูแล [ชื่อบริการ] ซึ่ง [ประเภทผู้ใช้] ใช้เพื่อทำ [รายการเส้นทางผู้ใช้ที่สำคัญ]
เราวัดได้ที่ [รายการจุดวัด เช่นตัวกระจายโหลด บันทึกของแอปพลิเคชัน
โพรบสังเคราะห์] สำหรับแต่ละเส้นทาง เสนอ SLI ที่เป็นตัวเลือกหนึ่งถึงสองรายการ
เขียนเป็นเหตุการณ์ที่ดีต่อเหตุการณ์ที่ใช้ได้ พร้อมข้อเสนอนิยามของ “ดี” “ใช้ได้”
และข้อยกเว้น ระบุจุดแข็งและจุดบอดของแต่ละจุดวัด อย่าคิดค่าเป้าหมายหรือค่า
เทียบเคียงขึ้นเอง ให้ถามฉันว่าผู้ใช้ยอมรับได้แค่ไหน ระบุข้อสมมติของคุณ
ร่างนโยบายงบข้อผิดพลาด
ช่วยฉันร่างนโยบายงบข้อผิดพลาดสำหรับ [ชื่อบริการ] ที่มี SLO เท่ากับ [เป้าหมาย]
ในช่วง [หน้าต่าง] ผู้มีส่วนได้ส่วนเสียคือ [บทบาทฝ่ายผลิตภัณฑ์] และ [บทบาทฝ่ายปฏิบัติการ]
เสนอระดับตัวกระตุ้น การดำเนินการในแต่ละระดับ ใครให้ข้อยกเว้นได้และบันทึกอย่างไร
และทบทวนนโยบายอย่างไร ให้อยู่ในหนึ่งหน้าและชี้การตัดสินใจที่ต้องมี
ผู้สนับสนุนที่เป็นมนุษย์ อย่าคิดเกณฑ์จากองค์กรอื่นขึ้นเอง
ให้เสนอทางเลือกและข้อแลกเปลี่ยน ระบุข้อสมมติของคุณ
ทบทวน SLO เพื่อหาความเสี่ยงของการบิดเบือน
นี่คือเอกสาร SLO ของเราสำหรับ [ชื่อบริการ]: [วางนิยาม SLI ข้อยกเว้น
เป้าหมาย หน้าต่าง และบันทึกการเปลี่ยนแปลง] ระบุวิธีที่ SLI อาจถูกทำให้แคบลง
หน้าต่างหรือเป้าหมายถูกเปลี่ยน หรือเหตุการณ์ถูกยกเว้นในแบบที่ทำให้ผลดูดีกว่า
ประสบการณ์ของผู้ใช้ สำหรับแต่ละความเสี่ยง เสนอตัวชี้วัดหรือแนวปฏิบัติป้องกัน
อย่าสันนิษฐานเจตนา ระบุข้อสมมติของคุณและคำถามที่ฉันควรตอบ
ทักษะ AI
- ทักษะ Agile ITIL Metrics: ใช้เพื่อหาหัวข้อที่เกี่ยวข้อง เช่นความพร้อมใช้งาน คุณภาพการแจ้งเตือน และเหตุขัดข้องรุนแรง และมาตรการป้องกันที่ควรอยู่ข้างตัวชี้วัด SLO แต่ละตัว
- ทักษะผู้ดูแล Agile ITIL Metrics: ใช้เพื่อตรวจว่าการแก้ไขหัวข้อนี้ยังคงทุกตัวชี้วัดในตารางการบิดเบือนและทุกการอ้างอิงข้ามหัวข้อที่มีชื่อกำกับ
ข้อสรุปสำคัญ
- เลือก SLI ไม่กี่ตัวจากสิ่งที่ผู้ใช้ทำ และแสดงแต่ละตัวเป็นเหตุการณ์ที่ดีต่อเหตุการณ์ที่ใช้ได้
- SLO ที่ต่ำกว่า 100 เปอร์เซ็นต์คือการตัดสินใจเรื่องความเสี่ยง และงบข้อผิดพลาดคือที่ว่างที่การตัดสินใจนั้นเหลือไว้ให้การเปลี่ยนแปลง
- เขียนนโยบายงบข้อผิดพลาดล่วงหน้า ลงนามที่ระดับผู้นำ และบันทึกทุกข้อยกเว้น
- แจ้งเตือนจากอัตราการเผางบด้วยช่วงย้อนหลังมากกว่าหนึ่งช่วง เพื่อให้การเรียกสะท้อนความเสี่ยงจริงต่อวัตถุประสงค์
- ปกป้องนิยาม: บันทึกทุกการเปลี่ยนแปลง และเปรียบเทียบผล SLI กับสิ่งที่ผู้ใช้รายงาน
- ถือว่างบเป็นของบริการและทีม ไม่ใช่บุคคล และทบทวน SLO แต่ละรายการอย่างน้อยทุกไตรมาส
เอกสารอ้างอิงและแหล่งอ่านเพิ่มเติม
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Jones, C., Wilkes, J., Murphy, N., and Smith, C., "Service Level Objectives," chapter 4 in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/service-level-objectives/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
- "Implementing SLOs," chapter 2 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/implementing-slos/
- "Alerting on SLOs," chapter 5 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/alerting-on-slos/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Site reliability engineering.
- Wikipedia, Service level indicator.
- Wikipedia, Service-level objective.
- Wikipedia, Service-level agreement.
- Wikipedia, Availability.
- Wikipedia, Percentile.
- Wikipedia, Feature toggle.
- Wikipedia, Canary release.