ตัวชี้วัดความต่อเนื่องของบริการ
แผนการฟื้นคืนเป็นเพียงสมมติฐานจนกว่าการซ้อมจะทดสอบมัน ดังนั้นตัวชี้วัดความต่อเนื่องควรนับสิ่งที่ฟื้นคืนได้จริง เร็วเพียงใด และข้อมูลกลับมาได้มากเท่าใด ไม่ใช่จำนวนแผนที่วางอยู่บนชั้น
ภาพรวมและแรงจูงใจ
ตัวชี้วัดเหตุขัดข้องส่วนใหญ่อธิบายวันแย่ตามปกติ: การติดตั้งใช้งานที่ล้มเหลว ฐานข้อมูลที่อิ่มตัว เพื่อนบ้านที่เสียงดัง ความต่อเนื่องของบริการอธิบายวันที่หายากและรุนแรง เมื่อภูมิภาคหนึ่งล้มเหลว คลังข้อมูลเสียหาย ผู้จัดหาหายไป หรือแรนซัมแวร์เข้ารหัสทั้งระบบ การวางแผนความต่อเนื่องทางธุรกิจ (business continuity planning) คือวินัยในการเตรียมองค์กรให้ส่งมอบต่อไปได้ในระดับที่ยอมรับได้ตลอดเหตุการณ์เช่นนั้น ใน ITIL 4 แนวปฏิบัตินี้เรียกว่าการจัดการความต่อเนื่องของบริการ และเป็นมุมมองด้านบริการไอทีของเป้าหมายที่ใหญ่กว่านั้น (ดูหัวข้อที่ตรงกันใน Agile ITIL Guide ฉบับคู่มือประกอบ)
ศัพท์สองคำแบกน้ำหนักส่วนใหญ่ เป้าหมายเวลาฟื้นคืน (recovery time objective: RTO) คือเวลาที่ยอมรับได้ในการฟื้นคืนบริการหลังการหยุดชะงัก จุดฟื้นคืนข้อมูลเป้าหมาย (recovery point objective: RPO) คือปริมาณข้อมูลสูญหายที่ยอมรับได้ แสดงเป็นช่วงเวลา: RPO หนึ่งชั่วโมงหมายความว่าการสูญเสียการเขียนชั่วโมงสุดท้ายยอมรับได้และมากกว่านั้นไม่ได้ ทั้งสองมาจากการวิเคราะห์ผลกระทบทางธุรกิจ (business impact analysis: BIA) ซึ่งเป็นวิธีระบุว่ากิจกรรมใดสำคัญที่สุด อะไรพึ่งพาอะไร และการหยุดชะงักมีต้นทุนเท่าใด เป้าหมายเหล่านี้เป็นการตัดสินใจทางธุรกิจที่มีราคา เพราะเป้าหมายที่เข้มขึ้นต้องการความซ้ำซ้อนมากขึ้น ระบบอัตโนมัติมากขึ้น และเวลาซ้อมมากขึ้น
ความยากคือเป้าหมายเป็นคำมั่นเกี่ยวกับเหตุการณ์ในอนาคตที่ยังไม่เกิด หลักฐานที่ซื่อตรงคือการทดสอบ ทีมฟื้นคืนบริการภายใน RTO ในการซ้อมครั้งล่าสุดหรือไม่ ข้อมูลที่ฟื้นคืนเป็นไปตาม RPO หรือไม่ ขั้นตอนในแผนเป็นขั้นตอนที่ทีมทำจริงหรือไม่ ตัวชี้วัดความต่อเนื่องจึงส่วนใหญ่เป็นการวัดการซ้อม และคุณภาพของการวัดขึ้นกับความสมจริงของการซ้อม
ทีมแบบคล่องตัวและวิศวกรรมความน่าเชื่อถือของไซต์ (SRE) นำนิสัยที่มีประโยชน์มาสู่เรื่องนี้ ระบบของพวกเขาเปลี่ยนทุกสัปดาห์ ดังนั้นแผนที่เขียนครั้งเดียวแล้วเก็บเข้าแฟ้มจะล้าสมัยภายในไม่กี่เดือน การตอบสนองแบบคล่องตัวคือเก็บการฟื้นคืนเป็นโค้ด (เช่นด้วยโครงสร้างพื้นฐานเป็นโค้ด (infrastructure as code)) ซ้อมบ่อย และถือการซ้อมแต่ละครั้งเป็นแหล่งของรายการแบ็กล็อก วิศวกรรมความโกลาหล (chaos engineering) และวันซ้อมรับมือใช้แนวคิดเดียวกันในระดับเล็กกว่า: ก่อให้เกิดความล้มเหลวโดยตั้งใจอย่างควบคุมได้ และดูว่าเกิดอะไรขึ้น มุมมองของ SRE อธิบายไว้ในหนังสือ Site Reliability Engineering ของ Google และสาขาที่กว้างกว่าสรุปไว้ในบทความวิศวกรรมความน่าเชื่อถือของไซต์ (site reliability engineering)
มุมมองต่างกันอย่างไร
- มุมมอง ITIL การจัดการความต่อเนื่องของบริการคือแนวปฏิบัติที่กำหนดเป้าหมายการฟื้นคืนจาก BIA ออกแบบแผน และพิสูจน์ด้วยการทดสอบ ผลผลิตของมันคือแผน รายงานการซ้อม และข้อค้นพบที่บันทึกไว้ มาตรฐาน ISO 22301 อธิบายระบบการจัดการความต่อเนื่องทางธุรกิจ ณ เดือนตุลาคม 2026 ให้ตรวจฉบับปัจจุบันโดยตรงหากลูกค้าหรือหน่วยกำกับดูแลต้องการความสอดคล้อง
- มุมมองแบบคล่องตัว ความสามารถในการฟื้นคืนเป็นคุณสมบัติของผลิตภัณฑ์ในนิยามของความเสร็จ สตอรีที่เพิ่มคลังข้อมูลยังไม่เสร็จจนกว่าเส้นทางการกู้คืนจะถูกลองแล้ว
- มุมมอง SRE งานด้านความน่าเชื่อถือมีงบและถูกวัด การสลับสำรอง การซ้อมกู้คืน และวันซ้อมรับมือเป็นงานที่กำหนดเวลาไว้ มีเจ้าของ และข้อค้นพบเข้าสู่แบ็กล็อก
หัวข้อนี้ครอบคลุมตัวชี้วัดเจ็ดตัว: การฟื้นคืนเทียบกับเป้าหมายเวลาและข้อมูลในการทดสอบ ความครอบคลุมและความล่าสุดของการซ้อม การกู้คืนจากข้อมูลสำรอง การปิดข้อค้นพบ และความเป็นปัจจุบันของแผน เหตุล่มจริงอยู่ในตัวชี้วัดเหตุขัดข้องรุนแรง (ดูหัวข้อ 3.4 “ตัวชี้วัดเหตุขัดข้องรุนแรง”) และตัวชี้วัดความพร้อมใช้งาน (ดูหัวข้อ 5.3 “ตัวชี้วัดความพร้อมใช้งาน”) เป้าหมายที่แสดงเป็นเป้าหมายฝั่งผู้ใช้อยู่ในหัวข้อเรื่องตัวบ่งชี้และงบ (ดูหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด”) “เวลาฟื้นคืนจากการติดตั้งใช้งานที่ล้มเหลว” ของโครงการวิจัย DORA เป็นนาฬิกาที่เล็กกว่ามาก (ดูหัวข้อ 2.8 “ตัวชี้วัด DORA”) สาเหตุรากเหง้าที่การทดสอบเผยอยู่ในหัวข้อเรื่องปัญหาและการเรียนรู้ (ดูหัวข้อ 4.1 “ตัวชี้วัดการจัดการปัญหา” และหัวข้อ 4.2 “ตัวชี้วัดการทบทวนหลังเหตุการณ์และการเรียนรู้”)
ระดับชั้น (tier) คือประเภทของบริการที่จัดกลุ่มตามความเร็วที่ต้องกลับมา การซ้อมบนโต๊ะ (tabletop exercise) คือการซ้อมแบบอภิปรายโดยไม่เปลี่ยนแปลงระบบ วันซ้อมรับมือ (game day) คือการซ้อมแบบลงมือที่ทีมก่อให้เกิดหรือจำลองความล้มเหลวและสังเกตการตอบสนอง ข้อค้นพบ (finding) คือช่องว่างที่บันทึกไว้ระหว่างแผนกับสิ่งที่เกิดขึ้น ความเป็นปัจจุบันของแผน (plan currency) คือแผนสะท้อนบริการตามสภาพปัจจุบันได้ดีเพียงใด
หลักการสำคัญ
- ทดสอบ แล้วจึงอ้าง RTO หรือ RPO ได้รับการตรวจสอบก็ต่อเมื่อมีการฟื้นคืนที่ทำจริงและจับเวลา รายงานเป้าหมายและผลที่แสดงให้เห็นครั้งล่าสุดเคียงกัน
- วัดความสมจริง ไม่ใช่แค่ความสำเร็จ การกู้คืนฐานข้อมูลทดสอบที่ว่างเปล่าซึ่งผ่านในไม่กี่นาทีบอกน้อยเกี่ยวกับการกู้คืนขนาดระบบจริง บันทึกขอบเขตและเงื่อนไขของการซ้อมแต่ละครั้งไว้ข้างผล
- จัดชั้นทรัพย์สินและใช้แรงตามชั้น บริการสำคัญได้การทดสอบที่บ่อยและสมจริง บริการชั้นต่ำได้การตรวจที่เบากว่า เป้าหมายความถี่เดียวสำหรับทุกอย่างสิ้นเปลืองแรงหรือพลาดความเสี่ยง
- ถือข้อค้นพบเป็นผลผลิตของการซ้อม ผลผลิตที่มีค่าของวันซ้อมรับมือคือรายการช่องว่างที่ปิดแล้ว การทดสอบที่ไม่มีข้อค้นพบเป็นไปได้ทั้งยอดเยี่ยมหรืออ่อนโยนเกินไป และท่านควรค้นหาว่าอย่างไหน
- อธิบายบริการและการหมุนเวร ไม่ใช่บุคคล ผลการซ้อมอธิบายระบบและแผน ไม่มีใครถูกจัดอันดับตามความเร็วที่กู้คืนในการซ้อม
- แสดงการซ้อมแต่ละครั้งเป็นแถวของตัวเอง มีการทดสอบน้อยครั้งต่อบริการต่อปี ค่าเฉลี่ยจึงทำให้เข้าใจผิด (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ”)
นิยามตัวชี้วัด
ตัวชี้วัดแต่ละตัวระบุนาฬิกาหรือจำนวน สิ่งที่ถูกตัดออก และแหล่งข้อมูล ทุกแถวต้องมีกฎที่เขียนไว้ก่อนจะไว้ใจ “บริการชั้น 1” ด้านล่างหมายถึงบริการในชั้นการฟื้นคืนสูงสุดที่ BIA ของท่านเองกำหนด
| ตัวชี้วัด | นิยาม | สูตร | หน่วย | แหล่งข้อมูล | แนวปฏิบัติ ITIL | คู่เทียบแบบคล่องตัว | ความถี่ |
|---|---|---|---|---|---|---|---|
| อัตราการบรรลุ RTO | สัดส่วนของการซ้อมการฟื้นคืนที่บริการถูกฟื้นคืนภายใน RTO ที่ระบุ | การซ้อมที่เวลากู้คืน <= RTO / การซ้อมที่ทำ นาฬิกาเริ่มที่จุดเริ่มประกาศของความล้มเหลวในการซ้อม (เวลาที่ฉีดหรือการประกาศสถานการณ์) และหยุดเมื่อบริการผ่านการตรวจสุขภาพที่ตกลงสำหรับผู้ใช้จริงหรือสังเคราะห์ การซ้อมบนโต๊ะและการซ้อมที่ไม่มีการกู้คืนที่จับเวลาถูกตัดออกและนับแยกต่างหาก | เปอร์เซ็นต์ พร้อมแสดงจำนวนการซ้อม | รายงานการซ้อม เส้นเวลาจากการเฝ้าติดตาม ทะเบียนบริการที่มี RTO | การจัดการความต่อเนื่องของบริการ การจัดการความพร้อมใช้งาน | ผลของวันซ้อมรับมือ เวลาฟื้นคืนในตัวชี้วัดการส่งมอบ | ต่อการซ้อม รวมยอดรายไตรมาส |
| อัตราการบรรลุ RPO | สัดส่วนของการซ้อมการฟื้นคืนที่ข้อมูลสูญหายอยู่ภายใน RPO ที่ระบุ | การซ้อมที่ช่วงข้อมูลสูญหายที่วัดได้ <= RPO / การซ้อมที่กู้คืนข้อมูล ช่วงข้อมูลสูญหายคือเวลาระหว่างการเขียนสุดท้ายที่มีอยู่หลังการฟื้นคืนกับขณะที่ล้มเหลว การซ้อมที่ไม่กู้คืนสถานะใดถูกตัดออก | เปอร์เซ็นต์ พร้อมแสดงจำนวนการซ้อม | รายงานการซ้อม การเปรียบเทียบข้อมูลที่กู้คืนกับแหล่งหรือบันทึกการเขียน | การจัดการความต่อเนื่องของบริการ การจัดการความมั่นคงปลอดภัยของสารสนเทศ | การซ้อมกู้คืนเป็นส่วนของนิยามของความเสร็จ | ต่อการซ้อม รวมยอดรายไตรมาส |
| ความครอบคลุมการฟื้นคืนที่ทดสอบ | สัดส่วนของบริการชั้น 1 และชั้น 2 ที่มีการทดสอบการฟื้นคืนแบบลงมือภายในช่วงทดสอบที่ตกลง | บริการที่มีการทดสอบที่เข้าเกณฑ์ภายในช่วง / บริการในขอบเขต การทดสอบที่เข้าเกณฑ์ต้องลงมือจริง (ไม่ใช่เฉพาะบนโต๊ะ) และกู้คืนบริการในสภาพแวดล้อมทดสอบหรือระบบจริง ช่วงเวลากำหนดต่อชั้น | เปอร์เซ็นต์ แยกตามชั้น | ทะเบียนบริการ ปฏิทินและรายงานการซ้อม | การจัดการความต่อเนื่องของบริการ การจัดการแคตตาล็อกบริการ | กำหนดการวันซ้อมรับมือ | รายเดือน |
| จำนวนวันนับจากการทดสอบการฟื้นคืนที่สำเร็จล่าสุด | อายุของการทดสอบการฟื้นคืนที่ผ่านล่าสุดสำหรับแต่ละบริการสำคัญ | วันที่รายงานลบวันที่ของการทดสอบล่าสุดที่บรรลุทั้ง RTO และ RPO การทดสอบที่ล้มเหลวไม่รีเซ็ตนาฬิกา บริการที่ไม่เคยทดสอบแสดงเป็น “ไม่เคย” ไม่ใช่ศูนย์ | วัน ต่อบริการ โดยเน้นอันที่เก่าที่สุด | รายงานการซ้อม ทะเบียนบริการ | การจัดการความต่อเนื่องของบริการ | กำหนดการวันซ้อมรับมือ อายุของรายการงาน | รายเดือน |
| อัตราความสำเร็จของการกู้คืนจากข้อมูลสำรอง | สัดส่วนของการกู้คืนจากข้อมูลสำรองที่พยายามซึ่งเสร็จสมบูรณ์พร้อมข้อมูลที่ตรวจสอบแล้วว่าใช้งานได้ | การกู้คืนที่เสร็จและผ่านการตรวจสอบข้อมูล / การกู้คืนที่พยายาม ตลอดการทดสอบการกู้คืนแบบอัตโนมัติและด้วยมือ ความสำเร็จของงานสำรองข้อมูลอย่างเดียวถูกตัดออก เพราะงานที่รันไม่ใช่การกู้คืนที่ได้ผล | เปอร์เซ็นต์ แยกตามชั้นข้อมูล | บันทึกระบบสำรองข้อมูล ผลการตรวจสอบการกู้คืนอัตโนมัติ | การจัดการความต่อเนื่องของบริการ การจัดการโครงสร้างพื้นฐานและแพลตฟอร์ม | การซ้อมกู้คืน เกณฑ์ความสามารถในการปฏิบัติการในนิยามของความเสร็จ | รายสัปดาห์สำหรับการทดสอบอัตโนมัติ รายเดือนในการทบทวน |
| อัตราการปิดข้อค้นพบจากการซ้อม | สัดส่วนของข้อค้นพบจากการซ้อมการฟื้นคืนที่ปิดภายในเวลาที่ตกลง แยกตามความรุนแรง | ข้อค้นพบที่ปิดภายในเป้าหมาย / ข้อค้นพบที่ครบกำหนดในรอบเวลา นาฬิกาเริ่มเมื่อบันทึกข้อค้นพบในรายงานการซ้อมและหยุดเมื่อแก้ไขที่ตรวจสอบแล้ว หมายถึงการทดสอบซ้ำหรือการทบทวนที่ยืนยัน ข้อค้นพบที่เจ้าของที่ระบุชื่อยอมรับเป็นความเสี่ยงนับแยกต่างหาก | เปอร์เซ็นต์ พร้อมจำนวนข้อค้นพบที่เกินกำหนด | รายงานการซ้อม ตัวติดตามประเด็น | การจัดการความต่อเนื่องของบริการ การปรับปรุงอย่างต่อเนื่อง | รายการดำเนินการจากการทบทวนย้อนหลัง อายุของรายการแบ็กล็อก | รายเดือน |
| ความเป็นปัจจุบันของแผน | สัดส่วนของแผนความต่อเนื่องและคู่มือปฏิบัติที่ทบทวนหลังการเปลี่ยนแปลงสำคัญล่าสุดของบริการ หรือภายในช่วงทบทวน | แผนที่มีวันทบทวนหลังการเปลี่ยนแปลงสำคัญล่าสุดและอยู่ภายในช่วง / แผนในขอบเขต การเปลี่ยนแปลงสำคัญหมายถึงบันทึกการเปลี่ยนแปลงที่ติดธงว่าเปลี่ยนสถาปัตยกรรม คลังข้อมูล การพึ่งพา หรือผู้จัดหา | เปอร์เซ็นต์ พร้อมอายุของแผนที่ไม่ได้ทบทวนที่เก่าที่สุด | คลังแผน (การควบคุมเวอร์ชัน) บันทึกการเปลี่ยนแปลง ทะเบียนบริการ | การจัดการความต่อเนื่องของบริการ การสนับสนุนการเปลี่ยนแปลง | นิยามของความเสร็จรวมการอัปเดตคู่มือปฏิบัติ | รายไตรมาส |
นาฬิกา RTO ในการซ้อมต่างจากนาฬิกาในเหตุล่มจริงซึ่งเริ่มที่ผลกระทบ (ดูหัวข้อ 3.4 “ตัวชี้วัดเหตุขัดข้องรุนแรง”) จึงควรเปรียบเทียบการซ้อมกับการซ้อม การซ้อมที่เขียนสคริปต์แน่นหนาวัดความเร็วของการซ้อม ดังนั้นให้บันทึกว่ามันมีความไม่คาดฝันอยู่เท่าใด
ข้อเสนอแนะ
ตั้งเป้าหมายที่ทดสอบได้
1. สร้าง RTO และ RPO จากการวิเคราะห์ผลกระทบทางธุรกิจ และเขียนไว้ข้างบริการ BIA ถามธุรกิจว่าเหตุล่มหนึ่งชั่วโมง หนึ่งวัน และหนึ่งสัปดาห์มีต้นทุนเท่าใด และข้อมูลใดที่ยอมสูญเสียได้ บันทึกคำตอบในทะเบียนบริการเพื่อให้ทุกการทดสอบเปรียบเทียบกับเป้าหมายที่ระบุได้ เป้าหมายที่วิศวกรเลือกเองมักจะจ่ายไม่ไหวหรือไม่เกี่ยวกับสิ่งที่ลูกค้าต้องการ
2. จัดชั้นบริการและตั้งช่วงทดสอบตามชั้น จำนวนชั้นน้อย อาจสามหรือสี่ชั้น ดำเนินการง่ายกว่ากฎที่ต่างกันสำหรับทุกบริการ ให้ชั้นบนสุดได้การทดสอบที่บ่อยและสมจริงที่สุด และให้ชั้นต่ำสุดได้การตรวจเบา ๆ เช่นการกู้คืนตัวอย่างเป็นระยะ เขียนช่วงเวลาไว้และทบทวนเมื่อ BIA เปลี่ยน
3. ตรวจว่าเป้าหมายเข้ากับสถาปัตยกรรม RPO ห้านาทีกับการสำรองข้อมูลรายคืนคือความขัดแย้งที่การทดสอบจะเปิดโปงในช่วงเวลาที่แย่ที่สุด เปรียบเทียบแต่ละเป้าหมายกับการออกแบบการสำรองข้อมูล การจำลอง และการสลับสำรองก่อนการซ้อมครั้งแรก และบันทึกช่องว่างใดเป็นข้อค้นพบ
ทดสอบในแบบที่เผยบางสิ่ง
4. ผสมการซ้อมบนโต๊ะ การซ้อมกู้คืน และวันซ้อมรับมือ การซ้อมบนโต๊ะถูกและพบช่องว่างในบทบาท รายชื่อติดต่อ และการตัดสินใจ การซ้อมกู้คืนแบบลงมือพบช่องว่างในขั้นตอน สิทธิ์ และข้อมูล วันซ้อมรับมือซึ่งก่อให้เกิดความล้มเหลวและดูการตอบสนองพบช่องว่างในการเฝ้าติดตาม คู่มือปฏิบัติ และการประสานงาน รายงานแต่ละประเภทแยกกันเพื่อไม่ให้การซ้อมบนโต๊ะง่าย ๆ หลายครั้งดูเหมือนหลักฐานการฟื้นคืน
5. จับเวลาการกู้คืนบนข้อมูลขนาดระบบจริง การกู้คืนที่ได้ผลกับสำเนาขนาดเล็กอาจล้มเหลวกับปริมาณจริงเพราะข้อจำกัดด้านปริมาณงานที่ผ่านหรือพื้นที่เก็บ เมื่อการทดสอบเต็มขนาดแพงเกินจะทำบ่อย ให้ทำหนึ่งครั้งเป็นระยะและระบุการประมาณค่านอกช่วงใด บันทึกขนาดข้อมูลพร้อมผล
6. ตรวจว่าข้อมูลที่กู้คืนใช้งานได้ เพิ่มการตรวจอัตโนมัติหลังการกู้คืน เช่นจำนวนแถว ค่าตรวจสอบ หรือธุรกรรมสังเคราะห์ นับการกู้คืนว่าสำเร็จเมื่อการตรวจนั้นผ่านเท่านั้น
7. เพิ่มความไม่คาดฝันทีละน้อย การซ้อมแรก ๆ ประกาศและเขียนสคริปต์ได้ การซ้อมหลัง ๆ ควรปิดบังรายละเอียดของความล้มเหลวและรวมการพึ่งพาเช่นข้อมูลรับรองที่หมดอายุหรือผู้จัดหาที่ติดต่อไม่ได้ บันทึกระดับความไม่คาดฝันเพื่อให้อ่านผลในบริบทได้
เปลี่ยนข้อค้นพบเป็นการเปลี่ยนแปลง
8. บันทึกทุกข้อค้นพบพร้อมเจ้าของ ความรุนแรง และวันครบกำหนด วันซ้อมรับมือสร้างรายการ: สิทธิ์ที่ขาด ขั้นตอนในคู่มือที่ไม่ตรงกับเครื่องมืออีกต่อไป ตัวเฝ้าติดตามที่ไม่เคยดัง ใส่แต่ละรายการในแบ็กล็อกของทีมให้มองเห็นเท่ากับงานฟีเจอร์ ติดตามอายุของข้อค้นพบที่เปิดอยู่และสัดส่วนที่ปิดตรงเวลา และยืนยันการปิดด้วยการทดสอบซ้ำเมื่อทำได้
9. เชื่อมข้อค้นพบกับการจัดการปัญหาและการเรียนรู้ ข้อค้นพบที่เกิดซ้ำข้ามการซ้อมคือปัญหาในความหมายของ ITIL (ดูหัวข้อ 4.1 “ตัวชี้วัดการจัดการปัญหา”) ทบทวนการซ้อมแต่ละครั้งโดยไม่กล่าวโทษ เช่นเดียวกับการทบทวนหลังเหตุการณ์ และติดตามการดำเนินการจนปิด (ดูหัวข้อ 4.2 “ตัวชี้วัดการทบทวนหลังเหตุการณ์และการเรียนรู้”)
รักษาแผนให้มีชีวิต
10. เก็บแผนและคู่มือปฏิบัติในการควบคุมเวอร์ชัน และเชื่อมกับการเปลี่ยนแปลง เมื่อบันทึกการเปลี่ยนแปลงเปลี่ยนสถาปัตยกรรม คลังข้อมูล หรือผู้จัดหา ให้กำหนดว่าต้องทบทวนแผนที่เป็นเจ้าของในงานชิ้นเดียวกัน (ดูหัวข้อ 4.3 “ตัวชี้วัดการสนับสนุนการเปลี่ยนแปลง”) วัดความเป็นปัจจุบันของแผนเทียบกับการเปลี่ยนแปลงสำคัญล่าสุด ไม่ใช่แค่เทียบกับปฏิทิน แผนที่ทบทวนทุกไตรมาสแต่ละเลยการย้ายระบบเมื่อเดือนที่แล้วเป็นปัจจุบันแต่ในนาม
11. รักษาแผนที่การพึ่งพาให้ซื่อตรง ลำดับการฟื้นคืนขึ้นกับบริการร่วมเช่นการระบุตัวตน การแปลงชื่อ และที่เก็บความลับ กระทบยอดแผนที่กับบันทึกการกำหนดค่าและแก้ช่องว่างที่การซ้อมเผย (ดูหัวข้อ 7.4 “ตัวชี้วัดคุณภาพการกำหนดค่าและ CMDB”)
12. รวมผู้จัดหา และหมุนเวียนหน้าที่การซ้อม ขอหลักฐานการทดสอบของผู้จัดหารายสำคัญแต่ละราย และตกลงวิธีซ้อมขั้นตอนร่วม (ดูหัวข้อ 8.4 “ตัวชี้วัดผู้ให้บริการและสัญญา”) การซ้อมใช้เวลา จึงควรแบ่งหน้าที่ข้ามการหมุนเวรและนับเป็นภาระการปฏิบัติการ (ดูหัวข้อ 5.7 “ตัวชี้วัดงานซ้ำซากและเวรเรียกฉุกเฉิน”)
ช่องทางการบิดเบือนและมาตรการป้องกัน
ตัวเลขความต่อเนื่องทำให้ดูดีได้ง่ายเพราะมีคนน้อยที่ดูการซ้อมอย่างละเอียด และการทดสอบจริงเกิดไม่บ่อย ตารางจับคู่แต่ละตัวชี้วัดกับวิธีที่ถูกบิดเบือนและการตรวจที่จับได้ การจับคู่เป็นไปตามรูปแบบที่กำหนดในหัวข้อ 1.2 (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”)
| ตัวชี้วัด | ถูกบิดเบือนได้อย่างไร | ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่ |
|---|---|---|
| อัตราการบรรลุ RTO | เลือกชุดข้อมูลทดสอบเล็ก สถานการณ์ง่าย หรือสคริปต์ที่ซ้อมแล้ว เริ่มนาฬิกาช้าหลังทีมเริ่มแล้ว ผ่อนการตรวจสุขภาพให้ “ฟื้นคืน” มาถึงเร็วขึ้น ตั้ง RTO ใจกว้างเพื่อให้ทุกการทดสอบผ่าน | บันทึกขนาดข้อมูล ความไม่คาดฝันของสถานการณ์ และนิยามการตรวจสุขภาพพร้อมแต่ละผล เปรียบเทียบ RTO กับ BIA แสดงการซ้อมแต่ละครั้งเป็นแถวของตัวเอง รวมถึงที่ล้มเหลว |
| อัตราการบรรลุ RPO | วัดการสูญหายเฉพาะตารางหลักไม่ใช่ทุกสถานะ ทดสอบเรพลิกาที่ซิงก์เพราะไม่มีโหลดรันอยู่ นิยาม RPO ใหม่หลังพลาดผล | ตรวจสอบข้อมูลสูญหายเทียบกับบันทึกการเขียนข้ามทุกคลังข้อมูลในขอบเขต ทดสอบภายใต้โหลดการเขียนที่สมจริง เก็บบันทึกการเปลี่ยนแปลงเป้าหมายพร้อมเหตุผล |
| ความครอบคลุมการฟื้นคืนที่ทดสอบ | นับการอภิปรายบนโต๊ะเป็นการทดสอบ ทดสอบบริการเล็กน้อยเพื่อเพิ่มเปอร์เซ็นต์ ลดรายการในขอบเขตด้วยการจัดบริการไปชั้นต่ำกว่า | กำหนดให้การนับชั้น 1 ต้องเป็นการทดสอบแบบลงมือ รายงานความครอบคลุมถ่วงน้ำหนักตามความสำคัญของบริการ ตรวจสอบการเปลี่ยนชั้นเทียบกับ BIA |
| จำนวนวันนับจากการทดสอบการฟื้นคืนที่สำเร็จล่าสุด | รันการทดสอบง่าย ๆ ซ้ำเพื่อรีเซ็ตอายุ ติดป้ายการทดสอบบางส่วนว่าผ่าน รีเซ็ตวันที่หลังการทบทวนบนกระดาษ | แสดงขอบเขตของการทดสอบที่ผ่านล่าสุด แสดงอายุที่เก่าที่สุดและบริการที่ไม่เคยทดสอบ กำหนดให้บรรลุทั้ง RTO และ RPO |
| อัตราความสำเร็จของการกู้คืนจากข้อมูลสำรอง | รายงานความสำเร็จของงานสำรองเป็นความสำเร็จของการกู้คืน ทดสอบเฉพาะข้อมูลสำรองที่รู้ว่าดี ตรวจสอบด้วยการตรวจที่ล้มเหลวไม่ได้ | ติดตามการกู้คืนของข้อมูลสำรองที่สุ่มเลือก กำหนดให้มีผลการตรวจสอบข้อมูล ทบทวนการตรวจนั้นเองในทุกการตรวจสอบ |
| อัตราการปิดข้อค้นพบจากการซ้อม | ปิดข้อค้นพบโดยไม่แก้ ลดความรุนแรงเพื่อผ่อนวันครบกำหนด แยกข้อค้นพบหนึ่งเป็นหลายข้อง่าย ๆ บันทึกข้อค้นพบน้อยตั้งแต่แรก | ตรวจสอบการปิดด้วยการทดสอบซ้ำ รายงานข้อค้นพบต่อการซ้อมข้างอัตราการปิด เพราะจำนวนที่ลดลงอาจหมายถึงการซ้อมที่อ่อนลง ทบทวนการเปลี่ยนความรุนแรง |
| ความเป็นปัจจุบันของแผน | อัปเดตวันทบทวนโดยไม่อ่านแผน ทำเครื่องหมายการเปลี่ยนแปลงว่าไม่สำคัญ ใส่ข้อความทั่วไปในแผนที่ไม่มีวันล้าสมัย | สุ่มแผนและไล่ดูกับผู้ที่ไม่ได้เขียน เปรียบเทียบอัตราธงการเปลี่ยนแปลงสำคัญกับประวัติการเปลี่ยนสถาปัตยกรรม เชื่อมความเป็นปัจจุบันกับผลการทดสอบ |
การอ่านค่าที่ดีแสดงการทดสอบไม่กี่ครั้งต่อไตรมาสพร้อมความแปรผันที่ซื่อตรง: บางครั้งผ่านในความพยายามแรก บางครั้งล้มเหลวและทำซ้ำ และข้อค้นพบจากแต่ละครั้งปรากฏในแบ็กล็อกและปิดภายในเวลาที่ระบุ คะแนนสมบูรณ์แบบปีแล้วปีเล่าเป็นเหตุผลให้ถามว่าการซ้อมยากเพียงใด
ข้อแลกเปลี่ยน: ข้อดีและข้อเสีย
| แนวทาง | จุดแข็ง | จุดอ่อน |
|---|---|---|
| การทดสอบกู้คืนอัตโนมัติขนาดเล็กที่ทำบ่อย | หลักฐานต่อเนื่องที่ถูก จับความล้มเหลวของข้อมูลสำรองที่เงียบได้เร็ว | ไม่ทดสอบการประสานงาน ผู้คน หรือการฟื้นคืนเต็มขนาด |
| การซ้อมสลับสำรองเต็มขนาดรายปี | สมจริง ซ้อมผู้คน ผู้จัดหา และการพึ่งพาด้วยกัน | แพงและหายาก ทำซ้ำหลังแก้ไขยาก มีความเสี่ยงถ้ารันบนระบบจริง |
| การซ้อมบนโต๊ะ | ต้นทุนต่ำ พบช่องว่างในบทบาทและการตัดสินใจ เหมาะสำหรับการฝึกอบรม | ไม่พิสูจน์ว่าเทคโนโลยีใช้ได้ รันได้ง่ายโดยไม่เรียนรู้อะไรเลย |
| วันซ้อมรับมือบนระบบจริงด้วยการก่อความล้มเหลว | สมจริงสูงสุด ทดสอบการเฝ้าติดตามและคู่มือปฏิบัติตามที่เป็น | ต้องมีมาตรการป้องกันที่เติบโตและการสนับสนุนจากผู้นำ อาจเกิดอันตรายต่อลูกค้าถ้าทำอย่างไม่ระวัง |
| เป้าหมายแบบจัดชั้น | ใช้แรงที่ที่ความเสี่ยงอยู่ | การกำหนดชั้นอาจเลื่อนและต้องมีเจ้าของ |
คำตอบที่ปฏิบัติได้คือโปรแกรมแบบเป็นชั้น: การตรวจกู้คืนอัตโนมัติราคาถูกตลอดเวลา การซ้อมแบบลงมือสำหรับบริการชั้น 1 แต่ละรายการตามช่วงคงที่ การซ้อมที่ใหญ่กว่าในรอบที่ยาวกว่า และการซ้อมบนโต๊ะสำหรับการตัดสินใจและการสื่อสาร ระบุช่วงเวลาเพื่อให้ผู้อ่านตัดสินได้ว่าหลักฐานล่าสุดเพียงใด
คำถามสำหรับอภิปรายกับทีม
1. เรากู้คืนบริการที่สำคัญที่สุดของเราครั้งสุดท้ายเมื่อใด และเราพิสูจน์อะไรกันแน่ ขอวันที่ ขนาดข้อมูล สถานการณ์ และผล แล้วเขียนบนกระดาน ผู้อำนวยความสะดวกควรอย่าเพิ่งตัดสินและมุ่งที่ช่องว่างระหว่างข้ออ้างกับหลักฐาน จบด้วยการตกลงการทดสอบหนึ่งอย่างที่จะปิดช่องว่างที่ใหญ่ที่สุด
2. ใครเลือก RTO และ RPO ของเรา และธุรกิจจะยังเลือกมันในวันนี้หรือไม่ สืบเป้าหมายแต่ละอย่างกลับไปที่การวิเคราะห์ผลกระทบทางธุรกิจหรือการตัดสินใจ ถามว่าสถาปัตยกรรมบรรลุเป้าหมายบนกระดาษได้หรือไม่ และเคยระบุต้นทุนของการบรรลุหรือไม่ ตกลงว่าใครจะยืนยันเป้าหมายของบริการสำคัญกับธุรกิจและเมื่อใด
3. การซ้อมที่ล้มเหลวจะทำให้เราเสียชื่อเสียงเท่าใด และนั่นกำหนดความยากของการซ้อมของเราหรือไม่ คำถามนี้เผยแรงกดดันที่ทำให้การซ้อมอ่อนโยน ถามว่าการทดสอบที่ล้มเหลวถือเป็นความล้มเหลวของทีมหรือความสำเร็จของการซ้อม
4. ข้อค้นพบใดจากการซ้อมครั้งล่าสุดที่ยังเปิดอยู่ และเพราะเหตุใด อ่านรายการออกเสียงพร้อมอายุและเจ้าของ สำหรับแต่ละรายการที่เกินกำหนด ถามว่าอะไรขวางอยู่: งานที่แข่งกัน ความเป็นเจ้าของที่ไม่ชัด ต้นทุน หรือความเชื่อว่าความเสี่ยงยอมรับได้ เป้าหมายคือไม่มีข้อค้นพบใดอยู่ในสถานะที่ไม่มีเจ้าของ
5. แผนของเราสมมติอะไรที่ไม่เป็นจริงอีกต่อไป เลือกแผนหนึ่งฉบับและอ่านกับผู้ที่ไม่ได้เขียน มองหาเครื่องมือที่เลิกใช้ บัญชีที่เปลี่ยนชื่อ และผู้จัดหาที่จากไป ถามว่าแผนจะถูกอัปเดตอย่างไรเมื่อบริการเปลี่ยน และใครสังเกตเมื่อไม่ได้อัปเดต เชื่อมคำตอบกับกระบวนการเปลี่ยนแปลง
6. การพึ่งพาใดจะหยุดทุกอย่าง และเราเคยทดสอบโดยไม่มีมันหรือไม่ บริการร่วมเช่นการระบุตัวตน การแปลงชื่อ ความลับ และตัวระบบเพจเองเป็นจุดล้มเหลวเดี่ยวที่พบบ่อย ขอให้ทีมระบุชื่อและอธิบายครั้งสุดท้ายที่แต่ละอย่างใช้ไม่ได้โดยตั้งใจ
สี่มุมมอง
ทีมผลิตภัณฑ์และการส่งมอบ
ทีมผลิตภัณฑ์เป็นเจ้าของการออกแบบที่ทำให้การฟื้นคืนเป็นไปได้ จึงพบความต่อเนื่องเป็นส่วนหนึ่งของนิยามของความเสร็จสำหรับบริการสำคัญ: เส้นทางสำรองข้อมูล ขั้นตอนการกู้คืน และคู่มือปฏิบัติที่ใช้ได้ ควรรันการซ้อมกู้คืนตามจังหวะของตนเอง เก็บโค้ดการฟื้นคืนไว้กับบริการ และถือการซ้อมที่ล้มเหลวเป็นรายการแบ็กล็อก
ทีมบริการและปฏิบัติการ
ทีมปฏิบัติการรันการซ้อมส่วนใหญ่และแบกภาระการเตรียม ควรดูแลปฏิทินการซ้อม บันทึกเส้นเวลาขณะที่การซ้อมดำเนินไป และเขียนข้อค้นพบในวันเดียวกัน ผลอธิบายบริการและแผน และไม่มีใครถูกจัดอันดับตามความเร็วที่บุคคลฟื้นคืนในการซ้อม
ภาวะผู้นำและการกำกับดูแล
ผู้นำกำหนดเป้าหมายร่วมกับธุรกิจและตัดสินใจว่าการฟื้นคืนคุ้มที่จะซื้อเท่าใด ควรขอดูผลที่แสดงให้เห็นล่าสุดข้างเป้าหมายแต่ละอย่าง อายุของหลักฐาน และข้อค้นพบที่เปิดอยู่ และควรหลีกเลี่ยงการให้รางวัลแก่แผ่นงานที่สะอาด หน่วยงานกำกับดูแลควรคาดหวังชุดตัวชี้วัดความต่อเนื่องที่เล็กและคงที่ เชื่อมกับทะเบียนความเสี่ยงและการรายงานตามข้อกำหนดเมื่อมี (ดูหัวข้อ 8.2 “ตัวชี้วัดความเสี่ยงและการควบคุม” และหัวข้อ 8.5 “การรายงานตามข้อกำหนดและต่อภาครัฐ”)
ลูกค้าและผู้ใช้
ลูกค้าแทบไม่เห็นความต่อเนื่องจนกว่ามันจะสำคัญ และเมื่อนั้นพวกเขาตัดสินทั้งหมดจากผลลัพธ์: พวกเขาขาดบริการนานเท่าใดและข้อมูลของพวกเขารอดหรือไม่ พวกเขาได้ประโยชน์จากถ้อยแถลงที่ชัดเจนว่าสัญญาอะไรในถ้อยคำที่เข้าใจได้ และจากการสื่อสารที่ซื่อตรงเมื่อเหตุขัดข้องเรียกใช้แผน เมื่อสัญญารวมข้อผูกพันการฟื้นคืน ให้แบ่งปันหลักฐานการซ้อมเมื่อมีการขอ (ดูหัวข้อ 5.1 “ตัวชี้วัด SLA, OLA และ XLA”)
ในทางปฏิบัติ: ตัวอย่าง ITIL แบบคล่องตัว
แผนกไอทีของโรงพยาบาลระดับภูมิภาคดำเนินระบบจัดตารางผู้ป่วย คลังภาพทางการแพทย์ และบริการข้อความของพนักงาน ทีมผลิตภัณฑ์แปดคนดูแลการจัดตาราง และทีมปฏิบัติการดำเนินแพลตฟอร์ม ตัวเลขทั้งหมดในตัวอย่างนี้เป็นตัวอย่างประกอบ
ทะเบียนของแผนกระบุการจัดตารางเป็นชั้น 1 ที่มี RTO 2 ชั่วโมงและ RPO 15 นาที รายงานรายไตรมาสแสดง “อัตราการบรรลุ RTO: 100 เปอร์เซ็นต์จาก 4 การซ้อม” และ “ความครอบคลุมการฟื้นคืนที่ทดสอบ: 100 เปอร์เซ็นต์” หัวหน้าฝ่ายปฏิบัติการคนใหม่อ่านรายงานการซ้อมที่อยู่เบื้องหลังตัวเลข สามในสี่การซ้อมเป็นการซ้อมบนโต๊ะ และการกู้คืนแบบลงมือเพียงครั้งเดียวใช้สำเนาฐานข้อมูลที่มีข้อมูลประมาณหนึ่งในสิบของระบบจริง ไม่มีใครกู้คืนข้อมูลสำรองไปยังสภาพแวดล้อมที่สะอาดมา 14 เดือน
ทีมตัดสินใจเปลี่ยนสิ่งที่วัดและทดสอบ นิยามความครอบคลุมการฟื้นคืนที่ทดสอบใหม่ให้นับเฉพาะการทดสอบแบบลงมือ ซึ่งทำให้ตัวเลขลดเหลือ 33 เปอร์เซ็นต์ข้ามสามบริการชั้น 1 กำหนดการกู้คืนขนาดระบบจริงสำหรับการจัดตาราง พร้อมการตรวจสอบอัตโนมัติของจำนวนแถวและธุรกรรมการจองสังเคราะห์ การรันใช้เวลา 3 ชั่วโมง 40 นาทีเทียบกับ RTO 2 ชั่วโมง และข้อมูลที่กู้คืนตามหลังจุดล้มเหลว 40 นาทีเทียบกับ RPO 15 นาที เพราะการส่งบันทึกถูกหยุดระหว่างการย้ายระบบและไม่เคยกลับมาทำงานต่อ วันซ้อมรับมือสร้าง 9 ข้อค้นพบ: ความรุนแรงสูง 2 ปานกลาง 5 และต่ำ 2
การตัดสินใจที่บันทึกในบันทึกคือถือการพลาดเป็นผลที่มีค่าที่สุดของปี ทีมเปิดงานเพื่อกลับมาส่งบันทึกต่อพร้อมการแจ้งเตือนความล่าช้า ทำการกู้คืนแบบขนาน และย้ายหนึ่งปริมาณข้อมูลไปยังที่เก็บที่เร็วกว่า RTO คงที่ที่ 2 ชั่วโมง และทีมเพิ่มทางสำรองด้วยมือที่จัดทำเอกสารสำหรับการจัดตาราง อัตราการปิดข้อค้นพบใน 60 วันแรกคือ 7 จาก 9 ตรงเวลา โดยอีกสองรายการเจ้าของที่ระบุชื่อยอมรับเป็นความเสี่ยง
ความเสี่ยงเรื่องการบิดเบือนที่จับได้ที่นี่ละเอียดอ่อน ไม่มีใครปลอมตัวเลข: จำนวนการซ้อมบนโต๊ะที่มากและชุดข้อมูลทดสอบเล็กทำให้รายงานเป็นสีเขียว มาตรการป้องกันที่ได้ผลคือบันทึกขนาดข้อมูลและประเภทการซ้อมพร้อมแต่ละผล และแนวปฏิบัติอ่านรายงานการซ้อมเบื้องหลัง ในรายงานครั้งถัดไป ทีมแสดงการซ้อมแต่ละครั้งเป็นแถวของตัวเอง รวมการรันที่ล้มเหลว
มุมมองตามประเภทองค์กร
สตาร์ทอัป มักมีสภาพแวดล้อมระบบจริงเดียว ทีมเล็ก และผู้ให้บริการคลาวด์แบบจัดการ ตัวชี้วัดที่มีค่าที่สุดคือแบบง่ายที่สุด: กู้คืนฐานข้อมูลระบบจริงจากข้อมูลสำรองไปยังสภาพแวดล้อมที่สะอาดทุกเดือน จับเวลา และตรวจสอบผล เขียน RTO และ RPO ไว้ในหนึ่งหน้า
ธุรกิจขนาดเล็ก ไอทีมักจ้างภายนอกหรือดำเนินการโดยหนึ่งถึงสองคนบนบริการที่โฮสต์ ถามผู้จัดหาเป็นลายลักษณ์อักษรว่ามีข้อผูกพันการฟื้นคืนอะไรและแสดงหลักฐานอะไรได้ และทดสอบการกู้คืนข้อมูลของท่านเองหนึ่งครั้งต่อไตรมาส เก็บแผนหนึ่งหน้าไว้ในที่ที่อ่านได้เมื่อระบบหลักล่ม
องค์กรขนาดใหญ่ บริการ ผู้จัดหา และแพลตฟอร์มร่วมจำนวนมากทำให้การจัดชั้นและแผนที่การพึ่งพาเป็นสิ่งจำเป็น ลงทุนในทะเบียนบริการกลางที่มีเป้าหมาย ปฏิทินการซ้อม การตรวจสอบการกู้คืนอัตโนมัติ และการรายงานที่สม่ำเสมอเพื่อให้ผลเปรียบเทียบข้ามทีมได้
ภาครัฐและหน่วยงานสาธารณะ หน้าที่ด้านความต่อเนื่องอาจเกิดจากกฎหมาย การตรวจสอบ หรือนโยบาย และบริการสาธารณะอาจต้องทำงานต่อไประหว่างเหตุฉุกเฉิน หลักฐานการทดสอบมักถูกทบทวนจากภายนอก จึงเก็บรายงานการซ้อม ข้อค้นพบ และบันทึกการปิดในรูปแบบที่ผู้ตรวจสอบอ่านได้ การจัดซื้ออาจล็อกการจัดการฟื้นคืน จึงควรใส่สิทธิ์การซ้อมและหลักฐานไว้ในสัญญา (ดูหัวข้อ 8.5 “การรายงานตามข้อกำหนดและต่อภาครัฐ”)
กรณีทางธุรกิจ: แรงจูงใจ ROI และ TCO
เหตุผลในการลงทุนคือต้นทุนของเหตุล่มรุนแรงที่ยาวนานกว่าที่ธุรกิจทนได้ การสูญเสียข้อมูลที่สร้างใหม่ไม่ได้ และหน้าที่ต่อลูกค้า หน่วยงานกำกับดูแล และผู้รับประกันที่ขอหลักฐานความพร้อม งานความต่อเนื่องคือการประกัน ดังนั้นผลตอบแทนคือความสูญเสียที่หลีกเลี่ยงได้และความมั่นใจของผู้ตัดสินใจ และแสดงเป็นตัวเลขได้ยากโดยไม่คิดตัวเลขขึ้นมา อธิบายผ่านรูปแบบที่สังเกตได้: ช่องว่างระหว่างเวลาฟื้นคืนที่ระบุกับที่แสดงให้เห็น จำนวนข้อค้นพบความรุนแรงสูงที่พบในการซ้อมแทนที่จะพบในเหตุการณ์จริง และเวลาตอบคำขอหลักฐานจากลูกค้าหรือผู้ตรวจสอบ
ต้นทุนมีสามกลุ่ม: ความซ้ำซ้อนและเครื่องมือที่เป้าหมายต้องการ เวลาของบุคลากรในการวางแผน รัน และทบทวนการซ้อม และแรงในการรักษาแผนและแผนที่การพึ่งพาให้เป็นปัจจุบัน
ต้นทุนรวมของการเป็นเจ้าของถูกครอบงำโดยบุคลากรและชั้นที่เข้มกว่า การย้ายจาก RTO 24 ชั่วโมงเป็น 2 ชั่วโมงเปลี่ยนการออกแบบและใบแจ้งหนี้ จึงควรทำข้อแลกเปลี่ยนนั้นให้ชัดกับธุรกิจ การทดสอบอัตโนมัติขนาดเล็กที่ทำบ่อยมักถูกกว่าเหตุการณ์ใหญ่รายปีครั้งเดียว เพราะข้อบกพร่องปรากฏในขณะที่แก้ได้ถูก
รูปแบบที่ไม่ควรทำและข้อควรระวัง
- แผนบนชั้น เอกสารนับเป็นการเตรียมตัวและไม่มีใครเคยลอง แทนที่จะเป็นเช่นนั้น ให้รายงานวันที่และผลของการทดสอบแบบลงมือล่าสุดข้างทุกเป้าหมาย
- ความสำเร็จของการสำรองข้อมูลเป็นความสำเร็จของการกู้คืน งานรายงานสีเขียวขณะที่ข้อมูลกู้คืนไม่ได้ แทนที่จะเป็นเช่นนั้น ให้ทดสอบการกู้คืนสม่ำเสมอและตรวจสอบข้อมูลก่อนนับว่าสำเร็จ
- การแสดงที่ซ้อมแล้ว การซ้อมเขียนสคริปต์และรันโดยผู้เขียนแผน แทนที่จะเป็นเช่นนั้น ให้เพิ่มความไม่คาดฝันทีละน้อย
- เป้าหมายเดียวสำหรับทุกอย่าง ทุกบริการมี RTO สี่ชั่วโมงเพราะแม่แบบบอกเช่นนั้น แทนที่จะเป็นเช่นนั้น ให้จัดชั้นบริการจากการวิเคราะห์ผลกระทบทางธุรกิจและตั้งเป้าหมายที่เหมาะสม
- ข้อค้นพบที่ไม่เคยปิด รายงานการซ้อมระบุช่องว่างและแบ็กล็อกไม่เคยเห็น แทนที่จะเป็นเช่นนั้น ให้แต่ละข้อค้นพบมีเจ้าของและวันครบกำหนด และตรวจสอบการปิดด้วยการทดสอบซ้ำ
- ลงโทษการทดสอบที่ล้มเหลว ทีมที่ถูกกล่าวโทษเรื่อง RTO ที่พลาดจะเลิกรันการทดสอบที่ยาก แทนที่จะเป็นเช่นนั้น ให้ตกลงล่วงหน้าว่าการซ้อมที่ล้มเหลวพร้อมข้อค้นพบที่ดีคือผลลัพธ์ที่ดี และทบทวนโดยไม่กล่าวโทษ
- แผนล้าสมัยหลังการเปลี่ยนแปลงที่รวดเร็ว ปฏิทินขับเคลื่อนการทบทวนและการเปลี่ยนสถาปัตยกรรมหลุดรอด แทนที่จะเป็นเช่นนั้น ให้เชื่อมการทบทวนแผนกับบันทึกการเปลี่ยนแปลงสำคัญและวัดความเป็นปัจจุบันของแผนเทียบกับมัน
แบบจำลองวุฒิภาวะ
| มิติ | 1 เริ่มต้น | 2 พัฒนา | 3 ทำให้เป็นมาตรฐาน | 4 บริหารจัดการ | 5 ประสานจัดการ |
|---|---|---|---|---|---|
| เป้าหมายและชั้น | RTO และ RPO ไม่ได้เขียนหรือคัดลอกจากแม่แบบ | เขียนเป้าหมายสำหรับบางบริการหลัก | ชั้นและเป้าหมายมาจากการวิเคราะห์ผลกระทบทางธุรกิจและอยู่ในทะเบียนบริการ | ทบทวนเป้าหมายเทียบกับผลที่แสดงให้เห็นและสถาปัตยกรรม | ตกลงเป้าหมายร่วมกับธุรกิจและผู้จัดหา และปรับเมื่อบริการเปลี่ยน |
| การทดสอบและหลักฐาน | ไม่เคยทดสอบการฟื้นคืน หรือทดสอบครั้งเดียวหลังเหตุขัดข้อง | บางทีมทดสอบการกู้คืนเฉพาะกิจ ผลเก็บในบันทึกส่วนตัว | ช่วงทดสอบแบบจัดชั้นพร้อมขอบเขต เส้นเวลา และผลที่บันทึก | ผลมีแนวโน้ม โดยรายงานการซ้อมบนโต๊ะ การซ้อมกู้คืน และวันซ้อมรับมือแยกกัน | การซ้อมข้ามทีมและผู้จัดหาพร้อมความไม่คาดฝัน กำหนดจากความเสี่ยง |
| ข้อค้นพบและการเรียนรู้ | สังเกตช่องว่างอย่างไม่เป็นทางการ | ระบุข้อค้นพบหลังบางการซ้อม | ทุกข้อค้นพบมีเจ้าของ ความรุนแรง และวันครบกำหนด | ทบทวนอัตราและอายุของการปิด โดยการทดสอบซ้ำยืนยันการปิด | ข้อค้นพบป้อนแพลตฟอร์มร่วม สัญญาผู้จัดหา และมาตรฐานการออกแบบ |
| ความเป็นปัจจุบันของแผน | เขียนแผนครั้งเดียว | อัปเดตแผนหลังเหตุขัดข้อง | แผนอยู่ในการควบคุมเวอร์ชันพร้อมช่วงทบทวน | เชื่อมการทบทวนกับการเปลี่ยนแปลงสำคัญและวัดผล | ทดสอบแผนและคู่มือปฏิบัติเป็นโค้ดและสร้างจากนิยามบริการเมื่อทำได้ |
รายการตรวจสอบ
- บริการชั้น 1 แต่ละรายการมี RTO และ RPO ที่เขียนไว้ซึ่งมาจากการวิเคราะห์ผลกระทบทางธุรกิจ
- ทะเบียนบริการแสดงชั้น เป้าหมาย และช่วงทดสอบของแต่ละบริการ
- เขียนนาฬิกา RTO และ RPO การตรวจสุขภาพ และข้อยกเว้นไว้ (ดูหัวข้อ 1.5 “แหล่งข้อมูลและการติดตั้งเครื่องมือวัด”)
- รายงานการทดสอบการฟื้นคืนแบบลงมือ การซ้อมบนโต๊ะ และวันซ้อมรับมือเป็นประเภทแยกกัน
- การทดสอบการฟื้นคืนทุกครั้งบันทึกขนาดข้อมูล สถานการณ์ ระดับความไม่คาดฝัน และเวลากู้คืนและข้อมูลสูญหายที่วัดได้
- ทดสอบการกู้คืนจากข้อมูลสำรองโดยอัตโนมัติ และการตรวจสอบข้อมูลเป็นตัวตัดสินความสำเร็จ
- แต่ละข้อค้นพบจากการซ้อมมีเจ้าของ ความรุนแรง วันครบกำหนด และที่ในแบ็กล็อก
- เชื่อมการทบทวนแผนกับบันทึกการเปลี่ยนแปลงสำคัญ และมองเห็นแผนที่ไม่ได้ทบทวนที่เก่าที่สุด
- แผนที่การพึ่งพารวมบริการร่วม และมีอย่างน้อยหนึ่งสถานการณ์ที่เอาหนึ่งในนั้นออก
- ตัวชี้วัดแต่ละตัวในหัวข้อนี้มีมาตรการป้องกันที่ระบุชื่อและเจ้าของในทะเบียนตัวชี้วัด (ดูหัวข้อ 1.4 “การกำกับดูแลและความเป็นเจ้าของตัวชี้วัด”)
- หน้าที่การซ้อมหมุนเวียน และเวลาที่ใช้นับเป็นภาระการปฏิบัติการ
พรอมต์ AI
ออกแบบการทดสอบการฟื้นคืนและตัวชี้วัดที่มาด้วยกัน
ฉันต้องการทดสอบการฟื้นคืนของ [ชื่อบริการ] ซึ่งเป็นบริการ [ชั้น] ที่มี RTO ระบุ
[RTO] และ RPO [RPO] องค์ประกอบหลักคือ [รายการ: คลังข้อมูล คิว
การประมวลผล บริการร่วม] และผู้จัดหาของเราคือ [รายการ] ร่างแผนทดสอบที่มี
สถานการณ์สมจริง เหตุการณ์ที่เริ่มนาฬิกา การตรวจสุขภาพที่หยุดนาฬิกา วิธีวัดข้อมูลสูญหาย
เทียบกับ RPO ขนาดข้อมูลที่ใช้ สิ่งที่ต้องบันทึก และมาตรการป้องกันเพื่อไม่ให้เกิด
อันตรายต่อระบบจริง อย่าคิดเวลาเทียบเคียงหรืออ้างว่าเป้าหมายใดทำได้ ระบุข้อสมมติของคุณ
และคำถามที่ฉันควรตอบเพื่อทำแผนให้เสร็จ
ทบทวนรายงานการซ้อมเพื่อหาหลักฐานที่ทำให้ดูดี
นี่คือสรุปการซ้อมการฟื้นคืน [จำนวน] ครั้งล่าสุดของเรา: [วางสำหรับแต่ละครั้ง:
ประเภท วันที่ ขอบเขต ขนาดข้อมูล เวลากู้คืน ข้อมูลสูญหาย จำนวนข้อค้นพบ] เป้าหมายของเรา
คือ [RTO และ RPO ต่อชั้น] ระบุจุดที่ผลที่รายงานอาจประเมินความสามารถ
ในการฟื้นคืนจริงสูงเกินไป เช่นชุดข้อมูลเล็ก สถานการณ์ที่เขียนสคริปต์ ความครอบคลุม
เฉพาะการซ้อมบนโต๊ะ หรือการตรวจสุขภาพที่หลวม เสนอข้อมูลเพิ่มเติมที่ควรบันทึกและ
ตัวชี้วัดป้องกันที่ควรจับคู่กับแต่ละผล อย่าคิดค่าเทียบเคียงหรือสันนิษฐานข้อเท็จจริงที่
ฉันไม่ได้ให้ ระบุข้อสมมติของคุณ
เปลี่ยนบันทึกวันซ้อมรับมือเป็นข้อค้นพบและรายการแบ็กล็อก
นี่คือบันทึกดิบจากวันซ้อมรับมือของ [บริการ]: [วางบันทึกและเส้นเวลา]
ดึงแต่ละช่องว่างระหว่างแผนกับสิ่งที่เกิดขึ้นเป็นข้อค้นพบแยกกันพร้อมชื่อสั้น
คำอธิบาย ความรุนแรงที่เสนอโดยใช้สเกลนี้ [สเกลความรุนแรง] บทบาทเจ้าของที่เป็นไปได้
(ไม่ใช่บุคคลที่ระบุชื่อ) และวิธีที่เราตรวจสอบการแก้ไขได้ จัดกลุ่มข้อค้นพบที่อาจมีสาเหตุรากเหง้าร่วมกัน
อย่าคิดเหตุการณ์ที่ไม่มีในบันทึก ระบุข้อสมมติของคุณและสิ่งที่ต้องชี้แจง
ตรวจแผนเรื่องความเป็นปัจจุบันเทียบกับการเปลี่ยนแปลงล่าสุด
นี่คือแผนความต่อเนื่องของ [บริการ] ที่ทบทวนครั้งสุดท้ายเมื่อ [วันที่]: [วางแผน
หรือโครงร่าง] นี่คือการเปลี่ยนแปลงสำคัญตั้งแต่นั้น: [รายการการเปลี่ยนแปลง
สถาปัตยกรรม คลังข้อมูล การพึ่งพา ผู้จัดหา และเครื่องมือ] ระบุ
ขั้นตอน รายชื่อติดต่อ เครื่องมือ และการพึ่งพาในแผนที่การเปลี่ยนแปลงอาจทำให้ผิด
และระบุคำถามที่ผู้ทบทวนควรถาม อย่าคิดรายละเอียดเกี่ยวกับระบบของเราขึ้นเอง
ระบุข้อสมมติของคุณ
ทักษะ AI
- ทักษะ Agile ITIL Metrics: ใช้เพื่อหาหัวข้อที่นิยามตัวชี้วัดความต่อเนื่อง การฟื้นคืน หรือการซ้อม และมาตรการป้องกันที่ควรจับคู่
- ทักษะผู้ดูแล Agile ITIL Metrics: ใช้เพื่อตรวจว่าตัวชี้วัดความต่อเนื่องที่แก้ไขแล้วยังระบุนาฬิกา ข้อยกเว้น และช่องทางการบิดเบือน
ข้อสรุปสำคัญ
- เป้าหมายการฟื้นคืนคือคำมั่น และมีเพียงการซ้อมที่จับเวลาและสมจริงเท่านั้นที่แสดงว่าทำได้หรือไม่
- รายงานผลที่แสดงให้เห็นล่าสุดและอายุของมันข้าง RTO และ RPO แต่ละอย่าง และแสดงการซ้อมแต่ละครั้งเป็นแถวของตัวเอง
- ทดสอบการกู้คืน ไม่ใช่การสำรองข้อมูล: การกู้คืนนับก็ต่อเมื่อข้อมูลได้รับการตรวจสอบว่าใช้งานได้
- ผลผลิตของการซ้อมคือรายการข้อค้นพบที่ปิดแล้ว ดังนั้นให้ติดตามอายุและยืนยันการปิดด้วยการทดสอบซ้ำ
- เก็บแผนในการควบคุมเวอร์ชันและผูกการทบทวนกับการเปลี่ยนแปลงสำคัญ ไม่ใช่แค่ปฏิทิน
- วัดบริการและแผน ไม่ใช่บุคคล และทำให้การซ้อมที่ล้มเหลวพร้อมข้อค้นพบที่ดีเป็นผลลัพธ์ที่ปลอดภัยและได้รับความเคารพ
เอกสารอ้างอิงและแหล่งอ่านเพิ่มเติม
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- ISO 22301:2019, Security and resilience: Business continuity management systems: Requirements, International Organization for Standardization.
- ISO 22313:2020, Security and resilience: Business continuity management systems: Guidance on the use of ISO 22301, International Organization for Standardization.
- Rosenthal, C., and Jones, N., Chaos Engineering: System Resiliency in Practice, O'Reilly Media, 2020.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Business continuity planning.
- Wikipedia, Recovery time objective.
- Wikipedia, Recovery point objective.
- Wikipedia, Business impact analysis.
- Wikipedia, ISO 22301.
- Wikipedia, Backup.
- Wikipedia, Chaos engineering.
- Wikipedia, Site reliability engineering.
- Wikipedia, Infrastructure as code.