ความล้มเหลวของการเปลี่ยนแปลงและการทำซ้ำ
นิยามคำว่า “การเปลี่ยนแปลงที่ล้มเหลว” หนึ่งครั้งเป็นลายลักษณ์อักษร เชื่อมโยงทุกความล้มเหลวกลับไปยังการเปลี่ยนแปลงที่เป็นสาเหตุ และอ่านความล้มเหลวและการทำซ้ำควบคู่กับความเร็ว เพื่อให้ตัวเลขที่ต่ำลงหมายถึงการเปลี่ยนแปลงที่ปลอดภัยขึ้น ไม่ใช่เพียงรายงานที่น้อยลง
ภาพรวมและแรงจูงใจ
ทุกการเปลี่ยนแปลงต่อบริการที่ใช้งานจริงมีโอกาสทำให้สิ่งต่าง ๆ แย่ลงอยู่บ้าง คำถามเชิงปฏิบัติคือเกิดขึ้นบ่อยเพียงใด สร้างงานที่ไม่ได้วางแผนมากเพียงใด และทีมฟื้นตัวได้เร็วเพียงใด หัวข้อนี้ครอบคลุมตัวชี้วัดที่ตอบคำถามเหล่านั้น ได้แก่ สัดส่วนการเปลี่ยนแปลงที่ล้มเหลว สัดส่วนที่ต้องใช้เส้นทางฉุกเฉิน อัตราการย้อนกลับและการแก้ไขเร่งด่วน และการทำซ้ำที่ตามมาหลังการเปลี่ยนแปลงที่ไม่ดี หัวข้อนี้ยังครอบคลุมส่วนที่ไม่หวือหวาที่สุดของเรื่อง คือการตกลงว่าอะไรนับเป็นความล้มเหลว
ขอเริ่มจากคำศัพท์ ใน ITIL 4 แนวปฏิบัติที่เรียกว่าการสนับสนุนการเปลี่ยนแปลง (change enablement) ครอบคลุมการเพิ่ม แก้ไข หรือถอดสิ่งใดก็ตามที่อาจส่งผลต่อบริการ การเปลี่ยนแปลง (change) จึงกว้างกว่าการติดตั้งใช้งานโค้ด ครอบคลุมการแก้ไขการกำหนดค่า การต่ออายุใบรับรอง กฎไฟร์วอลล์ หรือการย้ายฐานข้อมูล การเปลี่ยนแปลงมาตรฐาน (standard change) อนุมัติล่วงหน้าและมีความเสี่ยงต่ำ การเปลี่ยนแปลงปกติ (normal change) ผ่านการประเมิน และ การเปลี่ยนแปลงฉุกเฉิน (emergency change) ทำโดยเร่งด่วน มักเพื่อกู้คืนบริการหรือปิดช่องโหว่ร้ายแรง การติดตั้งใช้งาน (deployment) คือการนำซอฟต์แวร์เวอร์ชันหนึ่งไปไว้ในสภาพแวดล้อม ขณะที่ การปล่อยรุ่น (release) ทำให้ผู้ใช้เข้าถึงความสามารถนั้นได้ ทีมที่ใช้ฟีเจอร์ทอกเกิล (feature toggle) ติดตั้งใช้งานโค้ดได้โดยไม่ปล่อยรุ่น (ดูหัวข้อ 4.5 “ตัวชี้วัดการปล่อยรุ่นและการติดตั้งใช้งาน”)
ความล้มเหลวของการเปลี่ยนแปลง (change failure) คือการเปลี่ยนแปลงที่ทำให้บริการเสื่อมถอยหรือต้องมีการแก้ไข การแก้ไขมีหลายรูปแบบ การย้อนกลับ (rollback) คืนระบบสู่สถานะก่อนหน้า การแก้ไขเร่งด่วน (hotfix) คือแพตช์เร่งด่วนที่ใช้นอกจังหวะการปล่อยรุ่นปกติ การแก้ไขแบบไปข้างหน้า (roll-forward fix) ส่งการเปลี่ยนแปลงใหม่ทับบนอันที่เสีย การทำซ้ำ (rework) คือแรงที่ไม่ได้วางแผนซึ่งใช้ไปกับการทำใหม่หรือซ่อมสิ่งที่ควรเสร็จแล้ว ในบริบทของการส่งมอบอย่างต่อเนื่อง ที่การเปลี่ยนแปลงขนาดเล็กไหลสู่ระบบจริงบ่อย ตัวชี้วัดเหล่านี้เป็นหลักฐานหลักว่าความเร็วกำลังทำให้เสถียรภาพเสียไปหรือไม่
สองขนบมองเหตุการณ์เดียวกันต่างกัน มุมมองของ ITIL จัดระเบียบรอบบันทึกการเปลี่ยนแปลง คือการเปลี่ยนแปลงได้รับอนุญาตหรือไม่ สำเร็จหรือไม่ และบันทึกผลลัพธ์ไว้หรือไม่ การเปลี่ยนแปลงที่สำเร็จบนกระดาษก็ยังอาจก่อเหตุขัดข้องในอีกชั่วโมงถัดมา มุมมองแบบคล่องตัวจัดระเบียบรอบรายการงานและการติดตั้งใช้งาน คือนิยามของความเสร็จของทีมยังคงอยู่หรือไม่ และการเปลี่ยนแปลงทำให้เกิดงานที่ไม่ได้วางแผนในเวลาไม่นานหลังจากนั้นหรือไม่ ไม่มีมุมมองใดสมบูรณ์โดยลำพัง งานวิจัยเบื้องหลังโครงการ DORA ถือว่าอัตราการเปลี่ยนแปลงที่ล้มเหลวและอัตราการทำซ้ำของการติดตั้งใช้งานเป็นตัวชี้วัด “ความไม่เสถียร” สองตัวที่อยู่ข้างตัวชี้วัดปริมาณงาน (ดูหัวข้อ 2.8 “ตัวชี้วัด DORA” ซึ่งนิยามตัวชี้วัดเหล่านี้ในระดับของโครงการ) หัวข้อนี้ลงลึกกว่าในกลไก ได้แก่ วิธีนิยามความล้มเหลว วิธีผูกเหตุขัดข้องกับการเปลี่ยนแปลง วิธีนับงานฉุกเฉิน และวิธีที่ตัวเลขถูกบิดเบือน
มีคำเตือนที่ใช้ตั้งแต่ต้น ตัวชี้วัดเหล่านี้อธิบายทีม บริการ หรือไปป์ไลน์ ไม่เคยอธิบายบุคคล อัตราการเปลี่ยนแปลงที่ล้มเหลวที่ผูกกับวิศวกรแต่ละคนสอนให้ผู้คนเลี่ยงงานที่เสี่ยงและมีคุณค่า แยกการเปลี่ยนแปลงจนจำนวนดูดี และเลิกรายงานปัญหา (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”) กฎของกูดฮาร์ตได้ผลรุนแรงที่นี่ เพราะ “ความล้มเหลวที่น้อยลง” ทำได้ง่ายด้วยการบันทึกความล้มเหลวให้น้อยลง
เวลาของเหตุขัดข้องอยู่ในหัวข้อ 3.3 “เวลาตอบสนองและเวลาแก้ไขเหตุขัดข้อง” เหตุขัดข้องที่แย่ที่สุดอยู่ในหัวข้อ 3.4 “ตัวชี้วัดเหตุขัดข้องรุนแรง” การไหลของการอนุมัติและสัดส่วนการเปลี่ยนแปลงมาตรฐานอยู่ในหัวข้อ 4.3 “ตัวชี้วัดการสนับสนุนการเปลี่ยนแปลง” สาเหตุรากอยู่ในหัวข้อ 4.1 “ตัวชี้วัดการจัดการปัญหา” และการทบทวนที่เป็นลายลักษณ์อักษรอยู่ในหัวข้อ 4.2 “ตัวชี้วัดการทบทวนหลังเหตุการณ์และการเรียนรู้”
หลักการสำคัญ
- ความล้มเหลวต้องมีนิยามที่เขียนไว้หนึ่งชุด ทีมที่ตัดสินเป็นรายกรณีสร้างตัวเลขที่ติดตามแนวโน้มหรือเปรียบเทียบไม่ได้ และการโต้เถียงเรื่องนิยามมาแทนที่การโต้เถียงเรื่องงาน
- ความล้มเหลวต้องตามรอยกลับไปถึงการเปลี่ยนแปลงของมันได้ หากไม่มีความเชื่อมโยงที่บันทึกไว้ระหว่างเหตุขัดข้อง การย้อนกลับ หรือการแก้ไขเร่งด่วน กับการเปลี่ยนแปลงที่เป็นสาเหตุ อัตราความล้มเหลวก็เป็นเพียงการเดา
- นับทุกเส้นทางการแก้ไข การย้อนกลับ การแก้ไขเร่งด่วน การแก้ไขแบบไปข้างหน้า และวิธีแก้ไขชั่วคราวด้วยมือ คือสี่เส้นทางสู่เหตุการณ์เดียวกัน ตัวชี้วัดที่นับเพียงเส้นทางเดียวให้รางวัลแก่ทีมที่เลือกเส้นทางอื่น
- อ่านความล้มเหลวควบคู่กับความเร็วและการฟื้นตัว อัตราการเปลี่ยนแปลงที่ล้มเหลวโดดเดี่ยวปรับปรุงได้ด้วยการเปลี่ยนแปลงให้น้อยลง ซึ่งแทบไม่เคยเป็นเป้าหมาย จับคู่กับลีดไทม์ ความถี่ในการติดตั้งใช้งาน และเวลาในการฟื้นตัว
- ตัวอย่างขนาดเล็กต้องมีจำนวน ไม่ใช่แค่เปอร์เซ็นต์ ทีมที่มีการเปลี่ยนแปลงแปดรายการในหนึ่งเดือนและล้มเหลวหนึ่งรายการมีอัตราความล้มเหลว 12.5 เปอร์เซ็นต์ซึ่งบอกอะไรแทบไม่ได้ จึงควรแสดงจำนวนและใช้ช่วงเวลาที่ยาวกว่า (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ”)
- ฉุกเฉินเป็นสัญญาณ ไม่ใช่บาป สัดส่วนการเปลี่ยนแปลงฉุกเฉินที่คงที่และอธิบายได้เป็นเรื่องปกติ สัดส่วนที่เพิ่มขึ้นมักชี้ไปที่ปัญหาคุณภาพต้นน้ำ การวางแผน หรือการตรวจพบ
นิยามตัวชี้วัด
ตัวชี้วัดความล้มเหลวและการทำซ้ำขึ้นอยู่กับการเชื่อมบันทึกการเปลี่ยนแปลง บันทึกการติดตั้งใช้งาน และเครื่องมือเหตุขัดข้อง แต่ละนิยามด้านล่างระบุสิ่งที่นับ สิ่งที่ไม่รวม และจุดเริ่มและหยุดของนาฬิกาจับเวลา ทีมควรคัดลอกนิยามไปไว้ในทะเบียนตัวชี้วัดและปรับโดยระบุเหตุผล
| ตัวชี้วัด | นิยาม | สูตร | หน่วย | แหล่งข้อมูล | แนวปฏิบัติ ITIL | ส่วนที่เทียบเคียงได้แบบคล่องตัว | ความถี่ |
|---|---|---|---|---|---|---|---|
| อัตราการเปลี่ยนแปลงที่ล้มเหลว | สัดส่วนของการเปลี่ยนแปลงต่อระบบจริงที่ทำให้บริการเสื่อมถอยหรือต้องมีการแก้ไข | การเปลี่ยนแปลงที่ต้องการการย้อนกลับ การแก้ไขเร่งด่วน การแก้ไขแบบไปข้างหน้า หรือเหตุขัดข้องที่เชื่อมโยงภายในหน้าต่างความล้มเหลว / การเปลี่ยนแปลงต่อระบบจริงทั้งหมดที่เสร็จสิ้นในช่วงเวลา หน้าต่างเริ่มเมื่อการเปลี่ยนแปลงเสร็จสิ้นและหยุดหลังจำนวนวันคงที่ (เช่น 7) ที่เขียนไว้ในทะเบียนตัวชี้วัด การเปลี่ยนแปลงที่ยังอยู่ในหน้าต่างรายงานแยกต่างหากและไม่รวมในอัตราจนกว่าหน้าต่างจะปิด | เปอร์เซ็นต์ | บันทึกการเปลี่ยนแปลงหรือบันทึกการติดตั้งใช้งานเชื่อมกับเครื่องมือเหตุขัดข้องและรายการแก้ไขเร่งด่วน | การสนับสนุนการเปลี่ยนแปลง การจัดการเหตุขัดข้อง | นิยามของความเสร็จ ข้อบกพร่องที่หลุดรอด | รายเดือน บนหน้าต่างเลื่อน 90 วัน |
| สัดส่วนการเปลี่ยนแปลงฉุกเฉิน | สัดส่วนของการเปลี่ยนแปลงที่ทำผ่านเส้นทางฉุกเฉิน | การเปลี่ยนแปลงที่บันทึกเป็นฉุกเฉิน / การเปลี่ยนแปลงทั้งหมดที่เสร็จสิ้นในช่วงเวลา ฉุกเฉินหมายถึงการประเมินปกติถูกข้ามหรือย่อเพราะความเร่งด่วน และการเปลี่ยนแปลงมาตรฐานที่อนุมัติล่วงหน้าไม่รวมในทั้งสองจำนวน | เปอร์เซ็นต์ | ฟิลด์ประเภทของบันทึกการเปลี่ยนแปลง | การสนับสนุนการเปลี่ยนแปลง | งานที่ไม่ได้วางแผนและชั้นบริการแบบเร่งด่วน | รายเดือน |
| อัตราการย้อนกลับ | สัดส่วนของการเปลี่ยนแปลงที่ถูกย้อนกลับไปยังเวอร์ชันก่อนหน้า | การเปลี่ยนแปลงที่ถูกย้อนกลับหลังถึงระบบจริง / การเปลี่ยนแปลงต่อระบบจริงทั้งหมดในช่วงเวลา การย้อนกลับที่ทำก่อนการเปลี่ยนแปลงไปถึงผู้ใช้ใด ๆ (เช่น คานารีที่หยุดในขั้นแรก) นับแยกต่างหาก | เปอร์เซ็นต์ | บันทึกการติดตั้งใช้งานและเครื่องมือปล่อยรุ่น | การจัดการการปล่อยรุ่น การจัดการการติดตั้งใช้งาน | แนวปฏิบัติของไปป์ไลน์และการปล่อยรุ่น | รายเดือน |
| อัตราการแก้ไขเร่งด่วน | สัดส่วนของการเปลี่ยนแปลงที่เป็นแพตช์เร่งด่วนที่ใช้นอกการไหลของการปล่อยรุ่นปกติ | การเปลี่ยนแปลงที่ติดแท็กหรือแตกแขนงเป็นการแก้ไขเร่งด่วน / การเปลี่ยนแปลงต่อระบบจริงทั้งหมดในช่วงเวลา ตัวหารรวมการแก้ไขเร่งด่วนเอง | เปอร์เซ็นต์ | แขนงหรือแท็กของการควบคุมเวอร์ชันและบันทึกการติดตั้งใช้งาน | การสนับสนุนการเปลี่ยนแปลง การจัดการเหตุขัดข้อง | งานที่ไม่ได้วางแผน งานเร่งด่วน | รายเดือน |
| อัตราการทำซ้ำของการติดตั้งใช้งาน | สัดส่วนของการติดตั้งใช้งานที่เป็นการแก้ไขที่ไม่ได้วางแผนสำหรับปัญหาในการติดตั้งใช้งานก่อนหน้า | การติดตั้งใช้งานต่อระบบจริงที่แก้ข้อบกพร่องหรือความล้มเหลวในการติดตั้งใช้งานก่อนหน้าล่าสุด ภายในหน้าต่างความล้มเหลวเดียวกัน / การติดตั้งใช้งานต่อระบบจริงทั้งหมดในช่วงเวลา งานติดตามผลที่วางแผนไว้จากแผนงานไม่รวม | เปอร์เซ็นต์ | บันทึกการติดตั้งใช้งานที่มีลิงก์หรือแท็ก “แก้ไข” และตัวติดตามงาน | การสนับสนุนการเปลี่ยนแปลง การปรับปรุงอย่างต่อเนื่อง | การทำซ้ำ ข้อบกพร่องที่หลุดรอด ความต้องการจากความล้มเหลว | รายเดือน |
| อัตราการเชื่อมโยงการเปลี่ยนแปลงกับเหตุขัดข้อง | สัดส่วนของเหตุขัดข้องที่แก้ไขแล้วซึ่งบันทึกว่าการเปลี่ยนแปลงเป็นสาเหตุหรือไม่ และรายการใด | เหตุขัดข้องที่มีฟิลด์ “เกิดจากการเปลี่ยนแปลง” ครบถ้วน (ใช่หรือไม่ใช่ พร้อมรหัสการเปลี่ยนแปลงเมื่อใช่) / เหตุขัดข้องที่แก้ไขในช่วงเวลา นาฬิกาหยุดเมื่อปิดเหตุขัดข้อง | เปอร์เซ็นต์ | เครื่องมือเหตุขัดข้องและบันทึกการเปลี่ยนแปลง | การจัดการเหตุขัดข้อง การสนับสนุนการเปลี่ยนแปลง | การทบทวนหลังเหตุขัดข้อง นิยามของความเสร็จ | รายเดือน |
| ความสอดคล้องของนิยามความล้มเหลว | ความสอดคล้องระหว่างผู้ทบทวนสองคนว่าตัวอย่างการเปลี่ยนแปลงล้มเหลวหรือไม่ | การเปลี่ยนแปลงในตัวอย่างที่ผู้ทบทวนอิสระสองคนได้ข้อสรุปความล้มเหลวเดียวกันโดยใช้นิยามที่เขียนไว้ / การเปลี่ยนแปลงในตัวอย่าง ตัวอย่างอย่างน้อย 20 การเปลี่ยนแปลงที่สุ่มทุกไตรมาส | เปอร์เซ็นต์ | แบบฟอร์มทบทวนตัวอย่างที่เก็บไว้กับทะเบียนตัวชี้วัด | การปรับปรุงอย่างต่อเนื่อง การวัดและการรายงาน | การทบทวนย้อนหลัง | รายไตรมาส |
หมายเหตุสองข้อต่อตาราง อัตราความล้มเหลวและอัตราการทำซ้ำซ้อนทับกันแต่ต่างกัน ความล้มเหลวที่ย้อนกลับโดยไม่มีการติดตั้งใช้งานใหม่นับในอัตราความล้มเหลวและไม่นับในอัตราการทำซ้ำ และหน่วยคือการเปลี่ยนแปลงหรือการติดตั้งใช้งาน ไม่ใช่เหตุขัดข้อง เพราะการเปลี่ยนแปลงหนึ่งรายการก่อเหตุขัดข้องได้สามครั้ง และเหตุขัดข้องหนึ่งครั้งมาจากการเปลี่ยนแปลงสามรายการได้
ข้อเสนอแนะ
เขียนนิยามความล้มเหลวก่อนเก็บข้อมูลใด ๆ
ตกลงว่า “ล้มเหลว” หมายความว่าอะไรและใส่ไว้ในทะเบียนตัวชี้วัด นิยามที่ใช้งานได้คือการเปลี่ยนแปลงล้มเหลวหากภายในหน้าต่างที่ระบุหลังเสร็จสิ้น ถูกย้อนกลับ ต้องมีการแก้ไขเร่งด่วนหรือการแก้ไขแบบไปข้างหน้า หรือเชื่อมโยงกับเหตุขัดข้องที่มีระดับความรุนแรงที่ระบุหรือสูงกว่า ระบุหน้าต่าง (7 วันเป็นที่นิยม และค่าที่เหมาะสมขึ้นอยู่กับว่าบริการของคุณแสดงปัญหาเร็วเพียงใด) เกณฑ์ระดับความรุนแรงของเหตุขัดข้อง และผู้ตัดสินในกรณีที่โต้แย้ง เขียนตัวอย่างที่ใช้งานจริงอย่างน้อยห้าตัวอย่าง รวมถึงกรณีที่อึดอัด เช่น การเปลี่ยนแปลงที่ทำให้ประสิทธิภาพเสื่อมโดยไม่มีการล่มใด ๆ ทบทวนนิยามทุกปีและบันทึกการเปลี่ยนแปลงพร้อมเหตุผล เพื่อให้เส้นแนวโน้มปรับย้อนหลังได้หากกฎเปลี่ยน
เชื่อมโยงความล้มเหลวกับการเปลี่ยนแปลงในบันทึกเหตุขัดข้อง
เพิ่มฟิลด์ที่จำเป็นในบันทึกเหตุขัดข้อง คือเกิดจากการเปลี่ยนแปลงหรือไม่ ใช่หรือไม่ใช่ และรหัสการเปลี่ยนแปลงเมื่อใช่ ฟิลด์ควรกรอกระหว่างการแก้ไขและตรวจสอบในการทบทวนหลังเหตุขัดข้อง (ดูหัวข้อ 4.2 “ตัวชี้วัดการทบทวนหลังเหตุการณ์และการเรียนรู้”) ติดตามอัตราการเชื่อมโยงเป็นตัวชี้วัดของตัวเอง หากเหตุขัดข้องเพียงครึ่งเดียวมีฟิลด์นี้ อัตราความล้มเหลวจะต่ำกว่าความจริงโดยไม่ทราบจำนวน และควรบอกไว้ข้างตัวเลข ทำการเดาครั้งแรกโดยอัตโนมัติเมื่อทำได้ เช่น การแสดงรายการการเปลี่ยนแปลงที่เสร็จสิ้นบนบริการที่ได้รับผลกระทบในชั่วโมงก่อนเหตุขัดข้องเริ่ม แล้วให้คนยืนยัน
นับทุกเส้นทางการแก้ไข ไม่ใช่แค่เส้นทางเดียว
นิยามความล้มเหลวหนึ่งครั้งจากหลายสัญญาณ ดึงการย้อนกลับจากเครื่องมือติดตั้งใช้งาน การแก้ไขเร่งด่วนจากการควบคุมเวอร์ชันหรือบันทึกการปล่อยรุ่น การแก้ไขแบบไปข้างหน้าจากลิงก์ “แก้ไข” และเหตุขัดข้องจากเครื่องมือเหตุขัดข้อง จากนั้นขจัดรายการซ้ำตามการเปลี่ยนแปลง ทีมที่นับเฉพาะการย้อนกลับจะเห็นความล้มเหลวหายไปในวันที่เปลี่ยนไปแก้ไขไปข้างหน้า เก็บแต่ละเส้นทางเป็นการแยกย่อยต่างหากด้วย เพราะส่วนผสมเล่าเรื่อง การแก้ไขเร่งด่วนมากและการย้อนกลับน้อยชี้ว่าการย้อนกลับทำได้ยาก ซึ่งควรแก้ไขด้วยตัวมันเอง
ถือสัดส่วนการเปลี่ยนแปลงฉุกเฉินเป็นคำถาม ไม่ใช่คะแนน
ทบทวนการเปลี่ยนแปลงฉุกเฉินเป็นกลุ่ม ไม่ใช่เป็นเป้าหมาย ทุกไตรมาส อ่านทั้งหมดและเรียงเหตุผล ได้แก่ การกู้คืนบริการ การปิดช่องโหว่ คำขอทางธุรกิจที่มาช้า ขั้นตอนการวางแผนที่พลาด หรือเส้นทางอนุมัติที่ช้าเกินไปสำหรับงานปกติ สองข้อสุดท้ายเป็นปัญหาของระบบที่ควรแก้ด้วยการปรับปรุงเส้นทางมาตรฐาน เพื่อให้ผู้คนไม่ต้องข้ามมัน (ดูหัวข้อ 4.3 “ตัวชี้วัดการสนับสนุนการเปลี่ยนแปลง”) สัดส่วนศูนย์น่าสงสัย เพราะเหตุฉุกเฉินที่แท้จริงเกิดขึ้นได้ สัดส่วนที่เพิ่มขึ้นอย่างต่อเนื่องควรมีบันทึกปัญหา (ดูหัวข้อ 4.1 “ตัวชี้วัดการจัดการปัญหา”)
วัดการทำซ้ำเป็นความต้องการจากความล้มเหลว
ติดตามการทำซ้ำเป็นงานที่เกิดจากความล้มเหลวก่อนหน้า แนวคิดความต้องการจากความล้มเหลว (failure demand) มาจากการออกแบบบริการ คือความต้องการที่มีอยู่เพราะบางสิ่งไม่ได้ทำให้ถูกตั้งแต่ครั้งแรก ในแง่การส่งมอบ ให้นับการติดตั้งใช้งานและรายการงานที่มีจุดประสงค์เดียวคือแก้ไขการเปลี่ยนแปลงล่าสุด สิ่งนี้เชื่อมโดยตรงกับการแยกงานที่วางแผนและไม่ได้วางแผน (ดูหัวข้อ 2.9 “งานปฏิบัติการและงานที่ไม่ได้วางแผน”) ใช้สัดส่วนศักยภาพที่ใช้ไปกับการทำซ้ำเป็นตัวเริ่มการสนทนากับเจ้าของผลิตภัณฑ์ เพราะเปลี่ยนอัตราเชิงนามธรรมให้เป็นการแลกเปลี่ยนว่าจะทำอะไรต่อไป
รายงานอัตราพร้อมจำนวน การแจกแจง และหน้าต่าง
แสดงจำนวนควบคู่กับเปอร์เซ็นต์ และใช้หน้าต่างเลื่อน อัตราความล้มเหลวรายเดือนของทีมที่ติดตั้งใช้งานสิบครั้งมีสัญญาณรบกวน ใช้หน้าต่างเลื่อน 90 วัน แสดงจำนวนการเปลี่ยนแปลงและความล้มเหลวเบื้องหลังอัตรา และให้ข้อบ่งชี้คร่าว ๆ ของความไม่แน่นอน (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ”) สำหรับการฟื้นตัว แสดงค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 85 ของเวลาจากความล้มเหลวถึงการกู้คืนแทนค่าเฉลี่ย เมื่อบริการมีการเปลี่ยนแปลงน้อยมาก ให้เล่าเรื่องด้วยรายการความล้มเหลวจริงแทนอัตรา
จับคู่ความล้มเหลวกับความเร็ว เพื่อไม่ให้การปรับปรุงซ่อนตัวในด้านใดด้านหนึ่ง
แสดงอัตราการเปลี่ยนแปลงที่ล้มเหลวควบคู่กับลีดไทม์และความถี่ในการติดตั้งใช้งานเสมอ หากอัตราความล้มเหลวลดลงในขณะที่ความถี่ในการติดตั้งใช้งานลดลงอย่างมากและลีดไทม์ยาวขึ้น ทีมอาจกำลังรวมการเปลี่ยนแปลงเป็นชุด ซึ่งเพิ่มความเสี่ยงของแต่ละชุด หากความเร็วเพิ่มและอัตราความล้มเหลวคงที่ ระบบกำลังเก่งขึ้นในการเปลี่ยนแปลง การจับคู่เป็นการป้องกันหลักต่อการบิดเบือนและต่อความเชื่อที่สบายใจว่าการติดตั้งใช้งานที่น้อยลงหมายถึงปลอดภัยขึ้น (ดูหัวข้อ 2.8 “ตัวชี้วัด DORA”)
ใช้ตัวเลขเพื่อปรับปรุงตัวการเปลี่ยนแปลงเอง
เปลี่ยนข้อมูลความล้มเหลวเป็นการทดลองทางวิศวกรรม ดูลักษณะร่วมของการเปลี่ยนแปลงที่ล้มเหลว ได้แก่ ขนาด ช่วงเวลาของวัน ประเภท จำนวนคนที่เกี่ยวข้อง แตะส่วนประกอบร่วมหรือไม่ และการครอบคลุมการทดสอบบางหรือไม่ จากนั้นลองการทดลองเล็ก ๆ ที่ย้อนกลับได้หนึ่งอย่าง เช่น ชุดงานที่เล็กลง การทดสอบการถดถอยอัตโนมัติสำหรับพื้นที่เสี่ยง การปล่อยรุ่นแบบคานารีสำหรับการเปลี่ยนแปลงเสี่ยงครั้งถัดไป หรือฟีเจอร์ทอกเกิลที่แยกการติดตั้งใช้งานออกจากการปล่อยรุ่น วัดซ้ำหลังหน้าต่างเต็มช่วง เป้าหมายคือการเปลี่ยนแปลงที่ดีขึ้น และตัวชี้วัดที่ดีขึ้นเป็นเพียงหลักฐาน
ทบทวนตัวชี้วัดร่วมกันในเวทีที่ไม่กล่าวโทษ
จัดการทบทวนการเปลี่ยนแปลงที่ล้มเหลวรายเดือนกับผู้ที่ทำการเปลี่ยนแปลงนั้น วาระมีสามรายการ ได้แก่ จำนวนและแนวโน้ม การเปลี่ยนแปลงที่ล้มเหลวสองหรือสามรายการที่เลือกมาศึกษา และการดำเนินการปรับปรุงหนึ่งข้อที่มีเจ้าของ ใช้แนวปฏิบัติการทบทวนแบบไม่กล่าวโทษ เพื่อให้ผู้คนอธิบายสิ่งที่ตนรู้ในขณะนั้น เผยแพร่บันทึกการทบทวนพร้อมตัวชี้วัด หากผู้คนลังเลที่จะรายงานความล้มเหลวเพราะวิธีที่ตัวเลขถูกใช้ ให้แก้ไขเรื่องนั้นก่อนเปลี่ยนสิ่งอื่นใด (ดูหัวข้อ 11.3 “เริ่มใช้ตัวชี้วัดโดยไม่สร้างความหวาดกลัว”)
ช่องทางการบิดเบือนและมาตรการป้องกัน
| ตัวชี้วัด | วิธีที่ถูกบิดเบือน | ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่กัน |
|---|---|---|
| อัตราการเปลี่ยนแปลงที่ล้มเหลว | ทำหน้าต่างความล้มเหลวให้แคบลง ไม่เชื่อมโยงเหตุขัดข้องกับการเปลี่ยนแปลง จัดประเภทการเปลี่ยนแปลงที่ไม่ดีเป็น “คำขอบริการ” หรือ “การบำรุงรักษา” แก้ไขไปข้างหน้าแล้วเรียกว่าการเปลี่ยนแปลงใหม่ รวมการแก้ไขจำนวนมากเป็นการเปลี่ยนแปลงเดียวเพื่อให้ความล้มเหลวหนึ่งครั้งครอบคลุมทั้งหมด | อัตราการเชื่อมโยงการเปลี่ยนแปลงกับเหตุขัดข้อง การตรวจสอบตัวอย่างรายไตรมาสเทียบกับรายการเหตุขัดข้อง ความสอดคล้องของนิยามความล้มเหลว ลีดไทม์และความถี่ในการติดตั้งใช้งานควบคู่กัน |
| สัดส่วนการเปลี่ยนแปลงฉุกเฉิน | ส่งงานเร่งด่วนผ่านเส้นทางมาตรฐานด้วยการจัดระดับความเสี่ยงเท็จ ส่งงานปกติเป็นฉุกเฉินเพื่อหลีกเลี่ยงการอนุมัติ แยกเหตุฉุกเฉินเป็นการเปลี่ยนแปลงปกติหลายรายการ | อ่านการเปลี่ยนแปลงฉุกเฉินทั้งหมดทุกไตรมาส เรียงและทบทวนเหตุผล สัดส่วนการเปลี่ยนแปลงมาตรฐานและลีดไทม์การอนุมัติ (ดูหัวข้อ 4.3 “ตัวชี้วัดการสนับสนุนการเปลี่ยนแปลง”) |
| อัตราการย้อนกลับ | แก้ไขไปข้างหน้าเพื่อหลีกเลี่ยงการบันทึกการย้อนกลับ ปล่อยเวอร์ชันที่เสียไว้ใช้งาน ยับยั้งการเปลี่ยนแปลงไม่ให้ไปถึงระบบจริงเพื่อไม่ให้มีอะไรต้องย้อน | อัตราการแก้ไขเร่งด่วนและอัตราการทำซ้ำควบคู่กัน การแจกแจงเวลาฟื้นตัว สุ่มเหตุขัดข้องเทียบกับบันทึกการติดตั้งใช้งาน |
| อัตราการแก้ไขเร่งด่วน | ไม่ติดแท็กการแก้ไขเร่งด่วน ส่งผ่านแขนงปกติ เรียกการแก้ไขเร่งด่วนว่า “การปรับปรุงเล็กน้อย” | อัตราการทำซ้ำของการติดตั้งใช้งาน การตรวจสอบแขนงและแท็ก สัดส่วนงานที่ไม่ได้วางแผน (ดูหัวข้อ 2.9 “งานปฏิบัติการและงานที่ไม่ได้วางแผน”) |
| อัตราการทำซ้ำของการติดตั้งใช้งาน | ไม่เชื่อมโยงการแก้ไขกับการติดตั้งใช้งานต้นทาง ติดป้ายการแก้ไขว่า “วางแผนไว้” รวมการแก้ไขกับฟีเจอร์ใหม่ | ลิงก์ “แก้ไข” ที่จำเป็นบนการติดตั้งใช้งานเพื่อแก้ไข ทบทวนตัวอย่างการติดตั้งใช้งานที่ติดป้ายวางแผนไว้ อัตราการเปลี่ยนแปลงที่ล้มเหลวควบคู่กัน |
| อัตราการเชื่อมโยงการเปลี่ยนแปลงกับเหตุขัดข้อง | กรอกฟิลด์ว่า “ไม่ใช่” โดยไม่ตรวจสอบ ปล่อยให้ฟิลด์เป็นค่าเริ่มต้น “ไม่ใช่” ปิดเหตุขัดข้องเป็นชุดเพื่อเพิ่มเปอร์เซ็นต์ | ตรวจตัวอย่างคำตอบ “ไม่ใช่” ในการทบทวนหลังเหตุขัดข้อง ไม่มีค่าเริ่มต้น ความเห็นของผู้ทบทวนต่อตัวอย่าง |
| ความสอดคล้องของนิยามความล้มเหลว | เลือกตัวอย่างง่าย ๆ สำหรับตัวอย่าง ผู้ทบทวนที่เป็นคนที่ถูกวัด ผ่อนนิยามจนทุกคนเห็นตรงกัน | ให้ผู้ที่อยู่นอกทีมสุ่มตัวอย่าง ตั้งใจรวมกรณีก้ำกึ่ง เผยแพร่ความเห็นที่ไม่ตรงกันและแก้ไขนิยาม |
การอ่านค่าที่ดีเป็นดังนี้ อัตราความล้มเหลวอยู่ในช่วงที่ทีมเข้าใจและอธิบายได้ อัตราการเชื่อมโยงสูงพอที่จะเชื่อถืออัตราความล้มเหลวได้ การเปลี่ยนแปลงฉุกเฉินมีน้อยและอธิบายได้ และการย้อนกลับและการแก้ไขเร่งด่วนสั้นและซ้อมไว้แล้ว ความล้มเหลวถูกรายงานอย่างรวดเร็วและอภิปรายโดยไม่กล่าวโทษ อัตราความล้มเหลวที่ต่ำผิดธรรมชาติพร้อมกับอัตราการเชื่อมโยงต่ำ ความถี่ในการติดตั้งใช้งานที่ลดลง และขนาดชุดงานที่เพิ่มขึ้น เป็นคำเตือน ไม่ใช่ความสำเร็จ ถือว่าการปรับปรุงอย่างฉับพลันใด ๆ เป็นสัญญาณให้ตรวจเครื่องมือวัดก่อน (ดูหัวข้อ 1.5 “แหล่งข้อมูลและการติดตั้งเครื่องมือวัด”)
ข้อแลกเปลี่ยน: ข้อดีและข้อเสีย
| แนวทาง | จุดแข็ง | จุดอ่อน |
|---|---|---|
| นิยามความล้มเหลวที่เข้มงวดและเป็นอัตโนมัติ | สอดคล้อง ทำซ้ำได้ถูก ติดตามแนวโน้มง่าย | พลาดการเสื่อมถอยที่ละเอียดอ่อน อาจนับการย้อนกลับที่ไม่เป็นอันตรายเป็นความล้มเหลว |
| การทบทวนแต่ละการเปลี่ยนแปลงโดยใช้วิจารณญาณ | จับบริบทและความรุนแรง | ช้า เป็นอัตวิสัย เปิดให้ถูกกดดันและเลื่อนไหล |
| หน้าต่างความล้มเหลวที่ยาว (หลายสัปดาห์) | จับความล้มเหลวที่ล่าช้า | ทำให้เหตุและผลพร่ามัว ยังรายงานการเปลี่ยนแปลงล่าสุดไม่ได้ |
| นับทุกเส้นทางการแก้ไข | บิดเบือนยากด้วยการเปลี่ยนเส้นทาง | ต้องเชื่อมหลายแหล่งข้อมูลอย่างระมัดระวัง |
ใช้นิยามอัตโนมัติเป็นฐาน เพิ่มการทบทวนโดยมนุษย์แบบสุ่มตัวอย่าง และปรับปรุงการเชื่อมระหว่างการเปลี่ยนแปลงกับเหตุขัดข้องก่อนสร้างสิ่งอื่นใด
คำถามสำหรับอภิปรายกับทีม
1. อะไรนับเป็นการเปลี่ยนแปลงที่ล้มเหลวที่นี่ และเราสองคนอาจเห็นต่างกันเกี่ยวกับการเปลี่ยนแปลงเดียวกันได้หรือไม่ นำการเปลี่ยนแปลงล่าสุดห้ารายการมาและให้แต่ละคนลงคะแนนว่าล้มเหลวหรือไม่ เปรียบเทียบคะแนนและเหตุผล ความเห็นที่ไม่ตรงกันแสดงว่านิยามที่เขียนไว้บางตรงไหน ตกลงกฎสำหรับกรณีอึดอัด เช่น ประสิทธิภาพตกโดยไม่มีการล่ม และเขียนไว้พร้อมตัวอย่าง
2. เรารู้ได้อย่างไรว่าเหตุขัดข้องใดเกิดจากการเปลี่ยนแปลง ถามว่าปัจจุบันบันทึกการเชื่อมโยงอย่างไรและใครกรอก ทบทวนเหตุขัดข้องล่าสุดสิบรายการและดูว่ากี่รายการมีการเปลี่ยนแปลงแนบ และควรมีกี่รายการ อภิปรายว่าฟิลด์เป็นตัวเลือกหรือไม่ มีค่าเริ่มต้นเป็น “ไม่ใช่” หรือไม่ และใครตรวจสอบ ผู้อำนวยความสะดวกควรมุ่งสู่การปรับปรุงบันทึกที่เป็นรูปธรรม เช่น ฟิลด์ที่จำเป็นโดยไม่มีค่าเริ่มต้น
3. เราใช้เส้นทางการแก้ไขใดบ้าง และนับทั้งหมดหรือไม่ ระบุการย้อนกลับ การแก้ไขเร่งด่วน การแก้ไขแบบไปข้างหน้า วิธีแก้ไขชั่วคราวด้วยมือ และการปิดฟีเจอร์ทอกเกิล สำหรับแต่ละเส้นทาง ถามว่าเหตุการณ์ถูกบันทึกที่ใดและป้อนอัตราความล้มเหลวหรือไม่ สังเกตเส้นทางที่ไม่ทิ้งร่องรอย การอภิปรายมักเผยว่าเส้นทางที่ทีมชอบคือเส้นทางที่ตัวชี้วัดมองไม่เห็น
4. การเปลี่ยนแปลงฉุกเฉินครั้งล่าสุดของเราเมื่อใด และหลีกเลี่ยงได้หรือไม่ ไล่ดูสามหรือสี่รายการล่าสุด ถามว่าอะไรทำให้แต่ละรายการเร่งด่วน อะไรเป็นที่ทราบก่อนหน้านั้น และเส้นทางมาตรฐานที่ดีกว่าจะเป็นอย่างไร แยกเหตุฉุกเฉินจริงออกจากการค้นพบที่ช้าและการอนุมัติที่ช้า ตกลงการแก้ไขหนึ่งข้อสำหรับเส้นทางปกติที่จะขจัดเหตุผลที่เกิดซ้ำสำหรับเหตุฉุกเฉิน
5. สัปดาห์ของเราใช้ไปกับการแก้ไขการเปลี่ยนแปลงล่าสุดเท่าใด ประมาณสัดส่วนศักยภาพที่ใช้ไปกับการทำซ้ำในสี่สัปดาห์ที่ผ่านมา โดยใช้ตัวติดตามแทนความจำ เปรียบเทียบค่าประมาณกับตัวติดตาม พูดคุยว่าตัวเลขนั้นมีต้นทุนต่องานที่วางแผนไว้เท่าใดและเจ้าของผลิตภัณฑ์จะใช้มันอย่างไร เลือกรูปแบบความล้มเหลวหนึ่งอย่างและการทดลองหนึ่งอย่างเพื่อลดมัน
6. หากอัตราความล้มเหลวของเราลดลงครึ่งหนึ่งในไตรมาสหน้า เราจะเชื่อหรือไม่ จินตนาการพาดหัวข่าวและถามว่าอะไรอีกที่ต้องเป็นจริง ได้แก่ อัตราการเชื่อมโยงคงที่ ความถี่ในการติดตั้งใช้งานคงที่ การฟื้นตัวรวดเร็ว และไม่มีประเภท “การบำรุงรักษา” ใหม่ อภิปรายว่าการตรวจสอบเหล่านี้อย่างใดที่ทีมทำอยู่แล้วและอย่างใดขาด ตกลงว่าจะสอบสวนการปรับปรุงอย่างฉับพลันอย่างไรก่อนเฉลิมฉลอง
สี่มุมมอง
ทีมผลิตภัณฑ์และการส่งมอบ
ทีมส่งมอบเป็นเจ้าของการเปลี่ยนแปลง จึงเป็นเจ้าของนิยามความล้มเหลวและการแก้ไข เริ่มจากงาน ดูการเปลี่ยนแปลงที่ล้มเหลวในการทบทวน หาลักษณะร่วม และลองชุดงานที่เล็กลง การทดสอบที่ดีขึ้น หรือทอกเกิล ติดตามการทำซ้ำเป็นส่วนหนึ่งของบอร์ด เพื่อให้การแก้ไขที่ไม่ได้วางแผนมองเห็นได้ข้างงานที่วางแผนไว้ เก็บตัวเลขไว้สำหรับการเรียนรู้ของทีมเอง และต้านทานการแบ่งปันข้อมูลระดับบุคคล หากตัวชี้วัดถูกแสดงให้ผู้นำ ทีมควรอธิบายทุกการเปลี่ยนแปลงในนั้นได้
ทีมบริการและปฏิบัติการ
ทีมปฏิบัติการเห็นผลที่ตามมาของการเปลี่ยนแปลงในคิวเหตุขัดข้อง และอยู่ในตำแหน่งที่ดีที่สุดในการรักษาความเชื่อมโยงระหว่างเหตุขัดข้องกับการเปลี่ยนแปลง ทีมเพิ่มฟิลด์ที่จำเป็น ตรวจสอบในขั้นตอนการแก้ไข และป้อนผลกลับให้ทีมส่งมอบโดยไม่กล่าวโทษได้ ปฏิบัติการยังเป็นเจ้าของเส้นทางฉุกเฉินและควรทบทวนการใช้งาน แบ่งปันข้อมูลเกี่ยวกับเส้นทางการกู้คืนและซ้อมการย้อนกลับร่วมกับทีมส่งมอบ เพราะวิธีที่ดีที่สุดในการลดต้นทุนของความล้มเหลวคือนิสัยร่วมกันของการทำให้การเปลี่ยนแปลงย้อนกลับได้ (ดูหัวข้อ 3.3 “เวลาตอบสนองและเวลาแก้ไขเหตุขัดข้อง”)
ภาวะผู้นำและการกำกับดูแล
ผู้นำควรขอแนวโน้มตามบริการ ตัวชี้วัดความไม่เสถียรสองประเภทร่วมกับความเร็ว และการทดลองปรับปรุงที่อยู่เบื้องหลัง หลีกเลี่ยงเป้าหมายตายตัวเช่น “อัตราความล้มเหลวต่ำกว่า 5 เปอร์เซ็นต์” ซึ่งเชิญชวนให้นิยามใหม่ และหลีกเลี่ยงการใช้ตัวเลขในการประเมินรายบุคคล องค์กรกำกับดูแลใช้ข้อมูลเป็นหลักฐานว่าเส้นทางอนุมัติที่เบากว่าปลอดภัยหรือไม่ โดยตรวจว่าความล้มเหลวและการฟื้นตัวคงที่เมื่อผ่อนการควบคุม แนวโน้มที่เพิ่มขึ้นของการเปลี่ยนแปลงฉุกเฉินเป็นสัญญาณให้ดูการวางแผนและการออกแบบการอนุมัติ ไม่ใช่ตำหนิวิศวกรเวรเรียกฉุกเฉิน
ลูกค้าและผู้ใช้
ลูกค้าไม่สนใจอัตราความล้มเหลว ลูกค้าสนใจว่าบริการเสียหลังการปรับปรุงหรือไม่ และกลับมาเร็วเพียงใด ข้อมูลความล้มเหลวสนับสนุนการสื่อสารที่ซื่อตรง ได้แก่ การแจ้งล่วงหน้าเกี่ยวกับการเปลี่ยนแปลงเสี่ยง ข้อความสถานะที่ชัดเจนเมื่อการเปลี่ยนแปลงก่อปัญหา และพันธะที่มองเห็นได้ที่จะเรียนรู้ เมื่อผู้ใช้พึ่งพาบริการสำหรับงานสำคัญ ให้ตกลงช่วงเวลาบำรุงรักษาและความคาดหวังเรื่องการย้อนกลับกับผู้ใช้ล่วงหน้า (ดูหัวข้อ 3.4 “ตัวชี้วัดเหตุขัดข้องรุนแรง”)
ในทางปฏิบัติ: ตัวอย่าง ITIL แบบคล่องตัว
แผนกไอทีของผู้ให้บริการสุขภาพระดับภูมิภาคแห่งหนึ่งดำเนินบริการจัดตารางผู้ป่วย ทีมผลิตภัณฑ์เจ็ดคนปล่อยการเปลี่ยนแปลงหลายครั้งต่อสัปดาห์ และทีมปฏิบัติการห้าคนจัดการเหตุขัดข้องและกระบวนการเปลี่ยนแปลง ตัวเลขทั้งหมดในตัวอย่างนี้เป็นตัวเลขเพื่อประกอบภาพ
ตลอดไตรมาส รายงานรายเดือนแสดงอัตราการเปลี่ยนแปลงที่ล้มเหลว 4 เปอร์เซ็นต์ ลดจาก 11 เปอร์เซ็นต์ในไตรมาสก่อน ผู้บริหารสารสนเทศสูงสุดพอใจ หัวหน้าแพลตฟอร์มไม่เชื่อ เพราะทีมเวรเรียกฉุกเฉินบอกว่ากลางคืนของพวกเขาไม่ได้ดีขึ้น เธอขอให้ทีมทำการตรวจสอบตัวอย่างจากทะเบียนตัวชี้วัด
การตรวจสอบสุ่มการเปลี่ยนแปลง 30 รายการ และผู้ทบทวนสองคนใช้นิยามที่เขียนไว้ ทั้งสองเห็นตรงกัน 24 จาก 30 ข้อสรุป ความสอดคล้องของนิยามความล้มเหลวจึงเป็น 80 เปอร์เซ็นต์ (ตัวเลขเพื่อประกอบภาพ) จากนั้นเปรียบเทียบตัวอย่างกับรายการเหตุขัดข้อง จากเหตุขัดข้อง 22 รายการที่แก้ไขในไตรมาส มีเพียง 9 รายการที่มีฟิลด์ “เกิดจากการเปลี่ยนแปลง” อัตราการเชื่อมโยง 41 เปอร์เซ็นต์ เมื่ออ่านอีก 13 รายการด้วยมือ ผู้ทบทวนพบ 5 รายการที่เริ่มภายในหนึ่งวันหลังการเปลี่ยนแปลง จำนวนที่แก้ไขแล้วทำให้อัตราความล้มเหลวเพิ่มเป็นประมาณ 9 เปอร์เซ็นต์ และการตรวจสอบพบว่าเหตุใดตัวเลขจึงดูดี คือนิสัยใหม่ในการติดตั้งใช้งานการแก้ไขภายใต้ป้าย “การบำรุงรักษา” ซึ่งรายงานไม่รวมทั้งในตัวหารและตัวตั้ง
ความเสี่ยงของการบิดเบือนคือป้ายนั้น และไม่มีใครวางแผนไว้ ทีมถูกบอกว่าความล้มเหลวเป็นเรื่องที่น่ากังวล และ “การบำรุงรักษา” หลีกเลี่ยงการสนทนา ทีมตัดสินใจสามข้อ ฟิลด์ “เกิดจากการเปลี่ยนแปลง” กลายเป็นฟิลด์ที่จำเป็นโดยไม่มีค่าเริ่มต้น และการทบทวนหลังเหตุขัดข้องตรวจสอบ ป้าย “การบำรุงรักษา” ถูกเลิกใช้ และการติดตั้งใช้งานเพื่อแก้ไขต้องมีลิงก์ไปยังการเปลี่ยนแปลงที่แก้ ซึ่งป้อนอัตราการทำซ้ำ นิยามความล้มเหลวถูกเขียนใหม่พร้อมตัวอย่างที่ใช้งานจริงหกตัวอย่าง รวมถึงการถดถอยของคิวรีที่ช้าซึ่งไม่เคยก่อการล่ม
ไตรมาสถัดมาแสดงอัตราความล้มเหลวที่แก้ไขย้อนหลังเป็น 8 เปอร์เซ็นต์ และอัตราการเชื่อมโยง 90 เปอร์เซ็นต์ (ตัวเลขเพื่อประกอบภาพ) รายงานต่อผู้นำปัจจุบันแสดงจำนวน อัตราการเชื่อมโยง และอัตราการทำซ้ำควบคู่กับลีดไทม์ และผู้บริหารสารสนเทศสูงสุดเลิกอ้างเปอร์เซ็นต์เดียว
มุมมองตามประเภทองค์กร
สตาร์ตอัป การเปลี่ยนแปลงเล็กและบ่อย และทีมมักจำทุกความล้มเหลวได้ขึ้นใจ เก็บนิยามไว้หนึ่งย่อหน้า ติดแท็กการย้อนกลับและการแก้ไขเร่งด่วนในเครื่องมือติดตั้งใช้งาน และทบทวนความล้มเหลวในการทบทวนย้อนหลังรายสัปดาห์ อัตราความล้มเหลวจาก 20 การเปลี่ยนแปลงมีสัญญาณรบกวน จึงใช้รายการความล้มเหลวเป็นหลักฐานหลัก ความเสี่ยงคือความไม่เป็นทางการ หากไม่มีนิยามที่เขียนไว้ อัตราจะเปลี่ยนไปตามผู้นับ
ธุรกิจขนาดเล็ก คนกลุ่มเดียวกันติดตั้งใช้งาน ปฏิบัติการ และสนับสนุน การทำซ้ำจึงแย่งงานที่วางแผนไว้โดยตรง บันทึกความล้มเหลวในเครื่องมือใดก็ตามที่ใช้อยู่แล้ว เพิ่มฟิลด์ที่จำเป็นในบันทึกเหตุขัดข้อง และทบทวนการเปลี่ยนแปลงฉุกเฉินทุกไตรมาส หลีกเลี่ยงการอนุมัติที่หนักเพียงเพื่อปรับปรุงตัวเลข รายการตรวจสอบการย้อนกลับร่วมกันมีค่ามากกว่าคณะกรรมการการเปลี่ยนแปลง
องค์กรขนาดใหญ่ ทีม ซัพพลายเออร์ และเครื่องมือจำนวนมากหมายถึงนิยามจำนวนมาก ทำนิยามความล้มเหลวและฟิลด์การเชื่อมโยงให้เป็นมาตรฐานข้ามทีม เผยแพร่ในแคตตาล็อกตัวชี้วัด และคำนวณอัตราต่อบริการก่อนรวมยอด ใช้การตรวจสอบตัวอย่างเพื่อหาความเบี่ยงเบน และถือบันทึกการเปลี่ยนแปลงของซัพพลายเออร์แต่ละรายเป็นอีกแหล่งที่มีคุณภาพของตัวเอง (ดูหัวข้อ 1.5 “แหล่งข้อมูลและการติดตั้งเครื่องมือวัด”) ระวังไม่ให้การรวมยอดกลายเป็นตารางจัดอันดับทีม
หน่วยงานภาครัฐและภาคสาธารณะ บันทึกการเปลี่ยนแปลงใช้เพื่อการตรวจสอบและความรับผิดชอบ และการย้อนกลับอาจถูกจำกัดโดยกฎหมาย การจัดซื้อจัดจ้าง หรือแพลตฟอร์มร่วม เก็บบันทึกอย่างเป็นทางการและเพิ่มลิงก์ความล้มเหลวเป็นส่วนหนึ่งของบันทึก อธิบายตัวเลขอย่างระมัดระวังต่อองค์กรกำกับดูแล พร้อมจำนวนและบริบท เพราะความล้มเหลวเพียงครั้งเดียวในบริการสำคัญอาจดึงความสนใจเกินสัดส่วน ใช้ข้อมูลเพื่อให้เหตุผลสำหรับเส้นทางที่เบากว่าสำหรับการเปลี่ยนแปลงที่มีความเสี่ยงต่ำ พร้อมหลักฐานว่าความล้มเหลวและการฟื้นตัวคงที่
กรณีทางธุรกิจ: แรงจูงใจ ROI และ TCO
แรงจูงใจคือต้นทุนของการเปลี่ยนแปลงที่ล้มเหลว ได้แก่ งานเหตุขัดข้อง การทำซ้ำ รายการแผนงานที่ล่าช้า และการสูญเสียความไว้วางใจของผู้ใช้ หลายองค์กรบอกไม่ได้ว่าแรงของตนไปกับการซ่อมการเปลี่ยนแปลงล่าสุดเท่าใด และตัวชี้วัดการทำซ้ำให้คำตอบที่ซื่อตรงเป็นครั้งแรก ยังมีประโยชน์ทางอ้อม ทีมที่แสดงได้ว่าการเปลี่ยนแปลงปลอดภัยสามารถปกป้องการอนุมัติที่เบากว่า ซึ่งทำให้ลีดไทม์สั้นลง งานวิจัยของ DORA รายงานความสัมพันธ์ระหว่างการอนุมัติจากภายนอกที่หนักหน่วงกับผลการส่งมอบที่อ่อนกว่า (ดูหัวข้อ 4.3 “ตัวชี้วัดการสนับสนุนการเปลี่ยนแปลง”) และข้อมูลความล้มเหลวคือวิธีที่ทีมทดสอบข้อกล่าวอ้างนั้นกับประวัติของตนเอง
ต้นทุนการเก็บข้อมูลเล็กน้อยหากมีพื้นฐานอยู่แล้ว ได้แก่ ฟิลด์ที่จำเป็นในบันทึกเหตุขัดข้อง การติดแท็กการติดตั้งใช้งานเพื่อแก้ไข การเชื่อมสามแหล่งข้อมูล และการทบทวนรายเดือน ต้นทุนที่ใหญ่กว่าคือความสนใจ เพราะต้องมีผู้เป็นเจ้าของนิยาม ดำเนินการตรวจสอบ และลงมือตามข้อค้นพบ หลีกเลี่ยงการซื้อเครื่องมือก่อนที่นิยามและการเชื่อมโยงจะทำงานได้ด้วยมือ
ผลตอบแทนปรากฏเป็นความล้มเหลวซ้ำที่น้อยลง การฟื้นตัวที่สั้นลง งานที่ไม่ได้วางแผนน้อยลง และการสนทนากับผู้กำกับดูแลที่ดีขึ้น อย่าสัญญาเปอร์เซ็นต์ แต่ให้ประมาณค่าฐานของตนเอง คือนับชั่วโมงที่ใช้กับการทำซ้ำและการตอบสนองเหตุขัดข้องที่เชื่อมโยงกับการเปลี่ยนแปลงตลอดไตรมาส คิดราคาด้วยอัตราภายในปกติของคุณ และเปรียบเทียบหลังการปรับปรุง ระบุข้อสมมติ และรายงานผลเป็นช่วงแทนตัวเลขเดียว เปรียบเทียบกับต้นทุนของโครงการและต้นทุนของความล้มเหลวร้ายแรงหนึ่งครั้งในบริการสำคัญ
รูปแบบที่ไม่ควรทำและข้อควรระวัง
- ตั้งเป้าหมายให้อัตราความล้มเหลว เชิญชวนให้นิยามใหม่และซ่อนความล้มเหลว แทนที่จะเป็นเช่นนั้น ให้ตั้งเป้าหมายเพื่อการเรียนรู้ เช่น ทำทุกการทบทวนให้เสร็จและปิดทุกการดำเนินการแก้ไข และเฝ้าดูอัตราเพื่อดูแนวโน้ม
- จัดอันดับทีมหรือบุคคลตามความล้มเหลว ทำลายการรายงานและลงโทษทีมที่รับงานเสี่ยงที่มีคุณค่า เปรียบเทียบทีมกับอดีตของตนเองและอภิปรายบริบท
- นับเฉพาะเหตุขัดข้องเป็นความล้มเหลว ความล้มเหลวที่ถูกจับได้เร็วและย้อนกลับหายไป รวมทุกเส้นทางการแก้ไข และใช้เหตุขัดข้องเป็นหนึ่งสัญญาณจากหลายสัญญาณ
- ถือการเปลี่ยนแปลงฉุกเฉินว่าไม่ดี แรงกดดันนำไปสู่เหตุฉุกเฉินที่ปลอมตัว ทบทวนเพื่อหาเหตุผลและแก้เส้นทางปกติ
- ปล่อยให้การเชื่อมโยงเหตุขัดข้องมีค่าเริ่มต้นเป็น “ไม่ใช่” ค่าเริ่มต้นสร้างตัวเลขที่เยินยอและผิด ทำให้ฟิลด์เป็นฟิลด์ที่จำเป็นและตรวจตัวอย่าง
- รายงานอัตราโดยไม่มีจำนวน ตัวอย่างเล็กแกว่งอย่างรุนแรง แสดงจำนวนและหน้าต่างเลื่อน
แบบจำลองวุฒิภาวะ
| มิติ | 1 เริ่มต้น | 2 พัฒนา | 3 ทำให้เป็นมาตรฐาน | 4 บริหารจัดการ | 5 ประสานจัดการ |
|---|---|---|---|---|---|
| นิยามความล้มเหลว | ตัดสินเป็นรายกรณีโดยผู้ที่ถูกถาม | บางทีมเขียนนิยาม ทีมต่างกัน | นิยามที่เขียนไว้หนึ่งชุดพร้อมตัวอย่างที่ใช้งานจริงและหน้าต่างที่ระบุ | ทดสอบนิยามด้วยการตรวจสอบตัวอย่างและวัดความสอดคล้อง | ปรับนิยามร่วมกับซัพพลายเออร์และลูกค้าเมื่อไม่ให้ข้อมูลต่อการตัดสินใจอีกต่อไป |
| การเชื่อมโยงการเปลี่ยนแปลงกับเหตุขัดข้อง | ผู้คนจำการเชื่อมโยงได้หากมี | ฟิลด์ตัวเลือกที่บางทีมใช้ | ฟิลด์ที่จำเป็นโดยไม่มีค่าเริ่มต้น ตรวจสอบในการทบทวนหลังเหตุขัดข้อง | ติดตามแนวโน้มและทบทวนอัตราการเชื่อมโยง และดำเนินการกับช่องว่าง | แบ่งปันการเชื่อมโยงข้ามทีมและซัพพลายเออร์ผ่านอินเทอร์เฟซที่ตกลงกัน |
| การแก้ไขและการจัดการเหตุฉุกเฉิน | จัดการการย้อนกลับและการแก้ไขเร่งด่วนแบบเฉพาะกิจและไม่บันทึก | บางทีมติดแท็กการย้อนกลับและการแก้ไขเร่งด่วน | บันทึกทุกเส้นทางการแก้ไข เขียนเกณฑ์ทดสอบเหตุฉุกเฉินไว้ | ทบทวนการเปลี่ยนแปลงฉุกเฉินทุกไตรมาส ซ้อมการย้อนกลับ | ออกแบบเส้นทางการกู้คืนไว้ในบริการและทดสอบร่วมข้ามทีม |
| การใช้ในการปรับปรุง | อ้างตัวเลขในรายงานโดยไม่มีการติดตาม | อภิปรายความล้มเหลวหลังเหตุขัดข้องรุนแรง | ทบทวนการเปลี่ยนแปลงที่ล้มเหลวรายเดือนแบบไม่กล่าวโทษพร้อมการดำเนินการ | จับคู่ความล้มเหลวและการทำซ้ำกับความเร็ว วางแผนและให้ทุนการทดลอง | เป็นกิจวัตรการปรับปรุงและแบ่งปันข้ามทีม พร้อมเผยแพร่การเรียนรู้ |
รายการตรวจสอบ
- มีนิยามความล้มเหลวของการเปลี่ยนแปลงที่เขียนไว้ พร้อมหน้าต่างที่ระบุและตัวอย่างที่ใช้งานจริงอย่างน้อยห้าตัวอย่าง
- ระบุหน่วยของการนับ (การเปลี่ยนแปลง การติดตั้งใช้งาน หรือการปล่อยรุ่น) ในทะเบียนตัวชี้วัด
- บันทึกเหตุขัดข้องมีฟิลด์ที่จำเป็น “เกิดจากการเปลี่ยนแปลง” โดยไม่มีค่าเริ่มต้น
- ติดแท็กการย้อนกลับ การแก้ไขเร่งด่วน และการแก้ไขแบบไปข้างหน้าในเครื่องมือติดตั้งใช้งานหรือการควบคุมเวอร์ชัน
- การติดตั้งใช้งานเพื่อแก้ไขมีลิงก์ไปยังการเปลี่ยนแปลงที่แก้
- การเปลี่ยนแปลงฉุกเฉินมีเกณฑ์ทดสอบสั้น ๆ ที่เขียนไว้ และทบทวนทุกการเปลี่ยนแปลงฉุกเฉินภายในจำนวนวันที่กำหนด
- แสดงอัตราพร้อมจำนวนและหน้าต่างเลื่อน ไม่แสดงเป็นเปอร์เซ็นต์เปล่า ๆ
- แสดงอัตราการเปลี่ยนแปลงที่ล้มเหลวควบคู่กับลีดไทม์ ความถี่ในการติดตั้งใช้งาน และเวลาฟื้นตัวเสมอ
- การตรวจสอบตัวอย่างรายไตรมาสตรวจข้อสรุปความล้มเหลวและการเชื่อมโยงเหตุขัดข้อง
- มีการทบทวนการเปลี่ยนแปลงที่ล้มเหลวรายเดือนแบบไม่กล่าวโทษ โดยแต่ละการดำเนินการมีเจ้าของ
- ไม่มีตัวชี้วัดใดในหัวข้อนี้ถูกใช้จัดอันดับหรือประเมินบุคคล
พรอมต์ AI
ร่างนิยามความล้มเหลวของการเปลี่ยนแปลงที่เป็นลายลักษณ์อักษร
เราดำเนิน [ประเภทบริการหรือผลิตภัณฑ์] ด้วยคน [ขนาดทีม] คน และปล่อยรุ่น
[ความถี่ เช่น หลายครั้งต่อสัปดาห์] เครื่องมือของเราคือ [เครื่องมือการเปลี่ยนแปลง
เครื่องมือติดตั้งใช้งาน เครื่องมือเหตุขัดข้อง] ร่างนิยามหนึ่งหน้าของ “การเปลี่ยนแปลง
ที่ล้มเหลว” ที่ระบุหน่วย (การเปลี่ยนแปลง การติดตั้งใช้งาน หรือการปล่อยรุ่น)
หน้าต่างความล้มเหลว เส้นทางการแก้ไขที่นับ (การย้อนกลับ การแก้ไขเร่งด่วน
การแก้ไขแบบไปข้างหน้า เหตุขัดข้องที่เชื่อมโยง) และข้อยกเว้น รวมตัวอย่างที่ใช้งาน
จริง [จำนวน] ตัวอย่าง รวมถึงกรณีก้ำกึ่ง อย่าสร้างค่าเปรียบเทียบหรือเกณฑ์ขึ้นเอง
ให้ถามฉันสำหรับสิ่งที่คุณต้องการ ระบุข้อสมมติของคุณ
ออกแบบการเชื่อมโยงการเปลี่ยนแปลงกับเหตุขัดข้อง
นี่คือแม่แบบบันทึกเหตุขัดข้องของเรา: [ฟิลด์] นี่คือแม่แบบบันทึกการเปลี่ยนแปลง
ของเรา: [ฟิลด์] เสนอวิธีบันทึกว่าการเปลี่ยนแปลงใดก่อเหตุขัดข้องใด รวมถึงฟิลด์ที่
จำเป็น ค่าที่อนุญาต ผู้กรอก และวิธีที่การทบทวนควรตรวจสอบ เสนอวิธีแนะนำ
การเปลี่ยนแปลงที่เป็นไปได้โดยอัตโนมัติจาก [ข้อมูลที่มี เช่น เวลาติดตั้งใช้งานและ
ชื่อบริการ] อย่าเดาว่าเครื่องมือของเราถูกกำหนดค่าอย่างไร ระบุข้อสมมติของคุณและ
คำถามที่ฉันควรตอบ
วิเคราะห์รายการการเปลี่ยนแปลงที่ล้มเหลวเพื่อหารูปแบบ
ด้านล่างคือการเปลี่ยนแปลงที่ล้มเหลวจำนวน [จำนวน] รายการจาก [ช่วงเวลา] พร้อม
ฟิลด์เหล่านี้: [รายการฟิลด์ เช่น ขนาด ประเภท วันและเวลา บริการ เส้นทางการแก้ไข
เวลากู้คืน] ค้นหารูปแบบและปัจจัยร่วมที่เป็นไปได้ และเสนอการทดลองเล็ก ๆ ที่
ย้อนกลับได้ไม่เกิน [จำนวน] ข้อเพื่อลดความล้มเหลว รักษาการวิเคราะห์ไว้ที่ระดับทีม
และบริการ และอย่าจัดอันดับบุคคล อย่าสร้างสถิติหรือค่าเปรียบเทียบขึ้นเอง ระบุ
ความมั่นใจของแต่ละรูปแบบตามขนาดตัวอย่าง และระบุข้อสมมติของคุณ
ตรวจสอบแดชบอร์ดความล้มเหลวเพื่อหาความเสี่ยงของการบิดเบือน
แดชบอร์ดของเราแสดง [รายการตัวชี้วัด เช่น อัตราการเปลี่ยนแปลงที่ล้มเหลว สัดส่วน
ฉุกเฉิน อัตราการย้อนกลับ อัตราการแก้ไขเร่งด่วน อัตราการทำซ้ำ] พร้อมนิยามเหล่านี้:
[นิยาม] สำหรับแต่ละตัวชี้วัด ระบุวิธีที่เป็นไปได้ที่ตัวเลขจะดีขึ้นโดยบริการไม่ดีขึ้น
และมาตรการป้องกันสำหรับแต่ละวิธี เสนอการตรวจสอบสองอย่างที่ทีม [ขนาดทีม]
คนทำได้ทุกไตรมาส อย่าสร้างค่าเปรียบเทียบหรือข้ออ้างด้านการปฏิบัติตามข้อกำหนด
ขึ้นเอง ระบุข้อสมมติของคุณ
ทักษะ AI
- ทักษะ Agile ITIL Metrics: ใช้เพื่อค้นหาว่าหัวข้อใดนิยามตัวชี้วัดที่เกี่ยวข้อง เช่น ลีดไทม์หรือระยะเวลาเหตุขัดข้อง และมาตรการป้องกันที่ควรวางข้างอัตราความล้มเหลว
- ทักษะผู้ดูแล Agile ITIL Metrics: ใช้เพื่อตรวจสอบว่าตัวชี้วัดความล้มเหลวใหม่หรือที่แก้ไขระบุนาฬิกาจับเวลา แหล่งข้อมูล และช่องทางการบิดเบือน
ข้อสรุปสำคัญ
- อัตราการเปลี่ยนแปลงที่ล้มเหลวดีได้เท่ากับนิยามของมัน ดังนั้นจึงควรเขียนนิยามที่มีหน้าต่าง ตัวอย่างที่ใช้งานจริง และหน่วยที่ระบุชื่อ
- เชื่อมโยงทุกความล้มเหลวกับการเปลี่ยนแปลงของมันด้วยฟิลด์ที่จำเป็นในบันทึกเหตุขัดข้อง และวัดอัตราการเชื่อมโยง
- นับการย้อนกลับ การแก้ไขเร่งด่วน การแก้ไขแบบไปข้างหน้า และเหตุขัดข้องที่เชื่อมโยงรวมกัน เพื่อให้ทีมหลบตัวชี้วัดด้วยการเปลี่ยนเส้นทางไม่ได้
- อ่านสัดส่วนการเปลี่ยนแปลงฉุกเฉินและการทำซ้ำเป็นสัญญาณเกี่ยวกับการวางแผนและเส้นทางปกติ ไม่ใช่คะแนน
- แสดงความล้มเหลวควบคู่กับความเร็วและการฟื้นตัวเสมอ พร้อมจำนวนและหน้าต่างเลื่อน และไม่จัดอันดับบุคคล
เอกสารอ้างอิงและแหล่งอ่านเพิ่มเติม
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
- Humble, J., and Farley, D., Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation, Addison-Wesley, 2010.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, ITIL.
- Wikipedia, Feature toggle.
- Wikipedia, Rollback (data management).
- Wikipedia, Hotfix.
- Wikipedia, Rework.
- Wikipedia, Continuous delivery.
- Wikipedia, Goodhart's law.
- Wikipedia, Regression testing.
- Wikipedia, Canary release.