ตัวชี้วัด DORA
ตัวชี้วัด DORA อธิบายว่าการเปลี่ยนแปลงซอฟต์แวร์ของทีมไปถึงระบบจริงได้เร็วและปลอดภัยเพียงใด จึงควรอ่านการวัดความเร็วและการวัดความมั่นคงควบคู่กัน คำนวณจากเหตุการณ์ของสายงานและเหตุขัดข้อง และใช้เพื่อเริ่มการสนทนาเกี่ยวกับระบบการส่งมอบ ไม่ใช่เพื่อจัดอันดับทีมหรือบุคคล
ภาพรวมและแรงจูงใจ
ตัวชี้วัด DORA มาจากโครงการวิจัยของการวิจัยและประเมินผลด้านเดฟออปส์ (DevOps Research and Assessment: DORA) ซึ่งเป็นการศึกษาระยะยาวว่าแนวปฏิบัติการส่งมอบซอฟต์แวร์สัมพันธ์กับผลลัพธ์ของทีมและองค์กรอย่างไร นิโคล ฟอร์สเกรน เจซ ฮัมเบิล และยีน คิม นำเสนอข้อค้นพบแรกในหนังสือ Accelerate ในปี 2018 และโครงการดำเนินต่อภายใต้ Google Cloud พร้อมรายงานประจำปี งานวิจัยถามว่าด้านใดของการส่งมอบที่วัดได้ทำนายผลลัพธ์ที่ดี และลงเอยที่ชุดเล็ก ๆ ของการวัดผลการดำเนินงานการส่งมอบซอฟต์แวร์ที่คำนวณได้จากสายงานการส่งมอบและบันทึกเหตุขัดข้อง
ณ เดือนตุลาคม 2026 เว็บไซต์ DORA อธิบายตัวชี้วัดผลการดำเนินงานการส่งมอบซอฟต์แวร์ห้าตัว แบ่งเป็นสองกลุ่ม สามตัวอธิบาย ปริมาณงานที่ไหลผ่าน (throughput) คือการเปลี่ยนแปลงเคลื่อนเร็วเพียงใด ได้แก่ ลีดไทม์ของการเปลี่ยนแปลง ความถี่ในการติดตั้งใช้งาน และเวลากู้คืนจากการติดตั้งใช้งานที่ล้มเหลว สองตัวอธิบาย ความไม่มั่นคง (instability) คือการปล่อยรุ่นก่อปัญหาบ่อยเพียงใด ได้แก่ อัตราการเปลี่ยนแปลงที่ล้มเหลว และอัตราการทำซ้ำจากการติดตั้งใช้งาน เอกสารเผยแพร่ก่อนหน้าอธิบายตัวชี้วัดสี่ตัว โดยใช้ “เวลากู้คืนบริการ” แทนเวลากู้คืนจากการติดตั้งใช้งานที่ล้มเหลว และไม่มีอัตราการทำซ้ำ นิยามถูกปรับปรุงตลอดหลายปี จึงควรระบุเสมอว่าท่านปฏิบัติตามคำแนะนำฉบับใดและวันที่ตรวจสอบล่าสุด
ข้อค้นพบของงานวิจัยที่ทำให้ตัวชี้วัดโด่งดังคือความเร็วและความมั่นคงมีแนวโน้มเคลื่อนไปด้วยกันข้ามทีม ทีมที่ติดตั้งใช้งานบ่อยและมีลีดไทม์สั้นไม่ได้จ่ายด้วยความล้มเหลวที่มากกว่าโดยเฉลี่ย ซึ่งล้มสมมติฐานเก่าที่ว่าเร็วขึ้นหมายถึงพังมากขึ้น เป็นรูปแบบในข้อมูลแบบสำรวจและสายงาน ไม่ใช่กฎ และใช้ได้กับทีมที่ลงทุนในแนวปฏิบัติ เช่นการส่งมอบอย่างต่อเนื่อง ชุดงานเล็ก การทดสอบอัตโนมัติ และข้อเสนอแนะที่เร็ว ตัวชี้วัดเป็นสัญญาณของขีดความสามารถพื้นฐานเหล่านั้น ไม่ใช่ขีดความสามารถเอง
ศัพท์ด้านล่างปรากฏซ้ำในหัวข้อนี้
- การติดตั้งใช้งาน (deployment) คือการนำซอฟต์แวร์เวอร์ชันหนึ่งขึ้นสู่สภาพแวดล้อมที่ระบุ หัวข้อนี้หมายถึงระบบจริงเว้นแต่ระบุไว้
- การเปลี่ยนแปลง (change) คือชุดการแก้ไขซอฟต์แวร์ โดยทั่วไปคือคอมมิตหนึ่งหรือหลายอันที่ส่งมอบร่วมกัน ใน ITIL 4 คำนี้มีความหมายกว้างกว่า ครอบคลุมการเพิ่ม แก้ไข หรือลบใด ๆ ที่อาจส่งผลต่อบริการ และแนวปฏิบัติของ ITIL ที่กำกับมันคือการเปิดทางให้เกิดการเปลี่ยนแปลง
- การติดตั้งใช้งานที่ล้มเหลว (failed deployment) คือการติดตั้งใช้งานที่ทำให้บริการด้อยลงหรือหยุดชะงักในระบบจริงและต้องการการแก้ไข เช่น การแก้ไขด่วน การย้อนกลับ หรือแพตช์ ทีมของท่านเขียนกฎที่แน่ชัดไว้ เพราะงานวิจัยปล่อยให้เป็นนิยามเฉพาะที่
- การย้อนกลับ (rollback) คือการนำระบบจริงกลับไปสู่เวอร์ชันที่ทราบว่าดีก่อนหน้า
- เปอร์เซ็นไทล์ (percentile) คือค่าที่สัดส่วนที่ระบุของการสังเกตอยู่ต่ำกว่า เปอร์เซ็นไทล์ที่ 85 ของลีดไทม์คือตัวเลขที่การเปลี่ยนแปลงร้อยละ 85 ทำได้ดีกว่า
มุมมองแบบคล่องตัวและ ITIL มาพบกันบนพื้นที่นี้ ทีมแบบคล่องตัวมองตัวเลขเหล่านี้เป็นข้อเสนอแนะต่อแนวปฏิบัติวิศวกรรมและข้อตกลงการทำงานของตน ผู้ปฏิบัติ ITIL มองเป็นหลักฐานผลลัพธ์สำหรับการเปิดทางให้เกิดการเปลี่ยนแปลง การจัดการการปล่อยรุ่น การจัดการการติดตั้งใช้งาน และการจัดการเหตุขัดข้อง ความตึงเครียดมักเป็นเรื่องการควบคุม คณะกรรมการอนุมัติการเปลี่ยนแปลงแบบดั้งเดิมพยายามลดความล้มเหลวด้วยการตรวจสอบแต่ละการเปลี่ยนแปลงก่อนปล่อย งานวิจัย DORA พบว่าการอนุมัติจากภายนอกที่หนักไม่สัมพันธ์กับความมั่นคงที่ดีกว่า และการทบทวนโดยเพื่อนร่วมงาน การทดสอบอัตโนมัติ และการเปลี่ยนแปลงเล็กสัมพันธ์ ใน ITIL 4 การเปิดทางให้เกิดการเปลี่ยนแปลงรองรับสิ่งนี้ด้วยการแยกการเปลี่ยนแปลงมาตรฐาน ปกติ และฉุกเฉิน และปล่อยให้การเปลี่ยนแปลงความเสี่ยงต่ำได้รับการอนุมัติล่วงหน้า (ดูหัวข้อ 4.3 “ตัวชี้วัดการสนับสนุนการเปลี่ยนแปลง”)
ตัวชี้วัดยังมีข้อจำกัดที่งานวิจัยระบุเอง และคำแนะนำเชิงปฏิบัติในหัวข้อนี้สร้างบนข้อจำกัดเหล่านั้น ตัวชี้วัดอธิบายระบบการส่งมอบของหนึ่งแอปพลิเคชันหรือบริการ มีไว้สำหรับการสนทนาเพื่อปรับปรุง และไม่บอกอะไรว่างานที่ส่งมอบมีคุณค่าหรือไม่ ทีมอาจแสดงตัวเลขยอดเยี่ยมขณะส่งมอบสิ่งที่ผิด ด้วยเหตุนี้หัวข้อนี้จึงอยู่ข้างๆ ไม่ใช่เหนือ การวัดการไหลของงาน (ดูหัวข้อ 2.1 “การวัดการไหลของงาน”) การวัดความน่าเชื่อถือของบริการ (ดูหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด”) และการวัดผลลัพธ์ (ดูหัวข้อ 1.3 “ผลลัพธ์สำคัญกว่าผลผลิต: การเลือกสิ่งที่จะวัด”)
สุดท้าย ตัวชี้วัดเชื้อเชิญกฎของกูดฮาร์ตทันทีที่ปรากฏบนแดชบอร์ดของผู้นำ ความถี่ในการติดตั้งใช้งานเป็นตัวที่ทำให้สูงเกินจริงได้ง่ายที่สุด และจำนวนการติดตั้งใช้งานที่ล้มเหลวเป็นตัวที่ซ่อนได้ง่ายที่สุด ทุกข้อเสนอแนะด้านล่างจึงจับคู่การวัดกับการตรวจสอบว่ามันถูกบิดได้อย่างไร (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”)
หลักการสำคัญ
- คำนวณจากเหตุการณ์ ไม่ใช่จากความทรงจำ การติดตั้งใช้งานมาจากสายงาน ความล้มเหลวและการกู้คืนมาจากบันทึกเหตุขัดข้อง และลีดไทม์มาจากระบบควบคุมเวอร์ชันที่เชื่อมกับสายงาน (ดูหัวข้อ 1.5 “แหล่งข้อมูลและการติดตั้งเครื่องมือวัด”)
- อ่านความเร็วและความมั่นคงเป็นภาพเดียว ทีมที่เร็วแต่ความล้มเหลวเพิ่มขึ้น หรือทีมที่มั่นคงแต่ส่งมอบรายไตรมาส บอกสิ่งที่ไม่มีครึ่งใดครึ่งหนึ่งแสดงได้เพียงลำพัง
- วัดบริการหรือแอปพลิเคชัน ไม่ใช่บุคคล หน่วยของการวิเคราะห์คือระบบการส่งมอบ บุคคลไม่ติดตั้งใช้งานคนเดียว และการจัดอันดับพวกเขาทำลายข้อมูล
- เปรียบเทียบทีมกับอดีตของตนเอง ไม่ใช่กับทีมอื่น บริบทต่างกันมากระหว่างบริการชำระเงิน แพลตฟอร์มข้อมูล และแอปมือถือ และงานวิจัยเองเตือนไม่ให้ใช้ตัวชี้วัดเป็นตารางลีก
- ใช้การกระจายสำหรับเวลา ลีดไทม์และเวลากู้คืนมีหางยาว จึงรายงานค่ามัธยฐานและเปอร์เซ็นไทล์สูง (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ”)
- ถือตัวชี้วัดเป็นอาการ เมื่อตัวเลขเคลื่อน ให้มองหาสาเหตุในขีดความสามารถเบื้องล่าง เช่น ขนาดชุดงาน การทดสอบอัตโนมัติ แนวปฏิบัติการทบทวน และสถาปัตยกรรม แล้วทดลอง
- เขียนนิยามไว้ ความล้มเหลว การติดตั้งใช้งาน และ “จุดเริ่มของงาน” เป็นการตัดสินใจ บันทึกทางเลือกและรักษาให้คงที่เพื่อให้แนวโน้มมีความหมาย
นิยามตัวชี้วัด
ห้าตัวชี้วัดด้านล่างยึดตามคำแนะนำของ DORA ณ เดือนตุลาคม 2026 สูตรระบุนาฬิกาและรายการยกเว้นที่ทีมของท่านควรเขียนไว้ ในที่ที่งานวิจัยปล่อยขอบเขตเปิดไว้ ตารางแสดงค่าเริ่มต้นที่สมเหตุสมผลและข้อเสนอแนะอธิบายทางเลือก
| ตัวชี้วัด | นิยาม | สูตร | หน่วย | แหล่งข้อมูล | แนวปฏิบัติของ ITIL | ส่วนที่เทียบเท่าในแนวทางแบบคล่องตัว | รอบการวัด |
|---|---|---|---|---|---|---|---|
| ลีดไทม์ของการเปลี่ยนแปลง | เวลาที่การเปลี่ยนแปลงที่คอมมิตแล้วไปถึงระบบจริง | นาฬิกาเริ่มที่คอมมิตแรกของการเปลี่ยนแปลง (หรือการรวมเข้ากิ่งหลักหากระบุในนิยาม) และหยุดเมื่อการติดตั้งใช้งานในระบบจริงสำเร็จ รายงานค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 85 ของการเปลี่ยนแปลงที่ติดตั้งในช่วงเวลา ไม่นับการเปลี่ยนแปลงที่ไม่เคยติดตั้งและรายงานแยกเป็นงานระหว่างทำ | ชั่วโมงหรือวัน | ระบบควบคุมเวอร์ชันที่เชื่อมกับสายงานการติดตั้งใช้งาน | การจัดการการติดตั้งใช้งาน การจัดการการปล่อยรุ่น การเปิดทางให้เกิดการเปลี่ยนแปลง | รอบเวลา ลีดไทม์สู่ระบบจริง | รายสัปดาห์หรือต่อการปล่อยรุ่น ทบทวนรายเดือน |
| ความถี่ในการติดตั้งใช้งาน | ทีมติดตั้งใช้งานสู่ระบบจริงบ่อยเพียงใด | จำนวนการติดตั้งใช้งานสู่ระบบจริงของแอปพลิเคชันที่สำเร็จในช่วงเวลา / จำนวนวันในช่วงเวลา ไม่นับการติดตั้งใช้งานที่ล้มเหลวหรือย้อนกลับในจำนวนที่สำเร็จ และไม่นับการติดตั้งใช้งานสู่สภาพแวดล้อมทดสอบ | การติดตั้งใช้งานต่อวันหรือต่อสัปดาห์ | บันทึกเหตุการณ์ของสายงานการติดตั้งใช้งาน | การจัดการการติดตั้งใช้งาน การจัดการการปล่อยรุ่น | การส่งมอบอย่างต่อเนื่อง การปล่อยรุ่นเมื่อสิ้นสุดแต่ละส่วนเพิ่ม | รายสัปดาห์ |
| เวลากู้คืนจากการติดตั้งใช้งานที่ล้มเหลว | ใช้เวลานานเท่าใดในการกู้คืนเมื่อการติดตั้งใช้งานทำให้ระบบจริงล้มเหลว | นาฬิกาเริ่มเมื่อตรวจพบหรือรายงานความล้มเหลว (กฎเดียวกันทุกครั้ง) และหยุดเมื่อบริการกลับมาให้ผู้ใช้ รายงานค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 85 สำหรับการติดตั้งใช้งานที่ล้มเหลวในช่วงเวลา ไม่นับเหตุขัดข้องที่ไม่ได้เกิดจากการติดตั้งใช้งาน | นาทีหรือชั่วโมง | บันทึกเหตุขัดข้องที่เชื่อมกับเหตุการณ์การติดตั้งใช้งานและการแจ้งเตือนจากการเฝ้าติดตาม | การจัดการเหตุขัดข้อง การจัดการความต่อเนื่องของบริการ | เวลากู้คืน งานฟื้นฟู | ต่อความล้มเหลว ทบทวนรายเดือน |
| อัตราการเปลี่ยนแปลงที่ล้มเหลว | สัดส่วนของการติดตั้งใช้งานสู่ระบบจริงที่ทำให้เกิดความล้มเหลวที่ต้องแก้ไข | การติดตั้งใช้งานที่ต้องใช้การแก้ไขด่วน การย้อนกลับ แพตช์ หรือการตอบสนองเหตุขัดข้อง / การติดตั้งใช้งานสู่ระบบจริงทั้งหมดในช่วงเวลา กฎที่เชื่อมความล้มเหลวกับการติดตั้งใช้งานของมันเขียนไว้และใช้ในแบบเดียวกันทุกครั้ง | ร้อยละ | เหตุการณ์การติดตั้งใช้งานที่เชื่อมกับเหตุขัดข้อง การย้อนกลับ และการติดตั้งใช้งานแก้ไขด่วน | การเปิดทางให้เกิดการเปลี่ยนแปลง การจัดการเหตุขัดข้อง | นิยามของเสร็จ ข้อบกพร่องที่หลุดรอด | รายเดือน |
| อัตราการทำซ้ำจากการติดตั้งใช้งาน | สัดส่วนของการติดตั้งใช้งานสู่ระบบจริงที่ไม่ได้วางแผนและทำเพื่อแก้ปัญหาที่ผู้ใช้เห็น | การติดตั้งใช้งานที่ไม่ได้วางแผนเพื่อตอบสนองปัญหาในระบบจริง / การติดตั้งใช้งานสู่ระบบจริงทั้งหมดในช่วงเวลา ไม่นับการติดตั้งใช้งานที่วางแผนไว้ซึ่งบังเอิญมีการแก้ไข กฎของ “ไม่ได้วางแผน” เขียนไว้ | ร้อยละ | บันทึกสายงานที่ติดแท็กเหตุผลการติดตั้งใช้งาน เชื่อมกับระเบียนเหตุขัดข้องหรือข้อบกพร่อง | การเปิดทางให้เกิดการเปลี่ยนแปลง การจัดการปัญหา | งานที่ไม่ได้วางแผน การแก้ไขข้อบกพร่องที่ปล่อยนอกแผน | รายเดือน |
สองข้อสังเกตเกี่ยวกับตาราง ข้อแรก อัตราการเปลี่ยนแปลงที่ล้มเหลวและอัตราการทำซ้ำจากการติดตั้งใช้งานซ้อนกันและไม่ใช่สิ่งเดียวกัน ความล้มเหลวที่ทีมสังเกตและย้อนกลับโดยไม่มีการติดตั้งใช้งานใหม่นับในอัตราการเปลี่ยนแปลงที่ล้มเหลวแต่ไม่นับในอัตราการทำซ้ำ ขณะที่การแก้ไขที่วางแผนไว้ซึ่งทีมกำหนดตารางไม่นับในทั้งสอง ข้อที่สอง งานวิจัยถือ การติดตั้งใช้งาน เป็นหน่วยและนับต่อแอปพลิเคชัน แพลตฟอร์มที่มีห้าสิบบริการจึงมีตัวเลขห้าสิบชุด ไม่ใช่ชุดเดียว
ข้อเสนอแนะ
เริ่มด้วยนิยามและนาฬิกา
1. เขียนนิยามหนึ่งหน้าสำหรับแต่ละตัวชี้วัดก่อนวาดแผนภูมิ ระบุว่าอะไรนับเป็นการติดตั้งใช้งาน สภาพแวดล้อมใดคือระบบจริง นาฬิกาลีดไทม์เริ่มที่ใด และความล้มเหลวเชื่อมกับการติดตั้งใช้งานอย่างไร ใส่หน้านั้นในทะเบียนตัวชี้วัด (ดูหัวข้อ 1.4 “การกำกับดูแลและความเป็นเจ้าของตัวชี้วัด”) นิยามที่อยู่เพียงในหัวของใครคนหนึ่งจะคลาดเคลื่อนเมื่อเครื่องมือหรือทีมเปลี่ยนครั้งแรก
2. เลือกจุดเริ่มของลีดไทม์และยึดมัน ทางเลือกที่พบบ่อยที่สุดคือคอมมิตแรกของการเปลี่ยนแปลง การรวมเข้ากิ่งหลัก และการสร้างตั๋ว คอมมิตแรกวัดระบบการส่งมอบและไม่นับเวลาที่งานนอนในแบ็กล็อก จุดเริ่มที่ตั๋ววัดการรอของลูกค้าได้มากกว่าแต่ผสมการจัดลำดับความสำคัญเข้ามา (ดูหัวข้อ 2.2 “ลีดไทม์ รอบเวลา และประสิทธิภาพการไหล”) ใช้อย่างใดอย่างหนึ่งอย่างสม่ำเสมอและบอกในทุกแผนภูมิ
3. กำหนดความล้มเหลวด้วยกฎที่ระบุ ความล้มเหลวเป็นของการติดตั้งใช้งานหนึ่งเมื่อ เช่น เหตุขัดข้องเปิดขึ้นภายในช่วงที่ระบุหลังการติดตั้งใช้งานและการวิเคราะห์สาเหตุชี้ไปที่การเปลี่ยนแปลงนั้น หรือเมื่อการย้อนกลับหรือการแก้ไขด่วนถูกติดแท็กกับมัน เลือกกฎที่ผู้คนใช้ได้โดยไม่ต้องเถียง ทบทวนตัวอย่างกรณีทุกไตรมาส และรักษากฎให้เหมือนเดิมนานพอที่จะเห็นแนวโน้ม
ติดตั้งเครื่องมือวัดจากสายงาน
4. ดึงเหตุการณ์การติดตั้งใช้งานจากสายงาน ไม่ใช่จากสเปรดชีต ระบบ CI/CD ที่บันทึกการติดตั้งใช้งานสู่ระบบจริงแต่ละครั้งพร้อมเวลา เวอร์ชัน และผลลัพธ์ให้ความถี่ในการติดตั้งใช้งานและจุดหยุดของนาฬิกาลีดไทม์โดยไม่ต้องป้อนด้วยมือ ตัวเลขที่ป้อนด้วยมือล่าช้าและไม่สม่ำเสมอ และเชื้อเชิญปัญหาการย้อนวันที่ที่อธิบายในหัวข้อ 1.5 “แหล่งข้อมูลและการติดตั้งเครื่องมือวัด” โครงการโอเพนซอร์ส Four Keys จากทีม DORA เป็นตัวอย่างการทำงานหนึ่งของการเก็บเหตุการณ์เหล่านี้ แม้สายงานที่เทียบเท่าของท่านเองก็ใช้ได้
5. เชื่อมบันทึกเหตุขัดข้องกับการติดตั้งใช้งาน การวัดความล้มเหลวและการกู้คืนต้องการสองแหล่ง คือบันทึกการติดตั้งใช้งานและเครื่องมือเหตุขัดข้อง เพิ่มฟิลด์ในระเบียนเหตุขัดข้องสำหรับ “เกิดจากการติดตั้งใช้งาน” และตัวระบุการติดตั้งใช้งาน กรอกระหว่างการแก้ไขและตรวจสอบในการทบทวนหลังเหตุการณ์ (ดูหัวข้อ 4.2 “ตัวชี้วัดการทบทวนหลังเหตุการณ์และการเรียนรู้”) หากไม่มีการเชื่อม อัตราการเปลี่ยนแปลงที่ล้มเหลวกลายเป็นการเดา
6. ติดแท็กเหตุผลของแต่ละการติดตั้งใช้งาน อัตราการทำซ้ำต้องแยกการติดตั้งใช้งานที่วางแผนไว้ออกจากการแก้ไขที่ไม่ได้วางแผน ป้ายง่าย ๆ บนการรันสายงาน เช่น “การเปลี่ยนแปลงที่วางแผน” หรือ “แก้ไขปัญหาในระบบจริง” ก็เพียงพอ รักษารายการป้ายให้สั้นเพื่อไม่ให้ผู้คนต้องคิดภายใต้แรงกดดัน
รายงานตัวเลขอย่างซื่อตรง
7. รายงานการกระจายและจำนวน ไม่ใช่ค่าเฉลี่ยเดียว แสดงค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 85 สำหรับลีดไทม์และเวลากู้คืน พร้อมจำนวนการสังเกตเบื้องหลังแต่ละตัว สัปดาห์ที่มีการติดตั้งใช้งานสองครั้งและล้มเหลวหนึ่งครั้งมีอัตราการเปลี่ยนแปลงที่ล้มเหลวร้อยละ 50 ซึ่งมีความหมายน้อยมาก จึงแสดงจำนวนข้างเปอร์เซ็นต์และเลือกช่วงเวลาที่ยาวกว่าสำหรับอัตรา (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ”)
8. แสดงกลุ่มปริมาณงานที่ไหลผ่านและกลุ่มความไม่มั่นคงเคียงกัน วางตัวชี้วัดปริมาณงานที่ไหลผ่านสามตัวและตัวชี้วัดความไม่มั่นคงสองตัวในมุมมองเดียวต่อบริการ พร้อมแนวโน้มอย่างน้อยหนึ่งไตรมาส ห้ามเผยแพร่ความถี่ในการติดตั้งใช้งานโดยไม่มีการวัดความล้มเหลวอยู่ข้าง ๆ หากผู้นำขอตัวเลขเดียว ให้อธิบายว่าไม่มีคะแนน DORA เดียว และเสนอมุมมองสองกลุ่มแทน
9. เก็บการเปรียบเทียบไว้ในประวัติของทีมเอง ทีมที่ลดค่ามัธยฐานของลีดไทม์จากเก้าวันเหลือห้าวันได้เรียนรู้บางอย่าง การจัดอันดับเทียบกับทีมอื่นที่มีสถาปัตยกรรม ภาระด้านกฎระเบียบ หรือขบวนการปล่อยรุ่นต่างกันพิสูจน์ได้น้อย และสอนทั้งสองทีมให้ปกป้องตัวเลขของตน เมื่อต้องรวมยอดเพื่อการกำกับดูแล ให้แสดงการกระจายข้ามบริการและแนวโน้มการปรับปรุง ไม่ใช่ตารางลีก (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”)
ปรับปรุงระบบที่ตัวเลขอธิบาย
10. ลดขนาดชุดงานก่อน การเปลี่ยนแปลงเล็กทำให้ลีดไทม์สั้นลง ทำให้วินิจฉัยความล้มเหลวง่ายขึ้น และลดต้นทุนของการย้อนกลับ เทคนิครวมถึงฟีเจอร์ทอกเกิล การทำงานแบบทรังก์เป็นฐาน และการแบ่งงานให้แต่ละส่วนเพิ่มส่งมอบได้โดดเดี่ยว (ดูหัวข้อ 2.7 “ตัวชี้วัดพูลรีเควสต์และการทบทวนโค้ด”) ติดตามค่ามัธยฐานของขนาดการเปลี่ยนแปลงข้างลีดไทม์เพื่อดูว่าชุดงานหดจริงหรือไม่
11. ลงทุนในการตรวจจับที่เร็วและการย้อนกลับที่เร็ว เวลากู้คืนลดลงเมื่อทีมเห็นความล้มเหลวได้ภายในไม่กี่นาที และเมื่อทำการย้อนกลับหรือปิดการเปลี่ยนแปลงได้โดยไม่ต้องบิลด์ใหม่ การปล่อยแบบแคนารี ฟีเจอร์ทอกเกิล และการย้อนกลับอัตโนมัติแต่ละอย่างลดช่วงระหว่างความล้มเหลวกับการกู้คืน วัดเวลาจากการติดตั้งใช้งานถึงการตรวจพบแยกต่างหาก เพราะการตรวจพบช้าซ่อนอยู่ในตัวเลขเวลากู้คืน (ดูหัวข้อ 3.3 “เวลาตอบสนองและเวลาแก้ไขเหตุขัดข้อง”)
12. ใช้ตัวเลขเพื่อเลือกขีดความสามารถที่จะปรับปรุง เลือกตัวชี้วัดที่อ่อนหนึ่งตัว ถามว่าเหตุใดจึงอ่อน และเลือกแนวปฏิบัติจากรายการขีดความสามารถของงานวิจัยที่แก้สาเหตุ เช่น การทดสอบอัตโนมัติ สถาปัตยกรรมที่เชื่อมกันหลวม หรือการอนุมัติการเปลี่ยนแปลงแบบเบา ทดลองการเปลี่ยนแปลงเป็นเวลาหนึ่งไตรมาสและดูแนวโน้ม จับคู่การทดลองกับหัวข้อการทบทวนย้อนหลังเพื่อให้ทีมเป็นเจ้าของการปรับปรุง (ดูหัวข้อ 9.5 “ตัวชี้วัดการปรับปรุงอย่างต่อเนื่อง”)
ช่องทางการบิดเบือนและมาตรการป้องกัน
| ตัวชี้วัด | วิธีที่ถูกบิดเบือน | ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่ |
|---|---|---|
| ลีดไทม์ของการเปลี่ยนแปลง | เลื่อนจุดเริ่มของนาฬิกาให้ช้าลง เช่น เริ่มที่การรวมแทนคอมมิตแรก รวมเข้ากิ่งอายุยาวเร็ว ๆ ยกเว้นการเปลี่ยนแปลงที่ยากว่า “ไม่ใช่โค้ด” ส่งการเปลี่ยนแปลงเล็กน้อยผ่านสายงานเพื่อดึงค่ามัธยฐานลง | เปอร์เซ็นไทล์และอายุของงานระหว่างทำ จุดเริ่มของนาฬิกาที่เขียนไว้ตายตัว สุ่มตรวจการเปลี่ยนแปลงที่ช้าที่สุดร้อยละ 10 ทุกไตรมาส การกระจายขนาดการเปลี่ยนแปลง |
| ความถี่ในการติดตั้งใช้งาน | แบ่งการเปลี่ยนแปลงเดียวเป็นการติดตั้งใช้งานเล็กน้อยจำนวนมาก ติดตั้งใหม่ซ้ำบิลด์ที่ไม่เปลี่ยน นับการติดตั้งใช้งานสู่สเตจจิงหรือการเปลี่ยนแปลงการกำหนดค่าที่ว่างเปล่า | ขนาดการเปลี่ยนแปลงต่อการติดตั้งใช้งาน สัดส่วนของการติดตั้งใช้งานที่มีการเปลี่ยนแปลงที่ผู้ใช้เห็น อัตราการเปลี่ยนแปลงที่ล้มเหลวและอัตราการทำซ้ำข้างกัน |
| เวลากู้คืนจากการติดตั้งใช้งานที่ล้มเหลว | เริ่มนาฬิกาช้าหรือปิดเหตุขัดข้องเร็ว จัดประเภทความล้มเหลวใหม่เป็นเหตุขัดข้องใหม่หลังแก้ไขบางส่วน ยกเกณฑ์ความรุนแรงสำหรับ “ความล้มเหลว” | การเกิดซ้ำของเหตุขัดข้องเดียวกันภายในช่วงที่ระบุ จุดเริ่มนาฬิกาที่ได้จากการแจ้งเตือนของการเฝ้าติดตาม ระยะเวลาผลกระทบที่ลูกค้ารายงาน |
| อัตราการเปลี่ยนแปลงที่ล้มเหลว | ไม่เชื่อมเหตุขัดข้องกับการติดตั้งใช้งาน นับเฉพาะความล้มเหลวที่ทำให้หยุดทั้งหมด ขยายหน้าต่างให้ความล้มเหลวหลุดออกไป แก้แบบก้าวหน้าแล้วเรียกว่าการเปลี่ยนแปลงใหม่ | ตรวจสอบตัวอย่างเหตุขัดข้องเทียบกับบันทึกการติดตั้งใช้งานทุกไตรมาส ติดตามสัดส่วนของเหตุขัดข้องที่บันทึกการเชื่อมการติดตั้งใช้งาน อัตราการทำซ้ำจากการติดตั้งใช้งาน |
| อัตราการทำซ้ำจากการติดตั้งใช้งาน | ติดป้ายการแก้ไขว่าเป็นงานที่วางแผนไว้ รวมการแก้ไขเข้ากับการปล่อยรุ่นตามกำหนด หลีกเลี่ยงการติดตั้งใช้งานแก้ไขด้วยการเลื่อนการแก้ไข | จำนวนข้อบกพร่องและข้อบกพร่องที่หลุดรอดจากระบบติดตาม อายุของข้อบกพร่องในระบบจริงที่เปิดอยู่ การตรวจสอบแท็กจากตัวอย่างการติดตั้งใช้งาน |
การอ่านค่าที่ดีแสดงลีดไทม์และเวลากู้คืนที่หดลงหรือคงที่ในระดับต่ำ ความถี่ในการติดตั้งใช้งานที่คงที่หรือเพิ่มขึ้นพร้อมการเปลี่ยนแปลงเล็ก และอัตราความล้มเหลวและการทำซ้ำที่คงที่หรือลดลง โดยมีจำนวนมากพอจะเชื่อถือ การอ่านค่าที่น่าสงสัยรวมถึงความถี่ในการติดตั้งใช้งานที่กระโดดอย่างกะทันหันโดยงานไม่เปลี่ยน อัตราความล้มเหลวที่ลดเหลือศูนย์ภายในหนึ่งเดือน และเวลากู้คืนที่ลดลงขณะที่ข้อร้องเรียนของลูกค้าเท่าเดิม แต่ละอย่างเรียกร้องให้ดูเครื่องมือวัดก่อนฉลอง
ข้อแลกเปลี่ยน: ข้อดีและข้อเสีย
| แนวทาง | จุดแข็ง | จุดอ่อน |
|---|---|---|
| ใช้ตัวชี้วัด DORA ทั้งห้าต่อบริการ | อิงงานวิจัย สมดุลความเร็วกับความมั่นคง คำนวณจากเหตุการณ์ที่เป็นปรนัย | ต้องมีสายงานและบันทึกเหตุขัดข้องที่เชื่อมกันได้สะอาด ไม่บอกว่างานมีคุณค่าหรือไม่ |
| รายงานเฉพาะความถี่ในการติดตั้งใช้งานและลีดไทม์ | เก็บจากสายงานง่าย | ให้รางวัลความเร็วอย่างเดียวและเชื้อเชิญการบิดเบือนที่การวัดความมั่นคงจับได้ |
| ใช้นิยามเฉพาะที่ต่อทีม | เหมาะกับสถาปัตยกรรมและรูปแบบการปล่อยรุ่นของทีม | เปรียบเทียบทีมไม่ได้ และการรวมยอดเชื่อถือไม่ได้ |
| ใช้นิยามเดียวทั้งองค์กร | รายงานสม่ำเสมอ การกำกับดูแลง่าย | เหมาะกับบางระบบไม่ดี เช่น เมนเฟรมที่มีหน้าต่างแบตช์หรือการปล่อยรุ่นที่ถูกกำกับ |
| เปรียบเทียบทีมกับช่วงผลการดำเนินงานที่เผยแพร่ | ให้ผู้นำรู้ตำแหน่งอย่างรวดเร็ว | ไม่สนใจบริบท และงานวิจัยเตือนว่าช่วงเหล่านั้นไม่ใช่เป้าหมายสำหรับแต่ละทีม |
| ใช้ตัวชี้วัดเพื่อการปรับปรุงตนเองของทีม | สร้างความเป็นเจ้าของ สนับสนุนข้อมูลที่ซื่อตรง | ให้ความสบายใจน้อยกว่าแก่ผู้นำที่ต้องการคะแนนเดียว |
ความตึงเครียดหลักคือระหว่างความสามารถในการเปรียบเทียบกับความซื่อตรง ยิ่งใช้ตัวเลขตัดสินทีมมากเท่าใด ข้อมูลยิ่งบิดเบี้ยว และยิ่งช่วยทีมที่เป็นเจ้าของน้อยลง ใช้ตัวชี้วัดเพื่อสนับสนุนการปรับปรุงก่อน ยอมรับความสามารถในการเปรียบเทียบที่ไม่สมบูรณ์ และเก็บมุมมองระดับผู้นำไว้ที่แนวโน้มและการกระจาย เมื่อการรายงานตามข้อกำหนดต้องการนิยามมาตรฐาน ให้บันทึกและแยกไว้จากมุมมองการปรับปรุงระดับทีม
คำถามสำหรับอภิปรายกับทีม
1. ตัวเลข DORA ทั้งห้าของเราตัวไหนมาจากเหตุการณ์ และตัวไหนมาจากความทรงจำของใครสักคน ไล่แต่ละตัวชี้วัดกลับไปที่แหล่งที่มา จดว่าตรงไหนที่คนพิมพ์วันที่หรือตัดสินว่าสิ่งใดนับเป็นความล้มเหลว ผู้อำนวยการประชุมควรช่วยให้กลุ่มจัดอันดับขั้นตอนด้วยมือตามระดับที่อาจบิดเบือนตัวเลข และตกลงว่าจะทำให้เป็นอัตโนมัติอย่างใดก่อน
2. นาฬิกาลีดไทม์ของเราเริ่มและหยุดที่ใดกันแน่ และทุกคนเห็นพ้องหรือไม่ ขอให้สามคนอธิบายจุดเริ่มและจุดหยุดของนาฬิกาสำหรับการเปลี่ยนแปลงล่าสุดที่ส่งมอบ เปรียบเทียบคำตอบ ความแตกต่างมักปรากฏรอบคอมมิตแรก การรวม ตั๋ว และขั้นตอนการอนุมัติ ตกลงนิยามเดียวและเขียนไว้ และอภิปรายว่านิยามที่เลือกซ่อนเวลารออะไร
3. อะไรนับเป็นการติดตั้งใช้งานที่ล้มเหลวสำหรับเรา และใครตัดสิน ไล่ดูเหตุขัดข้องในระบบจริงห้าครั้งล่าสุดและถามว่าแต่ละครั้งเป็นของการติดตั้งใช้งานหรือไม่ ความเห็นต่างแสดงว่ากฎไม่ชัดตรงไหน อภิปรายว่าเกิดอะไรขึ้นกับความล้มเหลวที่แก้ด้วยการเปลี่ยนการกำหนดค่า การย้อนกลับ หรือแพตช์ด่วน และตัดสินใจว่าแต่ละอย่างบันทึกอย่างไร
4. หากความถี่ในการติดตั้งใช้งานเพิ่มเป็นสองเท่าในไตรมาสหน้า เราจะตรวจอะไรก่อนเรียกว่าข่าวดี เชิญกลุ่มระบุวิธีที่ตัวเลขสูงขึ้นได้โดยไม่ส่งมอบคุณค่ามากขึ้น ดูขนาดการเปลี่ยนแปลง สัดส่วนของการติดตั้งใช้งานที่มีการเปลี่ยนแปลงที่ผู้ใช้เห็น และอัตราความล้มเหลวและการทำซ้ำ ผู้อำนวยการประชุมควรจดว่าการตรวจใดมีอยู่แล้วบนแดชบอร์ดและใดต้องเพิ่ม
5. คนนอกทีมใช้ตัวเลขเหล่านี้อย่างไร ถามว่าใครเห็น ในรูปแบบใด และทำอะไรกับมัน ฟังหาการเปรียบเทียบกับทีมอื่น เป้าหมายที่ตั้งจากภายนอก และการใช้ในการประเมินรายบุคคล อภิปรายว่าทีมต้องเห็นอะไรเปลี่ยนในการใช้นั้นก่อนจะไว้ใจข้อมูลของตนเอง และใครมีสถานะที่จะทำให้เปลี่ยน
6. ขีดความสามารถใดหนึ่งอย่างจะปรับปรุงตัวเลขที่อ่อนที่สุดของเราได้มากที่สุด และการทดลองเล็ก ๆ ที่จะลองคืออะไร เลือกตัวชี้วัดที่อ่อนที่สุดและพูดคุยถึงสาเหตุที่น่าจะเป็น เช่น ชุดงานใหญ่ การทบทวนช้า การทดสอบที่ไม่เสถียร หรือขั้นตอนการปล่อยรุ่นด้วยมือ เลือกสาเหตุหนึ่งอย่างและออกแบบการทดลองสี่ถึงหกสัปดาห์พร้อมวิธีดูผล ตกลงวันทบทวนผลและผู้ที่จะนำข้อมูลมา
สี่มุมมอง
ทีมผลิตภัณฑ์และการส่งมอบ
ทีมส่งมอบเป็นเจ้าของขีดความสามารถที่ขับเคลื่อนตัวเลขเหล่านี้ ได้แก่ การเปลี่ยนแปลงเล็ก การทดสอบอัตโนมัติ สายงานที่เร็ว และนิสัยการทบทวนงานของกันและกัน ควรใช้ตัวชี้วัดเป็นกระจกสำหรับแนวปฏิบัติวิศวกรรมของตน ตั้งเป้าหมายการปรับปรุงของตนเอง และต้านทานแรงกดดันให้รายงานตัวเลขเดียวขึ้นไปข้างบน พวกเขายังตัดสินนิยาม จึงมีหน้าที่รักษาให้ซื่อตรง (ดูหัวข้อ 2.7 “ตัวชี้วัดพูลรีเควสต์และการทบทวนโค้ด”)
ทีมบริการและปฏิบัติการ
ทีมปฏิบัติการถือบันทึกเหตุขัดข้องที่การวัดความล้มเหลวและการกู้คืนพึ่งพา พวกเขาช่วยทีมส่งมอบด้วยการติดแท็กเหตุขัดข้องกับการติดตั้งใช้งานที่เป็นสาเหตุ จัดหาการเฝ้าติดตามที่ตรวจพบความล้มเหลวอย่างรวดเร็ว และเข้าร่วมการทบทวนการติดตั้งใช้งานที่ล้มเหลวแต่ละครั้ง ควรเฝ้าดูว่าความเร็วของการส่งมอบไม่ได้ซื้อความไม่มั่นคงที่พวกเขารับไว้เป็นภาระเวรเรียกฉุกเฉิน (ดูหัวข้อ 5.7 “ตัวชี้วัดงานซ้ำซากและเวรเรียกฉุกเฉิน”) และขอการลงทุนด้านการย้อนกลับและการตรวจจับที่ลดเวลากู้คืน
ภาวะผู้นำและการกำกับดูแล
ผู้นำควรขอแนวโน้มและการกระจายข้ามบริการ สองกลุ่มของตัวชี้วัดร่วมกัน และการทดลองปรับปรุงเบื้องหลัง ควรหลีกเลี่ยงเป้าหมายที่ตรึงตัวเลข เช่น “ติดตั้งใช้งานทุกวัน” และหลีกเลี่ยงการใช้ตัวชี้วัดในการประเมินรายบุคคล หน่วยกำกับดูแลใช้ตัวเลขเป็นหลักฐานว่าเส้นทางอนุมัติการเปลี่ยนแปลงที่เบากว่าปลอดภัย หรือเป็นเหตุผลให้พิจารณาใหม่ ด้วยการแสดงว่าความมั่นคงคงที่หรือไม่เมื่อกระบวนการเปลี่ยน (ดูหัวข้อ 4.4 “ความล้มเหลวของการเปลี่ยนแปลงและการทำซ้ำ”)
ลูกค้าและผู้ใช้
ลูกค้าไม่ค่อยสนใจจำนวนการติดตั้งใช้งาน พวกเขาสนใจว่าการแก้ไขหรือฟีเจอร์ไปถึงพวกเขาเร็วเพียงใด การปล่อยรุ่นทำให้สิ่งที่พวกเขาพึ่งพาพังน้อยเพียงใด และบริการกลับมาเร็วเพียงใดเมื่อพัง ใช้ตัวชี้วัด DORA เป็นหลักฐานภายในว่าผลลัพธ์เหล่านี้น่าจะเกิด และเสริมด้วยการวัดที่หันหน้าสู่ลูกค้า เช่น ความพร้อมใช้งานและความพึงพอใจ (ดูหัวข้อ 5.3 “ตัวชี้วัดความพร้อมใช้งาน” และหัวข้อ 6.1 “ตัวชี้วัดความพึงพอใจของลูกค้า”)
ในทางปฏิบัติ: ตัวอย่าง ITIL แบบคล่องตัว
ผู้ค้าปลีกออนไลน์ขนาดกลางดำเนินบริการชำระเงินซึ่งเป็นของทีมผลิตภัณฑ์หนึ่งทีม สนับสนุนโดยทีมแพลตฟอร์มและเซอร์วิสเดสก์ ตัวเลขทั้งหมดด้านล่างเป็นตัวอย่างเพื่ออธิบาย
ทีมติดตั้งใช้งานสู่ระบบจริงประมาณสัปดาห์ละสองครั้ง โดยมีลีดไทม์ (จากคอมมิตแรกถึงระบบจริง) ค่ามัธยฐาน 11 วันและเปอร์เซ็นไทล์ที่ 85 ที่ 26 วัน ตลอดไตรมาสก่อน 6 จาก 24 การติดตั้งใช้งาน (ร้อยละ 25 ตัวอย่างเพื่ออธิบาย) ตามด้วยการย้อนกลับหรือเหตุขัดข้อง ค่ามัธยฐานของเวลากู้คืนสำหรับความล้มเหลวเหล่านั้นคือ 3 ชั่วโมง คณะกรรมการอนุมัติการเปลี่ยนแปลงประชุมทุกสัปดาห์และทบทวนทุกการเปลี่ยนแปลงของบริการชำระเงิน
ทีมเสนอแผน จะแบ่งการเปลี่ยนแปลงใหญ่ เพิ่มการตรวจสอบอัตโนมัติในสายงาน ใส่พฤติกรรมใหม่หลังฟีเจอร์ทอกเกิล และขอให้คณะกรรมการอนุมัติล่วงหน้าการเปลี่ยนแปลงความเสี่ยงต่ำที่ผ่านการตรวจสอบเป็นการเปลี่ยนแปลงมาตรฐาน ผู้จัดการการเปลี่ยนแปลงระมัดระวัง ทีมจึงตกลงรายงานทั้งห้าตัวชี้วัดทุกเดือนและหยุดการทดลองหากอัตราความล้มเหลวสูงขึ้นสองเดือนติดต่อกัน
หลังหนึ่งไตรมาส ตัวเลข (ตัวอย่างเพื่ออธิบาย) คือ 19 การติดตั้งใช้งานต่อเดือน ค่ามัธยฐานของลีดไทม์ 3 วันและเปอร์เซ็นไทล์ที่ 85 ที่ 8 วัน อัตราการเปลี่ยนแปลงที่ล้มเหลวร้อยละ 8 ค่ามัธยฐานของเวลากู้คืน 40 นาที และอัตราการทำซ้ำร้อยละ 5 ทีมพอใจ และผู้จัดการภูมิภาคขอเปรียบเทียบความถี่ในการติดตั้งใช้งานของทีมชำระเงินกับทีมผลิตภัณฑ์อื่นและตั้งเป้าหมายร่วม
หัวหน้าทีมนำการแยกการทำซ้ำและความล้มเหลวมาที่การทบทวนและสังเกตความเสี่ยงของการบิดเบือน ความถี่ในการติดตั้งใช้งานได้รับความช่วยเหลือจากการติดตั้งใช้งานการกำหนดค่าเล็กน้อยจำนวนหนึ่งที่สายงานนับ และค่ามัธยฐานของขนาดการเปลี่ยนแปลงหดเร็วกว่างานจริง แย่กว่านั้น เหตุขัดข้องสองครั้งเมื่อเดือนที่แล้วถูกแก้ด้วยการเปลี่ยนการกำหนดค่าที่สายงานบันทึกเป็นการติดตั้งใช้งานปกติที่ติดแท็ก “วางแผนไว้” อัตราการทำซ้ำจึงต่ำเกินจริง อัตราการเปลี่ยนแปลงที่ล้มเหลวดูดีส่วนหนึ่งเพราะเหตุขัดข้องสองครั้งนั้นไม่ได้เชื่อมกับการติดตั้งใช้งานเดิม
การตัดสินใจที่บันทึกในบันทึกการตัดสินใจมีสี่ส่วน การติดตั้งใช้งานเฉพาะการกำหนดค่าถูกนับแยกและแสดงข้างตัวเลขหลัก แท็กเหตุผลการติดตั้งใช้งานถูกตรวจสอบรายเดือนจากตัวอย่าง 10 การติดตั้งใช้งาน เครื่องมือเหตุขัดข้องกำหนดให้ใส่ตัวระบุการติดตั้งใช้งานเมื่อสาเหตุคือการเปลี่ยนแปลง และทีมปฏิเสธเป้าหมายความถี่ในการติดตั้งใช้งานร่วม แต่เสนอมุมมองร่วมที่แสดงแนวโน้มของแต่ละบริการและอัตราความล้มเหลวแทน ผู้จัดการการเปลี่ยนแปลงตกลงคงการอนุมัติล่วงหน้าสำหรับการเปลี่ยนแปลงมาตรฐาน โดยทบทวนเมื่อสิ้นสุดไตรมาสถัดไป
มุมมองตามประเภทองค์กร
สตาร์ทอัป ทีมเล็กมักติดตั้งใช้งานหลายครั้งต่อวันและมีบันทึกเหตุขัดข้องบาง ความถี่ในการติดตั้งใช้งานและลีดไทม์จึงง่ายแต่ข้อมูลความล้มเหลวขาดตอน เริ่มด้วยการติดแท็กทุกการย้อนกลับและการแก้ไขด่วนในสายงาน และเก็บบันทึกเหตุขัดข้องง่าย ๆ พร้อมตัวระบุการติดตั้งใช้งาน อย่าให้ความถี่สูงทำให้เชื่อว่าความมั่นคงดีโดยไม่ตรวจอัตราความล้มเหลว
ธุรกิจขนาดเล็ก แพลตฟอร์มที่โฮสต์ไว้หรือนักพัฒนาที่จ้างภายนอกอาจติดตั้งใช้งานเพียงรายเดือนโดยมีเครื่องมือน้อย นับเท่าที่ทำได้ด้วยมือสองสามเดือน ขอวันที่การติดตั้งใช้งานและเหตุขัดข้องจากผู้ให้บริการเป็นลายลักษณ์อักษร และเน้นลีดไทม์และอัตราความล้มเหลว ใช้ตัวเลขเพื่อตัดสินว่าการเปลี่ยนแปลงเล็กที่ส่งมอบอย่างต่อเนื่องจะลดความเสี่ยงหรือไม่ ไม่ใช่เพื่อไล่ตามช่วง
องค์กรขนาดใหญ่ หลายทีม รูปแบบการปล่อยรุ่นหลายแบบ และระบบสมัยใหม่ปนระบบเก่าทำให้นิยามที่สม่ำเสมอเป็นเรื่องยาก ตกลงนิยามขั้นต่ำร่วมสำหรับแต่ละตัวชี้วัด เผยแพร่ และอนุญาตให้ทีมเพิ่มนิยามเฉพาะที่เข้มงวดกว่าพร้อมเหตุผลที่ระบุ รวมยอดโดยแสดงการกระจายและแนวโน้มต่อบริการแทนค่าเฉลี่ย และเก็บรายละเอียดระดับทีมให้เห็นเฉพาะทีมเจ้าของและกลุ่มสนับสนุน
หน่วยงานภาครัฐและภาคสาธารณะ หน้าต่างการปล่อยรุ่น กฎการตรวจสอบ และสัญญาจัดซื้อจัดจ้างกำหนดสิ่งที่เป็นไปได้ และบางระบบดำเนินการโดยผู้ให้บริการ ใส่สิทธิ์ข้อมูลการส่งมอบและเหตุขัดข้องในสัญญาเพื่อให้คำนวณตัวชี้วัดได้ ใช้ตัวเลขเป็นหลักฐานว่าโครงการปรับปรุงให้ทันสมัยทำให้ลีดไทม์สั้นลงโดยไม่เพิ่มความล้มเหลว และรายงานทุกตัวชี้วัดร่วมกันเพื่อไม่ให้ผลถูกเลือก (ดูหัวข้อ 8.5 “การรายงานตามข้อกำหนดและต่อภาครัฐ”)
กรณีทางธุรกิจ: แรงจูงใจ ROI และ TCO
แรงจูงใจคือทำให้เวลาระหว่างแนวคิดกับการใช้งานสั้นลงขณะรักษาระบบจริงให้มั่นคง ต้นทุนของโปรแกรมมีสามส่วน คือการติดตั้งเครื่องมือวัด (เหตุการณ์สายงาน แท็กการติดตั้งใช้งาน และการเชื่อมเหตุขัดข้อง) กิจวัตรการทบทวน (ดูแนวโน้มรายเดือนและสุ่มตัวอย่างกรณีความล้มเหลวและการทำซ้ำรายไตรมาส) และงานปรับปรุงที่ตัวเลขชี้ เช่น การทดสอบอัตโนมัติหรือสายงานที่เร็วขึ้น สองส่วนแรกไม่สูง ส่วนที่สามคือที่ที่ค่าใช้จ่ายจริงอยู่ และใช้กับขีดความสามารถด้านวิศวกรรม ไม่ใช่การวัด
ผลตอบแทนมาจากการตัดสินใจที่ตัวเลขทำให้ง่ายขึ้น ทีมแสดงให้คณะกรรมการการเปลี่ยนแปลงเห็นว่าการเปลี่ยนแปลงเล็กปลอดภัย และเลิกขั้นตอนอนุมัติหนึ่งได้ กลุ่มแพลตฟอร์มเห็นว่าบริการใดมีสายงานช้าหรือการย้อนกลับไม่ดี และลงทุนตามนั้น ทีมปฏิบัติการโต้แย้งด้วยข้อมูลเพื่อขอเครื่องมือตรวจจับที่ดีกว่า อธิบายผลตอบแทนผ่านรูปแบบที่ท่านสังเกตได้เอง เช่น เวลาจากคอมมิตถึงระบบจริง สัดส่วนของการปล่อยรุ่นที่ต้องแก้ไข และภาระเวรเรียกฉุกเฉินต่อการปล่อยรุ่น ก่อนและหลังการเปลี่ยนแปลง หลีกเลี่ยงการอ้างตัวเลขเกณฑ์มาตรฐานจากองค์กรอื่นเป็นผลตอบแทนที่คาดหวัง เพราะบริบทของท่านจะต่างออกไป ต้นทุนรวมของความเป็นเจ้าของ (TCO) ส่วนใหญ่คือเวลาของผู้คน จึงควรรักษาชุดตัวชี้วัดให้เล็กและทำให้การเก็บเป็นอัตโนมัติ (ดูหัวข้อ 7.7 “ผลตอบแทนจากการลงทุนและกรณีทางธุรกิจ”)
รูปแบบที่ไม่ควรทำและข้อควรระวัง
- ถือตัวชี้วัดเป็นสกอร์การ์ดผลการดำเนินงานของบุคคล ทำลายพื้นฐานงานวิจัยและทำให้ข้อมูลเสีย รายงานเฉพาะที่ระดับบริการและทีม
- ตั้งเป้าหมายเช่น “ติดตั้งใช้งานทุกวัน” หรือ “ลีดไทม์ต่ำกว่าหนึ่งวัน” เป้าหมายแทนที่จุดมุ่งหมาย ตั้งทิศทางการปรับปรุงและการทดลอง และเก็บตัวเลขเป็นสัญญาณ
- จัดอันดับทีมเทียบกันหรือเทียบช่วงที่เผยแพร่ บริบทต่างกันและการบิดเบือนตามมา เปรียบเทียบทีมกับแนวโน้มของตนเอง และใช้ช่วงเป็นเพียงการปรับทิศทางหลวม ๆ
- รายงานความเร็วโดยไม่มีความมั่นคง คู่คือประเด็น แสดงกลุ่มปริมาณงานที่ไหลผ่านและกลุ่มความไม่มั่นคงด้วยกันเสมอ
- ปล่อยให้นิยามคลาดเคลื่อน ความล้มเหลว การติดตั้งใช้งาน และจุดเริ่มของลีดไทม์เปลี่ยนอย่างเงียบ ๆ ตามเครื่องมือ บันทึกทุกการเปลี่ยนนิยามพร้อมเหตุผลและทำเครื่องหมายบนแผนภูมิ
- นับการติดตั้งใช้งานของทุกอย่าง การพุชการกำหนดค่า การปล่อยสู่สภาพแวดล้อมทดสอบ และการติดตั้งใหม่ซ้ำบิลด์เดิมทำให้จำนวนสูงเกินจริง นิยามการติดตั้งใช้งานสู่ระบบจริงและแสดงชนิดอื่นแยกต่างหาก
- มองข้ามสิ่งที่ส่งมอบ ตัวเลขที่แข็งแรงอาจซ่อนงานที่ไม่สำคัญ อ่านควบคู่กับการวัดการไหลของงานและผลลัพธ์ (ดูหัวข้อ 2.9 “งานปฏิบัติการและงานที่ไม่ได้วางแผน”)
- ไล่ตามตัวชี้วัดแทนขีดความสามารถ ลีดไทม์ลดลงอย่างเชื่อถือได้มากที่สุดเมื่อชุดงานหดและการทดสอบเร็วขึ้น ปรับปรุงแนวปฏิบัติและปล่อยให้ตัวเลขตามมา
แบบจำลองวุฒิภาวะ
| มิติ | 1 เริ่มต้น | 2 พัฒนา | 3 ทำให้เป็นมาตรฐาน | 4 บริหารจัดการ | 5 ประสานจัดการ |
|---|---|---|---|---|---|
| นิยามและนาฬิกา | แต่ละคนนิยามการติดตั้งใช้งานและความล้มเหลวต่างกัน | บางทีมบันทึกนิยามของตน | มีนิยามที่เขียนไว้หนึ่งฉบับต่อตัวชี้วัด พร้อมนาฬิกาและรายการยกเว้นในทะเบียนตัวชี้วัด | บันทึกการเปลี่ยนนิยามและทำเครื่องหมายบนแผนภูมิ ตรวจตัวอย่างทุกไตรมาส | ปรับปรุงนิยามร่วมกับผู้ให้บริการและการกำกับดูแลเมื่อไม่ช่วยการตัดสินใจอีกต่อไป |
| การเก็บข้อมูล | รวบรวมจำนวนด้วยมือจากตั๋ว | มีข้อมูลสายงานสำหรับบางบริการ เชื่อมเหตุขัดข้องด้วยมือ | บันทึกการติดตั้งใช้งาน เหตุผล และการเชื่อมเหตุขัดข้องโดยอัตโนมัติสำหรับบริการส่วนใหญ่ | วัดและติดตามแนวโน้มคุณภาพข้อมูล (อัตราการเชื่อม การตรวจสอบแท็ก) | แบ่งปันเหตุการณ์ข้ามทีมและผู้ให้บริการผ่านส่วนเชื่อมที่ตกลงกัน |
| การใช้ตัวเลข | รายงานขึ้นข้างบนเป็นคะแนนเดียว | ทีมดูแผนภูมิของตนเป็นครั้งคราว | ทีมเจ้าของทบทวนกลุ่มปริมาณงานที่ไหลผ่านและกลุ่มความไม่มั่นคงร่วมกันทุกเดือน | แนวโน้มป้อนการทดลองปรับปรุงที่มีงบประมาณพร้อมมาตรการป้องกัน | การกระจายและแนวโน้มแจ้งการลงทุนด้านแพลตฟอร์มและนโยบายการเปลี่ยนแปลงทั่วองค์กร |
| มาตรการป้องกันการบิดเบือน | ไม่มี | รับรู้อย่างไม่เป็นทางการ | ระบุมาตรการป้องกันที่จับคู่ของแต่ละตัวชี้วัด | ทบทวนมาตรการป้องกันและตัวอย่าง บันทึกกรณีการบิดเบือน | ปรับมาตรการป้องกันอย่างต่อเนื่องเมื่อทีมและเครื่องมือเปลี่ยน |
รายการตรวจสอบ
- ห้าตัวชี้วัดนิยามเป็นลายลักษณ์อักษร พร้อมนาฬิกา รายการยกเว้น และวันที่และฉบับของคำแนะนำ DORA ที่ปฏิบัติตาม
- สายงานบันทึกการติดตั้งใช้งานสู่ระบบจริงพร้อมเวลา เวอร์ชัน และผลลัพธ์
- ระบุจุดเริ่มของลีดไทม์ (คอมมิตแรก การรวม หรืออื่น ๆ) และใช้อย่างสม่ำเสมอ
- เหตุขัดข้องมีฟิลด์สำหรับการติดตั้งใช้งานที่เป็นสาเหตุ กรอกระหว่างการแก้ไข
- การติดตั้งใช้งานแต่ละครั้งมีแท็กเหตุผล และตรวจสอบตัวอย่างรายเดือน
- รายงานเวลาเป็นค่ามัธยฐานและเปอร์เซ็นไทล์สูง พร้อมจำนวน
- แสดงตัวชี้วัดปริมาณงานที่ไหลผ่านและความไม่มั่นคงร่วมกันสำหรับแต่ละบริการ
- ติดตามขนาดการเปลี่ยนแปลงข้างความถี่ในการติดตั้งใช้งานและลีดไทม์
- ไม่ใช้ตัวเลขในการประเมินรายบุคคลหรือจัดอันดับทีม
- เจ้าของที่ระบุชื่อทบทวนตัวชี้วัดรายเดือนและบันทึกการเปลี่ยนนิยามใด ๆ
- มีการทดลองปรับปรุงหนึ่งอย่างที่ผูกกับตัวชี้วัดที่อ่อนที่สุดกำลังดำเนินอยู่พร้อมวันทบทวน
พรอมต์ AI
เขียนชุดนิยามหนึ่งหน้าสำหรับห้าตัวชี้วัด
ฉันกำลังนิยามตัวชี้วัดการส่งมอบซอฟต์แวร์ DORA สำหรับ [ชื่อบริการหรือแอปพลิเคชัน]
เครื่องมือของเราคือ [ผู้ให้บริการควบคุมเวอร์ชัน ระบบ CI/CD เครื่องมือเหตุขัดข้อง
เครื่องมือ ITSM] รูปแบบการปล่อยรุ่นของเราคือ [ต่อเนื่อง รายสัปดาห์ รายเดือน หรืออื่น ๆ] สำหรับ
ลีดไทม์ของการเปลี่ยนแปลง ความถี่ในการติดตั้งใช้งาน เวลากู้คืนจากการติดตั้งใช้งานที่ล้มเหลว อัตราการ
เปลี่ยนแปลงที่ล้มเหลว และอัตราการทำซ้ำจากการติดตั้งใช้งาน ร่างนิยามโดยระบุว่านาฬิกาเริ่ม
และหยุดที่ใด อะไรนับและอะไรยกเว้น แหล่งข้อมูล และความเสี่ยงของความกำกวมหนึ่งอย่าง อย่าคิดค่าเกณฑ์มาตรฐานขึ้นเองหรืออ้างว่าแนวปฏิบัติของเราตรงกับ
ช่วงผลการดำเนินงานที่เผยแพร่ใด ๆ ระบุสมมติฐานของคุณและคำถามที่ฉันควร
ตอบเพื่อให้นิยามเสร็จสมบูรณ์
ตรวจสอบชุดตัวชี้วัดเพื่อหาความเสี่ยงของการบิดเบือน
นี่คือวิธีที่เราคำนวณตัวชี้วัดการส่งมอบในปัจจุบัน: [คำอธิบายของแต่ละ
ตัวชี้วัด แหล่งข้อมูล และวิธีรายงาน] ผู้รับคือ [ทีม
ผู้นำ หรือหน่วยกำกับดูแล] สำหรับแต่ละตัวชี้วัด ระบุวิธีที่เป็นไปได้ที่ตัวเลข
อาจถูกทำให้สูงเกินจริง ซ่อน หรือบิดเบือนโดยไม่มีการปรับปรุงจริง และเสนอ
ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่ซึ่งจะจับได้ อย่าคิดสถิติขึ้นเอง
ระบุสมมติฐานของคุณและข้อมูลที่คุณต้องการเพื่อให้แม่นยำขึ้น
วิเคราะห์ข้อมูลที่ส่งออกของการติดตั้งใช้งานและเหตุขัดข้อง
ฉันจะวางข้อมูลส่งออกขนาดเล็กของ [จำนวน] การติดตั้งใช้งานสู่ระบบจริงและ [จำนวน]
เหตุขัดข้อง พร้อมฟิลด์เหล่านี้: [รายการฟิลด์ เช่น deployment id, timestamp,
result, reason tag, incident id, opened time, resolved time, deployment link]
คำนวณค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 85 ของเวลากู้คืน อัตราการเปลี่ยนแปลงที่ล้มเหลว
และอัตราการทำซ้ำ โดยแสดงจำนวนเบื้องหลังแต่ละตัว ระบุระเบียนที่ขาดการเชื่อมหรือเวลาที่น่าสงสัย
อย่าคาดการณ์เกินข้อมูลหรือเปรียบเทียบผลกับเกณฑ์มาตรฐานภายนอก
ระบุสมมติฐานของคุณและปัญหาคุณภาพข้อมูลที่จำกัดข้อสรุป
วางแผนการทดลองปรับปรุง
ตัวชี้วัดการส่งมอบที่อ่อนที่สุดของเราคือ [ชื่อตัวชี้วัด] ปัจจุบัน [ค่าที่รายงาน
พร้อมช่วงวันที่และจำนวน] สาเหตุที่น่าจะเป็นที่ทีมอภิปรายคือ [รายการ] ข้อจำกัดของเรา
คือ [ข้อจำกัด เช่น การปล่อยรุ่นที่ถูกกำกับ สภาพแวดล้อมทดสอบร่วม] เสนอการทดลองเล็ก ๆ สามอย่าง
ใช้เวลาสี่ถึงหกสัปดาห์ แต่ละอย่างมีสมมติฐาน วิธีสังเกตผล ตัวชี้วัดป้องกัน และความเสี่ยง อย่า
คิดตัวเลขการปรับปรุงที่คาดหวังขึ้นเอง ระบุสมมติฐานของคุณและสิ่งที่เราควร
ตรวจสอบก่อนเริ่ม
ทักษะ AI
- ทักษะ Agile ITIL Metrics: ใช้เพื่อค้นหาหัวข้อการเปลี่ยนแปลง การปล่อยรุ่น และเหตุขัดข้องที่เกี่ยวข้อง และมาตรการป้องกันที่ควรอยู่ข้างตัวชี้วัด DORA แต่ละตัว
- ทักษะผู้ดูแล Agile ITIL Metrics: ใช้เพื่อตรวจสอบว่าฉบับแก้ไขของหัวข้อนี้ยังคงนาฬิกา ช่องทางการบิดเบือน และการอ้างอิงข้ามหัวข้อให้สอดคล้องกัน
ข้อสรุปสำคัญ
- ตัวชี้วัด DORA คือห้าการวัดของการส่งมอบซอฟต์แวร์ สามตัวของปริมาณงานที่ไหลผ่านและสองตัวของความไม่มั่นคง และมีประโยชน์ที่สุดเมื่ออ่านร่วมกันสำหรับบริการเดียว
- คำนวณจากเหตุการณ์สายงานและเหตุขัดข้องพร้อมนิยามที่เขียนไว้ เพราะความล้มเหลวและจุดเริ่มของลีดไทม์เป็นการตัดสินใจ
- ใช้เพื่อเรียนรู้เกี่ยวกับระบบการส่งมอบและเปรียบเทียบทีมกับประวัติของตนเอง ไม่เคยใช้จัดอันดับบุคคลหรือทีม
- รายงานค่ามัธยฐาน เปอร์เซ็นไทล์สูง และจำนวน และจับคู่ทุกตัวชี้วัดกับมาตรการป้องกันที่จับการบิดเบือนของมัน
- ปรับปรุงขีดความสามารถพื้นฐาน เช่น ชุดงานเล็ก การตรวจจับเร็ว และการย้อนกลับง่าย และปล่อยให้ตัวเลขตามมา
- ระบุฉบับและวันที่ของคำแนะนำที่ท่านปฏิบัติตาม เพราะนิยามถูกปรับปรุงตามเวลา
เอกสารอ้างอิงและแหล่งอ่านเพิ่มเติม
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
- DORA, DORA research program, Google Cloud, https://dora.dev/research/
- DORA, Four Keys project, https://github.com/dora-team/fourkeys
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, DevOps Research and Assessment.
- Wikipedia, Accelerate (book).
- Wikipedia, Continuous delivery.
- Wikipedia, ITIL.
- Wikipedia, Goodhart's law.
- Wikipedia, CI/CD.
- Wikipedia, Feature toggle.
- Wikipedia, Rollback (data management).
- Wikipedia, Canary release.