ภาพรวมและแรงจูงใจ

ตัวชี้วัด DORA มาจากโครงการวิจัยของการวิจัยและประเมินผลด้านเดฟออปส์ (DevOps Research and Assessment: DORA) ซึ่งเป็นการศึกษาระยะยาวว่าแนวปฏิบัติการส่งมอบซอฟต์แวร์สัมพันธ์กับผลลัพธ์ของทีมและองค์กรอย่างไร นิโคล ฟอร์สเกรน เจซ ฮัมเบิล และยีน คิม นำเสนอข้อค้นพบแรกในหนังสือ Accelerate ในปี 2018 และโครงการดำเนินต่อภายใต้ Google Cloud พร้อมรายงานประจำปี งานวิจัยถามว่าด้านใดของการส่งมอบที่วัดได้ทำนายผลลัพธ์ที่ดี และลงเอยที่ชุดเล็ก ๆ ของการวัดผลการดำเนินงานการส่งมอบซอฟต์แวร์ที่คำนวณได้จากสายงานการส่งมอบและบันทึกเหตุขัดข้อง

ณ เดือนตุลาคม 2026 เว็บไซต์ DORA อธิบายตัวชี้วัดผลการดำเนินงานการส่งมอบซอฟต์แวร์ห้าตัว แบ่งเป็นสองกลุ่ม สามตัวอธิบาย ปริมาณงานที่ไหลผ่าน (throughput) คือการเปลี่ยนแปลงเคลื่อนเร็วเพียงใด ได้แก่ ลีดไทม์ของการเปลี่ยนแปลง ความถี่ในการติดตั้งใช้งาน และเวลากู้คืนจากการติดตั้งใช้งานที่ล้มเหลว สองตัวอธิบาย ความไม่มั่นคง (instability) คือการปล่อยรุ่นก่อปัญหาบ่อยเพียงใด ได้แก่ อัตราการเปลี่ยนแปลงที่ล้มเหลว และอัตราการทำซ้ำจากการติดตั้งใช้งาน เอกสารเผยแพร่ก่อนหน้าอธิบายตัวชี้วัดสี่ตัว โดยใช้ “เวลากู้คืนบริการ” แทนเวลากู้คืนจากการติดตั้งใช้งานที่ล้มเหลว และไม่มีอัตราการทำซ้ำ นิยามถูกปรับปรุงตลอดหลายปี จึงควรระบุเสมอว่าท่านปฏิบัติตามคำแนะนำฉบับใดและวันที่ตรวจสอบล่าสุด

ข้อค้นพบของงานวิจัยที่ทำให้ตัวชี้วัดโด่งดังคือความเร็วและความมั่นคงมีแนวโน้มเคลื่อนไปด้วยกันข้ามทีม ทีมที่ติดตั้งใช้งานบ่อยและมีลีดไทม์สั้นไม่ได้จ่ายด้วยความล้มเหลวที่มากกว่าโดยเฉลี่ย ซึ่งล้มสมมติฐานเก่าที่ว่าเร็วขึ้นหมายถึงพังมากขึ้น เป็นรูปแบบในข้อมูลแบบสำรวจและสายงาน ไม่ใช่กฎ และใช้ได้กับทีมที่ลงทุนในแนวปฏิบัติ เช่นการส่งมอบอย่างต่อเนื่อง ชุดงานเล็ก การทดสอบอัตโนมัติ และข้อเสนอแนะที่เร็ว ตัวชี้วัดเป็นสัญญาณของขีดความสามารถพื้นฐานเหล่านั้น ไม่ใช่ขีดความสามารถเอง

ศัพท์ด้านล่างปรากฏซ้ำในหัวข้อนี้

  • การติดตั้งใช้งาน (deployment) คือการนำซอฟต์แวร์เวอร์ชันหนึ่งขึ้นสู่สภาพแวดล้อมที่ระบุ หัวข้อนี้หมายถึงระบบจริงเว้นแต่ระบุไว้
  • การเปลี่ยนแปลง (change) คือชุดการแก้ไขซอฟต์แวร์ โดยทั่วไปคือคอมมิตหนึ่งหรือหลายอันที่ส่งมอบร่วมกัน ใน ITIL 4 คำนี้มีความหมายกว้างกว่า ครอบคลุมการเพิ่ม แก้ไข หรือลบใด ๆ ที่อาจส่งผลต่อบริการ และแนวปฏิบัติของ ITIL ที่กำกับมันคือการเปิดทางให้เกิดการเปลี่ยนแปลง
  • การติดตั้งใช้งานที่ล้มเหลว (failed deployment) คือการติดตั้งใช้งานที่ทำให้บริการด้อยลงหรือหยุดชะงักในระบบจริงและต้องการการแก้ไข เช่น การแก้ไขด่วน การย้อนกลับ หรือแพตช์ ทีมของท่านเขียนกฎที่แน่ชัดไว้ เพราะงานวิจัยปล่อยให้เป็นนิยามเฉพาะที่
  • การย้อนกลับ (rollback) คือการนำระบบจริงกลับไปสู่เวอร์ชันที่ทราบว่าดีก่อนหน้า
  • เปอร์เซ็นไทล์ (percentile) คือค่าที่สัดส่วนที่ระบุของการสังเกตอยู่ต่ำกว่า เปอร์เซ็นไทล์ที่ 85 ของลีดไทม์คือตัวเลขที่การเปลี่ยนแปลงร้อยละ 85 ทำได้ดีกว่า

มุมมองแบบคล่องตัวและ ITIL มาพบกันบนพื้นที่นี้ ทีมแบบคล่องตัวมองตัวเลขเหล่านี้เป็นข้อเสนอแนะต่อแนวปฏิบัติวิศวกรรมและข้อตกลงการทำงานของตน ผู้ปฏิบัติ ITIL มองเป็นหลักฐานผลลัพธ์สำหรับการเปิดทางให้เกิดการเปลี่ยนแปลง การจัดการการปล่อยรุ่น การจัดการการติดตั้งใช้งาน และการจัดการเหตุขัดข้อง ความตึงเครียดมักเป็นเรื่องการควบคุม คณะกรรมการอนุมัติการเปลี่ยนแปลงแบบดั้งเดิมพยายามลดความล้มเหลวด้วยการตรวจสอบแต่ละการเปลี่ยนแปลงก่อนปล่อย งานวิจัย DORA พบว่าการอนุมัติจากภายนอกที่หนักไม่สัมพันธ์กับความมั่นคงที่ดีกว่า และการทบทวนโดยเพื่อนร่วมงาน การทดสอบอัตโนมัติ และการเปลี่ยนแปลงเล็กสัมพันธ์ ใน ITIL 4 การเปิดทางให้เกิดการเปลี่ยนแปลงรองรับสิ่งนี้ด้วยการแยกการเปลี่ยนแปลงมาตรฐาน ปกติ และฉุกเฉิน และปล่อยให้การเปลี่ยนแปลงความเสี่ยงต่ำได้รับการอนุมัติล่วงหน้า (ดูหัวข้อ 4.3 “ตัวชี้วัดการสนับสนุนการเปลี่ยนแปลง”)

ตัวชี้วัดยังมีข้อจำกัดที่งานวิจัยระบุเอง และคำแนะนำเชิงปฏิบัติในหัวข้อนี้สร้างบนข้อจำกัดเหล่านั้น ตัวชี้วัดอธิบายระบบการส่งมอบของหนึ่งแอปพลิเคชันหรือบริการ มีไว้สำหรับการสนทนาเพื่อปรับปรุง และไม่บอกอะไรว่างานที่ส่งมอบมีคุณค่าหรือไม่ ทีมอาจแสดงตัวเลขยอดเยี่ยมขณะส่งมอบสิ่งที่ผิด ด้วยเหตุนี้หัวข้อนี้จึงอยู่ข้างๆ ไม่ใช่เหนือ การวัดการไหลของงาน (ดูหัวข้อ 2.1 “การวัดการไหลของงาน”) การวัดความน่าเชื่อถือของบริการ (ดูหัวข้อ 5.2 “SLI, SLO และงบข้อผิดพลาด”) และการวัดผลลัพธ์ (ดูหัวข้อ 1.3 “ผลลัพธ์สำคัญกว่าผลผลิต: การเลือกสิ่งที่จะวัด”)

สุดท้าย ตัวชี้วัดเชื้อเชิญกฎของกูดฮาร์ตทันทีที่ปรากฏบนแดชบอร์ดของผู้นำ ความถี่ในการติดตั้งใช้งานเป็นตัวที่ทำให้สูงเกินจริงได้ง่ายที่สุด และจำนวนการติดตั้งใช้งานที่ล้มเหลวเป็นตัวที่ซ่อนได้ง่ายที่สุด ทุกข้อเสนอแนะด้านล่างจึงจับคู่การวัดกับการตรวจสอบว่ามันถูกบิดได้อย่างไร (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”)

หลักการสำคัญ

  • คำนวณจากเหตุการณ์ ไม่ใช่จากความทรงจำ การติดตั้งใช้งานมาจากสายงาน ความล้มเหลวและการกู้คืนมาจากบันทึกเหตุขัดข้อง และลีดไทม์มาจากระบบควบคุมเวอร์ชันที่เชื่อมกับสายงาน (ดูหัวข้อ 1.5 “แหล่งข้อมูลและการติดตั้งเครื่องมือวัด”)
  • อ่านความเร็วและความมั่นคงเป็นภาพเดียว ทีมที่เร็วแต่ความล้มเหลวเพิ่มขึ้น หรือทีมที่มั่นคงแต่ส่งมอบรายไตรมาส บอกสิ่งที่ไม่มีครึ่งใดครึ่งหนึ่งแสดงได้เพียงลำพัง
  • วัดบริการหรือแอปพลิเคชัน ไม่ใช่บุคคล หน่วยของการวิเคราะห์คือระบบการส่งมอบ บุคคลไม่ติดตั้งใช้งานคนเดียว และการจัดอันดับพวกเขาทำลายข้อมูล
  • เปรียบเทียบทีมกับอดีตของตนเอง ไม่ใช่กับทีมอื่น บริบทต่างกันมากระหว่างบริการชำระเงิน แพลตฟอร์มข้อมูล และแอปมือถือ และงานวิจัยเองเตือนไม่ให้ใช้ตัวชี้วัดเป็นตารางลีก
  • ใช้การกระจายสำหรับเวลา ลีดไทม์และเวลากู้คืนมีหางยาว จึงรายงานค่ามัธยฐานและเปอร์เซ็นไทล์สูง (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ”)
  • ถือตัวชี้วัดเป็นอาการ เมื่อตัวเลขเคลื่อน ให้มองหาสาเหตุในขีดความสามารถเบื้องล่าง เช่น ขนาดชุดงาน การทดสอบอัตโนมัติ แนวปฏิบัติการทบทวน และสถาปัตยกรรม แล้วทดลอง
  • เขียนนิยามไว้ ความล้มเหลว การติดตั้งใช้งาน และ “จุดเริ่มของงาน” เป็นการตัดสินใจ บันทึกทางเลือกและรักษาให้คงที่เพื่อให้แนวโน้มมีความหมาย

นิยามตัวชี้วัด

ห้าตัวชี้วัดด้านล่างยึดตามคำแนะนำของ DORA ณ เดือนตุลาคม 2026 สูตรระบุนาฬิกาและรายการยกเว้นที่ทีมของท่านควรเขียนไว้ ในที่ที่งานวิจัยปล่อยขอบเขตเปิดไว้ ตารางแสดงค่าเริ่มต้นที่สมเหตุสมผลและข้อเสนอแนะอธิบายทางเลือก

ตัวชี้วัด นิยาม สูตร หน่วย แหล่งข้อมูล แนวปฏิบัติของ ITIL ส่วนที่เทียบเท่าในแนวทางแบบคล่องตัว รอบการวัด
ลีดไทม์ของการเปลี่ยนแปลง เวลาที่การเปลี่ยนแปลงที่คอมมิตแล้วไปถึงระบบจริง นาฬิกาเริ่มที่คอมมิตแรกของการเปลี่ยนแปลง (หรือการรวมเข้ากิ่งหลักหากระบุในนิยาม) และหยุดเมื่อการติดตั้งใช้งานในระบบจริงสำเร็จ รายงานค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 85 ของการเปลี่ยนแปลงที่ติดตั้งในช่วงเวลา ไม่นับการเปลี่ยนแปลงที่ไม่เคยติดตั้งและรายงานแยกเป็นงานระหว่างทำ ชั่วโมงหรือวัน ระบบควบคุมเวอร์ชันที่เชื่อมกับสายงานการติดตั้งใช้งาน การจัดการการติดตั้งใช้งาน การจัดการการปล่อยรุ่น การเปิดทางให้เกิดการเปลี่ยนแปลง รอบเวลา ลีดไทม์สู่ระบบจริง รายสัปดาห์หรือต่อการปล่อยรุ่น ทบทวนรายเดือน
ความถี่ในการติดตั้งใช้งาน ทีมติดตั้งใช้งานสู่ระบบจริงบ่อยเพียงใด จำนวนการติดตั้งใช้งานสู่ระบบจริงของแอปพลิเคชันที่สำเร็จในช่วงเวลา / จำนวนวันในช่วงเวลา ไม่นับการติดตั้งใช้งานที่ล้มเหลวหรือย้อนกลับในจำนวนที่สำเร็จ และไม่นับการติดตั้งใช้งานสู่สภาพแวดล้อมทดสอบ การติดตั้งใช้งานต่อวันหรือต่อสัปดาห์ บันทึกเหตุการณ์ของสายงานการติดตั้งใช้งาน การจัดการการติดตั้งใช้งาน การจัดการการปล่อยรุ่น การส่งมอบอย่างต่อเนื่อง การปล่อยรุ่นเมื่อสิ้นสุดแต่ละส่วนเพิ่ม รายสัปดาห์
เวลากู้คืนจากการติดตั้งใช้งานที่ล้มเหลว ใช้เวลานานเท่าใดในการกู้คืนเมื่อการติดตั้งใช้งานทำให้ระบบจริงล้มเหลว นาฬิกาเริ่มเมื่อตรวจพบหรือรายงานความล้มเหลว (กฎเดียวกันทุกครั้ง) และหยุดเมื่อบริการกลับมาให้ผู้ใช้ รายงานค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 85 สำหรับการติดตั้งใช้งานที่ล้มเหลวในช่วงเวลา ไม่นับเหตุขัดข้องที่ไม่ได้เกิดจากการติดตั้งใช้งาน นาทีหรือชั่วโมง บันทึกเหตุขัดข้องที่เชื่อมกับเหตุการณ์การติดตั้งใช้งานและการแจ้งเตือนจากการเฝ้าติดตาม การจัดการเหตุขัดข้อง การจัดการความต่อเนื่องของบริการ เวลากู้คืน งานฟื้นฟู ต่อความล้มเหลว ทบทวนรายเดือน
อัตราการเปลี่ยนแปลงที่ล้มเหลว สัดส่วนของการติดตั้งใช้งานสู่ระบบจริงที่ทำให้เกิดความล้มเหลวที่ต้องแก้ไข การติดตั้งใช้งานที่ต้องใช้การแก้ไขด่วน การย้อนกลับ แพตช์ หรือการตอบสนองเหตุขัดข้อง / การติดตั้งใช้งานสู่ระบบจริงทั้งหมดในช่วงเวลา กฎที่เชื่อมความล้มเหลวกับการติดตั้งใช้งานของมันเขียนไว้และใช้ในแบบเดียวกันทุกครั้ง ร้อยละ เหตุการณ์การติดตั้งใช้งานที่เชื่อมกับเหตุขัดข้อง การย้อนกลับ และการติดตั้งใช้งานแก้ไขด่วน การเปิดทางให้เกิดการเปลี่ยนแปลง การจัดการเหตุขัดข้อง นิยามของเสร็จ ข้อบกพร่องที่หลุดรอด รายเดือน
อัตราการทำซ้ำจากการติดตั้งใช้งาน สัดส่วนของการติดตั้งใช้งานสู่ระบบจริงที่ไม่ได้วางแผนและทำเพื่อแก้ปัญหาที่ผู้ใช้เห็น การติดตั้งใช้งานที่ไม่ได้วางแผนเพื่อตอบสนองปัญหาในระบบจริง / การติดตั้งใช้งานสู่ระบบจริงทั้งหมดในช่วงเวลา ไม่นับการติดตั้งใช้งานที่วางแผนไว้ซึ่งบังเอิญมีการแก้ไข กฎของ “ไม่ได้วางแผน” เขียนไว้ ร้อยละ บันทึกสายงานที่ติดแท็กเหตุผลการติดตั้งใช้งาน เชื่อมกับระเบียนเหตุขัดข้องหรือข้อบกพร่อง การเปิดทางให้เกิดการเปลี่ยนแปลง การจัดการปัญหา งานที่ไม่ได้วางแผน การแก้ไขข้อบกพร่องที่ปล่อยนอกแผน รายเดือน

สองข้อสังเกตเกี่ยวกับตาราง ข้อแรก อัตราการเปลี่ยนแปลงที่ล้มเหลวและอัตราการทำซ้ำจากการติดตั้งใช้งานซ้อนกันและไม่ใช่สิ่งเดียวกัน ความล้มเหลวที่ทีมสังเกตและย้อนกลับโดยไม่มีการติดตั้งใช้งานใหม่นับในอัตราการเปลี่ยนแปลงที่ล้มเหลวแต่ไม่นับในอัตราการทำซ้ำ ขณะที่การแก้ไขที่วางแผนไว้ซึ่งทีมกำหนดตารางไม่นับในทั้งสอง ข้อที่สอง งานวิจัยถือ การติดตั้งใช้งาน เป็นหน่วยและนับต่อแอปพลิเคชัน แพลตฟอร์มที่มีห้าสิบบริการจึงมีตัวเลขห้าสิบชุด ไม่ใช่ชุดเดียว

ข้อเสนอแนะ

เริ่มด้วยนิยามและนาฬิกา

1. เขียนนิยามหนึ่งหน้าสำหรับแต่ละตัวชี้วัดก่อนวาดแผนภูมิ ระบุว่าอะไรนับเป็นการติดตั้งใช้งาน สภาพแวดล้อมใดคือระบบจริง นาฬิกาลีดไทม์เริ่มที่ใด และความล้มเหลวเชื่อมกับการติดตั้งใช้งานอย่างไร ใส่หน้านั้นในทะเบียนตัวชี้วัด (ดูหัวข้อ 1.4 “การกำกับดูแลและความเป็นเจ้าของตัวชี้วัด”) นิยามที่อยู่เพียงในหัวของใครคนหนึ่งจะคลาดเคลื่อนเมื่อเครื่องมือหรือทีมเปลี่ยนครั้งแรก

2. เลือกจุดเริ่มของลีดไทม์และยึดมัน ทางเลือกที่พบบ่อยที่สุดคือคอมมิตแรกของการเปลี่ยนแปลง การรวมเข้ากิ่งหลัก และการสร้างตั๋ว คอมมิตแรกวัดระบบการส่งมอบและไม่นับเวลาที่งานนอนในแบ็กล็อก จุดเริ่มที่ตั๋ววัดการรอของลูกค้าได้มากกว่าแต่ผสมการจัดลำดับความสำคัญเข้ามา (ดูหัวข้อ 2.2 “ลีดไทม์ รอบเวลา และประสิทธิภาพการไหล”) ใช้อย่างใดอย่างหนึ่งอย่างสม่ำเสมอและบอกในทุกแผนภูมิ

3. กำหนดความล้มเหลวด้วยกฎที่ระบุ ความล้มเหลวเป็นของการติดตั้งใช้งานหนึ่งเมื่อ เช่น เหตุขัดข้องเปิดขึ้นภายในช่วงที่ระบุหลังการติดตั้งใช้งานและการวิเคราะห์สาเหตุชี้ไปที่การเปลี่ยนแปลงนั้น หรือเมื่อการย้อนกลับหรือการแก้ไขด่วนถูกติดแท็กกับมัน เลือกกฎที่ผู้คนใช้ได้โดยไม่ต้องเถียง ทบทวนตัวอย่างกรณีทุกไตรมาส และรักษากฎให้เหมือนเดิมนานพอที่จะเห็นแนวโน้ม

ติดตั้งเครื่องมือวัดจากสายงาน

4. ดึงเหตุการณ์การติดตั้งใช้งานจากสายงาน ไม่ใช่จากสเปรดชีต ระบบ CI/CD ที่บันทึกการติดตั้งใช้งานสู่ระบบจริงแต่ละครั้งพร้อมเวลา เวอร์ชัน และผลลัพธ์ให้ความถี่ในการติดตั้งใช้งานและจุดหยุดของนาฬิกาลีดไทม์โดยไม่ต้องป้อนด้วยมือ ตัวเลขที่ป้อนด้วยมือล่าช้าและไม่สม่ำเสมอ และเชื้อเชิญปัญหาการย้อนวันที่ที่อธิบายในหัวข้อ 1.5 “แหล่งข้อมูลและการติดตั้งเครื่องมือวัด” โครงการโอเพนซอร์ส Four Keys จากทีม DORA เป็นตัวอย่างการทำงานหนึ่งของการเก็บเหตุการณ์เหล่านี้ แม้สายงานที่เทียบเท่าของท่านเองก็ใช้ได้

5. เชื่อมบันทึกเหตุขัดข้องกับการติดตั้งใช้งาน การวัดความล้มเหลวและการกู้คืนต้องการสองแหล่ง คือบันทึกการติดตั้งใช้งานและเครื่องมือเหตุขัดข้อง เพิ่มฟิลด์ในระเบียนเหตุขัดข้องสำหรับ “เกิดจากการติดตั้งใช้งาน” และตัวระบุการติดตั้งใช้งาน กรอกระหว่างการแก้ไขและตรวจสอบในการทบทวนหลังเหตุการณ์ (ดูหัวข้อ 4.2 “ตัวชี้วัดการทบทวนหลังเหตุการณ์และการเรียนรู้”) หากไม่มีการเชื่อม อัตราการเปลี่ยนแปลงที่ล้มเหลวกลายเป็นการเดา

6. ติดแท็กเหตุผลของแต่ละการติดตั้งใช้งาน อัตราการทำซ้ำต้องแยกการติดตั้งใช้งานที่วางแผนไว้ออกจากการแก้ไขที่ไม่ได้วางแผน ป้ายง่าย ๆ บนการรันสายงาน เช่น “การเปลี่ยนแปลงที่วางแผน” หรือ “แก้ไขปัญหาในระบบจริง” ก็เพียงพอ รักษารายการป้ายให้สั้นเพื่อไม่ให้ผู้คนต้องคิดภายใต้แรงกดดัน

รายงานตัวเลขอย่างซื่อตรง

7. รายงานการกระจายและจำนวน ไม่ใช่ค่าเฉลี่ยเดียว แสดงค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 85 สำหรับลีดไทม์และเวลากู้คืน พร้อมจำนวนการสังเกตเบื้องหลังแต่ละตัว สัปดาห์ที่มีการติดตั้งใช้งานสองครั้งและล้มเหลวหนึ่งครั้งมีอัตราการเปลี่ยนแปลงที่ล้มเหลวร้อยละ 50 ซึ่งมีความหมายน้อยมาก จึงแสดงจำนวนข้างเปอร์เซ็นต์และเลือกช่วงเวลาที่ยาวกว่าสำหรับอัตรา (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ”)

8. แสดงกลุ่มปริมาณงานที่ไหลผ่านและกลุ่มความไม่มั่นคงเคียงกัน วางตัวชี้วัดปริมาณงานที่ไหลผ่านสามตัวและตัวชี้วัดความไม่มั่นคงสองตัวในมุมมองเดียวต่อบริการ พร้อมแนวโน้มอย่างน้อยหนึ่งไตรมาส ห้ามเผยแพร่ความถี่ในการติดตั้งใช้งานโดยไม่มีการวัดความล้มเหลวอยู่ข้าง ๆ หากผู้นำขอตัวเลขเดียว ให้อธิบายว่าไม่มีคะแนน DORA เดียว และเสนอมุมมองสองกลุ่มแทน

9. เก็บการเปรียบเทียบไว้ในประวัติของทีมเอง ทีมที่ลดค่ามัธยฐานของลีดไทม์จากเก้าวันเหลือห้าวันได้เรียนรู้บางอย่าง การจัดอันดับเทียบกับทีมอื่นที่มีสถาปัตยกรรม ภาระด้านกฎระเบียบ หรือขบวนการปล่อยรุ่นต่างกันพิสูจน์ได้น้อย และสอนทั้งสองทีมให้ปกป้องตัวเลขของตน เมื่อต้องรวมยอดเพื่อการกำกับดูแล ให้แสดงการกระจายข้ามบริการและแนวโน้มการปรับปรุง ไม่ใช่ตารางลีก (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”)

ปรับปรุงระบบที่ตัวเลขอธิบาย

10. ลดขนาดชุดงานก่อน การเปลี่ยนแปลงเล็กทำให้ลีดไทม์สั้นลง ทำให้วินิจฉัยความล้มเหลวง่ายขึ้น และลดต้นทุนของการย้อนกลับ เทคนิครวมถึงฟีเจอร์ทอกเกิล การทำงานแบบทรังก์เป็นฐาน และการแบ่งงานให้แต่ละส่วนเพิ่มส่งมอบได้โดดเดี่ยว (ดูหัวข้อ 2.7 “ตัวชี้วัดพูลรีเควสต์และการทบทวนโค้ด”) ติดตามค่ามัธยฐานของขนาดการเปลี่ยนแปลงข้างลีดไทม์เพื่อดูว่าชุดงานหดจริงหรือไม่

11. ลงทุนในการตรวจจับที่เร็วและการย้อนกลับที่เร็ว เวลากู้คืนลดลงเมื่อทีมเห็นความล้มเหลวได้ภายในไม่กี่นาที และเมื่อทำการย้อนกลับหรือปิดการเปลี่ยนแปลงได้โดยไม่ต้องบิลด์ใหม่ การปล่อยแบบแคนารี ฟีเจอร์ทอกเกิล และการย้อนกลับอัตโนมัติแต่ละอย่างลดช่วงระหว่างความล้มเหลวกับการกู้คืน วัดเวลาจากการติดตั้งใช้งานถึงการตรวจพบแยกต่างหาก เพราะการตรวจพบช้าซ่อนอยู่ในตัวเลขเวลากู้คืน (ดูหัวข้อ 3.3 “เวลาตอบสนองและเวลาแก้ไขเหตุขัดข้อง”)

12. ใช้ตัวเลขเพื่อเลือกขีดความสามารถที่จะปรับปรุง เลือกตัวชี้วัดที่อ่อนหนึ่งตัว ถามว่าเหตุใดจึงอ่อน และเลือกแนวปฏิบัติจากรายการขีดความสามารถของงานวิจัยที่แก้สาเหตุ เช่น การทดสอบอัตโนมัติ สถาปัตยกรรมที่เชื่อมกันหลวม หรือการอนุมัติการเปลี่ยนแปลงแบบเบา ทดลองการเปลี่ยนแปลงเป็นเวลาหนึ่งไตรมาสและดูแนวโน้ม จับคู่การทดลองกับหัวข้อการทบทวนย้อนหลังเพื่อให้ทีมเป็นเจ้าของการปรับปรุง (ดูหัวข้อ 9.5 “ตัวชี้วัดการปรับปรุงอย่างต่อเนื่อง”)

ช่องทางการบิดเบือนและมาตรการป้องกัน

ตัวชี้วัด วิธีที่ถูกบิดเบือน ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่
ลีดไทม์ของการเปลี่ยนแปลง เลื่อนจุดเริ่มของนาฬิกาให้ช้าลง เช่น เริ่มที่การรวมแทนคอมมิตแรก รวมเข้ากิ่งอายุยาวเร็ว ๆ ยกเว้นการเปลี่ยนแปลงที่ยากว่า “ไม่ใช่โค้ด” ส่งการเปลี่ยนแปลงเล็กน้อยผ่านสายงานเพื่อดึงค่ามัธยฐานลง เปอร์เซ็นไทล์และอายุของงานระหว่างทำ จุดเริ่มของนาฬิกาที่เขียนไว้ตายตัว สุ่มตรวจการเปลี่ยนแปลงที่ช้าที่สุดร้อยละ 10 ทุกไตรมาส การกระจายขนาดการเปลี่ยนแปลง
ความถี่ในการติดตั้งใช้งาน แบ่งการเปลี่ยนแปลงเดียวเป็นการติดตั้งใช้งานเล็กน้อยจำนวนมาก ติดตั้งใหม่ซ้ำบิลด์ที่ไม่เปลี่ยน นับการติดตั้งใช้งานสู่สเตจจิงหรือการเปลี่ยนแปลงการกำหนดค่าที่ว่างเปล่า ขนาดการเปลี่ยนแปลงต่อการติดตั้งใช้งาน สัดส่วนของการติดตั้งใช้งานที่มีการเปลี่ยนแปลงที่ผู้ใช้เห็น อัตราการเปลี่ยนแปลงที่ล้มเหลวและอัตราการทำซ้ำข้างกัน
เวลากู้คืนจากการติดตั้งใช้งานที่ล้มเหลว เริ่มนาฬิกาช้าหรือปิดเหตุขัดข้องเร็ว จัดประเภทความล้มเหลวใหม่เป็นเหตุขัดข้องใหม่หลังแก้ไขบางส่วน ยกเกณฑ์ความรุนแรงสำหรับ “ความล้มเหลว” การเกิดซ้ำของเหตุขัดข้องเดียวกันภายในช่วงที่ระบุ จุดเริ่มนาฬิกาที่ได้จากการแจ้งเตือนของการเฝ้าติดตาม ระยะเวลาผลกระทบที่ลูกค้ารายงาน
อัตราการเปลี่ยนแปลงที่ล้มเหลว ไม่เชื่อมเหตุขัดข้องกับการติดตั้งใช้งาน นับเฉพาะความล้มเหลวที่ทำให้หยุดทั้งหมด ขยายหน้าต่างให้ความล้มเหลวหลุดออกไป แก้แบบก้าวหน้าแล้วเรียกว่าการเปลี่ยนแปลงใหม่ ตรวจสอบตัวอย่างเหตุขัดข้องเทียบกับบันทึกการติดตั้งใช้งานทุกไตรมาส ติดตามสัดส่วนของเหตุขัดข้องที่บันทึกการเชื่อมการติดตั้งใช้งาน อัตราการทำซ้ำจากการติดตั้งใช้งาน
อัตราการทำซ้ำจากการติดตั้งใช้งาน ติดป้ายการแก้ไขว่าเป็นงานที่วางแผนไว้ รวมการแก้ไขเข้ากับการปล่อยรุ่นตามกำหนด หลีกเลี่ยงการติดตั้งใช้งานแก้ไขด้วยการเลื่อนการแก้ไข จำนวนข้อบกพร่องและข้อบกพร่องที่หลุดรอดจากระบบติดตาม อายุของข้อบกพร่องในระบบจริงที่เปิดอยู่ การตรวจสอบแท็กจากตัวอย่างการติดตั้งใช้งาน

การอ่านค่าที่ดีแสดงลีดไทม์และเวลากู้คืนที่หดลงหรือคงที่ในระดับต่ำ ความถี่ในการติดตั้งใช้งานที่คงที่หรือเพิ่มขึ้นพร้อมการเปลี่ยนแปลงเล็ก และอัตราความล้มเหลวและการทำซ้ำที่คงที่หรือลดลง โดยมีจำนวนมากพอจะเชื่อถือ การอ่านค่าที่น่าสงสัยรวมถึงความถี่ในการติดตั้งใช้งานที่กระโดดอย่างกะทันหันโดยงานไม่เปลี่ยน อัตราความล้มเหลวที่ลดเหลือศูนย์ภายในหนึ่งเดือน และเวลากู้คืนที่ลดลงขณะที่ข้อร้องเรียนของลูกค้าเท่าเดิม แต่ละอย่างเรียกร้องให้ดูเครื่องมือวัดก่อนฉลอง

ข้อแลกเปลี่ยน: ข้อดีและข้อเสีย

แนวทาง จุดแข็ง จุดอ่อน
ใช้ตัวชี้วัด DORA ทั้งห้าต่อบริการ อิงงานวิจัย สมดุลความเร็วกับความมั่นคง คำนวณจากเหตุการณ์ที่เป็นปรนัย ต้องมีสายงานและบันทึกเหตุขัดข้องที่เชื่อมกันได้สะอาด ไม่บอกว่างานมีคุณค่าหรือไม่
รายงานเฉพาะความถี่ในการติดตั้งใช้งานและลีดไทม์ เก็บจากสายงานง่าย ให้รางวัลความเร็วอย่างเดียวและเชื้อเชิญการบิดเบือนที่การวัดความมั่นคงจับได้
ใช้นิยามเฉพาะที่ต่อทีม เหมาะกับสถาปัตยกรรมและรูปแบบการปล่อยรุ่นของทีม เปรียบเทียบทีมไม่ได้ และการรวมยอดเชื่อถือไม่ได้
ใช้นิยามเดียวทั้งองค์กร รายงานสม่ำเสมอ การกำกับดูแลง่าย เหมาะกับบางระบบไม่ดี เช่น เมนเฟรมที่มีหน้าต่างแบตช์หรือการปล่อยรุ่นที่ถูกกำกับ
เปรียบเทียบทีมกับช่วงผลการดำเนินงานที่เผยแพร่ ให้ผู้นำรู้ตำแหน่งอย่างรวดเร็ว ไม่สนใจบริบท และงานวิจัยเตือนว่าช่วงเหล่านั้นไม่ใช่เป้าหมายสำหรับแต่ละทีม
ใช้ตัวชี้วัดเพื่อการปรับปรุงตนเองของทีม สร้างความเป็นเจ้าของ สนับสนุนข้อมูลที่ซื่อตรง ให้ความสบายใจน้อยกว่าแก่ผู้นำที่ต้องการคะแนนเดียว

ความตึงเครียดหลักคือระหว่างความสามารถในการเปรียบเทียบกับความซื่อตรง ยิ่งใช้ตัวเลขตัดสินทีมมากเท่าใด ข้อมูลยิ่งบิดเบี้ยว และยิ่งช่วยทีมที่เป็นเจ้าของน้อยลง ใช้ตัวชี้วัดเพื่อสนับสนุนการปรับปรุงก่อน ยอมรับความสามารถในการเปรียบเทียบที่ไม่สมบูรณ์ และเก็บมุมมองระดับผู้นำไว้ที่แนวโน้มและการกระจาย เมื่อการรายงานตามข้อกำหนดต้องการนิยามมาตรฐาน ให้บันทึกและแยกไว้จากมุมมองการปรับปรุงระดับทีม

คำถามสำหรับอภิปรายกับทีม

1. ตัวเลข DORA ทั้งห้าของเราตัวไหนมาจากเหตุการณ์ และตัวไหนมาจากความทรงจำของใครสักคน ไล่แต่ละตัวชี้วัดกลับไปที่แหล่งที่มา จดว่าตรงไหนที่คนพิมพ์วันที่หรือตัดสินว่าสิ่งใดนับเป็นความล้มเหลว ผู้อำนวยการประชุมควรช่วยให้กลุ่มจัดอันดับขั้นตอนด้วยมือตามระดับที่อาจบิดเบือนตัวเลข และตกลงว่าจะทำให้เป็นอัตโนมัติอย่างใดก่อน

2. นาฬิกาลีดไทม์ของเราเริ่มและหยุดที่ใดกันแน่ และทุกคนเห็นพ้องหรือไม่ ขอให้สามคนอธิบายจุดเริ่มและจุดหยุดของนาฬิกาสำหรับการเปลี่ยนแปลงล่าสุดที่ส่งมอบ เปรียบเทียบคำตอบ ความแตกต่างมักปรากฏรอบคอมมิตแรก การรวม ตั๋ว และขั้นตอนการอนุมัติ ตกลงนิยามเดียวและเขียนไว้ และอภิปรายว่านิยามที่เลือกซ่อนเวลารออะไร

3. อะไรนับเป็นการติดตั้งใช้งานที่ล้มเหลวสำหรับเรา และใครตัดสิน ไล่ดูเหตุขัดข้องในระบบจริงห้าครั้งล่าสุดและถามว่าแต่ละครั้งเป็นของการติดตั้งใช้งานหรือไม่ ความเห็นต่างแสดงว่ากฎไม่ชัดตรงไหน อภิปรายว่าเกิดอะไรขึ้นกับความล้มเหลวที่แก้ด้วยการเปลี่ยนการกำหนดค่า การย้อนกลับ หรือแพตช์ด่วน และตัดสินใจว่าแต่ละอย่างบันทึกอย่างไร

4. หากความถี่ในการติดตั้งใช้งานเพิ่มเป็นสองเท่าในไตรมาสหน้า เราจะตรวจอะไรก่อนเรียกว่าข่าวดี เชิญกลุ่มระบุวิธีที่ตัวเลขสูงขึ้นได้โดยไม่ส่งมอบคุณค่ามากขึ้น ดูขนาดการเปลี่ยนแปลง สัดส่วนของการติดตั้งใช้งานที่มีการเปลี่ยนแปลงที่ผู้ใช้เห็น และอัตราความล้มเหลวและการทำซ้ำ ผู้อำนวยการประชุมควรจดว่าการตรวจใดมีอยู่แล้วบนแดชบอร์ดและใดต้องเพิ่ม

5. คนนอกทีมใช้ตัวเลขเหล่านี้อย่างไร ถามว่าใครเห็น ในรูปแบบใด และทำอะไรกับมัน ฟังหาการเปรียบเทียบกับทีมอื่น เป้าหมายที่ตั้งจากภายนอก และการใช้ในการประเมินรายบุคคล อภิปรายว่าทีมต้องเห็นอะไรเปลี่ยนในการใช้นั้นก่อนจะไว้ใจข้อมูลของตนเอง และใครมีสถานะที่จะทำให้เปลี่ยน

6. ขีดความสามารถใดหนึ่งอย่างจะปรับปรุงตัวเลขที่อ่อนที่สุดของเราได้มากที่สุด และการทดลองเล็ก ๆ ที่จะลองคืออะไร เลือกตัวชี้วัดที่อ่อนที่สุดและพูดคุยถึงสาเหตุที่น่าจะเป็น เช่น ชุดงานใหญ่ การทบทวนช้า การทดสอบที่ไม่เสถียร หรือขั้นตอนการปล่อยรุ่นด้วยมือ เลือกสาเหตุหนึ่งอย่างและออกแบบการทดลองสี่ถึงหกสัปดาห์พร้อมวิธีดูผล ตกลงวันทบทวนผลและผู้ที่จะนำข้อมูลมา

สี่มุมมอง

ทีมผลิตภัณฑ์และการส่งมอบ

ทีมส่งมอบเป็นเจ้าของขีดความสามารถที่ขับเคลื่อนตัวเลขเหล่านี้ ได้แก่ การเปลี่ยนแปลงเล็ก การทดสอบอัตโนมัติ สายงานที่เร็ว และนิสัยการทบทวนงานของกันและกัน ควรใช้ตัวชี้วัดเป็นกระจกสำหรับแนวปฏิบัติวิศวกรรมของตน ตั้งเป้าหมายการปรับปรุงของตนเอง และต้านทานแรงกดดันให้รายงานตัวเลขเดียวขึ้นไปข้างบน พวกเขายังตัดสินนิยาม จึงมีหน้าที่รักษาให้ซื่อตรง (ดูหัวข้อ 2.7 “ตัวชี้วัดพูลรีเควสต์และการทบทวนโค้ด”)

ทีมบริการและปฏิบัติการ

ทีมปฏิบัติการถือบันทึกเหตุขัดข้องที่การวัดความล้มเหลวและการกู้คืนพึ่งพา พวกเขาช่วยทีมส่งมอบด้วยการติดแท็กเหตุขัดข้องกับการติดตั้งใช้งานที่เป็นสาเหตุ จัดหาการเฝ้าติดตามที่ตรวจพบความล้มเหลวอย่างรวดเร็ว และเข้าร่วมการทบทวนการติดตั้งใช้งานที่ล้มเหลวแต่ละครั้ง ควรเฝ้าดูว่าความเร็วของการส่งมอบไม่ได้ซื้อความไม่มั่นคงที่พวกเขารับไว้เป็นภาระเวรเรียกฉุกเฉิน (ดูหัวข้อ 5.7 “ตัวชี้วัดงานซ้ำซากและเวรเรียกฉุกเฉิน”) และขอการลงทุนด้านการย้อนกลับและการตรวจจับที่ลดเวลากู้คืน

ภาวะผู้นำและการกำกับดูแล

ผู้นำควรขอแนวโน้มและการกระจายข้ามบริการ สองกลุ่มของตัวชี้วัดร่วมกัน และการทดลองปรับปรุงเบื้องหลัง ควรหลีกเลี่ยงเป้าหมายที่ตรึงตัวเลข เช่น “ติดตั้งใช้งานทุกวัน” และหลีกเลี่ยงการใช้ตัวชี้วัดในการประเมินรายบุคคล หน่วยกำกับดูแลใช้ตัวเลขเป็นหลักฐานว่าเส้นทางอนุมัติการเปลี่ยนแปลงที่เบากว่าปลอดภัย หรือเป็นเหตุผลให้พิจารณาใหม่ ด้วยการแสดงว่าความมั่นคงคงที่หรือไม่เมื่อกระบวนการเปลี่ยน (ดูหัวข้อ 4.4 “ความล้มเหลวของการเปลี่ยนแปลงและการทำซ้ำ”)

ลูกค้าและผู้ใช้

ลูกค้าไม่ค่อยสนใจจำนวนการติดตั้งใช้งาน พวกเขาสนใจว่าการแก้ไขหรือฟีเจอร์ไปถึงพวกเขาเร็วเพียงใด การปล่อยรุ่นทำให้สิ่งที่พวกเขาพึ่งพาพังน้อยเพียงใด และบริการกลับมาเร็วเพียงใดเมื่อพัง ใช้ตัวชี้วัด DORA เป็นหลักฐานภายในว่าผลลัพธ์เหล่านี้น่าจะเกิด และเสริมด้วยการวัดที่หันหน้าสู่ลูกค้า เช่น ความพร้อมใช้งานและความพึงพอใจ (ดูหัวข้อ 5.3 “ตัวชี้วัดความพร้อมใช้งาน” และหัวข้อ 6.1 “ตัวชี้วัดความพึงพอใจของลูกค้า”)

ในทางปฏิบัติ: ตัวอย่าง ITIL แบบคล่องตัว

ผู้ค้าปลีกออนไลน์ขนาดกลางดำเนินบริการชำระเงินซึ่งเป็นของทีมผลิตภัณฑ์หนึ่งทีม สนับสนุนโดยทีมแพลตฟอร์มและเซอร์วิสเดสก์ ตัวเลขทั้งหมดด้านล่างเป็นตัวอย่างเพื่ออธิบาย

ทีมติดตั้งใช้งานสู่ระบบจริงประมาณสัปดาห์ละสองครั้ง โดยมีลีดไทม์ (จากคอมมิตแรกถึงระบบจริง) ค่ามัธยฐาน 11 วันและเปอร์เซ็นไทล์ที่ 85 ที่ 26 วัน ตลอดไตรมาสก่อน 6 จาก 24 การติดตั้งใช้งาน (ร้อยละ 25 ตัวอย่างเพื่ออธิบาย) ตามด้วยการย้อนกลับหรือเหตุขัดข้อง ค่ามัธยฐานของเวลากู้คืนสำหรับความล้มเหลวเหล่านั้นคือ 3 ชั่วโมง คณะกรรมการอนุมัติการเปลี่ยนแปลงประชุมทุกสัปดาห์และทบทวนทุกการเปลี่ยนแปลงของบริการชำระเงิน

ทีมเสนอแผน จะแบ่งการเปลี่ยนแปลงใหญ่ เพิ่มการตรวจสอบอัตโนมัติในสายงาน ใส่พฤติกรรมใหม่หลังฟีเจอร์ทอกเกิล และขอให้คณะกรรมการอนุมัติล่วงหน้าการเปลี่ยนแปลงความเสี่ยงต่ำที่ผ่านการตรวจสอบเป็นการเปลี่ยนแปลงมาตรฐาน ผู้จัดการการเปลี่ยนแปลงระมัดระวัง ทีมจึงตกลงรายงานทั้งห้าตัวชี้วัดทุกเดือนและหยุดการทดลองหากอัตราความล้มเหลวสูงขึ้นสองเดือนติดต่อกัน

หลังหนึ่งไตรมาส ตัวเลข (ตัวอย่างเพื่ออธิบาย) คือ 19 การติดตั้งใช้งานต่อเดือน ค่ามัธยฐานของลีดไทม์ 3 วันและเปอร์เซ็นไทล์ที่ 85 ที่ 8 วัน อัตราการเปลี่ยนแปลงที่ล้มเหลวร้อยละ 8 ค่ามัธยฐานของเวลากู้คืน 40 นาที และอัตราการทำซ้ำร้อยละ 5 ทีมพอใจ และผู้จัดการภูมิภาคขอเปรียบเทียบความถี่ในการติดตั้งใช้งานของทีมชำระเงินกับทีมผลิตภัณฑ์อื่นและตั้งเป้าหมายร่วม

หัวหน้าทีมนำการแยกการทำซ้ำและความล้มเหลวมาที่การทบทวนและสังเกตความเสี่ยงของการบิดเบือน ความถี่ในการติดตั้งใช้งานได้รับความช่วยเหลือจากการติดตั้งใช้งานการกำหนดค่าเล็กน้อยจำนวนหนึ่งที่สายงานนับ และค่ามัธยฐานของขนาดการเปลี่ยนแปลงหดเร็วกว่างานจริง แย่กว่านั้น เหตุขัดข้องสองครั้งเมื่อเดือนที่แล้วถูกแก้ด้วยการเปลี่ยนการกำหนดค่าที่สายงานบันทึกเป็นการติดตั้งใช้งานปกติที่ติดแท็ก “วางแผนไว้” อัตราการทำซ้ำจึงต่ำเกินจริง อัตราการเปลี่ยนแปลงที่ล้มเหลวดูดีส่วนหนึ่งเพราะเหตุขัดข้องสองครั้งนั้นไม่ได้เชื่อมกับการติดตั้งใช้งานเดิม

การตัดสินใจที่บันทึกในบันทึกการตัดสินใจมีสี่ส่วน การติดตั้งใช้งานเฉพาะการกำหนดค่าถูกนับแยกและแสดงข้างตัวเลขหลัก แท็กเหตุผลการติดตั้งใช้งานถูกตรวจสอบรายเดือนจากตัวอย่าง 10 การติดตั้งใช้งาน เครื่องมือเหตุขัดข้องกำหนดให้ใส่ตัวระบุการติดตั้งใช้งานเมื่อสาเหตุคือการเปลี่ยนแปลง และทีมปฏิเสธเป้าหมายความถี่ในการติดตั้งใช้งานร่วม แต่เสนอมุมมองร่วมที่แสดงแนวโน้มของแต่ละบริการและอัตราความล้มเหลวแทน ผู้จัดการการเปลี่ยนแปลงตกลงคงการอนุมัติล่วงหน้าสำหรับการเปลี่ยนแปลงมาตรฐาน โดยทบทวนเมื่อสิ้นสุดไตรมาสถัดไป

มุมมองตามประเภทองค์กร

สตาร์ทอัป ทีมเล็กมักติดตั้งใช้งานหลายครั้งต่อวันและมีบันทึกเหตุขัดข้องบาง ความถี่ในการติดตั้งใช้งานและลีดไทม์จึงง่ายแต่ข้อมูลความล้มเหลวขาดตอน เริ่มด้วยการติดแท็กทุกการย้อนกลับและการแก้ไขด่วนในสายงาน และเก็บบันทึกเหตุขัดข้องง่าย ๆ พร้อมตัวระบุการติดตั้งใช้งาน อย่าให้ความถี่สูงทำให้เชื่อว่าความมั่นคงดีโดยไม่ตรวจอัตราความล้มเหลว

ธุรกิจขนาดเล็ก แพลตฟอร์มที่โฮสต์ไว้หรือนักพัฒนาที่จ้างภายนอกอาจติดตั้งใช้งานเพียงรายเดือนโดยมีเครื่องมือน้อย นับเท่าที่ทำได้ด้วยมือสองสามเดือน ขอวันที่การติดตั้งใช้งานและเหตุขัดข้องจากผู้ให้บริการเป็นลายลักษณ์อักษร และเน้นลีดไทม์และอัตราความล้มเหลว ใช้ตัวเลขเพื่อตัดสินว่าการเปลี่ยนแปลงเล็กที่ส่งมอบอย่างต่อเนื่องจะลดความเสี่ยงหรือไม่ ไม่ใช่เพื่อไล่ตามช่วง

องค์กรขนาดใหญ่ หลายทีม รูปแบบการปล่อยรุ่นหลายแบบ และระบบสมัยใหม่ปนระบบเก่าทำให้นิยามที่สม่ำเสมอเป็นเรื่องยาก ตกลงนิยามขั้นต่ำร่วมสำหรับแต่ละตัวชี้วัด เผยแพร่ และอนุญาตให้ทีมเพิ่มนิยามเฉพาะที่เข้มงวดกว่าพร้อมเหตุผลที่ระบุ รวมยอดโดยแสดงการกระจายและแนวโน้มต่อบริการแทนค่าเฉลี่ย และเก็บรายละเอียดระดับทีมให้เห็นเฉพาะทีมเจ้าของและกลุ่มสนับสนุน

หน่วยงานภาครัฐและภาคสาธารณะ หน้าต่างการปล่อยรุ่น กฎการตรวจสอบ และสัญญาจัดซื้อจัดจ้างกำหนดสิ่งที่เป็นไปได้ และบางระบบดำเนินการโดยผู้ให้บริการ ใส่สิทธิ์ข้อมูลการส่งมอบและเหตุขัดข้องในสัญญาเพื่อให้คำนวณตัวชี้วัดได้ ใช้ตัวเลขเป็นหลักฐานว่าโครงการปรับปรุงให้ทันสมัยทำให้ลีดไทม์สั้นลงโดยไม่เพิ่มความล้มเหลว และรายงานทุกตัวชี้วัดร่วมกันเพื่อไม่ให้ผลถูกเลือก (ดูหัวข้อ 8.5 “การรายงานตามข้อกำหนดและต่อภาครัฐ”)

กรณีทางธุรกิจ: แรงจูงใจ ROI และ TCO

แรงจูงใจคือทำให้เวลาระหว่างแนวคิดกับการใช้งานสั้นลงขณะรักษาระบบจริงให้มั่นคง ต้นทุนของโปรแกรมมีสามส่วน คือการติดตั้งเครื่องมือวัด (เหตุการณ์สายงาน แท็กการติดตั้งใช้งาน และการเชื่อมเหตุขัดข้อง) กิจวัตรการทบทวน (ดูแนวโน้มรายเดือนและสุ่มตัวอย่างกรณีความล้มเหลวและการทำซ้ำรายไตรมาส) และงานปรับปรุงที่ตัวเลขชี้ เช่น การทดสอบอัตโนมัติหรือสายงานที่เร็วขึ้น สองส่วนแรกไม่สูง ส่วนที่สามคือที่ที่ค่าใช้จ่ายจริงอยู่ และใช้กับขีดความสามารถด้านวิศวกรรม ไม่ใช่การวัด

ผลตอบแทนมาจากการตัดสินใจที่ตัวเลขทำให้ง่ายขึ้น ทีมแสดงให้คณะกรรมการการเปลี่ยนแปลงเห็นว่าการเปลี่ยนแปลงเล็กปลอดภัย และเลิกขั้นตอนอนุมัติหนึ่งได้ กลุ่มแพลตฟอร์มเห็นว่าบริการใดมีสายงานช้าหรือการย้อนกลับไม่ดี และลงทุนตามนั้น ทีมปฏิบัติการโต้แย้งด้วยข้อมูลเพื่อขอเครื่องมือตรวจจับที่ดีกว่า อธิบายผลตอบแทนผ่านรูปแบบที่ท่านสังเกตได้เอง เช่น เวลาจากคอมมิตถึงระบบจริง สัดส่วนของการปล่อยรุ่นที่ต้องแก้ไข และภาระเวรเรียกฉุกเฉินต่อการปล่อยรุ่น ก่อนและหลังการเปลี่ยนแปลง หลีกเลี่ยงการอ้างตัวเลขเกณฑ์มาตรฐานจากองค์กรอื่นเป็นผลตอบแทนที่คาดหวัง เพราะบริบทของท่านจะต่างออกไป ต้นทุนรวมของความเป็นเจ้าของ (TCO) ส่วนใหญ่คือเวลาของผู้คน จึงควรรักษาชุดตัวชี้วัดให้เล็กและทำให้การเก็บเป็นอัตโนมัติ (ดูหัวข้อ 7.7 “ผลตอบแทนจากการลงทุนและกรณีทางธุรกิจ”)

รูปแบบที่ไม่ควรทำและข้อควรระวัง

  • ถือตัวชี้วัดเป็นสกอร์การ์ดผลการดำเนินงานของบุคคล ทำลายพื้นฐานงานวิจัยและทำให้ข้อมูลเสีย รายงานเฉพาะที่ระดับบริการและทีม
  • ตั้งเป้าหมายเช่น “ติดตั้งใช้งานทุกวัน” หรือ “ลีดไทม์ต่ำกว่าหนึ่งวัน” เป้าหมายแทนที่จุดมุ่งหมาย ตั้งทิศทางการปรับปรุงและการทดลอง และเก็บตัวเลขเป็นสัญญาณ
  • จัดอันดับทีมเทียบกันหรือเทียบช่วงที่เผยแพร่ บริบทต่างกันและการบิดเบือนตามมา เปรียบเทียบทีมกับแนวโน้มของตนเอง และใช้ช่วงเป็นเพียงการปรับทิศทางหลวม ๆ
  • รายงานความเร็วโดยไม่มีความมั่นคง คู่คือประเด็น แสดงกลุ่มปริมาณงานที่ไหลผ่านและกลุ่มความไม่มั่นคงด้วยกันเสมอ
  • ปล่อยให้นิยามคลาดเคลื่อน ความล้มเหลว การติดตั้งใช้งาน และจุดเริ่มของลีดไทม์เปลี่ยนอย่างเงียบ ๆ ตามเครื่องมือ บันทึกทุกการเปลี่ยนนิยามพร้อมเหตุผลและทำเครื่องหมายบนแผนภูมิ
  • นับการติดตั้งใช้งานของทุกอย่าง การพุชการกำหนดค่า การปล่อยสู่สภาพแวดล้อมทดสอบ และการติดตั้งใหม่ซ้ำบิลด์เดิมทำให้จำนวนสูงเกินจริง นิยามการติดตั้งใช้งานสู่ระบบจริงและแสดงชนิดอื่นแยกต่างหาก
  • มองข้ามสิ่งที่ส่งมอบ ตัวเลขที่แข็งแรงอาจซ่อนงานที่ไม่สำคัญ อ่านควบคู่กับการวัดการไหลของงานและผลลัพธ์ (ดูหัวข้อ 2.9 “งานปฏิบัติการและงานที่ไม่ได้วางแผน”)
  • ไล่ตามตัวชี้วัดแทนขีดความสามารถ ลีดไทม์ลดลงอย่างเชื่อถือได้มากที่สุดเมื่อชุดงานหดและการทดสอบเร็วขึ้น ปรับปรุงแนวปฏิบัติและปล่อยให้ตัวเลขตามมา

แบบจำลองวุฒิภาวะ

มิติ 1 เริ่มต้น 2 พัฒนา 3 ทำให้เป็นมาตรฐาน 4 บริหารจัดการ 5 ประสานจัดการ
นิยามและนาฬิกา แต่ละคนนิยามการติดตั้งใช้งานและความล้มเหลวต่างกัน บางทีมบันทึกนิยามของตน มีนิยามที่เขียนไว้หนึ่งฉบับต่อตัวชี้วัด พร้อมนาฬิกาและรายการยกเว้นในทะเบียนตัวชี้วัด บันทึกการเปลี่ยนนิยามและทำเครื่องหมายบนแผนภูมิ ตรวจตัวอย่างทุกไตรมาส ปรับปรุงนิยามร่วมกับผู้ให้บริการและการกำกับดูแลเมื่อไม่ช่วยการตัดสินใจอีกต่อไป
การเก็บข้อมูล รวบรวมจำนวนด้วยมือจากตั๋ว มีข้อมูลสายงานสำหรับบางบริการ เชื่อมเหตุขัดข้องด้วยมือ บันทึกการติดตั้งใช้งาน เหตุผล และการเชื่อมเหตุขัดข้องโดยอัตโนมัติสำหรับบริการส่วนใหญ่ วัดและติดตามแนวโน้มคุณภาพข้อมูล (อัตราการเชื่อม การตรวจสอบแท็ก) แบ่งปันเหตุการณ์ข้ามทีมและผู้ให้บริการผ่านส่วนเชื่อมที่ตกลงกัน
การใช้ตัวเลข รายงานขึ้นข้างบนเป็นคะแนนเดียว ทีมดูแผนภูมิของตนเป็นครั้งคราว ทีมเจ้าของทบทวนกลุ่มปริมาณงานที่ไหลผ่านและกลุ่มความไม่มั่นคงร่วมกันทุกเดือน แนวโน้มป้อนการทดลองปรับปรุงที่มีงบประมาณพร้อมมาตรการป้องกัน การกระจายและแนวโน้มแจ้งการลงทุนด้านแพลตฟอร์มและนโยบายการเปลี่ยนแปลงทั่วองค์กร
มาตรการป้องกันการบิดเบือน ไม่มี รับรู้อย่างไม่เป็นทางการ ระบุมาตรการป้องกันที่จับคู่ของแต่ละตัวชี้วัด ทบทวนมาตรการป้องกันและตัวอย่าง บันทึกกรณีการบิดเบือน ปรับมาตรการป้องกันอย่างต่อเนื่องเมื่อทีมและเครื่องมือเปลี่ยน

รายการตรวจสอบ

  • ห้าตัวชี้วัดนิยามเป็นลายลักษณ์อักษร พร้อมนาฬิกา รายการยกเว้น และวันที่และฉบับของคำแนะนำ DORA ที่ปฏิบัติตาม
  • สายงานบันทึกการติดตั้งใช้งานสู่ระบบจริงพร้อมเวลา เวอร์ชัน และผลลัพธ์
  • ระบุจุดเริ่มของลีดไทม์ (คอมมิตแรก การรวม หรืออื่น ๆ) และใช้อย่างสม่ำเสมอ
  • เหตุขัดข้องมีฟิลด์สำหรับการติดตั้งใช้งานที่เป็นสาเหตุ กรอกระหว่างการแก้ไข
  • การติดตั้งใช้งานแต่ละครั้งมีแท็กเหตุผล และตรวจสอบตัวอย่างรายเดือน
  • รายงานเวลาเป็นค่ามัธยฐานและเปอร์เซ็นไทล์สูง พร้อมจำนวน
  • แสดงตัวชี้วัดปริมาณงานที่ไหลผ่านและความไม่มั่นคงร่วมกันสำหรับแต่ละบริการ
  • ติดตามขนาดการเปลี่ยนแปลงข้างความถี่ในการติดตั้งใช้งานและลีดไทม์
  • ไม่ใช้ตัวเลขในการประเมินรายบุคคลหรือจัดอันดับทีม
  • เจ้าของที่ระบุชื่อทบทวนตัวชี้วัดรายเดือนและบันทึกการเปลี่ยนนิยามใด ๆ
  • มีการทดลองปรับปรุงหนึ่งอย่างที่ผูกกับตัวชี้วัดที่อ่อนที่สุดกำลังดำเนินอยู่พร้อมวันทบทวน

พรอมต์ AI

เขียนชุดนิยามหนึ่งหน้าสำหรับห้าตัวชี้วัด

ฉันกำลังนิยามตัวชี้วัดการส่งมอบซอฟต์แวร์ DORA สำหรับ [ชื่อบริการหรือแอปพลิเคชัน]
เครื่องมือของเราคือ [ผู้ให้บริการควบคุมเวอร์ชัน ระบบ CI/CD เครื่องมือเหตุขัดข้อง
เครื่องมือ ITSM] รูปแบบการปล่อยรุ่นของเราคือ [ต่อเนื่อง รายสัปดาห์ รายเดือน หรืออื่น ๆ] สำหรับ
ลีดไทม์ของการเปลี่ยนแปลง ความถี่ในการติดตั้งใช้งาน เวลากู้คืนจากการติดตั้งใช้งานที่ล้มเหลว อัตราการ
เปลี่ยนแปลงที่ล้มเหลว และอัตราการทำซ้ำจากการติดตั้งใช้งาน ร่างนิยามโดยระบุว่านาฬิกาเริ่ม
และหยุดที่ใด อะไรนับและอะไรยกเว้น แหล่งข้อมูล และความเสี่ยงของความกำกวมหนึ่งอย่าง อย่าคิดค่าเกณฑ์มาตรฐานขึ้นเองหรืออ้างว่าแนวปฏิบัติของเราตรงกับ
ช่วงผลการดำเนินงานที่เผยแพร่ใด ๆ ระบุสมมติฐานของคุณและคำถามที่ฉันควร
ตอบเพื่อให้นิยามเสร็จสมบูรณ์

ตรวจสอบชุดตัวชี้วัดเพื่อหาความเสี่ยงของการบิดเบือน

นี่คือวิธีที่เราคำนวณตัวชี้วัดการส่งมอบในปัจจุบัน: [คำอธิบายของแต่ละ
ตัวชี้วัด แหล่งข้อมูล และวิธีรายงาน] ผู้รับคือ [ทีม
ผู้นำ หรือหน่วยกำกับดูแล] สำหรับแต่ละตัวชี้วัด ระบุวิธีที่เป็นไปได้ที่ตัวเลข
อาจถูกทำให้สูงเกินจริง ซ่อน หรือบิดเบือนโดยไม่มีการปรับปรุงจริง และเสนอ
ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่ซึ่งจะจับได้ อย่าคิดสถิติขึ้นเอง
ระบุสมมติฐานของคุณและข้อมูลที่คุณต้องการเพื่อให้แม่นยำขึ้น

วิเคราะห์ข้อมูลที่ส่งออกของการติดตั้งใช้งานและเหตุขัดข้อง

ฉันจะวางข้อมูลส่งออกขนาดเล็กของ [จำนวน] การติดตั้งใช้งานสู่ระบบจริงและ [จำนวน]
เหตุขัดข้อง พร้อมฟิลด์เหล่านี้: [รายการฟิลด์ เช่น deployment id, timestamp,
result, reason tag, incident id, opened time, resolved time, deployment link]
คำนวณค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 85 ของเวลากู้คืน อัตราการเปลี่ยนแปลงที่ล้มเหลว
และอัตราการทำซ้ำ โดยแสดงจำนวนเบื้องหลังแต่ละตัว ระบุระเบียนที่ขาดการเชื่อมหรือเวลาที่น่าสงสัย
อย่าคาดการณ์เกินข้อมูลหรือเปรียบเทียบผลกับเกณฑ์มาตรฐานภายนอก
ระบุสมมติฐานของคุณและปัญหาคุณภาพข้อมูลที่จำกัดข้อสรุป

วางแผนการทดลองปรับปรุง

ตัวชี้วัดการส่งมอบที่อ่อนที่สุดของเราคือ [ชื่อตัวชี้วัด] ปัจจุบัน [ค่าที่รายงาน
พร้อมช่วงวันที่และจำนวน] สาเหตุที่น่าจะเป็นที่ทีมอภิปรายคือ [รายการ] ข้อจำกัดของเรา
คือ [ข้อจำกัด เช่น การปล่อยรุ่นที่ถูกกำกับ สภาพแวดล้อมทดสอบร่วม] เสนอการทดลองเล็ก ๆ สามอย่าง
ใช้เวลาสี่ถึงหกสัปดาห์ แต่ละอย่างมีสมมติฐาน วิธีสังเกตผล ตัวชี้วัดป้องกัน และความเสี่ยง อย่า
คิดตัวเลขการปรับปรุงที่คาดหวังขึ้นเอง ระบุสมมติฐานของคุณและสิ่งที่เราควร
ตรวจสอบก่อนเริ่ม

ทักษะ AI

  • ทักษะ Agile ITIL Metrics: ใช้เพื่อค้นหาหัวข้อการเปลี่ยนแปลง การปล่อยรุ่น และเหตุขัดข้องที่เกี่ยวข้อง และมาตรการป้องกันที่ควรอยู่ข้างตัวชี้วัด DORA แต่ละตัว
  • ทักษะผู้ดูแล Agile ITIL Metrics: ใช้เพื่อตรวจสอบว่าฉบับแก้ไขของหัวข้อนี้ยังคงนาฬิกา ช่องทางการบิดเบือน และการอ้างอิงข้ามหัวข้อให้สอดคล้องกัน

ข้อสรุปสำคัญ

  • ตัวชี้วัด DORA คือห้าการวัดของการส่งมอบซอฟต์แวร์ สามตัวของปริมาณงานที่ไหลผ่านและสองตัวของความไม่มั่นคง และมีประโยชน์ที่สุดเมื่ออ่านร่วมกันสำหรับบริการเดียว
  • คำนวณจากเหตุการณ์สายงานและเหตุขัดข้องพร้อมนิยามที่เขียนไว้ เพราะความล้มเหลวและจุดเริ่มของลีดไทม์เป็นการตัดสินใจ
  • ใช้เพื่อเรียนรู้เกี่ยวกับระบบการส่งมอบและเปรียบเทียบทีมกับประวัติของตนเอง ไม่เคยใช้จัดอันดับบุคคลหรือทีม
  • รายงานค่ามัธยฐาน เปอร์เซ็นไทล์สูง และจำนวน และจับคู่ทุกตัวชี้วัดกับมาตรการป้องกันที่จับการบิดเบือนของมัน
  • ปรับปรุงขีดความสามารถพื้นฐาน เช่น ชุดงานเล็ก การตรวจจับเร็ว และการย้อนกลับง่าย และปล่อยให้ตัวเลขตามมา
  • ระบุฉบับและวันที่ของคำแนะนำที่ท่านปฏิบัติตาม เพราะนิยามถูกปรับปรุงตามเวลา

เอกสารอ้างอิงและแหล่งอ่านเพิ่มเติม

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
  3. DORA, DORA research program, Google Cloud, https://dora.dev/research/
  4. DORA, Four Keys project, https://github.com/dora-team/fourkeys
  5. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 2021.
  6. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  7. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  8. Wikipedia, DevOps Research and Assessment.
  9. Wikipedia, Accelerate (book).
  10. Wikipedia, Continuous delivery.
  11. Wikipedia, ITIL.
  12. Wikipedia, Goodhart's law.
  13. Wikipedia, CI/CD.
  14. Wikipedia, Feature toggle.
  15. Wikipedia, Rollback (data management).
  16. Wikipedia, Canary release.

ตัวชี้วัด ITIL แบบคล่องตัว — วัดบริการไอทีแบบคล่องตัวโดยไม่บิดเบือนงาน

ซอร์สและการมีส่วนร่วม: github.com/agile-itil-metrics. สร้างด้วย Lily Design System™.

สร้างโดย Joel Parker Henderson.