ภาพรวมและแรงจูงใจ

วิธีทำงานแบบคล่องตัวให้ความสำคัญกับซอฟต์แวร์ที่ใช้งานได้เป็นอันดับแรกและให้ผู้มีส่วนได้ส่วนเสียร่วมมือกันตลอด เพื่อให้สิ่งที่ส่งมอบคือสิ่งที่ผู้คนต้องการ การจัดการบริการไอที (ITSM) ตามที่ ITIL รวบรวมไว้ กำหนดกรอบความใส่ใจเดียวกันนี้เป็นคุณค่า: บริการมีคุณค่าเมื่อช่วยให้ลูกค้าบรรลุผลลัพธ์ที่ต้องการ ด้วยต้นทุนและความเสี่ยงที่ยอมรับได้ ทั้งสองแนวทางมาบรรจบกันที่คำถามที่ไม่สบายใจข้อเดียว อีกหนึ่งปีข้างหน้า ผู้คนและองค์กรดีขึ้นเพราะสิ่งที่ทีมนี้สร้างและดูแลหรือไม่

การตอบนั้นยากกว่าการนับสิ่งที่ส่งมอบ ฟีเจอร์ถูกส่งมอบแล้วไม่มีใครใช้ เหตุขัดข้องลดลงด้วยเหตุผลที่ไม่เกี่ยวกับงานของทีม การประหยัดต้นทุนปรากฏบนสไลด์ แต่งบประมาณที่ประหยัดมาถูกใช้ไปที่อื่น หัวข้อนี้ว่าด้วยการปิดช่องว่างนั้น และเชื่อมโดยตรงกับการให้ความสำคัญกับผลลัพธ์ที่แนะนำไว้ตั้งแต่ต้นหนังสือ (ดูหัวข้อ 1.3 “ผลลัพธ์สำคัญกว่าผลผลิต: การเลือกสิ่งที่จะวัด”)

มีสี่แนวคิดที่จัดระเบียบหัวข้อนี้

  • ประโยชน์ ประโยชน์คือการปรับปรุงที่วัดได้ซึ่งผู้มีส่วนได้ส่วนเสียเห็นคุณค่า เช่น ใช้เวลาน้อยลงกับงานหนึ่ง ข้อผิดพลาดน้อยลง ให้บริการลูกค้าได้มากขึ้น หรือความเสี่ยงต่ำลง ฟีเจอร์ไม่ใช่ประโยชน์ แต่เป็นหนทาง การจัดการการบรรลุประโยชน์คือวินัยในการระบุประโยชน์ มอบหมายเจ้าของ และตรวจสอบว่าประโยชน์นั้นมาถึง
  • สมมติฐานคุณค่า ก่อนสร้าง ทีมเขียนว่าคาดว่าจะเปลี่ยนอะไร เพื่อใคร มากเพียงใด และจะรู้ได้อย่างไร นี่คือข้ออ้างที่ทดสอบได้ และอาจผิดได้ ทฤษฎีการเปลี่ยนแปลงหรือแบบจำลองตรรกะวางห่วงโซ่จากกิจกรรมสู่ผลผลิตสู่ผลลัพธ์ ซึ่งช่วยทำให้สมมติฐานชัดเจน
  • ตัวชี้วัดนำและตัวชี้วัดตาม ตัวชี้วัดนำขยับก่อนและทำนายผล เช่น การนำกระบวนการใหม่ไปใช้ ตัวชี้วัดตามยืนยันผลภายหลัง เช่น ต้นทุนต่อธุรกรรมที่ลดลง ใช้ทั้งสองอย่าง: ตัวชี้วัดนำช่วยให้แก้ทิศทางได้ และตัวชี้วัดตามบอกว่าได้ผลหรือไม่
  • การระบุสาเหตุ หลายสิ่งเปลี่ยนไปพร้อมกัน การจะบอกว่างานของคุณเป็นสาเหตุของการปรับปรุงต้องมีการเปรียบเทียบ: ฐานเปรียบเทียบ กลุ่มเปรียบเทียบ หรือการออกแบบก่อนและหลังที่คำนึงถึงการเปลี่ยนแปลงอื่น หากไม่มี ข้ออ้างเรื่องคุณค่าก็เป็นเพียงเรื่องเล่า จุดยืนที่ซื่อตรงมักเป็น “สัมพันธ์กับ” ไม่ใช่ “เป็นสาเหตุของ”

กรอบเป้าหมาย เช่น วัตถุประสงค์และผลลัพธ์หลัก (OKR) เชื่อมงานของทีมกับผลลัพธ์ทางธุรกิจได้ และหัวข้อก่อนหน้าว่าด้วยกรอบการวัดผลครอบคลุมเรื่องนี้โดยละเอียด (ดูหัวข้อ 1.7 “กรอบการวัดผล”) ความเสี่ยงของทุกกรอบคือสิ่งที่กฎของกูดฮาร์ตระบุไว้: เมื่อตัวเลขประโยชน์กลายเป็นเป้าหมาย ผู้คนหาวิธีสร้างตัวเลขโดยไม่มีประโยชน์ (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”)

หัวข้อนี้ยังเป็นสะพานสู่เรื่องเงิน หัวข้อเรื่องผลตอบแทนจากการลงทุนและกรณีทางธุรกิจในส่วนถัดไปพิจารณามุมมองด้านการเงินโดยละเอียด (ดูหัวข้อ 7.7 “ผลตอบแทนจากการลงทุนและกรณีทางธุรกิจ”) ที่นี่เน้นหลักฐานของผลลัพธ์ ซึ่งป้อนเข้าสู่กรณีนั้น

หลักการสำคัญ

  • เขียนประโยชน์ที่คาดหวังไว้ก่อนสร้าง ข้ออ้างที่ตรวจสอบภายหลังไม่ได้ก็เรียนรู้จากมันไม่ได้
  • ระบุเจ้าของสำหรับแต่ละประโยชน์ เจ้าของคือผู้มีส่วนได้ส่วนเสียที่จะเห็นการเปลี่ยนแปลง ไม่ใช่ทีมส่งมอบ
  • วัดที่ผู้ใช้ หลังการปล่อยรุ่น การส่งมอบคือจุดเริ่มต้นของการตรวจสอบ ไม่ใช่จุดจบ
  • ใช้ตัวชี้วัดนำเพื่อกำหนดทิศทางและตัวชี้วัดตามเพื่อยืนยัน
  • ซื่อตรงเรื่องการระบุสาเหตุ บอกว่าอะไรอื่นเปลี่ยนไป และหลีกเลี่ยงข้ออ้างที่หลักฐานรองรับไม่ได้
  • นับประโยชน์ที่ไม่มาถึง การเรียนรู้จากสมมติฐานที่ล้มเหลวเป็นประโยชน์ของการทำงานแบบนี้
  • ร่วมมือต่อไป ผู้มีส่วนได้ส่วนเสียและทีมทบทวนหลักฐานร่วมกันเป็นประจำ

นิยามตัวชี้วัด

ตัวชี้วัด นิยาม สูตร หน่วย แหล่งข้อมูล แนวปฏิบัติ ITIL สิ่งที่สอดคล้องในแนวทางแบบคล่องตัว ความถี่
อัตราการบรรลุประโยชน์ สัดส่วนของประโยชน์ที่คาดหวังซึ่งสังเกตเห็น ณ วันทบทวนที่ตกลงกัน ประโยชน์ที่มีผลวัดได้เท่ากับหรือสูงกว่าเกณฑ์ที่ตกลง / ประโยชน์ที่คาดหวังซึ่งมีวันทบทวนในรอบเวลานั้น ร้อยละ ทะเบียนประโยชน์ที่มีเจ้าของ ฐานเปรียบเทียบ และวันทบทวน การปรับปรุงอย่างต่อเนื่อง การกำกับดูแลระบบคุณค่าของบริการ การทบทวนผลลัพธ์กับผู้มีส่วนได้ส่วนเสีย รายไตรมาส
เวลาจนถึงคุณค่าแรก เวลาจากเริ่มงานจนถึงประโยชน์ที่วัดได้ครั้งแรกสำหรับผู้ใช้ จำนวนวันจากเริ่มงานครั้งแรกถึงวันแรกที่ตัวชี้วัดประโยชน์ขยับตามที่คาด วัน ตัวติดตามงานและตัวชี้วัดประโยชน์ การออกแบบบริการ การจัดการการปล่อยรุ่นและการติดตั้งใช้งาน การส่งมอบคุณค่าอย่างต่อเนื่อง ต่อริเริ่ม
อัตราการตรวจสอบสมมติฐาน สัดส่วนของการเปลี่ยนแปลงที่ปล่อยรุ่นแล้วซึ่งสมมติฐานคุณค่าที่ระบุไว้ได้รับการตรวจสอบหลังการปล่อยรุ่น การเปลี่ยนแปลงที่มีบันทึกการตรวจสอบหลังการปล่อยรุ่น / การเปลี่ยนแปลงที่ปล่อยรุ่นซึ่งมีสมมติฐาน ร้อยละ บันทึกสมมติฐานที่เชื่อมกับบันทึกการปล่อยรุ่น การปรับปรุงอย่างต่อเนื่อง การสนับสนุนการเปลี่ยนแปลง การเรียนรู้จากงานที่ปล่อยรุ่นแล้ว รายเดือน
สัดส่วนคุณภาพหลักฐาน สัดส่วนของประโยชน์ที่อ้างซึ่งมีฐานเปรียบเทียบและวิธีเปรียบเทียบที่ระบุไว้ ข้ออ้างประโยชน์ที่มีฐานเปรียบเทียบและวิธีการ / ข้ออ้างประโยชน์ที่รายงาน ร้อยละ การทบทวนทะเบียนประโยชน์ การวัดและการรายงาน การรายงานผลลัพธ์อย่างซื่อตรง รายไตรมาส
การขยับของตัวชี้วัดผลลัพธ์ การเปลี่ยนแปลงของตัวชี้วัดผลลัพธ์ที่เลือกเทียบกับฐานเปรียบเทียบ และกับกลุ่มเปรียบเทียบหากมี (ตัวชี้วัดหลังลบด้วยตัวชี้วัดก่อน) โดยรายงานการเปลี่ยนแปลงของกลุ่มเปรียบเทียบควบคู่ หน่วยของตัวชี้วัด การวิเคราะห์ผลิตภัณฑ์ ข้อมูลบริการ การเงิน การจัดการระดับบริการ การปรับปรุงอย่างต่อเนื่อง ความก้าวหน้าของผลลัพธ์หลัก รายเดือน
ชั่วโมงผลกระทบต่อธุรกิจ ชั่วโมงที่กระบวนการทางธุรกิจเสื่อมหรือหยุดเพราะปัญหาบริการ ชั่วโมงของกระบวนการที่เสื่อมหรือหยุดซึ่งเจ้าของกระบวนการระบุว่าเกิดจากสาเหตุของบริการไอที ชั่วโมง บันทึกเหตุขัดข้องที่เชื่อมกับการยืนยันของเจ้าของกระบวนการ การจัดการเหตุขัดข้อง การจัดการความพร้อมใช้งาน การทบทวนผลกระทบต่อธุรกิจ รายเดือน
สัดส่วนกำลังงานที่เชื่อมกับผลลัพธ์ สัดส่วนของกำลังงานของทีมที่ใช้กับงานที่เชื่อมกับผลลัพธ์ที่ระบุไว้ กำลังงานของรายการที่เชื่อมกับผลลัพธ์ที่บันทึกไว้ / กำลังงานทั้งหมด ร้อยละ ตัวติดตามงานที่มีช่องผลลัพธ์ ระบบคุณค่าของบริการ การกำกับดูแลพอร์ตโฟลิโอ งานที่สอดคล้องกับเป้าหมายของผลิตภัณฑ์ รายไตรมาส

กำหนดวันทบทวนและเกณฑ์ของแต่ละประโยชน์ตอนบันทึก ไม่ใช่ภายหลัง เวลาจนถึงคุณค่าแรกเริ่มเมื่อเริ่มงานและหยุดเมื่อตัวชี้วัดขยับในทิศทางที่คาดครั้งแรกตามจำนวนที่ระบุ ซึ่งอาจเกิดหลังการปล่อยรุ่นนานมาก การระบุสาเหตุของชั่วโมงผลกระทบต่อธุรกิจตกลงกับเจ้าของกระบวนการ และบันทึกข้อโต้แย้งไว้

ข้อเสนอแนะ

ก่อนสร้าง: ทำให้ข้ออ้างตรวจสอบได้

1. เขียนสมมติฐานคุณค่าสำหรับทุกการเปลี่ยนแปลงที่สำคัญ ใช้รูปแบบเรียบง่าย: “เราเชื่อว่า [การเปลี่ยนแปลง] จะช่วย [ใคร] ให้ [ทำอะไร] เพื่อให้ [การปรับปรุงที่วัดได้] เราจะรู้จากตัวชี้วัด [ตัวชี้วัด] ที่ขยับจาก [ฐานเปรียบเทียบ] ไปเป็น [ที่คาด] ทบทวนเมื่อ [วันที่]” ให้สั้นพอที่จะใส่บนการ์ดบนกระดาน ทีมที่เติมช่องว่างไม่ได้มักยังไม่เข้าใจปัญหา

2. บันทึกฐานเปรียบเทียบ ถ้าไม่มีก่อน ก็ไม่มีหลัง บันทึกค่าปัจจุบันของตัวชี้วัด วิธีที่วัด และความแปรปรวนเท่าใด หากตัวชี้วัดมีสัญญาณรบกวน ตัวเลขเดียวทำให้เข้าใจผิด จึงควรบันทึกเป็นช่วงค่าตลอดหลายสัปดาห์ (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ”)

3. เลือกตัวชี้วัดนำและตัวชี้วัดตาม สำหรับคำขอบริการด้วยตนเองใหม่ ตัวชี้วัดนำคือจำนวนผู้ใช้ที่มีสิทธิ์ซึ่งทำสำเร็จ และตัวชี้วัดตามคือการลดลงของชั่วโมงจัดการด้วยมือ (ดูหัวข้อ 6.3 “ตัวชี้วัดการนำบริการไปใช้และแคตตาล็อก”) ตกลงว่าจะตรวจตัวชี้วัดใดเมื่อใด ตัวชี้วัดนำช่วยให้แก้ไขกลางทางได้โดยไม่ต้องรอจนสิ้นไตรมาส

4. ระบุเจ้าของประโยชน์นอกทีมส่งมอบ เจ้าของคือผู้มีส่วนได้ส่วนเสียที่จะเห็นการปรับปรุงในพื้นที่ของตนและตัดสินได้ ทีมส่งมอบสนับสนุนการวัดแต่ไม่ตรวจการบ้านของตนเอง นี่คือความร่วมมืออย่างต่อเนื่องในทางปฏิบัติ: ผู้ที่ต้องการผลลัพธ์ยังคงมีส่วนร่วมจนกว่าจะยืนยัน

หลังการปล่อยรุ่น: ตรวจสอบอย่างซื่อตรง

5. ทบทวนสมมติฐานในวันที่ตกลง จัดการทบทวนสั้น ๆ กับเจ้าของและทีม ดูตัวชี้วัด ฐานเปรียบเทียบ และการเปรียบเทียบ บันทึกผลในทะเบียน: บรรลุ บรรลุบางส่วน ไม่บรรลุ หรือบอกไม่ได้ “บอกไม่ได้” เป็นผลที่ชอบธรรมและเป็นสัญญาณให้ปรับปรุงการวัด

6. ใช้การเปรียบเทียบเมื่อทำได้ การเปรียบเทียบที่แข็งแรงที่สุดคือการทดลองที่ควบคุม การทดสอบ A/Bเปรียบเทียบสองเวอร์ชันโดยสุ่มกำหนดผู้ใช้ และได้ผลดีกับบริการดิจิทัลที่มีทราฟฟิกพอ หากสุ่มไม่ได้ การทยอยปล่อยรุ่นให้เปรียบเทียบกลุ่มที่ได้และไม่ได้รับการเปลี่ยนแปลง แนวทางผลต่างของผลต่างเปรียบเทียบการเปลี่ยนแปลงของกลุ่มที่ได้รับกับของกลุ่มที่ไม่ได้รับในช่วงเวลาเดียวกัน ซึ่งขจัดแนวโน้มร่วม ใช้การออกแบบที่ง่ายที่สุดที่เหมาะ

7. มองหาตัวแปรกวน ปัจจัยกวนคือสิ่งอื่นที่เปลี่ยนไปและอาจอธิบายผลได้: รูปแบบตามฤดูกาล นโยบายใหม่ สัดส่วนคำขอที่ต่างไป ทำรายการที่เป็นไปได้ก่อนอ้างผล หากตัดออกไม่ได้ ให้บอกว่าหลักฐานรองรับอะไรและไม่เกินนั้น

8. รายงานผลลัพธ์เชิงลบและผลที่ไม่พบความต่าง เมื่อการเปลี่ยนแปลงไม่ช่วย ให้บอกและบันทึกสิ่งที่เรียนรู้ อคติผู้รอดชีวิต ซึ่งเป็นนิสัยการมองเฉพาะความสำเร็จ ทำให้โครงการดูดีกว่าความเป็นจริง ทะเบียนที่มีแต่ชัยชนะไม่ได้ถูกเก็บอย่างซื่อตรง

รักษาโครงการให้ซื่อตรง

9. แยกคุณภาพหลักฐานออกจากประโยชน์ ติดตามสัดส่วนของข้ออ้างที่มีฐานเปรียบเทียบและวิธีการที่ระบุไว้ ข้ออ้างใหญ่ที่หลักฐานอ่อนควรอ่านออกว่าเป็นเช่นนั้น ทะเบียนที่แข็งแรงแสดงข้ออ้างที่เจียมตัวด้วยหลักฐานที่แข็งแรง และมีรายการ “บอกไม่ได้” ที่ซื่อตรงอยู่บ้าง

10. เชื่อมกำลังงานกับผลลัพธ์อย่างหลวม ๆ ถามว่าสัดส่วนเท่าใดของงานของทีมผูกกับผลลัพธ์ที่ระบุไว้ และดูส่วนที่เหลือ งานบางอย่าง เช่น การแก้ไขด้านความมั่นคงปลอดภัยหรือการรักษาระบบให้ทำงานต่อ ไม่มีประโยชน์ใหม่ และไม่เป็นไรหากระบุชื่อไว้ จุดมุ่งหมายคือสังเกตการเบี่ยงเบน ไม่ใช่บังคับให้ทุกงานมีเรื่องเล่าด้านประโยชน์

11. เชื่อมกับกรอบเป้าหมายที่ใช้ หากใช้ OKR ให้ทำผลลัพธ์หลักเป็นตัวชี้วัดผลลัพธ์และทบทวนร่วมกับผู้มีส่วนได้ส่วนเสีย รักษาผลลัพธ์หลักให้เกี่ยวกับผลลัพธ์ ไม่ใช่งาน และเว้นที่ให้เป้าหมายที่ท้าทายซึ่งอาจบรรลุไม่เต็มที่ อย่าทำผลลัพธ์หลักเป็นเป้าหมายรายบุคคล (ดูหัวข้อ 1.7 “กรอบการวัดผล”)

12. ทบทวนพอร์ตโฟลิโอเช่นเดียวกับโครงการ ไตรมาสละครั้ง ดูข้ามริเริ่มว่าประโยชน์ใดมาถึง ใดไม่มา และรูปแบบบอกอะไรเกี่ยวกับวิธีที่ทีมประมาณและเลือกงาน ใช้เพื่อปรับปรุงวิธีเขียนสมมติฐาน ไม่ใช่จัดอันดับทีม

ช่องทางการบิดเบือนและมาตรการป้องกัน

ตัวชี้วัด วิธีที่ถูกบิดเบือน ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่กัน
อัตราการบรรลุประโยชน์ ตั้งเกณฑ์ต่ำ ย้ายวันทบทวน นิยามประโยชน์ใหม่ภายหลัง เกณฑ์และวันที่ถูกกำหนดตายตัวตอนอนุมัติ สัดส่วนคุณภาพหลักฐาน เจ้าของอยู่นอกทีมส่งมอบ
เวลาจนถึงคุณค่าแรก เลือกตัวชี้วัดต้นที่ขยับด้วยเหตุผลที่ผิด เริ่มนับนาฬิกาช้า นิยามตัวชี้วัดและนาฬิกาในทะเบียน ยืนยันกับเจ้าของประโยชน์
อัตราการตรวจสอบสมมติฐาน เขียนสมมติฐานคลุมเครือที่ผ่านเสมอ ตรวจเฉพาะการเปลี่ยนแปลงที่สำเร็จ สุ่มตัวอย่างสมมติฐานเพื่อตรวจว่าทดสอบได้ รวมผลที่ไม่พบความต่างและผลที่ล้มเหลวในการทบทวน
สัดส่วนคุณภาพหลักฐาน เติมฐานเปรียบเทียบย้อนหลัง อธิบายการเปรียบเทียบใด ๆ ว่าเป็นวิธีการ ฐานเปรียบเทียบที่ลงวันที่ก่อนการเปลี่ยนแปลง ทบทวนโดยบุคคลนอกทีม
การขยับของตัวชี้วัดผลลัพธ์ เลือกช่วงเวลาหรือกลุ่มที่เป็นผลดี ละเลยตัวแปรกวน ช่วงเวลาและกลุ่มที่กำหนดล่วงหน้า รายการตัวแปรกวนที่พิจารณา
ชั่วโมงผลกระทบต่อธุรกิจ เจ้าของกระบวนการพองหรือลดการระบุสาเหตุ จัดประเภทเหตุขัดข้องใหม่เพื่อเลี่ยงการระบุ กฎการระบุสาเหตุที่เป็นลายลักษณ์อักษรและบันทึกไว้ เปรียบเทียบกับบันทึกเหตุขัดข้องและความพร้อมใช้งาน
สัดส่วนกำลังงานที่เชื่อมกับผลลัพธ์ ติดแท็กงานทั้งหมดด้วยผลลัพธ์ทั่วไป คิดผลลัพธ์ขึ้นสำหรับงานประจำ ทบทวนรายการผลลัพธ์กับผู้มีส่วนได้ส่วนเสีย สุ่มตัวอย่างรายการเพื่อตรวจคุณภาพของความเชื่อมโยง

การอ่านค่าที่แข็งแรงคือทะเบียนที่บางประโยชน์บรรลุ บางประโยชน์ไม่บรรลุ ไม่กี่รายการยังไม่ชัด และทุกรายการมีฐานเปรียบเทียบ เจ้าของ และวิธีการที่ระบุไว้ ทะเบียนที่สำเร็จเหมือนกันทั้งหมดควรถูกมองด้วยความสงสัย

ข้อแลกเปลี่ยน: ข้อดีและข้อเสีย

แนวทาง จุดแข็ง จุดอ่อน
ทะเบียนประโยชน์อย่างเป็นทางการ ความรับผิดชอบ การเรียนรู้ข้ามริเริ่ม ระบบราชการหากใช้กับทุกการเปลี่ยนแปลงเล็ก ๆ
สมมติฐานแบบเบาบนแต่ละการ์ด ถูก สร้างนิสัย เขียนคลุมเครือได้ง่าย
การทดลองที่ควบคุม หลักฐานเรื่องสาเหตุที่แข็งแรง ต้องมีทราฟฟิก เวลา และการออกแบบที่เหมาะกับบริการ
ก่อนและหลังเท่านั้น ง่าย รวดเร็ว ถูกกวนด้วยการเปลี่ยนแปลงอื่น
วิจารณญาณของผู้มีส่วนได้ส่วนเสีย จับคุณค่าที่มาตรวัดพลาด ขึ้นกับความมองโลกในแง่ดีและการเมือง
ตัวชี้วัดนำ แก้ทิศทางได้เร็ว อาจไม่ทำนายผลลัพธ์จริง
ตัวชี้วัดตาม ยืนยันผลที่แท้จริง มาช้า หลายสาเหตุ

คำตอบเชิงบรรยายคือให้น้ำหนักของหลักฐานสอดคล้องกับขนาดและความเสี่ยงของการเปลี่ยนแปลง ใช้สมมติฐานแบบเบาและก่อนและหลังง่าย ๆ สำหรับการเปลี่ยนแปลงเล็ก และการทดลองหรือการทยอยปล่อยรุ่นสำหรับการเปลี่ยนแปลงใหญ่ บันทึกเสมอว่าคาดหวังอะไร เกิดอะไรขึ้น และมั่นใจเพียงใด

คำถามสำหรับอภิปรายกับทีม

1. ไตรมาสที่แล้วเราส่งมอบอะไร และสิ่งที่เปลี่ยนสำหรับผู้ที่ควรได้รับความช่วยเหลือคืออะไร ทำรายการการเปลี่ยนแปลงหลักและสำหรับแต่ละรายการ ระบุบุคคลที่จะสังเกตเห็นความแตกต่าง ถามว่าพวกเขาจะพูดว่าอย่างไร ผู้อำนวยความสะดวกควรจดการเปลี่ยนแปลงที่ไม่มีใครตอบได้ เพราะเป็นตัวเลือกสำหรับการตรวจหลังการปล่อยรุ่น ตกลงการเปลี่ยนแปลงหนึ่งอย่างที่จะทบทวนกับเจ้าของภายในหนึ่งเดือน

2. สำหรับการเปลี่ยนแปลงสำคัญครั้งถัดไป สมมติฐานคุณค่าคืออะไรและเราจะรู้ได้อย่างไร เติมแบบฟอร์มสมมติฐานร่วมกัน ท้าทายถ้อยคำคลุมเครือและฐานเปรียบเทียบที่ขาด ถามว่าผลลัพธ์แบบใดจะทำให้ทีมเปลี่ยนแผน หากกลุ่มตกลงมาตรวัดไม่ได้ นั่นคืองานค้นหาก่อนการสร้าง

3. ใครเป็นเจ้าของประโยชน์ และพวกเขาอยู่ในห้องหรือไม่ ตรวจว่าแต่ละประโยชน์มีเจ้าของนอกทีมส่งมอบ ถามว่าเจ้าของเห็นหลักฐานบ่อยเพียงใด ในที่ที่เจ้าของคือทีมเอง ให้อภิปรายว่าใครอีกควรร่วมตัดสิน บทสนทนานี้สนับสนุนความร่วมมืออย่างต่อเนื่องของผู้มีส่วนได้ส่วนเสีย

4. เมื่อตัวเลขดีขึ้น อะไรอื่นเปลี่ยนไปด้วย ยกการปรับปรุงที่อ้างล่าสุดและทำรายการการเปลี่ยนแปลงอื่นในช่วงเวลาเดียวกัน: นโยบาย ฤดูกาล การจัดคน การปล่อยรุ่นของทีมอื่น ถามว่าอะไรอาจอธิบายผลได้ ตัดสินใจว่าจะอธิบายการปรับปรุงว่าเกิดจากการเปลี่ยนแปลง สัมพันธ์กับมัน หรือยังไม่ชัด

5. สมมติฐานในอดีตของเราข้อใดที่ผิด และเราทำอะไรกับมัน ขอเรื่องเล่าของความคาดหวังที่ล้มเหลว หากไม่มีคำตอบเร็ว ๆ ทีมอาจไม่ได้ตรวจสอบ หรืออาจไม่ได้พูดถึงเรื่องนั้น อภิปรายว่าจะทำให้การรายงานผลที่ไม่พบความต่างปลอดภัยและเป็นประโยชน์ได้อย่างไร

6. กำลังงานของเราผูกกับผลลัพธ์เท่าใด และรู้สึกถูกต้องหรือไม่ ทบทวนงานที่เสร็จหนึ่งเดือนและติดแท็กแต่ละรายการด้วยผลลัพธ์หรือ “รักษาบริการให้ทำงานต่อ” ถามว่าสัดส่วนที่แบ่งตรงกับที่ผู้นำคิดหรือไม่ อภิปรายงานที่ไม่มีผลลัพธ์และควรทำต่อหรือไม่

สี่มุมมอง

ทีมผลิตภัณฑ์และการส่งมอบ

ทีมส่งมอบเป็นเจ้าของสมมติฐานและแผนการวัด และควรส่งมอบการเปลี่ยนแปลงเป็นขั้นเล็ก ๆ เพื่อให้หลักฐานมาถึงเร็ว ควรสร้างตัวชี้วัดไว้ในการเปลี่ยนแปลง เช่น บันทึกเหตุการณ์ที่ต้องการ และขอให้เจ้าของประโยชน์ยืนยันสิ่งที่เห็น ทีมควรต้อนรับสมมติฐานที่ล้มเหลวเป็นข้อมูล เพราะการเรียนรู้เร็วช่วยประหยัดต้นทุนของการสร้างสิ่งที่ผิดเพิ่มอีก

ทีมบริการและปฏิบัติการ

ทีมปฏิบัติการเห็นผลจริงของการเปลี่ยนแปลงต่อเหตุขัดข้อง คำขอ และกำลังงาน พวกเขาถือข้อมูลส่วนมากสำหรับตัวชี้วัดตาม เช่น ชั่วโมงจัดการด้วยมือและการติดต่อซ้ำ และควรช่วยตรวจสมมติฐานนอกเหนือจากการรับมือกับการเปลี่ยนแปลง ควรส่งเสียงเมื่อประโยชน์ที่อ้างบนกระดาษไม่ตรงกับสิ่งที่เซอร์วิสเดสก์เห็น

ภาวะผู้นำและการกำกับดูแล

ผู้นำเลือกว่าประโยชน์จะเป็นเครื่องมือการเรียนรู้หรือคำนำเสนอขาย ควรขอฐานเปรียบเทียบและวิธีการ ต้อนรับผล “ไม่บรรลุ” ที่ซื่อตรง และหลีกเลี่ยงการผูกทีมกับตัวเลขประโยชน์ที่ตั้งก่อนรู้ข้อเท็จจริง การกำกับดูแลควรทบทวนทะเบียนเป็นพอร์ตโฟลิโอ สนับสนุนงบประมาณการวัด และเต็มใจหยุดงานที่สมมติฐานล้มเหลว

ลูกค้าและผู้ใช้

ผู้ใช้รู้ว่าการเปลี่ยนแปลงช่วยหรือไม่ และเป็นผู้ตัดสินที่ดีที่สุดของประโยชน์ส่วนมาก ควรถามพวกเขา แสดงผลให้ดู และบอกพวกเขาเมื่อการเปลี่ยนแปลงไม่ได้ส่งมอบสิ่งที่หวัง ความคิดเห็นของพวกเขาเป็นหลักฐานในตัวเอง ประโยชน์ที่ตัวเลขแสดงแต่ผู้ใช้ไม่รู้สึกควรได้รับการพิจารณาใกล้ชิดขึ้น

ในทางปฏิบัติ: ตัวอย่าง ITIL แบบคล่องตัว

กลุ่มไอทีของบริษัทประกันสุขภาพระดับภูมิภาคแห่งหนึ่งสร้างและดูแลพอร์ทัลเคลมสำหรับผู้ให้บริการ ตัวเลขด้านล่างเป็นตัวเลขสมมติเพื่อประกอบตัวอย่าง

กลุ่มวางแผนเพิ่มการตรวจสอบสิทธิ์อัตโนมัติในการส่งเคลม สมมติฐานที่เขียนร่วมกับผู้จัดการปฏิบัติการเคลมคือ: “เราเชื่อว่าการตรวจสอบสิทธิ์อัตโนมัติจะช่วยเจ้าหน้าที่เรียกเก็บเงินของผู้ให้บริการส่งเคลมที่ถูกต้องตั้งแต่ครั้งแรก เพื่อให้เคลมที่ถูกส่งกลับให้แก้ไขลดจากร้อยละ 18 เป็นร้อยละ 12 ภายในสามเดือน เราจะรู้จากอัตราเคลมที่ถูกส่งกลับ ทบทวนเมื่อวันที่ 1 มีนาคม” ฐานเปรียบเทียบคือค่าเฉลี่ยของ 12 สัปดาห์ที่ผ่านมา ร้อยละ 18 โดยมีช่วงรายสัปดาห์ร้อยละ 15 ถึง 21 ตัวชี้วัดนำคือการใช้การตรวจสอบในเดือนแรก ผู้จัดการปฏิบัติการเคลมเป็นเจ้าของประโยชน์

ทีมปล่อยรุ่นเป็นขั้นเล็ก ๆ โดยให้การตรวจสอบใช้ได้ที่ภูมิภาคเดียวก่อน หลังสามสัปดาห์ การใช้การตรวจสอบในภูมิภาคนั้นคือร้อยละ 64 ในวันทบทวน เคลมที่ถูกส่งกลับลดเหลือร้อยละ 13 ในภูมิภาคที่มีการตรวจสอบ และร้อยละ 17 ในภูมิภาคที่ไม่มี ผู้จัดการเคลมชี้ว่ามีการเปลี่ยนนโยบายเกี่ยวกับรหัสการเรียกเก็บเงินหนึ่งรหัสที่มีผลในช่วงเวลานั้นด้วย ทีมบันทึกเป็นตัวแปรกวนและนำเคลมที่มีรหัสนั้นออกจากทั้งสองกลุ่ม ซึ่งเหลือร้อยละ 14 เทียบกับ 17.5 การบรรลุประโยชน์ถูกบันทึกเป็น “บรรลุบางส่วน”: ดีกว่าฐานเปรียบเทียบอย่างชัดเจน แต่ยังไม่ถึงเป้าหมายร้อยละ 12 ทีมเขียนอย่างซื่อตรงในทะเบียนว่าหลักฐานมาจากการทยอยปล่อยรุ่นหนึ่งไตรมาส และผลอาจต่างออกไปสำหรับผู้ให้บริการรายอื่น

จากนั้นพวกเขาปล่อยการตรวจสอบไปทุกภูมิภาค โดยวางแผนตรวจอีกครั้งในสามเดือน และเพิ่มงานปรับปรุงข้อความแสดงข้อผิดพลาด เพราะความคิดเห็นจากผู้ให้บริการบอกว่าข้อความไม่ชัดเจน ผู้อำนวยการการเงินขอตัวเลขเดียวสำหรับคณะกรรมการ หัวหน้าฝ่ายไอทีเสนอช่วงค่าและวิธีการ และปฏิเสธที่จะระบุตัวเลขที่ละเอียดกว่าที่หลักฐานอนุญาต การตัดสินใจถูกบันทึกพร้อมวันทบทวนครั้งถัดไป

มุมมองตามประเภทองค์กร

สตาร์ตอัป ประโยชน์ใกล้เคียงกับรายได้และการรักษาลูกค้า และความเร็วของการเรียนรู้สำคัญ เขียนสมมติฐานบรรทัดเดียวบนการ์ด ตรวจอย่างรวดเร็ว และหลีกเลี่ยงทะเบียนที่หนัก ใช้การเปรียบเทียบง่าย ๆ และยอมรับว่าตัวอย่างเล็กจำกัดสิ่งที่อ้างได้

ธุรกิจขนาดเล็ก เจ้าของคือเจ้าของประโยชน์ และผลมองเห็นได้ เก็บรายการสั้น ๆ ของการเปลี่ยนแปลงพร้อมผลที่คาดหวังและทบทวนทุกไตรมาส หลีกเลี่ยงการพองผลเล็กน้อยเป็นตัวเลขใหญ่ และเปรียบเทียบกับต้นทุนของการเปลี่ยนแปลง

องค์กรขนาดใหญ่ พอร์ตโฟลิโอ รอบงบประมาณ และผู้มีส่วนได้ส่วนเสียจำนวนมากทำให้ทะเบียนประโยชน์มีประโยชน์ ให้เบาสำหรับการเปลี่ยนแปลงเล็กและเข้มงวดสำหรับการเปลี่ยนแปลงใหญ่ วางเจ้าของในหน่วยธุรกิจ และทบทวนข้ามพอร์ตโฟลิโอ ระวังตัวเลขที่ถูกรวมโดยมีนิยามต่างกัน

ภาครัฐและหน่วยงานสาธารณะ ผลลัพธ์มักเป็นสินค้าสาธารณะ เช่น การเข้าถึง ความเป็นธรรม และความปลอดภัย ซึ่งไม่ลดทอนเป็นรายได้ นิยามผลลัพธ์ร่วมกับผู้ที่ได้รับบริการ ใช้หลักฐานผสม และรายงานวิธีการอย่างเปิดเผย อาจต้องมีกรณีทางธุรกิจและการทบทวนประโยชน์อย่างเป็นทางการ และผลที่ไม่พบความต่างอย่างซื่อตรงสำคัญต่อความรับผิดชอบต่อสาธารณะ (ดูหัวข้อ 8.5 “การรายงานตามข้อกำหนดและต่อภาครัฐ”)

กรณีทางธุรกิจ: แรงจูงใจ ROI และ TCO

ต้นทุนส่วนใหญ่คือความใส่ใจ การเขียนสมมติฐานใช้เวลาไม่กี่นาที ฐานเปรียบเทียบใช้หนึ่งชั่วโมงหรือไม่กี่ชั่วโมง และการทบทวนใช้การประชุมสั้น ๆ การทดลองและการทยอยปล่อยรุ่นต้องใช้ความพยายามออกแบบและเครื่องมือบ้าง ทะเบียนประโยชน์อาจเป็นสเปรดชีตหรือช่องในตัวติดตามงาน

ผลตอบแทนคือการตัดสินใจลงทุนที่ดีขึ้น ทีมที่ตรวจสมมติฐานของตนจะเลิกสร้างสิ่งที่ไม่ช่วย ขยายสิ่งที่ช่วย และเรียนรู้ว่าตนทำนายได้ดีเพียงใด ซึ่งประหยัดต้นทุนของฟีเจอร์ที่ไม่ได้ใช้และโครงการที่ล้มเหลว สร้างกรณีจากข้อมูลของตนเอง: สัดส่วนของการเปลี่ยนแปลงที่มีสมมติฐาน สัดส่วนที่ได้รับการตรวจ และต้นทุนของงานที่ภายหลังถูกยกเลิกหรือย้อนกลับ หลีกเลี่ยงตัวเลขที่เผยแพร่เกี่ยวกับอัตราความล้มเหลวของโครงการไอที เว้นแต่จะสืบย้อนแหล่งที่มาและวิธีการได้ เพราะแตกต่างกันมากและมักถูกอ้างโดยไม่มีบริบท การจัดการด้านการเงินอยู่ในส่วนถัดไป (ดูหัวข้อ 7.7 “ผลตอบแทนจากการลงทุนและกรณีทางธุรกิจ”)

รูปแบบที่ไม่ควรทำและข้อควรระวัง

  • นับการส่งมอบเป็นคุณค่า ฟีเจอร์ที่ส่งมอบแล้วเป็นหนทาง ให้ตรวจผลต่อผู้คน
  • สมมติฐานที่ล้มเหลวไม่ได้ ทำให้เฉพาะเจาะจง มีตัวเลขและวันที่
  • ตรวจการบ้านของตนเอง ให้เจ้าของประโยชน์นอกทีมตัดสินผล
  • อ้างสาเหตุจากก่อนและหลัง ทำรายการตัวแปรกวนและใช้การเปรียบเทียบเมื่อเป็นไปได้
  • รายงานเฉพาะชัยชนะ บันทึกผลที่ไม่พบความต่างและผลเชิงลบ ทะเบียนที่มีแต่ความสำเร็จไม่ซื่อตรง
  • ตั้งเป้าหมายประโยชน์สำหรับบุคคล เป้าหมายที่ผูกกับบุคคลเชื้อเชิญข้ออ้างที่พองเกิน ให้เก็บประโยชน์ไว้ที่ระดับทีมและริเริ่ม
  • ความแม่นยำเกินจริง รายงานช่วงค่าและวิธีการ ไม่ใช่ตัวเลขทศนิยมเดียว
  • ละเลยงานที่ไม่มีประโยชน์ใหม่ ระบุชื่อมัน และอย่าคิดเรื่องเล่าประโยชน์ขึ้นมาให้

แบบจำลองวุฒิภาวะ

มิติ 1 เริ่มต้น 2 พัฒนา 3 ทำให้เป็นมาตรฐาน 4 บริหารจัดการ 5 ประสานจัดการ
การระบุคุณค่า อ้างประโยชน์ในกรณีทางธุรกิจเท่านั้น เขียนสมมติฐานสำหรับบางการเปลี่ยนแปลง สมมติฐานสั้น ฐานเปรียบเทียบ และเจ้าของสำหรับทุกการเปลี่ยนแปลงสำคัญ สมมติฐานและเกณฑ์กำหนดตายตัวตอนอนุมัติ นิยามตัวชี้วัดนำและตัวชี้วัดตาม แบ่งปันสมมติฐานข้ามทีมและผู้ให้บริการ นิยามผลลัพธ์ร่วมกับผู้ใช้
การตรวจสอบคุณค่า ไม่มีการตรวจหลังการปล่อยรุ่น ทีมส่งมอบตรวจเป็นครั้งคราว ทบทวนตามกำหนดกับเจ้าของที่เป็นอิสระ บันทึกการเปรียบเทียบและตัวแปรกวน ติดตามคุณภาพหลักฐาน หลักฐานระดับพอร์ตโฟลิโอนำการจัดสรรงบประมาณ ทดลองร่วมกันข้ามทีม
การเรียนรู้ ฉลองชัยชนะ ลืมความล้มเหลว บันทึกบทเรียนบางส่วน บันทึกและทบทวนผลที่ไม่พบความต่าง รูปแบบของสมมติฐานที่พลาดปรับปรุงการเลือกและการประเมินขนาด การเรียนรู้ป้อนเข้าการวางแผนทั่วทั้งองค์กรและกับพันธมิตร

รายการตรวจสอบ

  • ทุกการเปลี่ยนแปลงสำคัญมีสมมติฐานคุณค่าเป็นลายลักษณ์อักษรพร้อมฐานเปรียบเทียบ ตัวชี้วัด และวันทบทวน
  • แต่ละประโยชน์มีเจ้าของนอกทีมส่งมอบ
  • นิยามและติดตามตัวชี้วัดนำและตัวชี้วัดตาม
  • การทบทวนเกิดขึ้นในวันที่ตกลงกับเจ้าของ
  • ใช้การเปรียบเทียบหรือการทยอยปล่อยรุ่นในที่ที่ทำได้
  • ทำรายการตัวแปรกวนสำหรับแต่ละผลที่อ้าง
  • บันทึกและแบ่งปันผลที่ไม่พบความต่างและผลเชิงลบ
  • ติดตามคุณภาพหลักฐานข้างข้ออ้างประโยชน์
  • ไม่มีบุคคลใดมีเป้าหมายประโยชน์ส่วนตัว
  • การทบทวนพอร์ตโฟลิโอรายไตรมาสดูรูปแบบของสมมติฐานที่บรรลุและที่พลาด

พรอมต์ AI

เขียนสมมติฐานคุณค่า

เราวางแผนจะ [อธิบายการเปลี่ยนแปลง] สำหรับ [ผู้ใช้หรือผู้มีส่วนได้ส่วนเสีย] ใน
[ประเภทองค์กร] ปัญหาในปัจจุบัน: [อธิบาย] ร่างสมมติฐานคุณค่าในรูปแบบ
“เราเชื่อว่า [การเปลี่ยนแปลง] จะช่วย [ใคร] ให้ [ทำอะไร] เพื่อให้ [การปรับปรุงที่
วัดได้] เราจะรู้จาก [ตัวชี้วัด]...” เสนอตัวชี้วัดนำหนึ่งอย่างและตัวชี้วัดตามหนึ่งอย่าง
ฐานเปรียบเทียบที่เราต้องการ และตรรกะของวันทบทวน อย่าคิดค่าเป้าหมายขึ้นเอง
ปล่อยเป็นตัวแทนให้เรากรอก ระบุข้อสมมติของคุณและสิ่งที่เราต้องค้นหา

ทำรายการตัวแปรกวนสำหรับผลที่อ้าง

เราอ้างว่า [การเปลี่ยนแปลง] ปรับปรุง [ตัวชี้วัด] จาก [ก่อน] เป็น [หลัง] ระหว่าง
[วันที่] สิ่งอื่นที่เกิดขึ้นในช่วงเวลานั้น: [รายการ] ทำรายการปัจจัยกวนที่เป็นไปได้
แต่ละปัจจัยอธิบายผลได้อย่างไร และข้อมูลหรือการเปรียบเทียบใดจะช่วยตัดออกได้
เสนอถ้อยคำที่ระบุสิ่งที่หลักฐานรองรับ อย่าสันนิษฐานสาเหตุที่ข้อมูลรองรับไม่ได้
ระบุข้อสมมติของคุณ

ออกแบบการเปรียบเทียบการทยอยปล่อยรุ่น

เราปล่อย [การเปลี่ยนแปลง] ให้ [จำนวน] กลุ่มในเวลาต่างกันได้: [อธิบายกลุ่มและ
ข้อจำกัด] เสนอการทยอยปล่อยรุ่นที่ให้เราเปรียบเทียบกลุ่มที่มีและไม่มีการเปลี่ยนแปลง
บอกว่าควรใช้ตัวชี้วัดและช่วงเวลาใด อะไรอาจทำให้การเปรียบเทียบเอนเอียง และเรา
จะสรุปอะไรจากผลลัพธ์ที่ต่างกัน อย่าคิดขนาดผลขึ้นเอง ระบุข้อสมมติและความเสี่ยง
ของคุณ

ทบทวนรายการในทะเบียนประโยชน์

ทบทวนรายการทะเบียนประโยชน์นี้สำหรับ [ริเริ่ม]: [วางรายการ รวมข้ออ้าง ฐาน
เปรียบเทียบ วิธีการ เจ้าของ และวันทบทวน] ชี้ข้อมูลที่ขาด ถ้อยคำคลุมเครือ ข้ออ้าง
ที่หลักฐานรองรับไม่ได้ และวิธีที่ผลอาจถูกบิดเบือน เสนอถ้อยคำที่แข็งแรงขึ้นซึ่งตรง
กับสิ่งที่เราวัดจริง ระบุข้อสมมติของคุณและคำถามสำหรับเจ้าของ

ทักษะ AI

  • ทักษะ Agile ITIL Metrics: ใช้เพื่อหามาตรการป้องกันที่จับคู่กับตัวชี้วัดคุณค่าหรือผลลัพธ์ก่อนรายงาน
  • ทักษะผู้ดูแล Agile ITIL Metrics: ใช้เพื่อตรวจว่ารายการตัวชี้วัดประโยชน์มีช่องทางการบิดเบือน มาตรการป้องกัน และมาตรฐานหลักฐาน

ข้อสรุปสำคัญ

  • เขียนสมมติฐานคุณค่าที่ตรวจสอบได้ก่อนสร้าง พร้อมฐานเปรียบเทียบ เจ้าของนอกทีม และวันทบทวน
  • ใช้ตัวชี้วัดนำเพื่อกำหนดทิศทางและตัวชี้วัดตามเพื่อยืนยัน
  • เปรียบเทียบเมื่อทำได้ ทำรายการตัวแปรกวน และอ้างเฉพาะสิ่งที่หลักฐานรองรับ
  • บันทึกผลที่ไม่พบความต่างและผลเชิงลบ ทะเบียนที่สำเร็จเหมือนกันทั้งหมดไม่ซื่อตรง
  • ติดตามคุณภาพของหลักฐานข้างขนาดของข้ออ้าง
  • ให้ผู้มีส่วนได้ส่วนเสียและผู้ใช้ร่วมมือต่อไปจนกว่าจะยืนยันผลลัพธ์

เอกสารอ้างอิงและแหล่งอ่านเพิ่มเติม

  1. Ward, J., and Daniel, E., Benefits Management: How to Increase the Business Value of Your IT Projects, 2nd ed., Wiley, 2012.
  2. Doerr, J., Measure What Matters, Portfolio/Penguin, 2018.
  3. Kohavi, R., Tang, D., and Xu, Y., Trustworthy Online Controlled Experiments, Cambridge University Press, 2020.
  4. Hubbard, D. W., How to Measure Anything: Finding the Value of Intangibles in Business, 3rd ed., Wiley, 2014.
  5. Beck, K., et al., Manifesto for Agile Software Development and Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org.
  6. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  7. Wikipedia, Benefits realisation management.
  8. Wikipedia, Theory of change.
  9. Wikipedia, Logic model.
  10. Wikipedia, Leading indicator.
  11. Wikipedia, Lagging indicator.
  12. Wikipedia, Objectives and key results.
  13. Wikipedia, Goodhart's law.
  14. Wikipedia, A/B testing.
  15. Wikipedia, Difference in differences.
  16. Wikipedia, Confounding.
  17. Wikipedia, Survivorship bias.

ตัวชี้วัด ITIL แบบคล่องตัว — วัดบริการไอทีแบบคล่องตัวโดยไม่บิดเบือนงาน

ซอร์สและการมีส่วนร่วม: github.com/agile-itil-metrics. สร้างด้วย Lily Design System™.

สร้างโดย Joel Parker Henderson.