การบรรลุคุณค่าและผลลัพธ์ทางธุรกิจ
การส่งมอบการเปลี่ยนแปลงไม่เท่ากับการที่องค์กรได้รับประโยชน์จากมัน ดังนั้นจึงควรระบุประโยชน์ที่คาดหวังก่อนสร้าง ตรวจสอบหลังการปล่อยรุ่นร่วมกับผู้ที่ควรได้รับประโยชน์ และซื่อตรงว่าการปรับปรุงใด ๆ ระบุสาเหตุถึงงานของตนได้มากเพียงใด
ภาพรวมและแรงจูงใจ
วิธีทำงานแบบคล่องตัวให้ความสำคัญกับซอฟต์แวร์ที่ใช้งานได้เป็นอันดับแรกและให้ผู้มีส่วนได้ส่วนเสียร่วมมือกันตลอด เพื่อให้สิ่งที่ส่งมอบคือสิ่งที่ผู้คนต้องการ การจัดการบริการไอที (ITSM) ตามที่ ITIL รวบรวมไว้ กำหนดกรอบความใส่ใจเดียวกันนี้เป็นคุณค่า: บริการมีคุณค่าเมื่อช่วยให้ลูกค้าบรรลุผลลัพธ์ที่ต้องการ ด้วยต้นทุนและความเสี่ยงที่ยอมรับได้ ทั้งสองแนวทางมาบรรจบกันที่คำถามที่ไม่สบายใจข้อเดียว อีกหนึ่งปีข้างหน้า ผู้คนและองค์กรดีขึ้นเพราะสิ่งที่ทีมนี้สร้างและดูแลหรือไม่
การตอบนั้นยากกว่าการนับสิ่งที่ส่งมอบ ฟีเจอร์ถูกส่งมอบแล้วไม่มีใครใช้ เหตุขัดข้องลดลงด้วยเหตุผลที่ไม่เกี่ยวกับงานของทีม การประหยัดต้นทุนปรากฏบนสไลด์ แต่งบประมาณที่ประหยัดมาถูกใช้ไปที่อื่น หัวข้อนี้ว่าด้วยการปิดช่องว่างนั้น และเชื่อมโดยตรงกับการให้ความสำคัญกับผลลัพธ์ที่แนะนำไว้ตั้งแต่ต้นหนังสือ (ดูหัวข้อ 1.3 “ผลลัพธ์สำคัญกว่าผลผลิต: การเลือกสิ่งที่จะวัด”)
มีสี่แนวคิดที่จัดระเบียบหัวข้อนี้
- ประโยชน์ ประโยชน์คือการปรับปรุงที่วัดได้ซึ่งผู้มีส่วนได้ส่วนเสียเห็นคุณค่า เช่น ใช้เวลาน้อยลงกับงานหนึ่ง ข้อผิดพลาดน้อยลง ให้บริการลูกค้าได้มากขึ้น หรือความเสี่ยงต่ำลง ฟีเจอร์ไม่ใช่ประโยชน์ แต่เป็นหนทาง การจัดการการบรรลุประโยชน์คือวินัยในการระบุประโยชน์ มอบหมายเจ้าของ และตรวจสอบว่าประโยชน์นั้นมาถึง
- สมมติฐานคุณค่า ก่อนสร้าง ทีมเขียนว่าคาดว่าจะเปลี่ยนอะไร เพื่อใคร มากเพียงใด และจะรู้ได้อย่างไร นี่คือข้ออ้างที่ทดสอบได้ และอาจผิดได้ ทฤษฎีการเปลี่ยนแปลงหรือแบบจำลองตรรกะวางห่วงโซ่จากกิจกรรมสู่ผลผลิตสู่ผลลัพธ์ ซึ่งช่วยทำให้สมมติฐานชัดเจน
- ตัวชี้วัดนำและตัวชี้วัดตาม ตัวชี้วัดนำขยับก่อนและทำนายผล เช่น การนำกระบวนการใหม่ไปใช้ ตัวชี้วัดตามยืนยันผลภายหลัง เช่น ต้นทุนต่อธุรกรรมที่ลดลง ใช้ทั้งสองอย่าง: ตัวชี้วัดนำช่วยให้แก้ทิศทางได้ และตัวชี้วัดตามบอกว่าได้ผลหรือไม่
- การระบุสาเหตุ หลายสิ่งเปลี่ยนไปพร้อมกัน การจะบอกว่างานของคุณเป็นสาเหตุของการปรับปรุงต้องมีการเปรียบเทียบ: ฐานเปรียบเทียบ กลุ่มเปรียบเทียบ หรือการออกแบบก่อนและหลังที่คำนึงถึงการเปลี่ยนแปลงอื่น หากไม่มี ข้ออ้างเรื่องคุณค่าก็เป็นเพียงเรื่องเล่า จุดยืนที่ซื่อตรงมักเป็น “สัมพันธ์กับ” ไม่ใช่ “เป็นสาเหตุของ”
กรอบเป้าหมาย เช่น วัตถุประสงค์และผลลัพธ์หลัก (OKR) เชื่อมงานของทีมกับผลลัพธ์ทางธุรกิจได้ และหัวข้อก่อนหน้าว่าด้วยกรอบการวัดผลครอบคลุมเรื่องนี้โดยละเอียด (ดูหัวข้อ 1.7 “กรอบการวัดผล”) ความเสี่ยงของทุกกรอบคือสิ่งที่กฎของกูดฮาร์ตระบุไว้: เมื่อตัวเลขประโยชน์กลายเป็นเป้าหมาย ผู้คนหาวิธีสร้างตัวเลขโดยไม่มีประโยชน์ (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”)
หัวข้อนี้ยังเป็นสะพานสู่เรื่องเงิน หัวข้อเรื่องผลตอบแทนจากการลงทุนและกรณีทางธุรกิจในส่วนถัดไปพิจารณามุมมองด้านการเงินโดยละเอียด (ดูหัวข้อ 7.7 “ผลตอบแทนจากการลงทุนและกรณีทางธุรกิจ”) ที่นี่เน้นหลักฐานของผลลัพธ์ ซึ่งป้อนเข้าสู่กรณีนั้น
หลักการสำคัญ
- เขียนประโยชน์ที่คาดหวังไว้ก่อนสร้าง ข้ออ้างที่ตรวจสอบภายหลังไม่ได้ก็เรียนรู้จากมันไม่ได้
- ระบุเจ้าของสำหรับแต่ละประโยชน์ เจ้าของคือผู้มีส่วนได้ส่วนเสียที่จะเห็นการเปลี่ยนแปลง ไม่ใช่ทีมส่งมอบ
- วัดที่ผู้ใช้ หลังการปล่อยรุ่น การส่งมอบคือจุดเริ่มต้นของการตรวจสอบ ไม่ใช่จุดจบ
- ใช้ตัวชี้วัดนำเพื่อกำหนดทิศทางและตัวชี้วัดตามเพื่อยืนยัน
- ซื่อตรงเรื่องการระบุสาเหตุ บอกว่าอะไรอื่นเปลี่ยนไป และหลีกเลี่ยงข้ออ้างที่หลักฐานรองรับไม่ได้
- นับประโยชน์ที่ไม่มาถึง การเรียนรู้จากสมมติฐานที่ล้มเหลวเป็นประโยชน์ของการทำงานแบบนี้
- ร่วมมือต่อไป ผู้มีส่วนได้ส่วนเสียและทีมทบทวนหลักฐานร่วมกันเป็นประจำ
นิยามตัวชี้วัด
| ตัวชี้วัด | นิยาม | สูตร | หน่วย | แหล่งข้อมูล | แนวปฏิบัติ ITIL | สิ่งที่สอดคล้องในแนวทางแบบคล่องตัว | ความถี่ |
|---|---|---|---|---|---|---|---|
| อัตราการบรรลุประโยชน์ | สัดส่วนของประโยชน์ที่คาดหวังซึ่งสังเกตเห็น ณ วันทบทวนที่ตกลงกัน | ประโยชน์ที่มีผลวัดได้เท่ากับหรือสูงกว่าเกณฑ์ที่ตกลง / ประโยชน์ที่คาดหวังซึ่งมีวันทบทวนในรอบเวลานั้น | ร้อยละ | ทะเบียนประโยชน์ที่มีเจ้าของ ฐานเปรียบเทียบ และวันทบทวน | การปรับปรุงอย่างต่อเนื่อง การกำกับดูแลระบบคุณค่าของบริการ | การทบทวนผลลัพธ์กับผู้มีส่วนได้ส่วนเสีย | รายไตรมาส |
| เวลาจนถึงคุณค่าแรก | เวลาจากเริ่มงานจนถึงประโยชน์ที่วัดได้ครั้งแรกสำหรับผู้ใช้ | จำนวนวันจากเริ่มงานครั้งแรกถึงวันแรกที่ตัวชี้วัดประโยชน์ขยับตามที่คาด | วัน | ตัวติดตามงานและตัวชี้วัดประโยชน์ | การออกแบบบริการ การจัดการการปล่อยรุ่นและการติดตั้งใช้งาน | การส่งมอบคุณค่าอย่างต่อเนื่อง | ต่อริเริ่ม |
| อัตราการตรวจสอบสมมติฐาน | สัดส่วนของการเปลี่ยนแปลงที่ปล่อยรุ่นแล้วซึ่งสมมติฐานคุณค่าที่ระบุไว้ได้รับการตรวจสอบหลังการปล่อยรุ่น | การเปลี่ยนแปลงที่มีบันทึกการตรวจสอบหลังการปล่อยรุ่น / การเปลี่ยนแปลงที่ปล่อยรุ่นซึ่งมีสมมติฐาน | ร้อยละ | บันทึกสมมติฐานที่เชื่อมกับบันทึกการปล่อยรุ่น | การปรับปรุงอย่างต่อเนื่อง การสนับสนุนการเปลี่ยนแปลง | การเรียนรู้จากงานที่ปล่อยรุ่นแล้ว | รายเดือน |
| สัดส่วนคุณภาพหลักฐาน | สัดส่วนของประโยชน์ที่อ้างซึ่งมีฐานเปรียบเทียบและวิธีเปรียบเทียบที่ระบุไว้ | ข้ออ้างประโยชน์ที่มีฐานเปรียบเทียบและวิธีการ / ข้ออ้างประโยชน์ที่รายงาน | ร้อยละ | การทบทวนทะเบียนประโยชน์ | การวัดและการรายงาน | การรายงานผลลัพธ์อย่างซื่อตรง | รายไตรมาส |
| การขยับของตัวชี้วัดผลลัพธ์ | การเปลี่ยนแปลงของตัวชี้วัดผลลัพธ์ที่เลือกเทียบกับฐานเปรียบเทียบ และกับกลุ่มเปรียบเทียบหากมี | (ตัวชี้วัดหลังลบด้วยตัวชี้วัดก่อน) โดยรายงานการเปลี่ยนแปลงของกลุ่มเปรียบเทียบควบคู่ | หน่วยของตัวชี้วัด | การวิเคราะห์ผลิตภัณฑ์ ข้อมูลบริการ การเงิน | การจัดการระดับบริการ การปรับปรุงอย่างต่อเนื่อง | ความก้าวหน้าของผลลัพธ์หลัก | รายเดือน |
| ชั่วโมงผลกระทบต่อธุรกิจ | ชั่วโมงที่กระบวนการทางธุรกิจเสื่อมหรือหยุดเพราะปัญหาบริการ | ชั่วโมงของกระบวนการที่เสื่อมหรือหยุดซึ่งเจ้าของกระบวนการระบุว่าเกิดจากสาเหตุของบริการไอที | ชั่วโมง | บันทึกเหตุขัดข้องที่เชื่อมกับการยืนยันของเจ้าของกระบวนการ | การจัดการเหตุขัดข้อง การจัดการความพร้อมใช้งาน | การทบทวนผลกระทบต่อธุรกิจ | รายเดือน |
| สัดส่วนกำลังงานที่เชื่อมกับผลลัพธ์ | สัดส่วนของกำลังงานของทีมที่ใช้กับงานที่เชื่อมกับผลลัพธ์ที่ระบุไว้ | กำลังงานของรายการที่เชื่อมกับผลลัพธ์ที่บันทึกไว้ / กำลังงานทั้งหมด | ร้อยละ | ตัวติดตามงานที่มีช่องผลลัพธ์ | ระบบคุณค่าของบริการ การกำกับดูแลพอร์ตโฟลิโอ | งานที่สอดคล้องกับเป้าหมายของผลิตภัณฑ์ | รายไตรมาส |
กำหนดวันทบทวนและเกณฑ์ของแต่ละประโยชน์ตอนบันทึก ไม่ใช่ภายหลัง เวลาจนถึงคุณค่าแรกเริ่มเมื่อเริ่มงานและหยุดเมื่อตัวชี้วัดขยับในทิศทางที่คาดครั้งแรกตามจำนวนที่ระบุ ซึ่งอาจเกิดหลังการปล่อยรุ่นนานมาก การระบุสาเหตุของชั่วโมงผลกระทบต่อธุรกิจตกลงกับเจ้าของกระบวนการ และบันทึกข้อโต้แย้งไว้
ข้อเสนอแนะ
ก่อนสร้าง: ทำให้ข้ออ้างตรวจสอบได้
1. เขียนสมมติฐานคุณค่าสำหรับทุกการเปลี่ยนแปลงที่สำคัญ ใช้รูปแบบเรียบง่าย: “เราเชื่อว่า [การเปลี่ยนแปลง] จะช่วย [ใคร] ให้ [ทำอะไร] เพื่อให้ [การปรับปรุงที่วัดได้] เราจะรู้จากตัวชี้วัด [ตัวชี้วัด] ที่ขยับจาก [ฐานเปรียบเทียบ] ไปเป็น [ที่คาด] ทบทวนเมื่อ [วันที่]” ให้สั้นพอที่จะใส่บนการ์ดบนกระดาน ทีมที่เติมช่องว่างไม่ได้มักยังไม่เข้าใจปัญหา
2. บันทึกฐานเปรียบเทียบ ถ้าไม่มีก่อน ก็ไม่มีหลัง บันทึกค่าปัจจุบันของตัวชี้วัด วิธีที่วัด และความแปรปรวนเท่าใด หากตัวชี้วัดมีสัญญาณรบกวน ตัวเลขเดียวทำให้เข้าใจผิด จึงควรบันทึกเป็นช่วงค่าตลอดหลายสัปดาห์ (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ”)
3. เลือกตัวชี้วัดนำและตัวชี้วัดตาม สำหรับคำขอบริการด้วยตนเองใหม่ ตัวชี้วัดนำคือจำนวนผู้ใช้ที่มีสิทธิ์ซึ่งทำสำเร็จ และตัวชี้วัดตามคือการลดลงของชั่วโมงจัดการด้วยมือ (ดูหัวข้อ 6.3 “ตัวชี้วัดการนำบริการไปใช้และแคตตาล็อก”) ตกลงว่าจะตรวจตัวชี้วัดใดเมื่อใด ตัวชี้วัดนำช่วยให้แก้ไขกลางทางได้โดยไม่ต้องรอจนสิ้นไตรมาส
4. ระบุเจ้าของประโยชน์นอกทีมส่งมอบ เจ้าของคือผู้มีส่วนได้ส่วนเสียที่จะเห็นการปรับปรุงในพื้นที่ของตนและตัดสินได้ ทีมส่งมอบสนับสนุนการวัดแต่ไม่ตรวจการบ้านของตนเอง นี่คือความร่วมมืออย่างต่อเนื่องในทางปฏิบัติ: ผู้ที่ต้องการผลลัพธ์ยังคงมีส่วนร่วมจนกว่าจะยืนยัน
หลังการปล่อยรุ่น: ตรวจสอบอย่างซื่อตรง
5. ทบทวนสมมติฐานในวันที่ตกลง จัดการทบทวนสั้น ๆ กับเจ้าของและทีม ดูตัวชี้วัด ฐานเปรียบเทียบ และการเปรียบเทียบ บันทึกผลในทะเบียน: บรรลุ บรรลุบางส่วน ไม่บรรลุ หรือบอกไม่ได้ “บอกไม่ได้” เป็นผลที่ชอบธรรมและเป็นสัญญาณให้ปรับปรุงการวัด
6. ใช้การเปรียบเทียบเมื่อทำได้ การเปรียบเทียบที่แข็งแรงที่สุดคือการทดลองที่ควบคุม การทดสอบ A/Bเปรียบเทียบสองเวอร์ชันโดยสุ่มกำหนดผู้ใช้ และได้ผลดีกับบริการดิจิทัลที่มีทราฟฟิกพอ หากสุ่มไม่ได้ การทยอยปล่อยรุ่นให้เปรียบเทียบกลุ่มที่ได้และไม่ได้รับการเปลี่ยนแปลง แนวทางผลต่างของผลต่างเปรียบเทียบการเปลี่ยนแปลงของกลุ่มที่ได้รับกับของกลุ่มที่ไม่ได้รับในช่วงเวลาเดียวกัน ซึ่งขจัดแนวโน้มร่วม ใช้การออกแบบที่ง่ายที่สุดที่เหมาะ
7. มองหาตัวแปรกวน ปัจจัยกวนคือสิ่งอื่นที่เปลี่ยนไปและอาจอธิบายผลได้: รูปแบบตามฤดูกาล นโยบายใหม่ สัดส่วนคำขอที่ต่างไป ทำรายการที่เป็นไปได้ก่อนอ้างผล หากตัดออกไม่ได้ ให้บอกว่าหลักฐานรองรับอะไรและไม่เกินนั้น
8. รายงานผลลัพธ์เชิงลบและผลที่ไม่พบความต่าง เมื่อการเปลี่ยนแปลงไม่ช่วย ให้บอกและบันทึกสิ่งที่เรียนรู้ อคติผู้รอดชีวิต ซึ่งเป็นนิสัยการมองเฉพาะความสำเร็จ ทำให้โครงการดูดีกว่าความเป็นจริง ทะเบียนที่มีแต่ชัยชนะไม่ได้ถูกเก็บอย่างซื่อตรง
รักษาโครงการให้ซื่อตรง
9. แยกคุณภาพหลักฐานออกจากประโยชน์ ติดตามสัดส่วนของข้ออ้างที่มีฐานเปรียบเทียบและวิธีการที่ระบุไว้ ข้ออ้างใหญ่ที่หลักฐานอ่อนควรอ่านออกว่าเป็นเช่นนั้น ทะเบียนที่แข็งแรงแสดงข้ออ้างที่เจียมตัวด้วยหลักฐานที่แข็งแรง และมีรายการ “บอกไม่ได้” ที่ซื่อตรงอยู่บ้าง
10. เชื่อมกำลังงานกับผลลัพธ์อย่างหลวม ๆ ถามว่าสัดส่วนเท่าใดของงานของทีมผูกกับผลลัพธ์ที่ระบุไว้ และดูส่วนที่เหลือ งานบางอย่าง เช่น การแก้ไขด้านความมั่นคงปลอดภัยหรือการรักษาระบบให้ทำงานต่อ ไม่มีประโยชน์ใหม่ และไม่เป็นไรหากระบุชื่อไว้ จุดมุ่งหมายคือสังเกตการเบี่ยงเบน ไม่ใช่บังคับให้ทุกงานมีเรื่องเล่าด้านประโยชน์
11. เชื่อมกับกรอบเป้าหมายที่ใช้ หากใช้ OKR ให้ทำผลลัพธ์หลักเป็นตัวชี้วัดผลลัพธ์และทบทวนร่วมกับผู้มีส่วนได้ส่วนเสีย รักษาผลลัพธ์หลักให้เกี่ยวกับผลลัพธ์ ไม่ใช่งาน และเว้นที่ให้เป้าหมายที่ท้าทายซึ่งอาจบรรลุไม่เต็มที่ อย่าทำผลลัพธ์หลักเป็นเป้าหมายรายบุคคล (ดูหัวข้อ 1.7 “กรอบการวัดผล”)
12. ทบทวนพอร์ตโฟลิโอเช่นเดียวกับโครงการ ไตรมาสละครั้ง ดูข้ามริเริ่มว่าประโยชน์ใดมาถึง ใดไม่มา และรูปแบบบอกอะไรเกี่ยวกับวิธีที่ทีมประมาณและเลือกงาน ใช้เพื่อปรับปรุงวิธีเขียนสมมติฐาน ไม่ใช่จัดอันดับทีม
ช่องทางการบิดเบือนและมาตรการป้องกัน
| ตัวชี้วัด | วิธีที่ถูกบิดเบือน | ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่กัน |
|---|---|---|
| อัตราการบรรลุประโยชน์ | ตั้งเกณฑ์ต่ำ ย้ายวันทบทวน นิยามประโยชน์ใหม่ภายหลัง | เกณฑ์และวันที่ถูกกำหนดตายตัวตอนอนุมัติ สัดส่วนคุณภาพหลักฐาน เจ้าของอยู่นอกทีมส่งมอบ |
| เวลาจนถึงคุณค่าแรก | เลือกตัวชี้วัดต้นที่ขยับด้วยเหตุผลที่ผิด เริ่มนับนาฬิกาช้า | นิยามตัวชี้วัดและนาฬิกาในทะเบียน ยืนยันกับเจ้าของประโยชน์ |
| อัตราการตรวจสอบสมมติฐาน | เขียนสมมติฐานคลุมเครือที่ผ่านเสมอ ตรวจเฉพาะการเปลี่ยนแปลงที่สำเร็จ | สุ่มตัวอย่างสมมติฐานเพื่อตรวจว่าทดสอบได้ รวมผลที่ไม่พบความต่างและผลที่ล้มเหลวในการทบทวน |
| สัดส่วนคุณภาพหลักฐาน | เติมฐานเปรียบเทียบย้อนหลัง อธิบายการเปรียบเทียบใด ๆ ว่าเป็นวิธีการ | ฐานเปรียบเทียบที่ลงวันที่ก่อนการเปลี่ยนแปลง ทบทวนโดยบุคคลนอกทีม |
| การขยับของตัวชี้วัดผลลัพธ์ | เลือกช่วงเวลาหรือกลุ่มที่เป็นผลดี ละเลยตัวแปรกวน | ช่วงเวลาและกลุ่มที่กำหนดล่วงหน้า รายการตัวแปรกวนที่พิจารณา |
| ชั่วโมงผลกระทบต่อธุรกิจ | เจ้าของกระบวนการพองหรือลดการระบุสาเหตุ จัดประเภทเหตุขัดข้องใหม่เพื่อเลี่ยงการระบุ | กฎการระบุสาเหตุที่เป็นลายลักษณ์อักษรและบันทึกไว้ เปรียบเทียบกับบันทึกเหตุขัดข้องและความพร้อมใช้งาน |
| สัดส่วนกำลังงานที่เชื่อมกับผลลัพธ์ | ติดแท็กงานทั้งหมดด้วยผลลัพธ์ทั่วไป คิดผลลัพธ์ขึ้นสำหรับงานประจำ | ทบทวนรายการผลลัพธ์กับผู้มีส่วนได้ส่วนเสีย สุ่มตัวอย่างรายการเพื่อตรวจคุณภาพของความเชื่อมโยง |
การอ่านค่าที่แข็งแรงคือทะเบียนที่บางประโยชน์บรรลุ บางประโยชน์ไม่บรรลุ ไม่กี่รายการยังไม่ชัด และทุกรายการมีฐานเปรียบเทียบ เจ้าของ และวิธีการที่ระบุไว้ ทะเบียนที่สำเร็จเหมือนกันทั้งหมดควรถูกมองด้วยความสงสัย
ข้อแลกเปลี่ยน: ข้อดีและข้อเสีย
| แนวทาง | จุดแข็ง | จุดอ่อน |
|---|---|---|
| ทะเบียนประโยชน์อย่างเป็นทางการ | ความรับผิดชอบ การเรียนรู้ข้ามริเริ่ม | ระบบราชการหากใช้กับทุกการเปลี่ยนแปลงเล็ก ๆ |
| สมมติฐานแบบเบาบนแต่ละการ์ด | ถูก สร้างนิสัย | เขียนคลุมเครือได้ง่าย |
| การทดลองที่ควบคุม | หลักฐานเรื่องสาเหตุที่แข็งแรง | ต้องมีทราฟฟิก เวลา และการออกแบบที่เหมาะกับบริการ |
| ก่อนและหลังเท่านั้น | ง่าย รวดเร็ว | ถูกกวนด้วยการเปลี่ยนแปลงอื่น |
| วิจารณญาณของผู้มีส่วนได้ส่วนเสีย | จับคุณค่าที่มาตรวัดพลาด | ขึ้นกับความมองโลกในแง่ดีและการเมือง |
| ตัวชี้วัดนำ | แก้ทิศทางได้เร็ว | อาจไม่ทำนายผลลัพธ์จริง |
| ตัวชี้วัดตาม | ยืนยันผลที่แท้จริง | มาช้า หลายสาเหตุ |
คำตอบเชิงบรรยายคือให้น้ำหนักของหลักฐานสอดคล้องกับขนาดและความเสี่ยงของการเปลี่ยนแปลง ใช้สมมติฐานแบบเบาและก่อนและหลังง่าย ๆ สำหรับการเปลี่ยนแปลงเล็ก และการทดลองหรือการทยอยปล่อยรุ่นสำหรับการเปลี่ยนแปลงใหญ่ บันทึกเสมอว่าคาดหวังอะไร เกิดอะไรขึ้น และมั่นใจเพียงใด
คำถามสำหรับอภิปรายกับทีม
1. ไตรมาสที่แล้วเราส่งมอบอะไร และสิ่งที่เปลี่ยนสำหรับผู้ที่ควรได้รับความช่วยเหลือคืออะไร ทำรายการการเปลี่ยนแปลงหลักและสำหรับแต่ละรายการ ระบุบุคคลที่จะสังเกตเห็นความแตกต่าง ถามว่าพวกเขาจะพูดว่าอย่างไร ผู้อำนวยความสะดวกควรจดการเปลี่ยนแปลงที่ไม่มีใครตอบได้ เพราะเป็นตัวเลือกสำหรับการตรวจหลังการปล่อยรุ่น ตกลงการเปลี่ยนแปลงหนึ่งอย่างที่จะทบทวนกับเจ้าของภายในหนึ่งเดือน
2. สำหรับการเปลี่ยนแปลงสำคัญครั้งถัดไป สมมติฐานคุณค่าคืออะไรและเราจะรู้ได้อย่างไร เติมแบบฟอร์มสมมติฐานร่วมกัน ท้าทายถ้อยคำคลุมเครือและฐานเปรียบเทียบที่ขาด ถามว่าผลลัพธ์แบบใดจะทำให้ทีมเปลี่ยนแผน หากกลุ่มตกลงมาตรวัดไม่ได้ นั่นคืองานค้นหาก่อนการสร้าง
3. ใครเป็นเจ้าของประโยชน์ และพวกเขาอยู่ในห้องหรือไม่ ตรวจว่าแต่ละประโยชน์มีเจ้าของนอกทีมส่งมอบ ถามว่าเจ้าของเห็นหลักฐานบ่อยเพียงใด ในที่ที่เจ้าของคือทีมเอง ให้อภิปรายว่าใครอีกควรร่วมตัดสิน บทสนทนานี้สนับสนุนความร่วมมืออย่างต่อเนื่องของผู้มีส่วนได้ส่วนเสีย
4. เมื่อตัวเลขดีขึ้น อะไรอื่นเปลี่ยนไปด้วย ยกการปรับปรุงที่อ้างล่าสุดและทำรายการการเปลี่ยนแปลงอื่นในช่วงเวลาเดียวกัน: นโยบาย ฤดูกาล การจัดคน การปล่อยรุ่นของทีมอื่น ถามว่าอะไรอาจอธิบายผลได้ ตัดสินใจว่าจะอธิบายการปรับปรุงว่าเกิดจากการเปลี่ยนแปลง สัมพันธ์กับมัน หรือยังไม่ชัด
5. สมมติฐานในอดีตของเราข้อใดที่ผิด และเราทำอะไรกับมัน ขอเรื่องเล่าของความคาดหวังที่ล้มเหลว หากไม่มีคำตอบเร็ว ๆ ทีมอาจไม่ได้ตรวจสอบ หรืออาจไม่ได้พูดถึงเรื่องนั้น อภิปรายว่าจะทำให้การรายงานผลที่ไม่พบความต่างปลอดภัยและเป็นประโยชน์ได้อย่างไร
6. กำลังงานของเราผูกกับผลลัพธ์เท่าใด และรู้สึกถูกต้องหรือไม่ ทบทวนงานที่เสร็จหนึ่งเดือนและติดแท็กแต่ละรายการด้วยผลลัพธ์หรือ “รักษาบริการให้ทำงานต่อ” ถามว่าสัดส่วนที่แบ่งตรงกับที่ผู้นำคิดหรือไม่ อภิปรายงานที่ไม่มีผลลัพธ์และควรทำต่อหรือไม่
สี่มุมมอง
ทีมผลิตภัณฑ์และการส่งมอบ
ทีมส่งมอบเป็นเจ้าของสมมติฐานและแผนการวัด และควรส่งมอบการเปลี่ยนแปลงเป็นขั้นเล็ก ๆ เพื่อให้หลักฐานมาถึงเร็ว ควรสร้างตัวชี้วัดไว้ในการเปลี่ยนแปลง เช่น บันทึกเหตุการณ์ที่ต้องการ และขอให้เจ้าของประโยชน์ยืนยันสิ่งที่เห็น ทีมควรต้อนรับสมมติฐานที่ล้มเหลวเป็นข้อมูล เพราะการเรียนรู้เร็วช่วยประหยัดต้นทุนของการสร้างสิ่งที่ผิดเพิ่มอีก
ทีมบริการและปฏิบัติการ
ทีมปฏิบัติการเห็นผลจริงของการเปลี่ยนแปลงต่อเหตุขัดข้อง คำขอ และกำลังงาน พวกเขาถือข้อมูลส่วนมากสำหรับตัวชี้วัดตาม เช่น ชั่วโมงจัดการด้วยมือและการติดต่อซ้ำ และควรช่วยตรวจสมมติฐานนอกเหนือจากการรับมือกับการเปลี่ยนแปลง ควรส่งเสียงเมื่อประโยชน์ที่อ้างบนกระดาษไม่ตรงกับสิ่งที่เซอร์วิสเดสก์เห็น
ภาวะผู้นำและการกำกับดูแล
ผู้นำเลือกว่าประโยชน์จะเป็นเครื่องมือการเรียนรู้หรือคำนำเสนอขาย ควรขอฐานเปรียบเทียบและวิธีการ ต้อนรับผล “ไม่บรรลุ” ที่ซื่อตรง และหลีกเลี่ยงการผูกทีมกับตัวเลขประโยชน์ที่ตั้งก่อนรู้ข้อเท็จจริง การกำกับดูแลควรทบทวนทะเบียนเป็นพอร์ตโฟลิโอ สนับสนุนงบประมาณการวัด และเต็มใจหยุดงานที่สมมติฐานล้มเหลว
ลูกค้าและผู้ใช้
ผู้ใช้รู้ว่าการเปลี่ยนแปลงช่วยหรือไม่ และเป็นผู้ตัดสินที่ดีที่สุดของประโยชน์ส่วนมาก ควรถามพวกเขา แสดงผลให้ดู และบอกพวกเขาเมื่อการเปลี่ยนแปลงไม่ได้ส่งมอบสิ่งที่หวัง ความคิดเห็นของพวกเขาเป็นหลักฐานในตัวเอง ประโยชน์ที่ตัวเลขแสดงแต่ผู้ใช้ไม่รู้สึกควรได้รับการพิจารณาใกล้ชิดขึ้น
ในทางปฏิบัติ: ตัวอย่าง ITIL แบบคล่องตัว
กลุ่มไอทีของบริษัทประกันสุขภาพระดับภูมิภาคแห่งหนึ่งสร้างและดูแลพอร์ทัลเคลมสำหรับผู้ให้บริการ ตัวเลขด้านล่างเป็นตัวเลขสมมติเพื่อประกอบตัวอย่าง
กลุ่มวางแผนเพิ่มการตรวจสอบสิทธิ์อัตโนมัติในการส่งเคลม สมมติฐานที่เขียนร่วมกับผู้จัดการปฏิบัติการเคลมคือ: “เราเชื่อว่าการตรวจสอบสิทธิ์อัตโนมัติจะช่วยเจ้าหน้าที่เรียกเก็บเงินของผู้ให้บริการส่งเคลมที่ถูกต้องตั้งแต่ครั้งแรก เพื่อให้เคลมที่ถูกส่งกลับให้แก้ไขลดจากร้อยละ 18 เป็นร้อยละ 12 ภายในสามเดือน เราจะรู้จากอัตราเคลมที่ถูกส่งกลับ ทบทวนเมื่อวันที่ 1 มีนาคม” ฐานเปรียบเทียบคือค่าเฉลี่ยของ 12 สัปดาห์ที่ผ่านมา ร้อยละ 18 โดยมีช่วงรายสัปดาห์ร้อยละ 15 ถึง 21 ตัวชี้วัดนำคือการใช้การตรวจสอบในเดือนแรก ผู้จัดการปฏิบัติการเคลมเป็นเจ้าของประโยชน์
ทีมปล่อยรุ่นเป็นขั้นเล็ก ๆ โดยให้การตรวจสอบใช้ได้ที่ภูมิภาคเดียวก่อน หลังสามสัปดาห์ การใช้การตรวจสอบในภูมิภาคนั้นคือร้อยละ 64 ในวันทบทวน เคลมที่ถูกส่งกลับลดเหลือร้อยละ 13 ในภูมิภาคที่มีการตรวจสอบ และร้อยละ 17 ในภูมิภาคที่ไม่มี ผู้จัดการเคลมชี้ว่ามีการเปลี่ยนนโยบายเกี่ยวกับรหัสการเรียกเก็บเงินหนึ่งรหัสที่มีผลในช่วงเวลานั้นด้วย ทีมบันทึกเป็นตัวแปรกวนและนำเคลมที่มีรหัสนั้นออกจากทั้งสองกลุ่ม ซึ่งเหลือร้อยละ 14 เทียบกับ 17.5 การบรรลุประโยชน์ถูกบันทึกเป็น “บรรลุบางส่วน”: ดีกว่าฐานเปรียบเทียบอย่างชัดเจน แต่ยังไม่ถึงเป้าหมายร้อยละ 12 ทีมเขียนอย่างซื่อตรงในทะเบียนว่าหลักฐานมาจากการทยอยปล่อยรุ่นหนึ่งไตรมาส และผลอาจต่างออกไปสำหรับผู้ให้บริการรายอื่น
จากนั้นพวกเขาปล่อยการตรวจสอบไปทุกภูมิภาค โดยวางแผนตรวจอีกครั้งในสามเดือน และเพิ่มงานปรับปรุงข้อความแสดงข้อผิดพลาด เพราะความคิดเห็นจากผู้ให้บริการบอกว่าข้อความไม่ชัดเจน ผู้อำนวยการการเงินขอตัวเลขเดียวสำหรับคณะกรรมการ หัวหน้าฝ่ายไอทีเสนอช่วงค่าและวิธีการ และปฏิเสธที่จะระบุตัวเลขที่ละเอียดกว่าที่หลักฐานอนุญาต การตัดสินใจถูกบันทึกพร้อมวันทบทวนครั้งถัดไป
มุมมองตามประเภทองค์กร
สตาร์ตอัป ประโยชน์ใกล้เคียงกับรายได้และการรักษาลูกค้า และความเร็วของการเรียนรู้สำคัญ เขียนสมมติฐานบรรทัดเดียวบนการ์ด ตรวจอย่างรวดเร็ว และหลีกเลี่ยงทะเบียนที่หนัก ใช้การเปรียบเทียบง่าย ๆ และยอมรับว่าตัวอย่างเล็กจำกัดสิ่งที่อ้างได้
ธุรกิจขนาดเล็ก เจ้าของคือเจ้าของประโยชน์ และผลมองเห็นได้ เก็บรายการสั้น ๆ ของการเปลี่ยนแปลงพร้อมผลที่คาดหวังและทบทวนทุกไตรมาส หลีกเลี่ยงการพองผลเล็กน้อยเป็นตัวเลขใหญ่ และเปรียบเทียบกับต้นทุนของการเปลี่ยนแปลง
องค์กรขนาดใหญ่ พอร์ตโฟลิโอ รอบงบประมาณ และผู้มีส่วนได้ส่วนเสียจำนวนมากทำให้ทะเบียนประโยชน์มีประโยชน์ ให้เบาสำหรับการเปลี่ยนแปลงเล็กและเข้มงวดสำหรับการเปลี่ยนแปลงใหญ่ วางเจ้าของในหน่วยธุรกิจ และทบทวนข้ามพอร์ตโฟลิโอ ระวังตัวเลขที่ถูกรวมโดยมีนิยามต่างกัน
ภาครัฐและหน่วยงานสาธารณะ ผลลัพธ์มักเป็นสินค้าสาธารณะ เช่น การเข้าถึง ความเป็นธรรม และความปลอดภัย ซึ่งไม่ลดทอนเป็นรายได้ นิยามผลลัพธ์ร่วมกับผู้ที่ได้รับบริการ ใช้หลักฐานผสม และรายงานวิธีการอย่างเปิดเผย อาจต้องมีกรณีทางธุรกิจและการทบทวนประโยชน์อย่างเป็นทางการ และผลที่ไม่พบความต่างอย่างซื่อตรงสำคัญต่อความรับผิดชอบต่อสาธารณะ (ดูหัวข้อ 8.5 “การรายงานตามข้อกำหนดและต่อภาครัฐ”)
กรณีทางธุรกิจ: แรงจูงใจ ROI และ TCO
ต้นทุนส่วนใหญ่คือความใส่ใจ การเขียนสมมติฐานใช้เวลาไม่กี่นาที ฐานเปรียบเทียบใช้หนึ่งชั่วโมงหรือไม่กี่ชั่วโมง และการทบทวนใช้การประชุมสั้น ๆ การทดลองและการทยอยปล่อยรุ่นต้องใช้ความพยายามออกแบบและเครื่องมือบ้าง ทะเบียนประโยชน์อาจเป็นสเปรดชีตหรือช่องในตัวติดตามงาน
ผลตอบแทนคือการตัดสินใจลงทุนที่ดีขึ้น ทีมที่ตรวจสมมติฐานของตนจะเลิกสร้างสิ่งที่ไม่ช่วย ขยายสิ่งที่ช่วย และเรียนรู้ว่าตนทำนายได้ดีเพียงใด ซึ่งประหยัดต้นทุนของฟีเจอร์ที่ไม่ได้ใช้และโครงการที่ล้มเหลว สร้างกรณีจากข้อมูลของตนเอง: สัดส่วนของการเปลี่ยนแปลงที่มีสมมติฐาน สัดส่วนที่ได้รับการตรวจ และต้นทุนของงานที่ภายหลังถูกยกเลิกหรือย้อนกลับ หลีกเลี่ยงตัวเลขที่เผยแพร่เกี่ยวกับอัตราความล้มเหลวของโครงการไอที เว้นแต่จะสืบย้อนแหล่งที่มาและวิธีการได้ เพราะแตกต่างกันมากและมักถูกอ้างโดยไม่มีบริบท การจัดการด้านการเงินอยู่ในส่วนถัดไป (ดูหัวข้อ 7.7 “ผลตอบแทนจากการลงทุนและกรณีทางธุรกิจ”)
รูปแบบที่ไม่ควรทำและข้อควรระวัง
- นับการส่งมอบเป็นคุณค่า ฟีเจอร์ที่ส่งมอบแล้วเป็นหนทาง ให้ตรวจผลต่อผู้คน
- สมมติฐานที่ล้มเหลวไม่ได้ ทำให้เฉพาะเจาะจง มีตัวเลขและวันที่
- ตรวจการบ้านของตนเอง ให้เจ้าของประโยชน์นอกทีมตัดสินผล
- อ้างสาเหตุจากก่อนและหลัง ทำรายการตัวแปรกวนและใช้การเปรียบเทียบเมื่อเป็นไปได้
- รายงานเฉพาะชัยชนะ บันทึกผลที่ไม่พบความต่างและผลเชิงลบ ทะเบียนที่มีแต่ความสำเร็จไม่ซื่อตรง
- ตั้งเป้าหมายประโยชน์สำหรับบุคคล เป้าหมายที่ผูกกับบุคคลเชื้อเชิญข้ออ้างที่พองเกิน ให้เก็บประโยชน์ไว้ที่ระดับทีมและริเริ่ม
- ความแม่นยำเกินจริง รายงานช่วงค่าและวิธีการ ไม่ใช่ตัวเลขทศนิยมเดียว
- ละเลยงานที่ไม่มีประโยชน์ใหม่ ระบุชื่อมัน และอย่าคิดเรื่องเล่าประโยชน์ขึ้นมาให้
แบบจำลองวุฒิภาวะ
| มิติ | 1 เริ่มต้น | 2 พัฒนา | 3 ทำให้เป็นมาตรฐาน | 4 บริหารจัดการ | 5 ประสานจัดการ |
|---|---|---|---|---|---|
| การระบุคุณค่า | อ้างประโยชน์ในกรณีทางธุรกิจเท่านั้น | เขียนสมมติฐานสำหรับบางการเปลี่ยนแปลง | สมมติฐานสั้น ฐานเปรียบเทียบ และเจ้าของสำหรับทุกการเปลี่ยนแปลงสำคัญ | สมมติฐานและเกณฑ์กำหนดตายตัวตอนอนุมัติ นิยามตัวชี้วัดนำและตัวชี้วัดตาม | แบ่งปันสมมติฐานข้ามทีมและผู้ให้บริการ นิยามผลลัพธ์ร่วมกับผู้ใช้ |
| การตรวจสอบคุณค่า | ไม่มีการตรวจหลังการปล่อยรุ่น | ทีมส่งมอบตรวจเป็นครั้งคราว | ทบทวนตามกำหนดกับเจ้าของที่เป็นอิสระ | บันทึกการเปรียบเทียบและตัวแปรกวน ติดตามคุณภาพหลักฐาน | หลักฐานระดับพอร์ตโฟลิโอนำการจัดสรรงบประมาณ ทดลองร่วมกันข้ามทีม |
| การเรียนรู้ | ฉลองชัยชนะ ลืมความล้มเหลว | บันทึกบทเรียนบางส่วน | บันทึกและทบทวนผลที่ไม่พบความต่าง | รูปแบบของสมมติฐานที่พลาดปรับปรุงการเลือกและการประเมินขนาด | การเรียนรู้ป้อนเข้าการวางแผนทั่วทั้งองค์กรและกับพันธมิตร |
รายการตรวจสอบ
- ทุกการเปลี่ยนแปลงสำคัญมีสมมติฐานคุณค่าเป็นลายลักษณ์อักษรพร้อมฐานเปรียบเทียบ ตัวชี้วัด และวันทบทวน
- แต่ละประโยชน์มีเจ้าของนอกทีมส่งมอบ
- นิยามและติดตามตัวชี้วัดนำและตัวชี้วัดตาม
- การทบทวนเกิดขึ้นในวันที่ตกลงกับเจ้าของ
- ใช้การเปรียบเทียบหรือการทยอยปล่อยรุ่นในที่ที่ทำได้
- ทำรายการตัวแปรกวนสำหรับแต่ละผลที่อ้าง
- บันทึกและแบ่งปันผลที่ไม่พบความต่างและผลเชิงลบ
- ติดตามคุณภาพหลักฐานข้างข้ออ้างประโยชน์
- ไม่มีบุคคลใดมีเป้าหมายประโยชน์ส่วนตัว
- การทบทวนพอร์ตโฟลิโอรายไตรมาสดูรูปแบบของสมมติฐานที่บรรลุและที่พลาด
พรอมต์ AI
เขียนสมมติฐานคุณค่า
เราวางแผนจะ [อธิบายการเปลี่ยนแปลง] สำหรับ [ผู้ใช้หรือผู้มีส่วนได้ส่วนเสีย] ใน
[ประเภทองค์กร] ปัญหาในปัจจุบัน: [อธิบาย] ร่างสมมติฐานคุณค่าในรูปแบบ
“เราเชื่อว่า [การเปลี่ยนแปลง] จะช่วย [ใคร] ให้ [ทำอะไร] เพื่อให้ [การปรับปรุงที่
วัดได้] เราจะรู้จาก [ตัวชี้วัด]...” เสนอตัวชี้วัดนำหนึ่งอย่างและตัวชี้วัดตามหนึ่งอย่าง
ฐานเปรียบเทียบที่เราต้องการ และตรรกะของวันทบทวน อย่าคิดค่าเป้าหมายขึ้นเอง
ปล่อยเป็นตัวแทนให้เรากรอก ระบุข้อสมมติของคุณและสิ่งที่เราต้องค้นหา
ทำรายการตัวแปรกวนสำหรับผลที่อ้าง
เราอ้างว่า [การเปลี่ยนแปลง] ปรับปรุง [ตัวชี้วัด] จาก [ก่อน] เป็น [หลัง] ระหว่าง
[วันที่] สิ่งอื่นที่เกิดขึ้นในช่วงเวลานั้น: [รายการ] ทำรายการปัจจัยกวนที่เป็นไปได้
แต่ละปัจจัยอธิบายผลได้อย่างไร และข้อมูลหรือการเปรียบเทียบใดจะช่วยตัดออกได้
เสนอถ้อยคำที่ระบุสิ่งที่หลักฐานรองรับ อย่าสันนิษฐานสาเหตุที่ข้อมูลรองรับไม่ได้
ระบุข้อสมมติของคุณ
ออกแบบการเปรียบเทียบการทยอยปล่อยรุ่น
เราปล่อย [การเปลี่ยนแปลง] ให้ [จำนวน] กลุ่มในเวลาต่างกันได้: [อธิบายกลุ่มและ
ข้อจำกัด] เสนอการทยอยปล่อยรุ่นที่ให้เราเปรียบเทียบกลุ่มที่มีและไม่มีการเปลี่ยนแปลง
บอกว่าควรใช้ตัวชี้วัดและช่วงเวลาใด อะไรอาจทำให้การเปรียบเทียบเอนเอียง และเรา
จะสรุปอะไรจากผลลัพธ์ที่ต่างกัน อย่าคิดขนาดผลขึ้นเอง ระบุข้อสมมติและความเสี่ยง
ของคุณ
ทบทวนรายการในทะเบียนประโยชน์
ทบทวนรายการทะเบียนประโยชน์นี้สำหรับ [ริเริ่ม]: [วางรายการ รวมข้ออ้าง ฐาน
เปรียบเทียบ วิธีการ เจ้าของ และวันทบทวน] ชี้ข้อมูลที่ขาด ถ้อยคำคลุมเครือ ข้ออ้าง
ที่หลักฐานรองรับไม่ได้ และวิธีที่ผลอาจถูกบิดเบือน เสนอถ้อยคำที่แข็งแรงขึ้นซึ่งตรง
กับสิ่งที่เราวัดจริง ระบุข้อสมมติของคุณและคำถามสำหรับเจ้าของ
ทักษะ AI
- ทักษะ Agile ITIL Metrics: ใช้เพื่อหามาตรการป้องกันที่จับคู่กับตัวชี้วัดคุณค่าหรือผลลัพธ์ก่อนรายงาน
- ทักษะผู้ดูแล Agile ITIL Metrics: ใช้เพื่อตรวจว่ารายการตัวชี้วัดประโยชน์มีช่องทางการบิดเบือน มาตรการป้องกัน และมาตรฐานหลักฐาน
ข้อสรุปสำคัญ
- เขียนสมมติฐานคุณค่าที่ตรวจสอบได้ก่อนสร้าง พร้อมฐานเปรียบเทียบ เจ้าของนอกทีม และวันทบทวน
- ใช้ตัวชี้วัดนำเพื่อกำหนดทิศทางและตัวชี้วัดตามเพื่อยืนยัน
- เปรียบเทียบเมื่อทำได้ ทำรายการตัวแปรกวน และอ้างเฉพาะสิ่งที่หลักฐานรองรับ
- บันทึกผลที่ไม่พบความต่างและผลเชิงลบ ทะเบียนที่สำเร็จเหมือนกันทั้งหมดไม่ซื่อตรง
- ติดตามคุณภาพของหลักฐานข้างขนาดของข้ออ้าง
- ให้ผู้มีส่วนได้ส่วนเสียและผู้ใช้ร่วมมือต่อไปจนกว่าจะยืนยันผลลัพธ์
เอกสารอ้างอิงและแหล่งอ่านเพิ่มเติม
- Ward, J., and Daniel, E., Benefits Management: How to Increase the Business Value of Your IT Projects, 2nd ed., Wiley, 2012.
- Doerr, J., Measure What Matters, Portfolio/Penguin, 2018.
- Kohavi, R., Tang, D., and Xu, Y., Trustworthy Online Controlled Experiments, Cambridge University Press, 2020.
- Hubbard, D. W., How to Measure Anything: Finding the Value of Intangibles in Business, 3rd ed., Wiley, 2014.
- Beck, K., et al., Manifesto for Agile Software Development and Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Benefits realisation management.
- Wikipedia, Theory of change.
- Wikipedia, Logic model.
- Wikipedia, Leading indicator.
- Wikipedia, Lagging indicator.
- Wikipedia, Objectives and key results.
- Wikipedia, Goodhart's law.
- Wikipedia, A/B testing.
- Wikipedia, Difference in differences.
- Wikipedia, Confounding.
- Wikipedia, Survivorship bias.