ภาพรวมและแรงจูงใจ

ตัวชี้วัดใช้ได้ผลเพราะสะท้อนสิ่งที่ผลิตได้ยาก ตั๋วที่แก้ไขแล้วสะท้อนความพยายาม เอกสารที่เขียนสะท้อนความรู้ การทดสอบที่เพิ่มสะท้อนความใส่ใจ เมื่อเครื่องมือทำให้ผลผลิตที่มองเห็นได้แทบไม่มีต้นทุน ความเชื่อมโยงระหว่างผลผลิตกับความพยายามก็ขาดลง ตัวเลขยังคงสูงขึ้นแต่ความหมายไหลออกไป นี่คือเงินเฟ้อของตัวชี้วัด และคู่ของมันคือคุณภาพที่เจือจาง สัดส่วนของสิ่งที่ผลิตซึ่งมีประโยชน์ลดลง และส่วนที่มีประโยชน์หาได้ยากขึ้น

นี่ไม่ใช่ปัญหาใหม่ กฎของกูดฮาร์ตและกฎของแคมป์เบลล์ซึ่งเป็นญาติกัน อธิบายว่าตัวชี้วัดที่ใช้เพื่อควบคุมถูกบิดเบือนอย่างไร ตัวชี้วัดเพื่อความโก้เก๋ (vanity metric) ดูน่าประทับใจแต่ไม่บอกอะไรเกี่ยวกับสุขภาพของงาน สิ่งที่ปัญญาประดิษฐ์เปลี่ยนคือความเร็วและขนาดที่ผลผลิตสร้างได้ และด้วยเหตุนี้ ความเร็วและขนาดที่ความล้มเหลวแบบเก่าเหล่านี้เกิดขึ้นได้ ทีมที่เคยทำให้ตัวเลขพองด้วยมือ ตอนนี้ทำได้ในไม่กี่นาที และมักทำโดยไม่ตั้งใจ

รูปแบบหลายอย่างเกิดซ้ำในงานบริการและการส่งมอบ

  • เงินเฟ้อของปริมาณ ปัญญาประดิษฐ์ร่างตั๋ว คำตอบ ความเห็น กรณีทดสอบ เอกสาร และโค้ดมากขึ้น ตัวเลขการนับของสิ่งเหล่านี้สูงขึ้น ภาระงานของผู้ที่ต้องอ่าน ทบทวน และบำรุงรักษาก็สูงขึ้นด้วย
  • เงินเฟ้อของความเร็ว เวลาถึงร่างแรกลดลงอย่างมาก ส่วนเวลาถึงผลลัพธ์ที่เสร็จสมบูรณ์และผ่านการตรวจสอบลดลงน้อยกว่าหรือไม่ลดเลย แดชบอร์ดที่รายงานอย่างแรกเล่าเรื่องที่เกินจริง
  • สัญญาณรบกวน เนื้อหาที่มากขึ้นแย่งชิงความสนใจ ภาวะข้อมูลท่วมท้นคือสภาพที่บุคคลประมวลผลปริมาณข้อมูลที่นำเสนอไม่ไหว และอัตราส่วนสัญญาณต่อสัญญาณรบกวนของฐานความรู้ คิวตั๋ว หรือสายธารการแจ้งเตือนลดลง ความล้าจากการแจ้งเตือนคือรูปแบบเชิงปฏิบัติการของเรื่องนี้ (ดูหัวข้อ 5.5 “ตัวชี้วัดการเฝ้าติดตามและคุณภาพการแจ้งเตือน”)
  • เนื้อหาที่สร้างขึ้นคุณภาพต่ำ เนื้อหาที่ผลิตเป็นกองโดยแทบไม่มีการทบทวน บางครั้งเรียกว่าขยะจากปัญญาประดิษฐ์ (AI slop) ดูสมเหตุสมผลแต่บางเบา ฐานความรู้ที่เต็มไปด้วยบทความเช่นนั้นเชื่อถือได้น้อยลง และผู้ใช้เรียนรู้ที่จะไม่ไว้ใจ
  • ต้นทุนการตรวจสอบ ความพยายามในการตรวจสอบข้ออ้างมักมากกว่าความพยายามในการสร้างข้ออ้างนั้นมาก รูปแบบที่บางครั้งเรียกว่ากฎของแบรนโดลินี เมื่อการสร้างมีต้นทุนต่ำ การตรวจสอบจะกลายเป็นคอขวด
  • ประสิทธิภาพที่เพิ่มการบริโภค ปฏิทรรศน์เจวอนส์อธิบายกรณีที่ประสิทธิภาพที่เพิ่มขึ้นนำไปสู่การใช้ทรัพยากรมากขึ้น ไม่ใช่น้อยลง หากการร่างรายงานถูกลง ก็จะมีการเรียกร้องรายงานมากขึ้น เวลาที่เครื่องมือประหยัดได้อาจถูกใช้ไปกับงานที่มีคุณค่าต่ำกว่าและมากขึ้น
  • วงจรป้อนกลับ หากเนื้อหาที่สร้างขึ้นป้อนให้การสร้างรอบถัดไป ข้อผิดพลาดจะทบกัน เอกสารวิจัยอธิบายการล่มสลายของโมเดล (model collapse) ในโมเดลที่ฝึกด้วยผลลัพธ์ของตนเอง วงจรคล้ายกันอาจเกิดภายในองค์กรเมื่อผู้ช่วยสรุปตั๋วที่ผู้ช่วยเขียนจากบทความที่ผู้ช่วยสรุปไว้
  • ค่าฐานที่เลื่อนไหล หากการกระจายของข้อมูลเปลี่ยนเพราะปัญญาประดิษฐ์ แนวโน้มและเกณฑ์จะไม่มีความหมายเหมือนเดิม คล้ายกับการเลื่อนของแนวคิด (concept drift) ในการเรียนรู้ของเครื่อง ซึ่งความสัมพันธ์ระหว่างข้อมูลนำเข้ากับผลลัพธ์เปลี่ยนตามเวลา ปริมาณตั๋วที่เพิ่มขึ้นอาจสะท้อนการสร้างตั๋วที่ง่ายขึ้น ไม่ใช่ปัญหาที่มากขึ้น

เป้าหมายแบบ Agile สำคัญที่นี่ การส่งมอบอย่างต่อเนื่อง การปรับปรุงอย่างต่อเนื่อง และจังหวะการทำงานที่ยั่งยืนล้วนขึ้นกับความชัดเจนของสัญญาณ ไม่ควรขอให้บุคลากรที่มีแรงจูงใจลุยผ่านสัญญาณรบกวนที่เครื่องสร้าง หรือตรวจสอบกองผลลัพธ์ด้วยจังหวะที่ไม่ยั่งยืน ผู้มีส่วนได้ส่วนเสียที่มีส่วนร่วมอย่างต่อเนื่องก็เป็นการป้องกันที่ดีที่สุดเช่นกัน พวกเขาจะบอกเมื่อรายงานไม่ช่วยอีกแล้ว

หัวข้อนี้ให้ตัวชี้วัดสำหรับสังเกตเงินเฟ้อและการเจือจาง และการจับคู่ที่เปิดโปงสิ่งเหล่านั้น สร้างบนรากฐานและตัวชี้วัดของงานที่ใช้ปัญญาประดิษฐ์ช่วย (ดูหัวข้อ 10.1 “ปัญญาประดิษฐ์ในการวัดผลการจัดการบริการ” และหัวข้อ 10.2 “การวัดงานที่ใช้ปัญญาประดิษฐ์ช่วย”)

หลักการสำคัญ

  • จับคู่ตัวชี้วัดปริมาณหรือความเร็วทุกตัวกับการตรวจสอบความมีประโยชน์ บุคคลเป็นผู้ตัดสินว่าผลลัพธ์มีประโยชน์หรือไม่
  • วัดถึงผลลัพธ์ที่เสร็จสมบูรณ์และผ่านการตรวจสอบ ความเร็วของร่างแรกคือกับดัก
  • เฝ้าดูภาระการตรวจสอบ เพิ่มขึ้นอย่างเงียบ ๆ และกลืนเวลาที่ประหยัดได้
  • ปกป้องสัญญาณ รักษาฐานความรู้ คิว และการแจ้งเตือนให้สะอาดพอที่จะเชื่อถือได้
  • ตัดวงจรป้อนกลับ อย่าให้เนื้อหาที่สร้างขึ้นป้อนการสร้างโดยไม่มีการทบทวน
  • ตั้งค่าฐานใหม่เมื่อข้อมูลเปลี่ยน แนวโน้มที่ข้ามการเปลี่ยนผ่านทางเทคโนโลยีต้องใช้ความระมัดระวัง
  • เลือกผลลัพธ์ที่น้อยกว่าแต่ดีกว่า น้อยอาจดีกว่ามากเมื่อความสนใจเป็นทรัพยากรที่จำกัด

นิยามตัวชี้วัด

ตัวชี้วัด นิยาม สูตร หน่วย แหล่งข้อมูล แนวปฏิบัติ ITIL คู่เทียบแบบ Agile ความถี่
อัตราส่วนผลผลิตต่อผลลัพธ์ ปริมาณผลผลิตเทียบกับผลลัพธ์ที่ผลผลิตนั้นมีไว้เพื่อสร้าง จำนวนผลผลิต (ตั๋ว บทความ การเปลี่ยนแปลง) / ตัวชี้วัดผลลัพธ์ (ปัญหาที่แก้แล้ว บทความที่ถูกใช้ การเปลี่ยนแปลงที่คงอยู่) ในช่วงเวลาเดียวกัน ติดตามเป็นแนวโน้ม อัตราส่วน เครื่องมือติดตามงาน ฐานความรู้ ตัวชี้วัดผลลัพธ์ การปรับปรุงอย่างต่อเนื่อง การวัดและการรายงาน ซอฟต์แวร์ที่ใช้งานได้สำคัญกว่าปริมาณเอกสาร รายเดือน
สัดส่วนรายการที่มีประโยชน์ สัดส่วนของรายการที่สุ่มตัวอย่างซึ่งผู้ทบทวนที่มีคุณสมบัติตัดสินว่ามีประโยชน์ รายการที่สุ่มตัวอย่างซึ่งตัดสินว่ามีประโยชน์ (ถูกต้อง เกี่ยวข้อง ไม่ซ้ำ) / รายการที่สุ่มตัวอย่าง เปอร์เซ็นต์ การทบทวนตัวอย่างสุ่ม การจัดการความรู้ การประกันคุณภาพ นิยามของความเสร็จสิ้นสำหรับเนื้อหา รายเดือน
ภาระการตรวจสอบ เวลาของมนุษย์ที่ใช้ตรวจสอบและแก้ไขงานที่สร้างขึ้นต่อหน่วยผลผลิต ชั่วโมงทบทวนและแก้ไข / หน่วยผลผลิต ติดตามเป็นแนวโน้ม ชั่วโมงต่อหน่วย ประมาณการเวลา ข้อมูลเครื่องมือทบทวน การจัดการการเงินของบริการ การปรับปรุงอย่างต่อเนื่อง ขีดความสามารถในการทบทวนเป็นข้อจำกัด รายเดือน
อัตราความซ้ำซ้อนของเนื้อหา สัดส่วนของรายการความรู้ที่ซ้ำหรือทับซ้อนกับรายการอื่นอย่างมีนัยสำคัญ รายการที่ถูกระบุว่าซ้ำหรือทับซ้อนในการทบทวนหรือโดยการจับคู่ / รายการในฐานความรู้ เปอร์เซ็นต์ การทบทวนฐานความรู้ รายงานการจับคู่ การจัดการความรู้ แหล่งความจริงเพียงแหล่งเดียว รายไตรมาส
สัดส่วนที่ผ่านการทบทวนของความรู้ที่สร้างขึ้น สัดส่วนของรายการความรู้ที่ปัญญาประดิษฐ์สร้างซึ่งบุคคลที่มีคุณสมบัติทบทวนและอนุมัติก่อนเผยแพร่ รายการที่สร้างและเผยแพร่พร้อมการทบทวนที่อนุมัติ / รายการที่สร้างและเผยแพร่ เปอร์เซ็นต์ เมทาดาทาของฐานความรู้ การจัดการความรู้ การสนับสนุนการเปลี่ยนแปลง ทบทวนก่อนปล่อย รายเดือน
งานเข้าเทียบกับการแก้ปัญหา การเติบโตของงานที่เข้ามาเทียบกับการเติบโตของงานที่แก้ไขแล้ว สำหรับคิวที่ได้รับผลกระทบจากปัญญาประดิษฐ์ (การเปลี่ยนแปลงของรายการที่สร้าง) / (การเปลี่ยนแปลงของรายการที่แก้ไข) เปรียบเทียบกับค่าฐานก่อนมีปัญญาประดิษฐ์ อัตราส่วน ประวัติตั๋วและเครื่องมือติดตาม การจัดการเหตุขัดข้อง การดำเนินการตามคำขอบริการ ความสมดุลของการไหล รายเดือน
ธงการเลื่อนของตัวชี้วัด จำนวนตัวชี้วัดที่นิยามหรือการกระจายเปลี่ยนไปอย่างเห็นได้ชัดหลังนำปัญญาประดิษฐ์มาใช้ ซึ่งได้ทบทวนและบันทึกกำกับแล้ว ตัวชี้วัดที่ถูกปักธงในการทบทวน / ตัวชี้วัดในทะเบียน จำนวน เปอร์เซ็นต์ การทบทวนทะเบียนตัวชี้วัด การตรวจการกระจาย การวัดและการรายงาน การทบทวนย้อนหลังเรื่องการวัด รายไตรมาส

ให้นิยาม “มีประโยชน์” ในเกณฑ์ที่เป็นลายลักษณ์อักษร ได้แก่ ถูกต้อง เกี่ยวข้องกับความต้องการจริง ไม่ซ้ำ และทันสมัย ภาระการตรวจสอบนับเวลาของผู้คน รวมเวลาที่ต้องเขียนพรอมต์ใหม่ และไม่รวมเวลาที่เป็นเพียงการรอ สัดส่วนที่ผ่านการทบทวนเป็นการควบคุม ความรู้ที่สร้างขึ้นซึ่งไม่ได้ทบทวนถูกติดตามแยกและติดป้ายให้เห็นชัดเจน ธงการเลื่อนของตัวชี้วัดเป็นการอภิปราย ไม่ใช่การลงโทษ ธงหมายความว่าบุคคลได้ตัดสินใจแล้วว่าจะปรับนิยาม บันทึกกำกับแนวโน้ม หรือตั้งค่าฐานใหม่ ตัวชี้วัดทั้งหมดบรรยายกระบวนการและเนื้อหา ไม่ใช่รายบุคคล

ข้อเสนอแนะ

จับคู่ปริมาณกับความมีประโยชน์

1. สร้างการตรวจสอบความมีประโยชน์ไว้ในตัวชี้วัดปริมาณทุกตัว สำหรับตัวชี้วัดปริมาณหรือความเร็วทุกตัวบนแดชบอร์ด ให้ระบุตัวชี้วัดความมีประโยชน์ที่บุคคลได้ตัดสิน ตั๋วที่สร้างจับคู่กับคุณภาพการแก้ปัญหา บทความที่เขียนจับคู่กับการใช้และความถูกต้องของบทความ การเปลี่ยนแปลงที่ผสานจับคู่กับการคงอยู่และการทำซ้ำ (ดูหัวข้อ 10.2 “การวัดงานที่ใช้ปัญญาประดิษฐ์ช่วย”) แสดงควบคู่กัน และอภิปรายเมื่อทั้งสองแยกทางกัน

2. สุ่มตัวอย่างและตัดสินเป็นประจำ ทุกเดือน สุ่มตัวอย่างรายการจากสายธารที่ปัญญาประดิษฐ์แตะต้อง และให้ผู้มีคุณสมบัติตัดสินเทียบกับเกณฑ์ที่เป็นลายลักษณ์อักษร บันทึกสัดส่วนที่มีประโยชน์และเหตุผลที่รายการไม่ผ่าน หมุนเวียนผู้ทบทวนและให้เป็นอิสระจากผู้ผลิต การสุ่มตัวอย่างเป็นการป้องกันหลักต่อการเจือจางอย่างช้า ๆ

3. รายงานผลลัพธ์ก่อนผลผลิต ในรายงานต่อผู้นำ ให้เริ่มด้วยผลลัพธ์ ได้แก่ ปัญหาที่แก้แล้ว ผู้ใช้ที่พอใจ ข้อบกพร่องที่หลีกเลี่ยงได้ วางตัวเลขผลผลิตไว้ทีหลังเป็นบริบท หากรายงานยังมีคุณค่าแม้ตัดตัวเลขผลผลิตออก ก็แสดงว่าวางทิศทางไว้ดีแล้ว

ควบคุมการตรวจสอบและสัญญาณรบกวน

4. วัดภาระการตรวจสอบ ประมาณเวลาที่ใช้ตรวจสอบและแก้ไขงานที่สร้างขึ้น และติดตามเป็นแนวโน้มต่อหน่วยผลผลิต หากเพิ่มขึ้นเมื่อผลผลิตเพิ่ม ประโยชน์สุทธิเล็กกว่าที่ตัวเลขการสร้างบอก และผู้ทบทวนอาจกำลังมุ่งสู่ภาระเกิน รวมภาระนี้ในต้นทุนต่องาน (ดูหัวข้อ 10.1 “ปัญญาประดิษฐ์ในการวัดผลการจัดการบริการ”)

5. จำกัดสิ่งที่เข้าสู่ระบบ ตัดสินใจว่าเนื้อหาที่สร้างขึ้นประเภทใดสร้างและเผยแพร่โดยอัตโนมัติได้ และประเภทใดต้องทบทวน กำหนดข้อจำกัดด้านขนาดและจำนวนการเปลี่ยนแปลงที่สร้างขึ้นในการทบทวนหนึ่งครั้ง ทำให้การปฏิเสธปริมาณทำได้ง่าย คิวที่เล็กลงพร้อมรายการที่ชัดเจนกว่ารับใช้ผู้ใช้ได้ดีกว่า

6. จัดการฐานความรู้เหมือนผลิตภัณฑ์ ติดป้ายเนื้อหาที่สร้างขึ้น กำหนดให้ทบทวนก่อนเผยแพร่ เลิกใช้รายการซ้ำและล้าสมัย และติดตามความซ้ำซ้อนและการใช้งาน ฐานความรู้มีประโยชน์เท่ากับระดับที่ผู้ใช้ไว้วางใจ ลบบทความที่ไม่มีใครใช้และไม่มีใครรับรองได้ (ดูหัวข้อ 3.6 “ตัวชี้วัดการจัดการความรู้”)

7. รักษาสายธารการแจ้งเตือนและตั๋วให้สะอาด หากปัญญาประดิษฐ์สร้างตั๋วจากการแจ้งเตือนหรือบทสรุป ให้วัดสัดส่วนที่มีประโยชน์และรายการซ้ำ ปรับจูนอย่างเข้มข้น ถือการที่อัตราส่วนสัญญาณต่อสัญญาณรบกวนลดลงเป็นเหตุการณ์ในตัวเอง เพราะทำร้ายการตอบสนองเมื่อปัญหาจริงมาถึง

ตัดวงจรและเฝ้าดูค่าฐาน

8. หยุดเนื้อหาที่สร้างขึ้นไม่ให้ป้อนตัวเองโดยไม่ตรวจสอบ เมื่อผู้ช่วยดึงข้อมูลจากฐานความรู้ ประวัติตั๋ว หรือรายงานในอดีต ให้แน่ใจว่าเนื้อหาที่สร้างขึ้นในแหล่งเหล่านั้นได้รับการทบทวน หรือติดป้ายและถ่วงน้ำหนักตามนั้น สุ่มตัวอย่างสายโซ่ โดยเลือกคำตอบหนึ่งแล้วไล่ย้อนผ่านแหล่งที่มาเพื่อดูว่ามาจากไหน วงจรที่ไม่ตรวจสอบขยายข้อผิดพลาด

9. ตั้งค่าฐานใหม่เมื่อข้อมูลเปลี่ยน หลังนำปัญญาประดิษฐ์มาใช้ ให้บันทึกกำกับแผนภูมิแนวโน้ม และเมื่อธรรมชาติของข้อมูลเปลี่ยน ให้เริ่มค่าฐานใหม่ ตรวจการกระจาย ไม่ใช่แค่ยอดรวม ความยาวของตั๋ว สัดส่วนหมวดหมู่ และเวลาในการสร้างอาจเปลี่ยนทั้งหมด ธงการเลื่อนของตัวชี้วัดกระตุ้นการสนทนาเหล่านี้ (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ”)

10. มองหาการเด้งกลับ เมื่องานถูกลง ให้ถามว่าความต้องการงานนั้นจะเติบโตหรือไม่ ตัดสินใจล่วงหน้าว่าจะใช้เวลาที่ประหยัดได้อย่างไร เพื่อไม่ให้ถูกดูดซับด้วยผลผลิตมูลค่าต่ำที่มากขึ้น ทีมที่ผลิตรายงานได้เป็นสองเท่าด้วยความพยายามเท่าเดิมอาจกำลังทำงานที่มีประโยชน์น้อยลง

รักษาความสนใจของมนุษย์ไว้ในวงจร

11. ปกป้องความสนใจของผู้ทบทวนและผู้ใช้ ขีดความสามารถในการทบทวนและความสนใจเป็นของหายาก ลดปริมาณเนื้อหาที่ผู้คนต้องอ่าน ให้ภาระที่สมเหตุสมผลแก่ผู้ทบทวน และถามพวกเขาว่าอะไรกำลังยากขึ้น จังหวะที่ยั่งยืนรวมจังหวะของการอ่านและตัดสิน (ดูหัวข้อ 9.2 “ตัวชี้วัดความพึงพอใจและความเป็นอยู่ที่ดี”)

12. ถามผู้ใช้และผู้มีส่วนได้ส่วนเสียว่าสัญญาณชัดหรือไม่ การมีส่วนร่วมอย่างต่อเนื่องของผู้ที่ใช้ผลลัพธ์เป็นการทดสอบที่ดีที่สุด ถามว่าฐานความรู้ใช้ง่ายขึ้นหรือยากขึ้น รายงานบอกสิ่งที่พวกเขาต้องการหรือไม่ คิวรู้สึกชัดเจนขึ้นหรือไม่ คำตอบและความเห็นของพวกเขาควรอ่านควบคู่กับตัวเลข

ช่องทางการบิดเบือนและมาตรการป้องกัน

ตัวชี้วัด ถูกบิดเบือนได้อย่างไร ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่
อัตราส่วนผลผลิตต่อผลลัพธ์ เลือกตัวชี้วัดผลลัพธ์ที่สูงขึ้นตามปริมาณ เปลี่ยนช่วงเวลา กำหนดผลลัพธ์ไว้ในทะเบียน เปรียบเทียบกับความพึงพอใจและอัตราเปิดซ้ำ
สัดส่วนรายการที่มีประโยชน์ สุ่มรายการที่ง่าย เกณฑ์ผ่อนปรน ผู้ทบทวนถูกผู้ผลิตโน้มน้าว สุ่มตัวอย่าง เกณฑ์ที่เป็นลายลักษณ์อักษร ผู้ทบทวนอิสระที่หมุนเวียน
ภาระการตรวจสอบ ไม่บันทึกเวลาทบทวน ย้ายการตรวจสอบไปให้ทีมปลายน้ำ รวมการทำซ้ำปลายน้ำ ถามผู้ทบทวนเรื่องภาระ
อัตราความซ้ำซ้อนของเนื้อหา กฎการจับคู่ที่แคบจนพลาดรายการซ้ำ รวมรายการที่ต่างกัน สุ่มตรวจรายการซ้ำด้วยมือ บันทึกกฎการรวม
สัดส่วนที่ผ่านการทบทวนของความรู้ที่สร้างขึ้น ทำเครื่องหมายว่าทบทวนแล้วโดยไม่อ่าน ทบทวนเป็นชุดใหญ่ สุ่มตรวจเนื้อหาของการทบทวน เวลาต่อการทบทวน อัตราข้อผิดพลาดในรายการที่เผยแพร่
งานเข้าเทียบกับการแก้ปัญหา ปิดรายการอัตโนมัติ แยกรายการ ตรวจคุณภาพการแก้ปัญหา อัตราเปิดซ้ำ สุ่มตรวจรายการที่ปิด
ธงการเลื่อนของตัวชี้วัด ไม่ปักธงเพื่อเลี่ยงงาน ปักธงทุกอย่าง ทบทวนตัวชี้วัดทั้งหมดทุกไตรมาส กำหนดให้มีการตัดสินใจสำหรับทุกธง

ภาพที่ดีคือสัดส่วนรายการที่มีประโยชน์คงที่หรือสูงขึ้นเมื่อปริมาณเติบโต ภาระการตรวจสอบที่ทราบและรับได้ ฐานความรู้ที่มีความซ้ำซ้อนต่ำและเนื้อหาที่สร้างขึ้นผ่านการทบทวน คิวที่มีสัญญาณชัดเจน และมุมมองของผู้นำที่เริ่มด้วยผลลัพธ์

ข้อแลกเปลี่ยน: ข้อดีและข้อเสีย

แนวทาง จุดแข็ง จุดอ่อน
นับผลผลิต ง่าย คุ้นเคย พองตัว ให้รางวัลแก่ปริมาณ
วัดผลลัพธ์ สะท้อนคุณค่า ช้ากว่า ระบุสาเหตุยากกว่า
สุ่มตัวอย่างและตัดสิน ตรวจพบการเจือจาง ต้องมีผู้ทบทวนที่ชำนาญ ต้องใช้ความพยายาม
ให้คะแนนคุณภาพอัตโนมัติ ขยายขนาดได้ เป็นความเห็นของโมเดลอื่น อาจมีจุดบอดเดียวกัน
ทบทวนทุกอย่างที่สร้าง ปลอดภัย ทำลายประโยชน์ ผู้ทบทวนรับภาระเกิน
ทบทวนตัวอย่าง ใช้ได้จริง รายการคุณภาพต่ำบางส่วนผ่านไปได้
อนุญาตให้สร้างแบบเปิด เร็ว กว้าง สัญญาณรบกวน ความไว้วางใจกร่อน
จำกัดการสร้างให้อยู่ในการใช้ที่อนุมัติ สัญญาณสะอาดกว่า นำไปใช้ช้ากว่า พลาดประโยชน์

คำตอบเชิงบรรยายคือวัดผลลัพธ์ สุ่มตัวอย่างและตัดสินความมีประโยชน์ร่วมกับผู้คน จำกัดสิ่งที่เข้าสู่แหล่งเก็บร่วมโดยไม่ผ่านการทบทวน และทบทวนค่าฐานซ้ำ ใช้การให้คะแนนอัตโนมัติเป็นเครื่องช่วย ไม่ใช่ผู้ตัดสิน

คำถามสำหรับอภิปรายกับทีม

1. ตัวเลขใดของเราที่สูงขึ้นตั้งแต่เริ่มใช้ปัญญาประดิษฐ์ และมันทำอะไรให้ผู้ที่เราให้บริการ รายการตัวเลข สำหรับแต่ละตัว ให้ดูผลลัพธ์ที่มันมีไว้สะท้อน ผู้อำนวยการประชุมควรจดว่าผลลัพธ์ไม่ขยับตรงไหน จับคู่ตัวเลขเหล่านั้นกับการตรวจสอบความมีประโยชน์

2. สิ่งที่เราเผยแพร่หรือสร้างเมื่อเดือนที่แล้ว มีเท่าใดที่เรายินดีปกป้องได้ทีละบรรทัด สุ่มตัวอย่างและอ่านร่วมกัน ทำเครื่องหมายว่ามีประโยชน์ บางเบา ผิด หรือซ้ำ อภิปรายอัตราและสาเหตุ ตกลงมาตรฐานของสิ่งที่เข้าสู่แหล่งเก็บร่วม

3. การตรวจสอบกำลังเป็นคอขวดของเราที่ใด ถามผู้ทบทวน ดูคิวการทบทวน ความลึกของการทบทวน และความพยายามที่พวกเขาแบกอยู่ ตกลงข้อจำกัดด้านขนาดหรือจำนวนรายการที่สร้างขึ้นต่อการทบทวน และวิธีวัดภาระ

4. เนื้อหาที่สร้างขึ้นใดกำลังป้อนเนื้อหาที่สร้างขึ้นอื่นที่นี่ ไล่คำตอบทั่วไปย้อนกลับไปยังแหล่งที่มา สายโซ่เริ่มจากที่ใด อภิปรายว่าบุคคลควรตรวจสายโซ่ตรงไหน หรือติดป้ายเนื้อหา

5. ผู้ใช้จะพูดอย่างไรเกี่ยวกับฐานความรู้ของเราตอนนี้ เทียบกับเมื่อปีที่แล้ว อ่านความเห็นล่าสุดและดูข้อมูลการใช้งาน ถามว่าหาคำตอบที่เชื่อถือได้ง่ายขึ้นหรือยากขึ้น ตกลงการล้างข้อมูลหนึ่งครั้งและกฎหนึ่งข้อสำหรับเนื้อหาใหม่

6. แนวโน้มใดของเราที่ควรเริ่มใหม่ด้วยค่าฐานใหม่ รายการตัวชี้วัดที่ขึ้นกับปริมาณหรือวิธีสร้างรายการ ดูการเปลี่ยนแปลงของรูปทรงตั้งแต่ปัญญาประดิษฐ์เข้ามา บันทึกกำกับแนวโน้ม และตัดสินใจว่าอันใดต้องมีค่าฐานใหม่

สี่มุมมอง

ทีมผลิตภัณฑ์และการส่งมอบ

ทีมส่งมอบสร้างปริมาณส่วนใหญ่และแบกการบำรุงรักษา ควรเลือกการเปลี่ยนแปลงที่เล็กและชัดเจนกว่า รักษาเนื้อหาที่สร้างขึ้นให้ผ่านการทบทวนและติดป้าย และเฝ้าดูการคงอยู่และการทำซ้ำ ควรปฏิเสธตัวชี้วัดที่อิงปริมาณที่สร้าง และขอตัวชี้วัดผลลัพธ์

ทีมบริการและปฏิบัติการ

ทีมปฏิบัติการอยู่ในคิว การแจ้งเตือน และฐานความรู้ที่การเจือจางทำลาย ควรปรับจูนตั๋วและการแจ้งเตือนที่ปัญญาประดิษฐ์สร้างเพื่อรักษาสัญญาณให้แข็งแรง ทบทวนความรู้ที่สร้างขึ้นก่อนเผยแพร่ และรายงานเมื่อสายธารกลายเป็นสัญญาณรบกวน พวกเขาอยู่ในตำแหน่งที่ดีที่สุดที่จะตัดสินความมีประโยชน์

ภาวะผู้นำและการกำกับดูแล

ผู้นำได้รับแดชบอร์ดที่เงินเฟ้อบิดเบือน ควรขอผลลัพธ์ก่อน กำหนดให้มีการตรวจสอบความมีประโยชน์ควบคู่กับปริมาณ จัดงบประมาณให้ขีดความสามารถในการทบทวน และยอมรับว่าตัวชี้วัดบางตัวต้องตั้งค่าฐานใหม่ การกำกับดูแลควรตรวจว่าเนื้อหาที่สร้างขึ้นในแหล่งเก็บร่วมผ่านการทบทวนและติดป้าย

ลูกค้าและผู้ใช้

ผู้ใช้แบกต้นทุนของการเจือจางเมื่อคำตอบผิด บทความขัดแย้งกัน และคำตอบยาวแต่ว่างเปล่า พวกเขาต้องการความช่วยเหลือที่สั้น ถูกต้อง และเกี่ยวข้อง ปฏิกิริยาของพวกเขาต่อคุณภาพของสิ่งที่ได้รับเป็นการทดสอบโดยตรงว่าสัญญาณยังอยู่รอดหรือไม่

ในทางปฏิบัติ: ตัวอย่าง ITIL แบบคล่องตัว

กลุ่มไอทีของบริษัทเภสัชกรรมระดับโลกแห่งหนึ่งเปิดใช้ผู้ช่วยปัญญาประดิษฐ์เพื่อร่างบทความความรู้ สรุปตั๋ว และเตรียมรายงานสถานะรายสัปดาห์ ภายในหนึ่งไตรมาส แดชบอร์ดดูยอดเยี่ยม ตัวเลขด้านล่างเป็นตัวเลขสมมติเพื่อประกอบภาพ

บทความความรู้ที่สร้างเพิ่มจาก 140 เป็น 610 ต่อเดือน ตั๋วมีสรุปรายละเอียดที่ปัญญาประดิษฐ์เขียน รายงานรายสัปดาห์ยาวสิบสองหน้า ผู้จัดการคุณภาพบริการสังเกตว่าความพึงพอใจต่อบริการด้วยตนเองลดลง และเซอร์วิสเดสก์รายงานการติดต่อว่า “บทความไม่ช่วย” มากขึ้น เธอสุ่มตัวอย่างบทความใหม่ 100 รายการกับเจ้าหน้าที่ผู้มีประสบการณ์สองคน มีเพียง 54 รายการที่ตัดสินว่ามีประโยชน์ ได้แก่ ซ้ำกับบทความเดิม 23 มีขั้นตอนที่ล้าสมัยหรือไม่ถูกต้อง 15 และคลุมเครือเกินกว่าจะลงมือทำตามได้ 8 บทความใหม่ 71 เปอร์เซ็นต์เผยแพร่โดยไม่มีมนุษย์ทบทวน ฐานความรู้ตอนนี้มีบทความราว 3,200 รายการ โดยอัตราความซ้ำซ้อนของเนื้อหาที่เธอประมาณคือ 28 เปอร์เซ็นต์ เทียบกับ 9 เปอร์เซ็นต์เมื่อปีที่แล้ว เจ้าหน้าที่รายงานว่าการหาคำตอบที่เชื่อถือได้ใช้เวลานานขึ้น ภาระการตรวจสอบของบรรณาธิการบทความของเซอร์วิสเดสก์เพิ่มเป็นราว 40 ชั่วโมงต่อสัปดาห์ จาก 12 ชั่วโมง สรุปตั๋วที่ปัญญาประดิษฐ์เขียนทำให้คำตอบที่ปัญญาประดิษฐ์สร้างภายหลังพึ่งข้อความที่ไม่มีใครเขียน และในการไล่ย้อนคำตอบห้ารายการผ่านแหล่งที่มา สองรายการพึ่งสรุปที่ระบุปัญหาผิด รายงานสถานะรายสัปดาห์เมื่ออ่านแล้วบอกน้อยมากที่ไม่มีในฉบับก่อน และผู้มีส่วนได้ส่วนเสียเลิกอ่านเกินหน้าสอง

เธอเสนอสี่การเปลี่ยนแปลง ซึ่งทีมผู้นำบริการและเจ้าของความรู้ยอมรับ บทความที่สร้างต้องได้รับการทบทวนโดยบรรณาธิการที่ระบุชื่อก่อนเผยแพร่ และติดป้ายไว้จนกว่าจะอนุมัติ ข้อจำกัดหนึ่งบทความที่สร้างต่อกลุ่มหัวข้อป้องกันรายการซ้ำ และมีการกวาดล้างเพื่อรวมหรือเลิกใช้รายการที่ซ้ำซ้อน แม่แบบรายงานถูกตัดเหลือสองหน้าที่เริ่มด้วยผลลัพธ์ และใช้ปัญญาประดิษฐ์ร่างเฉพาะส่วนที่บุคคลจะแก้ไขต่อ สรุปตั๋วถูกทำเครื่องหมายว่าสร้างขึ้น และมีการตรวจตัวอย่างทุกเดือน แดชบอร์ดรายงานสัดส่วนรายการที่มีประโยชน์ อัตราความซ้ำซ้อน สัดส่วนที่ผ่านการทบทวน และภาระการตรวจสอบควบคู่กับจำนวนบทความ

หลังสองไตรมาส บทความที่สร้างต่อเดือนลดเหลือ 190 สัดส่วนรายการที่มีประโยชน์เพิ่มเป็น 91 เปอร์เซ็นต์ อัตราความซ้ำซ้อนลดเหลือ 11 เปอร์เซ็นต์ สัดส่วนที่ผ่านการทบทวนเป็น 100 เปอร์เซ็นต์ และภาระการตรวจสอบคงที่ที่ราว 16 ชั่วโมงต่อสัปดาห์ ความพึงพอใจต่อบริการด้วยตนเองฟื้นตัว และการติดต่อ “บทความไม่ช่วย” ลดลง ผู้มีส่วนได้ส่วนเสียอ่านรายงานสองหน้า ผู้อำนวยการคนหนึ่งขอเป้าหมาย 1,000 บทความต่อเดือนเพื่อแสดงคุณค่าของโครงการปัญญาประดิษฐ์ ผู้จัดการคุณภาพบริการอธิบายว่าตัวเลขการนับนั่นเองคือปัญหา และเสนอให้ติดตามความมีประโยชน์และการใช้งาน การตัดสินใจถูกบันทึกไว้

มุมมองตามประเภทองค์กร

สตาร์ทอัป การสร้างมีต้นทุนต่ำ ส่วนเวลาทบทวนหายาก ให้เก็บเอกสารและตั๋วให้สั้น ทบทวนสิ่งที่ลูกค้าจะอ่าน และลบได้อย่างอิสระ ชุดบทความที่เล็กและถูกต้องดีกว่าชุดใหญ่ที่น่าสงสัย

ธุรกิจขนาดเล็ก มีขีดความสามารถในการทบทวนน้อย จึงควรจำกัดสิ่งที่เครื่องมือผลิต เลือกคู่มือและแม่แบบที่ตรวจสอบแล้วจำนวนหยิบมือ ระวังการเผยแพร่เนื้อหาที่สร้างขึ้นบนหน้าสาธารณะโดยไม่ตรวจสอบ

องค์กรขนาดใหญ่ ขนาดที่ใหญ่ขยายสัญญาณรบกวน ตั้งการกำกับดูแลเนื้อหาที่มีเจ้าของ ป้าย และกฎการทบทวน วัดความมีประโยชน์ทั่วฐานความรู้ และทำการล้างข้อมูลเป็นระยะ แบ่งปันเกณฑ์ข้ามทีมและเปรียบเทียบแนวโน้ม ไม่ใช่ทีม

ภาครัฐและหน่วยงานสาธารณะ เนื้อหาสาธารณะต้องถูกต้องและเข้าถึงได้ และข้อผิดพลาดอาจก่อให้เกิดอันตราย ให้กำหนดให้ทบทวนข้อมูลสาธารณะที่สร้างขึ้น เก็บบันทึกว่าผลิตขึ้นอย่างไร และใช้มาตรฐานภาษาธรรมดาและการเข้าถึงได้ กฎการเก็บรักษาและบันทึกอาจใช้กับเนื้อหาที่สร้างขึ้น (ดูหัวข้อ 8.5 “การรายงานตามข้อกำหนดและต่อภาครัฐ”)

กรณีทางธุรกิจ: แรงจูงใจ ROI และ TCO

ต้นทุนของการป้องกันเงินเฟ้อไม่สูง ได้แก่ เวลาทบทวนสำหรับการสุ่มตัวอย่าง ความพยายามด้านบรรณาธิการสำหรับเนื้อหาที่สร้างขึ้น เครื่องมือตรวจจับรายการซ้ำ และความพยายามในการตั้งค่าฐานใหม่ให้แนวโน้ม ต้นทุนของการไม่ทำนั้นสูงกว่าแต่กระจาย ได้แก่ ผู้ใช้ที่เลิกไว้ใจบริการด้วยตนเอง ผู้ทบทวนที่หมดไฟ การตัดสินใจบนตัวเลขที่พองเกินจริง และโครงการล้างข้อมูล

ให้สร้างกรณีทางธุรกิจจากข้อมูลของตนเอง ได้แก่ สัดส่วนรายการที่มีประโยชน์และภาระการตรวจสอบตามเวลา ปริมาณการติดต่อที่เกิดจากเนื้อหาที่ไม่ช่วย และต้นทุนของการล้างฐานความรู้ หลีกเลี่ยงการใช้ตัวเลขที่เผยแพร่เกี่ยวกับคุณภาพของเนื้อหาที่สร้างขึ้น ซึ่งแปรผันมากตามเครื่องมือ งาน และวิธีการ รวมต้นทุนที่หลีกเลี่ยงได้จากความเสียหายต่อชื่อเสียงเมื่อเผยแพร่ข้อมูลผิด (ดูหัวข้อ 7.7 “ผลตอบแทนจากการลงทุนและกรณีทางธุรกิจ”)

รูปแบบที่ไม่ควรทำและข้อควรระวัง

  • เฉลิมฉลองปริมาณ ให้รางวัลแก่สัญญาณรบกวน ให้เฉลิมฉลองผลลัพธ์และความมีประโยชน์
  • ความเร็วของร่างแรกเป็นเรื่องเล่าของผลิตภาพ ผลประหยัดอาจหายไปในการตรวจสอบ ให้วัดเวลาถึงผลลัพธ์ที่ผ่านการตรวจสอบ
  • เผยแพร่เนื้อหาที่สร้างขึ้นโดยไม่ทบทวน ความไว้วางใจกร่อนอย่างเงียบ ๆ ให้ทบทวนและติดป้าย
  • ปล่อยให้เนื้อหาที่สร้างขึ้นป้อนการสร้าง ข้อผิดพลาดทบกัน ให้ตรวจสายโซ่
  • ค่าฐานที่ไม่เปลี่ยน แนวโน้มทำให้เข้าใจผิดหลังการเปลี่ยนผ่านทางเทคโนโลยี ให้บันทึกกำกับและตั้งค่าฐานใหม่
  • ทำให้ผู้ทบทวนรับภาระเกิน การทบทวนกลายเป็นตราประทับ ให้จำกัดปริมาณและวัดภาระ
  • ใช้ผู้ตัดสินที่เป็นปัญญาประดิษฐ์กับทุกอย่าง อาจมีจุดบอดเดียวกับผู้ผลิต ให้คงมนุษย์ไว้ในวงจร
  • เพิกเฉยต่อการเด้งกลับ งานที่ถูกลงดึงดูดงานมากขึ้น ให้ตัดสินใจว่าเวลาที่ประหยัดได้มีไว้เพื่ออะไร

แบบจำลองวุฒิภาวะ

มิติ 1 เริ่มต้น 2 พัฒนา 3 ทำให้เป็นมาตรฐาน 4 บริหารจัดการ 5 ประสานจัดการ
การจับคู่และการสุ่มตัวอย่าง รายงานปริมาณเพียงอย่างเดียว ความประทับใจเรื่องคุณภาพอย่างไม่เป็นทางการ ตัวชี้วัดปริมาณทุกตัวจับคู่กับการตรวจสอบความมีประโยชน์ที่สุ่มตัวอย่าง จัดการความมีประโยชน์ ภาระ และความซ้ำซ้อน โดยกำหนดเป้าหมายให้การทบทวน ไม่ใช่ปริมาณ มุมมองข้ามองค์กรของคุณภาพสัญญาณ แบ่งปันเกณฑ์กับพันธมิตร
เนื้อหาและวงจร เนื้อหาที่สร้างขึ้นปนอยู่ ติดป้ายบ้าง ติดป้ายเนื้อหาที่สร้างขึ้นและทบทวนก่อนเผยแพร่ สุ่มตรวจสายโซ่ เฝ้าดูวงจร คัดสรรแหล่งเก็บ เลิกใช้รายการซ้ำตามกำหนด ติดตามแหล่งที่มาตลอดสายข้ามเครื่องมือและผู้ให้บริการ
ค่าฐานและความสนใจ อ่านแนวโน้มข้ามการเปลี่ยนผ่าน บันทึกกำกับบางแผนภูมิ ตั้งค่าฐานใหม่เมื่อข้อมูลเปลี่ยน พิจารณาการเด้งกลับ ทบทวนธงการเลื่อนทุกไตรมาส จัดการภาระของผู้ทบทวน การออกแบบตัวชี้วัดปรับตัวอย่างต่อเนื่องตามการเปลี่ยนแปลงทางเทคโนโลยีร่วมกับผู้มีส่วนได้ส่วนเสีย

รายการตรวจสอบ

  • ตัวชี้วัดปริมาณหรือความเร็วแต่ละตัวมีคู่ตรวจสอบความมีประโยชน์ที่บุคคลตัดสิน
  • ทบทวนตัวอย่างสุ่มของรายการที่ปัญญาประดิษฐ์แตะต้องทุกเดือนเทียบกับเกณฑ์ที่เป็นลายลักษณ์อักษร
  • ประมาณและติดตามภาระการตรวจสอบเป็นแนวโน้ม
  • ความรู้ที่สร้างขึ้นถูกติดป้ายและทบทวนก่อนเผยแพร่
  • วัดและลดความซ้ำซ้อนในฐานความรู้
  • เฝ้าติดตามสายธารการแจ้งเตือนและตั๋วเรื่องสัดส่วนที่มีประโยชน์และรายการซ้ำ
  • สุ่มตรวจสายโซ่จากผลลัพธ์ที่สร้างขึ้นย้อนกลับไปยังแหล่งที่มา
  • บันทึกกำกับหรือตั้งค่าฐานใหม่ให้แนวโน้มที่ข้ามการนำปัญญาประดิษฐ์มาใช้
  • รายงานต่อผู้นำเริ่มด้วยผลลัพธ์
  • ถามผู้ใช้และผู้มีส่วนได้ส่วนเสียว่าสัญญาณชัดขึ้นหรือรบกวนมากขึ้น

พรอมต์ AI

สร้างเกณฑ์ความมีประโยชน์

ร่างเกณฑ์สั้น ๆ (ไม่เกินหกข้อ) สำหรับตัดสินว่า [บทความความรู้
สรุปตั๋ว รายงานสถานะ] มีประโยชน์ใน [ประเภทขององค์กร] หรือไม่
รวมความถูกต้อง ความเกี่ยวข้องกับความต้องการจริง ความซ้ำซ้อน ความทันสมัย และ
ความชัดเจน พร้อมการให้ระดับสามระดับและตัวอย่างของแต่ละระดับ อย่าแต่ง
สถิติขึ้น ระบุสมมติฐานและวิธีรักษาความสอดคล้องของผู้ทบทวน

วิเคราะห์สัญญาณที่ลดลง

ตั้งแต่นำปัญญาประดิษฐ์มาใช้กับ [งาน] ตัวเลขเหล่านี้เปลี่ยนไป: [วางปริมาณ การแก้ปัญหา
ความพึงพอใจ อัตราเปิดซ้ำ ชั่วโมงของผู้ทบทวน] อธิบายว่ารูปแบบนี้บ่งชี้อะไร
เกี่ยวกับเงินเฟ้อหรือการเจือจาง การเปลี่ยนแปลงใดอาจเกิดจากการสร้างที่ง่ายขึ้น
ควรสุ่มตัวอย่างอะไรต่อไป และตัวชี้วัดใดอาจต้องมีค่าฐานใหม่ อย่าสมมติ
สาเหตุที่ข้อมูลรองรับไม่ได้ ระบุสมมติฐานของคุณ

วางแผนการล้างฐานความรู้

ฐานความรู้ของเรามีบทความ [จำนวน] รายการ ซึ่ง [จำนวน] รายการถูกสร้างขึ้นใน
[ช่วงเวลา] ที่ผ่านมา เสนอแผนการล้างข้อมูล: วิธีตรวจจับรายการซ้ำและล้าสมัย
วิธีจัดลำดับความสำคัญตามการใช้งาน วิธีทบทวนบทความที่สร้างขึ้น กฎป้องกันการเกิดซ้ำ
และตัวชี้วัดที่ต้องติดตาม อย่าสมมติเครื่องมือเฉพาะ ระบุ
สมมติฐานและความเสี่ยง

ไล่สายโซ่ของเนื้อหาที่สร้างขึ้น

นี่คือคำตอบที่ปัญญาประดิษฐ์สร้างและแหล่งที่มาที่ใช้: [วาง] ไล่แต่ละข้ออ้างไปยัง
แหล่งที่มา และทำเครื่องหมายว่าแหล่งที่มานั้นมนุษย์เขียน เนื้อหาที่สร้างขึ้นและผ่านการทบทวน
หรือเนื้อหาที่สร้างขึ้นและไม่ผ่านการทบทวน ระบุว่าข้อผิดพลาด
อาจเข้ามาที่ใดและเสนอการตรวจสอบ อย่าสมมติข้อเท็จจริงนอกเหนือจากข้อความ ระบุ
สมมติฐานของคุณ

ทักษะ AI

  • ทักษะ Agile ITIL Metrics: ใช้เพื่อค้นหาคู่ความมีประโยชน์สำหรับตัวชี้วัดปริมาณหรือความเร็ว
  • ทักษะผู้ดูแล Agile ITIL Metrics: ใช้เพื่อตรวจสอบว่าตัวชี้วัดที่ได้รับผลกระทบจากปัญญาประดิษฐ์จับคู่ปริมาณกับความมีประโยชน์ที่สุ่มตัวอย่าง และมีช่องทางการบิดเบือนและมาตรการป้องกันครบถ้วน

ข้อสรุปสำคัญ

  • เมื่อปัญญาประดิษฐ์ทำให้ผลผลิตมีต้นทุนต่ำ ตัวชี้วัดปริมาณและความเร็วจะพองตัว และสัดส่วนที่มีประโยชน์อาจลดลง
  • จับคู่ตัวชี้วัดปริมาณหรือความเร็วทุกตัวกับการตรวจสอบความมีประโยชน์ที่สุ่มตัวอย่างและบุคคลตัดสิน
  • วัดเวลาถึงผลลัพธ์ที่ผ่านการตรวจสอบและภาระการตรวจสอบ เพราะการตรวจสอบกลายเป็นคอขวด
  • ติดป้ายและทบทวนเนื้อหาที่สร้างขึ้นก่อนเข้าสู่แหล่งเก็บร่วม และไม่ให้วงจรป้อนตัวเองโดยไม่ตรวจสอบ
  • ตั้งค่าฐานใหม่ให้แนวโน้มหลังการเปลี่ยนผ่านทางเทคโนโลยี และเริ่มรายงานด้วยผลลัพธ์
  • ตัดสินใจล่วงหน้าว่าเวลาที่ประหยัดได้มีไว้เพื่ออะไร และปกป้องความสนใจของผู้ทบทวนและผู้ใช้

เอกสารอ้างอิงและแหล่งอ่านเพิ่มเติม

  1. Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R., and Gal, Y., "AI models collapse when trained on recursively generated data," Nature, 631, 2024.
  2. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  3. Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
  4. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  5. Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
  6. National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
  7. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  8. Wikipedia, Goodhart's law.
  9. Wikipedia, Campbell's law.
  10. Wikipedia, Vanity metric.
  11. Wikipedia, Information overload.
  12. Wikipedia, Signal-to-noise ratio.
  13. Wikipedia, Alert fatigue.
  14. Wikipedia, AI slop.
  15. Wikipedia, Brandolini's law.
  16. Wikipedia, Jevons paradox.
  17. Wikipedia, Model collapse.
  18. Wikipedia, Concept drift.

ตัวชี้วัด ITIL แบบคล่องตัว — วัดบริการไอทีแบบคล่องตัวโดยไม่บิดเบือนงาน

ซอร์สและการมีส่วนร่วม: github.com/agile-itil-metrics. สร้างด้วย Lily Design System™.

สร้างโดย Joel Parker Henderson.