ภาพรวมและแรงจูงใจ

เมื่อทีมใช้เครื่องมือปัญญาประดิษฐ์ทุกวัน คำถามหลักเปลี่ยนจาก “เราควรใช้หรือไม่” เป็น “เราได้อะไรกลับมา” หัวข้อก่อนหน้าวางรากฐานไว้แล้ว ได้แก่ ค่าฐาน การเปรียบเทียบ และต้นทุนทั้งหมด (ดูหัวข้อ 10.1 “ปัญญาประดิษฐ์ในการวัดผลการจัดการบริการ”) หัวข้อนี้เจาะเข้าไปที่ตัวงาน จะบอกได้อย่างไรว่าโค้ด ตั๋ว เอกสาร และการตัดสินใจที่ใช้ปัญญาประดิษฐ์ช่วยดีเท่ากัน ดีกว่า หรือแย่กว่างานที่มันมาแทน และเกิดอะไรขึ้นกับผู้ที่ทำงานนั้น

ความช่วยเหลือจากปัญญาประดิษฐ์แตะงานหลายประเภท ในการส่งมอบซอฟต์แวร์ เครื่องมือเสนอหรือสร้างโค้ด การทดสอบ ข้อความคอมมิต และความเห็นการทบทวน ในปฏิบัติการบริการ เครื่องมือสรุปเหตุขัดข้อง เสนอสาเหตุ ร่างคำตอบ และเขียนบทความความรู้ ในงานวิเคราะห์ เครื่องมือผลิตรายงานและคำสืบค้น ลักษณะร่วมคือการผลิตฉบับแรกที่ดูสมเหตุสมผลกลายเป็นเรื่องถูก ต้นทุนย้ายไปที่อื่น ได้แก่ การอ่านและตัดสินผลลัพธ์ การแก้สิ่งที่ผิด การบำรุงรักษาสิ่งที่สร้างขึ้น และการเรียนรู้ให้มากพอที่จะแยกความแตกต่างได้

ผลหลายอย่างทำให้การวัดยุ่งยาก

  • ตัวเลขการนับผลผลิตทำให้เข้าใจผิด จำนวนบรรทัดโค้ดเป็นตัวชี้วัดผลิตภาพที่แย่มาตลอด และโค้ดที่สร้างขึ้นยิ่งทำให้แย่ลง โค้ดที่มากขึ้นคือสิ่งที่ต้องอ่าน ทดสอบ และบำรุงรักษามากขึ้น จำนวนบรรทัดที่สร้าง ข้อเสนอที่ยอมรับ หรือร่างที่ได้ บอกเกี่ยวกับคุณค่าได้น้อยมาก
  • การทบทวนกลายเป็นคอขวด การทบทวนโค้ดและการทบทวนงานอื่นที่สร้างขึ้นใช้เวลา และการไหลของการเปลี่ยนแปลงที่ใหญ่ขึ้นและบ่อยขึ้นอาจทำให้ผู้ทบทวนรับภาระเกิน พูลรีเควสต์ขนาดใหญ่ทบทวนให้ดีได้ยากกว่า และผู้ทบทวนที่รับภาระเกินมีแนวโน้มจะอนุมัติสิ่งที่ตนยังไม่เข้าใจ ตัวชี้วัดการทบทวนและการไหลของงานที่กล่าวมาก่อนหน้ายังคงจำเป็น (ดูหัวข้อ 2.7 “ตัวชี้วัดพูลรีเควสต์และการทบทวนโค้ด”)
  • ปัญหาคุณภาพมาถึงช้า โค้ดที่สร้างขึ้นอาจผ่านการทดสอบวันนี้ แต่มีโค้ดซ้ำซ้อน โครงสร้างที่ไม่ชัดเจน หรือข้อบกพร่องซ่อนเร้นที่ปรากฏเป็นต้นทุนการบำรุงรักษา ซึ่งเป็นรูปแบบหนึ่งของหนี้ทางเทคนิค ตัวชี้วัดที่วัดในขณะสร้างจะมองไม่เห็น ให้ดูว่าเกิดอะไรขึ้นกับงานในภายหลัง
  • ทักษะอาจเปลี่ยน การพึ่งเครื่องมือกับงานที่เคยทำเองเป็นรูปแบบหนึ่งของการถ่ายโอนภาระทางปัญญา ซึ่งอาจเปิดพื้นที่ความสนใจให้ปัญหาที่ยากกว่า หรืออาจนำไปสู่การเสื่อมทักษะหากความเข้าใจพื้นฐานเลือนหาย เป็นไปได้ทั้งสองทาง ผลขึ้นอยู่กับวิธีใช้เครื่องมือ เรื่องนี้สำคัญต่อผู้คนที่เกี่ยวข้องและต่อความสามารถของทีมในการรับมือสถานการณ์ที่เครื่องมือจัดการไม่ได้

หลักฐานเกี่ยวกับผลของความช่วยเหลือจากปัญญาประดิษฐ์ต่อผลิตภาพยังอยู่ระหว่างพัฒนา และแปรผันตามงาน ประสบการณ์ของผู้ใช้ เครื่องมือ และบริบท การศึกษาแบบควบคุมบางชิ้นเกี่ยวกับงานเขียนโค้ดพบว่างานที่กำหนดชัดเจนเสร็จเร็วขึ้น ขณะที่การศึกษาและรายงานอื่นพบว่าได้ประโยชน์น้อยกว่าหรือไม่ได้เลย หรือมีต้นทุนเพิ่มสำหรับผู้มีประสบการณ์ที่ทำงานกับระบบซับซ้อนที่ตนรู้จักดี หนังสือเล่มนี้ไม่ให้ตัวเลข จุดยืนที่รับผิดชอบสำหรับทีมคือวัดงานของตนเองด้วยค่าฐานและการเปรียบเทียบ และมองตัวเลขที่เผยแพร่เป็นการศึกษาหนึ่งชิ้นในบริบทหนึ่ง

มาตรการป้องกันจากกฎของกูดฮาร์ตสำคัญเป็นพิเศษที่นี่ เพราะแรงกดดันให้แสดงผลที่ได้นั้นสูง และตัวเลขที่ได้มาง่ายคือตัวเลขที่ทำให้เข้าใจผิด ตัวชี้วัดด้านล่างติดตามสิ่งที่คงอยู่ ไม่ใช่สิ่งที่ผลิตออกมา (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”)

หลักการสำคัญ

  • วัดสิ่งที่คงอยู่ การคงอยู่ การทำซ้ำ และข้อบกพร่องที่หลุดรอดบอกได้มากกว่าผลผลิต
  • เฝ้าดูการทบทวน การไหลของงานที่ใช้ปัญญาประดิษฐ์ช่วยถูกจำกัดด้วยความสามารถของผู้คนในการอ่านงานนั้นให้ดี
  • เปรียบเทียบของที่เทียบกันได้ งานที่ใช้และไม่ใช้ปัญญาประดิษฐ์ช่วยต้องคล้ายกันทั้งชนิดและความยาก
  • มองทั้งภายหลังและตอนนี้ ปัญหาคุณภาพและต้นทุนการบำรุงรักษาปรากฏหลังสร้างไปหลายสัปดาห์หรือหลายเดือน
  • ให้ความเข้าใจอยู่ในวงจร ผู้ที่ส่งมอบงานต้องอธิบายงานนั้นได้
  • ปกป้องทักษะและการเรียนรู้ สังเกตว่าผู้คนยังทำอะไรได้เมื่อไม่มีเครื่องมือ
  • รวมข้อมูล อย่าเฝ้าติดตามรายบุคคล ข้อมูลว่าใครใช้ปัญญาประดิษฐ์และอย่างไรมีไว้ปรับปรุงกระบวนการ ไม่ใช่จัดอันดับผู้คน

นิยามตัวชี้วัด

ตัวชี้วัด นิยาม สูตร หน่วย แหล่งข้อมูล แนวปฏิบัติ ITIL คู่เทียบแบบ Agile ความถี่
อัตราการคงอยู่ สัดส่วนของการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วยซึ่งยังคงเดิมเป็นส่วนใหญ่หลังช่วงเวลาที่กำหนด การเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วยซึ่งถูกแก้ไขหรือย้อนกลับน้อยกว่าสัดส่วนที่กำหนดหลัง 30 วัน / การเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วยซึ่งผสานเมื่อ 30 วันก่อน เปอร์เซ็นต์ ประวัติการควบคุมเวอร์ชันที่เชื่อมกับแท็กความช่วยเหลือ ในระดับทีม การจัดการการปล่อยรุ่นและการติดตั้งใช้งาน การสนับสนุนการเปลี่ยนแปลง งานที่อยู่ได้ การทำซ้ำต่ำ รายเดือน
การทำซ้ำหลังผสาน สัดส่วนของการเปลี่ยนแปลงที่ต้องแก้ไขตามมาในช่วงเวลาสั้น สำหรับการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วยและที่เปรียบเทียบ การเปลี่ยนแปลงที่มีการแก้ไขตามมาที่เชื่อมโยงกันภายใน 14 วัน / การเปลี่ยนแปลงที่ผสาน แยกตามกลุ่ม เปอร์เซ็นต์ การควบคุมเวอร์ชัน เครื่องมือติดตามประเด็น บันทึกการเปลี่ยนแปลง การสนับสนุนการเปลี่ยนแปลง การจัดการปัญหา ข้อบกพร่องที่หลุดรอด การทำซ้ำ รายเดือน
ภาระการทบทวน ความพยายามของผู้ทบทวนต่อการเปลี่ยนแปลงหนึ่งรายการ สำหรับการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วยและที่เปรียบเทียบ มัธยฐานและเปอร์เซ็นไทล์ที่ 85 ของเวลาทบทวนและจำนวนรอบการทบทวนต่อการเปลี่ยนแปลง แยกตามกลุ่ม ชั่วโมง รอบ การประทับเวลาของเครื่องมือทบทวน รวมระดับทีม การจัดการการปล่อยรุ่นและการติดตั้งใช้งาน การทบทวนเป็นข้อมูลป้อนกลับและการเรียนรู้ รายเดือน
อัตราข้อบกพร่องที่หลุดรอด ข้อบกพร่องที่พบในการผลิตต่อการเปลี่ยนแปลง สำหรับการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วยและที่เปรียบเทียบ ข้อบกพร่องที่พบหลังปล่อยรุ่นซึ่งเชื่อมโยงกับการเปลี่ยนแปลง / การเปลี่ยนแปลงที่ปล่อยรุ่น แยกตามกลุ่ม ข้อบกพร่องต่อการเปลี่ยนแปลง เครื่องมือติดตามข้อบกพร่องที่เชื่อมกับการเปลี่ยนแปลง การจัดการเหตุขัดข้อง การจัดการปัญหา คุณภาพของสิ่งที่ปล่อยรุ่น รายไตรมาส
อัตราผ่านการตรวจสอบการอธิบาย สัดส่วนของการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วยซึ่งสุ่มตัวอย่าง และผู้เขียนสามารถอธิบายแนวทางและข้อแลกเปลี่ยนในการทบทวนได้ การเปลี่ยนแปลงที่สุ่มตัวอย่างซึ่งผู้เขียนอธิบายได้เป็นที่พอใจของผู้ทบทวน / การเปลี่ยนแปลงที่สุ่มตัวอย่าง เปอร์เซ็นต์ บันทึกการทบทวนตัวอย่าง การจัดการความรู้ การสนับสนุนการเปลี่ยนแปลง ความเข้าใจร่วมกันเกี่ยวกับโค้ด รายไตรมาส
คุณภาพการสนับสนุนที่ใช้ปัญญาประดิษฐ์ช่วย อัตราเปิดซ้ำและความพึงพอใจของผู้ใช้สำหรับคำตอบสนับสนุนที่ใช้ปัญญาประดิษฐ์ช่วย เทียบกับที่ไม่ใช้ ตั๋วที่ใช้ปัญญาประดิษฐ์ช่วยและถูกเปิดซ้ำ / ตั๋วที่ใช้ปัญญาประดิษฐ์ช่วย และคะแนนที่ดี / คะแนนทั้งหมด แยกตามกลุ่ม เปอร์เซ็นต์ เครื่องมือ ITSM แบบสำรวจ เซอร์วิสเดสก์ การจัดการเหตุขัดข้อง คุณภาพของผลลัพธ์บริการ รายเดือน
คะแนนความมั่นใจเมื่อไม่ใช้เครื่องมือ คะแนนของทีมเกี่ยวกับความมั่นใจในการทำงานหลักโดยไม่ใช้เครื่องมือ คะแนนเฉลี่ยและการกระจายบนมาตราที่ตกลงกัน แยกตามทีม จุดบนมาตรา แบบสำรวจชีพจรทีมแบบไม่ระบุตัวตน การจัดการกำลังคนและบุคลากร การจัดการความรู้ ความสามารถและการเรียนรู้ของทีม รายไตรมาส

ให้ติดแท็กความช่วยเหลือจากปัญญาประดิษฐ์อย่างเชื่อถือได้ในระดับทีม ด้วยบันทึกของเครื่องมือหรือข้อตกลงแบบเบา ๆ และระบุวิธีเลือกการเปลี่ยนแปลงเปรียบเทียบ คือให้คล้ายกันทั้งขนาด พื้นที่ และความเสี่ยง การคงอยู่วัดการเปลี่ยนแปลงที่มีนัยสำคัญ โดยมีเกณฑ์ที่กำหนดในทะเบียน การทำซ้ำหลังผสานเชื่อมการแก้ไขตามมากับการเปลี่ยนแปลงเดิมตามกฎที่ระบุ ภาระการทบทวนคือความพยายามของผู้ทบทวน ไม่ใช่ของผู้เขียน และรวมเฉพาะเวลาทบทวนจริงเมื่อวัดได้ ไม่รายงานข้อมูลระดับบุคคล ตัวอย่างสำหรับการตรวจสอบการอธิบายเลือกแบบสุ่ม และการตรวจสอบนี้เป็นการสนทนาเพื่อสนับสนุนการเรียนรู้ ไม่ใช่การทดสอบตัวบุคคล

ข้อเสนอแนะ

ติดตามงานหลังจากที่สร้างแล้ว

1. ติดตามสิ่งที่เกิดขึ้นกับงานที่ใช้ปัญญาประดิษฐ์ช่วยเมื่อเวลาผ่านไป สำหรับโค้ด ให้ติดตามการเปลี่ยนแปลงหลายสัปดาห์หลังผสาน ว่าอยู่ ถูกแก้ หรือถูกย้อนกลับ สำหรับงานสนับสนุน ให้ติดตามตั๋วหลังตอบ ว่าถูกเปิดซ้ำหรือมีการติดต่อซ้ำตามมาหรือไม่ สำหรับเอกสาร ให้ตรวจว่าถูกใช้ ถูกแก้ หรือถูกเมินเฉย การคงอยู่และการทำซ้ำเป็นสัญญาณคุณภาพที่เรียบง่ายและปลอมได้ยาก

2. เปรียบเทียบกับงานที่คล้ายกันซึ่งไม่ใช้ปัญญาประดิษฐ์ช่วย เลือกงานเปรียบเทียบที่ขนาด ความเสี่ยง และพื้นที่คล้ายกัน จากช่วงเวลาเดียวกัน ความยากมีความสำคัญ ผู้คนอาจใช้ปัญญาประดิษฐ์กับงานง่าย ซึ่งทำให้เครื่องมือดูดีเกินจริง หรือกับงานยาก ซึ่งทำให้เครื่องมือดูแย่ ระบุว่างานมาถึงการใช้ความช่วยเหลือได้อย่างไร และปรับหรือใส่ข้อควรระวังตามนั้น การเปรียบเทียบเล็ก ๆ ที่ซื่อสัตย์ดีกว่าการเปรียบเทียบใหญ่ที่ปะปนกัน (ดูหัวข้อ 6.5 “การบรรลุคุณค่าและผลลัพธ์ทางธุรกิจ”)

3. รวมตัวชี้วัดปลายน้ำไว้ในชุดมาตรฐาน จับคู่ตัวชี้วัดความเร็วใด ๆ กับอัตราความล้มเหลวของการเปลี่ยนแปลง ข้อบกพร่องที่หลุดรอด และตัวชี้วัดเสถียรภาพที่ใช้อยู่แล้ว (ดูหัวข้อ 2.8 “ตัวชี้วัด DORA”) ความเร็วที่เพิ่มขึ้นขณะที่เสถียรภาพลดลงคือการโอนต้นทุนไปให้ปฏิบัติการและผู้ใช้ ให้รายงานทั้งคู่ด้วยกัน

รักษาการทบทวนให้มีความหมาย

4. เฝ้าดูภาระและขนาดของการทบทวน วัดเวลาทบทวน รอบการทบทวน และขนาดการเปลี่ยนแปลง สำหรับงานที่ใช้และไม่ใช้ปัญญาประดิษฐ์ช่วย หากการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วยมีขนาดใหญ่กว่าหรือจำนวนมากกว่า ผู้ทบทวนอาจรับภาระเกิน กำหนดแนวปฏิบัติเรื่องขนาดการเปลี่ยนแปลง และจำกัดปริมาณเนื้อหาที่สร้างขึ้นซึ่งเข้าสู่การทบทวนหนึ่งครั้ง ขีดความสามารถในการทบทวนเป็นส่วนหนึ่งของขีดความสามารถของระบบ (ดูหัวข้อ 2.3 “งานระหว่างทำและการต่อคิว”)

5. ขอให้ผู้เขียนอธิบาย ทำให้เป็นนิสัยว่าผู้เขียนการเปลี่ยนแปลงอธิบายได้ว่ามันทำอะไร ทำไมจึงเลือกแนวทางนี้ และมีข้อแลกเปลี่ยนอะไร การสนทนาสั้น ๆ แบบสนับสนุนในการทบทวนก็เพียงพอ สุ่มตรวจการอธิบายรายไตรมาสเพื่อดูว่าความเข้าใจตามทันผลผลิตหรือไม่ หากผู้เขียนอธิบายไม่ได้ ให้ถือเป็นสัญญาณให้ชะลอและเรียนรู้ ไม่ใช่ความล้มเหลวของตัวบุคคล

6. ระวังอคติจากระบบอัตโนมัติ สนับสนุนให้ผู้ทบทวนอ่านงานที่ใช้ปัญญาประดิษฐ์ช่วยอย่างพินิจพิเคราะห์เท่ากับงานอื่น หมุนเวียนผู้ทบทวน ฝังปัญหาที่ทราบไว้ในการเปลี่ยนแปลงทดสอบเป็นครั้งคราวเพื่อตรวจการตรวจจับ และสุ่มตัวอย่างผลลัพธ์โดยผู้ทบทวนอิสระอย่างต่อเนื่อง อัตราการยอมรับที่สูงมากพร้อมการทำซ้ำที่เพิ่มขึ้นเป็นสัญญาณเตือน (ดูหัวข้อ 10.1 “ปัญญาประดิษฐ์ในการวัดผลการจัดการบริการ”)

ดูแลคุณภาพและการบำรุงรักษา

7. เฝ้าติดตามโครงสร้างของโค้ดและระบบ ติดตามความซ้ำซ้อน ความซับซ้อน ความครอบคลุมของการทดสอบ และอัตราการเปลี่ยนแปลงในพื้นที่ที่ใช้ความช่วยเหลือมาก ใช้ตัวชี้วัดที่มีอยู่แล้วสำหรับการทดสอบซอฟต์แวร์และสุขภาพโค้ด และดูแนวโน้ม ความซ้ำซ้อนที่เพิ่มขึ้นหรือประสิทธิผลของการทดสอบที่ลดลงอาจบ่งชี้ว่ายอมรับโค้ดที่สร้างขึ้นโดยไม่บูรณาการเข้ากับการออกแบบ ความครอบคลุมของการทดสอบการถดถอยเป็นตาข่ายนิรภัย และความแข็งแรงของมันยิ่งสำคัญเมื่อปริมาณการเปลี่ยนแปลงเพิ่มขึ้น

8. ปฏิบัติต่อการทดสอบที่สร้างขึ้นด้วยความระมัดระวัง ปัญญาประดิษฐ์เขียนการทดสอบได้หลายรายการอย่างรวดเร็ว และการทดสอบอาจผ่านได้โดยไม่ตรวจสอบสิ่งที่มีความหมายเลย สุ่มตัวอย่างการทดสอบที่สร้างขึ้นเพื่อดูคุณค่า และวัดประสิทธิผลของการทดสอบด้วยวิธีการ เช่น ดูว่าการทดสอบล้มเหลวหรือไม่เมื่อจงใจทำให้พฤติกรรมเสีย อย่านับจำนวนการทดสอบที่เขียนเป็นตัวชี้วัดคุณภาพ

9. เฝ้าดูคุณภาพของงานสนับสนุนที่ใช้ปัญญาประดิษฐ์ช่วย สำหรับเซอร์วิสเดสก์และปฏิบัติการ ให้วัดอัตราเปิดซ้ำ การติดต่อซ้ำ ความพึงพอใจ และความถูกต้องของคำตอบที่สุ่มตัวอย่าง เปรียบเทียบคำตอบที่ใช้ปัญญาประดิษฐ์ช่วยกับที่ไม่ใช้ คำตอบที่เร็วกว่าแต่ส่งผู้ใช้กลับมาช้ากว่าโดยรวม อ่านความเห็นของผู้ใช้เกี่ยวกับคำตอบที่ใช้ปัญญาประดิษฐ์ช่วย และดูว่าผู้ใช้ทราบหรือไม่ว่ากำลังติดต่อกับปัญญาประดิษฐ์ในกรณีที่เรื่องนี้สำคัญ (ดูหัวข้อ 6.1 “ตัวชี้วัดความพึงพอใจของลูกค้า”)

ดูแลผู้คนและทักษะ

10. สังเกตว่าผู้คนยังทำอะไรได้ ถามทีมว่ามั่นใจเพียงใดที่จะทำงานหลักโดยไม่ใช้เครื่องมือ และติดตามแนวโน้ม ใช้การฝึกโดยไม่ใช้เครื่องมือเป็นครั้งคราว การทำงานเป็นคู่ และการทบทวนการออกแบบพื้นฐาน เพื่อรักษาทักษะไว้ ปกป้องการเรียนรู้ของสมาชิกทีมใหม่เป็นพิเศษ ซึ่งอาจใช้เครื่องมือก่อนที่จะสร้างแบบจำลองความคิดที่เพื่อนร่วมงานผู้มีประสบการณ์ใช้ตัดสินเครื่องมือนั้น (ดูหัวข้อ 9.4 “ตัวชี้วัดทักษะและการเรียนรู้”)

11. เก็บข้อมูลรายบุคคลไว้นอกการประเมิน รวมข้อมูลเป็นระดับทีม อย่ารายงานว่าบุคคลใดใช้ปัญญาประดิษฐ์มากที่สุด และอย่าใช้การใช้งาน อัตราการยอมรับ หรือปริมาณที่สร้างในการประเมินผลงาน ทำให้กฎเป็นที่ทราบ ต้องมีความไว้วางใจจึงจะได้รายงานที่ซื่อสัตย์ว่าอะไรได้ผลและอะไรไม่ได้ผล

12. ทบทวนซ้ำอย่างสม่ำเสมอ เครื่องมือ โมเดล และแนวปฏิบัติเปลี่ยนภายในไม่กี่เดือน ทำการเปรียบเทียบซ้ำเมื่อเครื่องมือหรือวิธีทำงานเปลี่ยน แบ่งปันสิ่งที่พบ รวมถึงเมื่อเครื่องมือไม่ช่วยในกรณีนี้ และเลิกการใช้ที่ไม่คุ้มค่ากับที่ของมันอีกต่อไป

ช่องทางการบิดเบือนและมาตรการป้องกัน

ตัวชี้วัด ถูกบิดเบือนได้อย่างไร ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่
อัตราการคงอยู่ หลีกเลี่ยงการเปลี่ยนแปลงที่จำเป็นเพื่อรักษาตัวเลข ติดแท็กเฉพาะการเปลี่ยนแปลงที่สำเร็จว่าใช้ปัญญาประดิษฐ์ช่วย ติดแท็กจากบันทึกเครื่องมือ ไม่ใช่การเลือกของผู้เขียน จับคู่กับข้อบกพร่องที่หลุดรอดและการทำซ้ำ
การทำซ้ำหลังผสาน แก้ในตั๋วอื่นหรือการเปลี่ยนแปลงใหม่ที่ไม่ได้เชื่อมโยง เลื่อนการแก้ไขให้พ้นช่วงเวลา กฎการเชื่อมโยงในทะเบียน ดูช่วงเวลาที่ยาวขึ้น ข้อบกพร่องในการผลิต
ภาระการทบทวน ทบทวนแบบเร่งรีบเพื่อลดเวลาที่วัดได้ อนุมัติโดยไม่มีความเห็น ตัวอย่างความลึกของการทบทวน ข้อบกพร่องที่หลุดรอด แบบสำรวจผู้ทบทวน
อัตราข้อบกพร่องที่หลุดรอด ไม่เชื่อมโยงข้อบกพร่องกับการเปลี่ยนแปลง จัดประเภทข้อบกพร่องใหม่เป็นการปรับปรุง กฎการเชื่อมโยง ตัวอย่างอิสระของการจัดประเภทข้อบกพร่อง
อัตราผ่านการตรวจสอบการอธิบาย ผู้เขียนซ้อมก่อนการตรวจสอบ ผู้ทบทวนผ่อนปรน ตัวอย่างสุ่มที่ไม่แจ้งล่วงหน้า หมุนเวียนผู้ทบทวน เน้นเหตุผลด้านการออกแบบ
คุณภาพการสนับสนุนที่ใช้ปัญญาประดิษฐ์ช่วย ช่วยเฉพาะตั๋วที่ง่าย ชักจูงผู้ใช้ให้ให้คะแนนสูง จับคู่ตั๋วตามประเภทและความยาก อัตราการตอบและสัดส่วน อ่านความเห็น
คะแนนความมั่นใจเมื่อไม่ใช้เครื่องมือ ให้คะแนนสูงเกินจริงเพื่อเลี่ยงการตรวจสอบ ให้คะแนนต่ำเพื่อเรียกร้องเครื่องมือเพิ่ม ไม่ระบุตัวตน เทียบกับการปฏิบัติที่สังเกตได้ในการฝึก อ่านความเห็น

ภาพที่ดีคืองานที่ใช้ปัญญาประดิษฐ์ช่วยคงอยู่ในที่เดิมบ่อยเท่ากับงานที่ไม่ใช้ การทำซ้ำและข้อบกพร่องที่หลุดรอดเท่ากับหรือดีกว่ากลุ่มเปรียบเทียบ การทบทวนที่ยังลึกซึ้ง ผู้เขียนที่อธิบายสิ่งที่ส่งมอบได้ งานสนับสนุนที่ใช้ปัญญาประดิษฐ์ช่วยซึ่งไม่ถูกส่งกลับมา และทีมที่ยังมั่นใจในทักษะของตนเอง

ข้อแลกเปลี่ยน: ข้อดีและข้อเสีย

แนวทาง จุดแข็ง จุดอ่อน
วัดปริมาณผลผลิต ง่าย ให้รางวัลแก่ปริมาณ ไม่บอกอะไรเกี่ยวกับคุณค่า
วัดการคงอยู่และการทำซ้ำ สะท้อนคุณภาพตลอดเวลา ล่าช้า ต้องเชื่อมโยงบันทึก
การเปรียบเทียบที่ควบคุม น่าเชื่อถือ ต้องใช้ความพยายาม อาจทำไม่ได้
การเปรียบเทียบเชิงสังเกต ถูก ปะปนด้วยการเลือกงาน
การตรวจสอบการอธิบายแบบบังคับ รักษาความเข้าใจ อาจรู้สึกเหมือนถูกสอบ เพิ่มความพยายาม
การตรวจสอบสุ่มตัวอย่างแบบเบา ภาระต่ำ อาจพลาดรูปแบบ
จำกัดการใช้ปัญญาประดิษฐ์อย่างเข้มงวด ควบคุมความเสี่ยง เสียประโยชน์ เกิดการใช้แบบลับ ๆ
ใช้อย่างเปิดเผยพร้อมการวัด การเรียนรู้และประโยชน์ ต้องมีความไว้วางใจและวินัย

คำตอบเชิงบรรยายคืออนุญาตให้ใช้ภายใต้กฎที่ชัดเจน วัดสิ่งที่คงอยู่ สุ่มตรวจความเข้าใจ ปกป้องขีดความสามารถในการทบทวนและทักษะ และเก็บข้อมูลรายบุคคลไว้นอกการประเมิน

คำถามสำหรับอภิปรายกับทีม

1. สิ่งที่ปัญญาประดิษฐ์ช่วยเราผลิตเมื่อไตรมาสที่แล้วยังอยู่ที่เดิมโดยไม่เปลี่ยนแปลงเท่าใด และเรารู้ได้อย่างไร ดูการคงอยู่และการทำซ้ำของการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วยเทียบกับชุดที่เทียบกันได้ ผู้อำนวยการประชุมควรบันทึกว่าตอบยากเพียงใด ตกลงวิธีติดแท็กและเชื่อมโยงบันทึกเพื่อให้ไตรมาสหน้าตอบได้ง่าย

2. การทบทวนตามทันหรือไม่ และจะเกิดอะไรขึ้นเมื่อตามไม่ทัน ดูเวลาทบทวน จำนวนรอบ และขนาด ถามผู้ทบทวนว่ารู้สึกอย่างไรกับการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วย อภิปรายข้อจำกัดด้านขนาดและวิธีแบ่งภาระ ตกลงแนวปฏิบัติหนึ่งข้อเพื่อลอง

3. เราแต่ละคนอธิบายการเปลี่ยนแปลงล่าสุดที่เราส่งมอบโดยมีปัญญาประดิษฐ์ช่วย พร้อมข้อแลกเปลี่ยนของมัน ได้หรือไม่ ลองทำเป็นคู่ สังเกตว่าตรงไหนอธิบายง่ายและตรงไหนอธิบายยาก อภิปรายว่าสิ่งนั้นบอกอะไรเกี่ยวกับการใช้เครื่องมือของเรา และจะรักษาความเข้าใจไว้ได้อย่างไร

4. เรายังทำอะไรได้ดีโดยไม่มีเครื่องมือ และเรากำลังสูญเสียความช่ำชองด้านใด รายการงานหลัก ให้คะแนนความมั่นใจอย่างซื่อสัตย์ และวางแผนการฝึกโดยไม่ใช้เครื่องมือหรือการทำงานเป็นคู่ การสนทนานี้ยังเผยว่าผู้คนให้คุณค่ากับอะไรในงานของตนและอยากรักษาไว้

5. ปัญญาประดิษฐ์ช่วยเราได้มากที่สุดและน้อยที่สุดที่ใด และสถานที่เหล่านั้นมีอะไรเหมือนกัน เปรียบเทียบตัวอย่าง มองหาลักษณะ เช่น งานที่กำหนดชัดเจน การทดสอบที่ดี หรือโดเมนที่คุ้นเคย ใช้สิ่งที่พบเพื่อชี้นำว่าควรใช้เครื่องมือที่ใด

6. เราจะวัดอะไรหากไม่เชื่อความประทับใจแรกของเรา ให้กลุ่มระบุหลักฐานที่จะเปลี่ยนความคิดเกี่ยวกับเครื่องมือไม่ว่าทางใด ใช้คำตอบเพื่อกำหนดการเปรียบเทียบครั้งถัดไป

สี่มุมมอง

ทีมผลิตภัณฑ์และการส่งมอบ

ทีมส่งมอบถือประสบการณ์ในแต่ละวันและผลลัพธ์ด้านคุณภาพ ควรติดแท็กงานที่ใช้ปัญญาประดิษฐ์ช่วย เฝ้าดูการคงอยู่และการทำซ้ำ รักษาการทบทวนให้มีความหมาย และรักษาความเข้าใจของตนเอง ควรเปิดเผยเมื่อปริมาณการเปลี่ยนแปลงที่สร้างขึ้นเกินกว่าความสามารถในการทบทวน

ทีมบริการและปฏิบัติการ

ทีมปฏิบัติการใช้ปัญญาประดิษฐ์กับการสรุป การวินิจฉัย และการตอบ และรับช่วงปัญหาคุณภาพที่หลุดรอด ควรสุ่มตัวอย่างผลลัพธ์ เปรียบเทียบอัตราเปิดซ้ำและการติดต่อซ้ำ และคงความรับผิดชอบของมนุษย์ที่ชัดเจนต่อการกระทำในการผลิต ควรช่วยกำหนดว่าปัญญาประดิษฐ์ต้องไม่ลงมือโดยไม่มีบุคคลที่ใดบ้าง

ภาวะผู้นำและการกำกับดูแล

ผู้นำเผชิญแรงกดดันให้แสดงผลที่ได้ และอาจถูกล่อใจด้วยตัวชี้วัดการใช้งานและผลผลิต ควรยืนยันให้มีตัวชี้วัดการคงอยู่ การทำซ้ำ และเสถียรภาพควบคู่กับความเร็ว จัดงบประมาณให้ขีดความสามารถในการทบทวน ปกป้องการพัฒนาทักษะ และต่อต้านการจัดอันดับผู้คน การกำกับดูแลควรคาดหวังการเปรียบเทียบและข้อควรระวังในรายงานประโยชน์ของปัญญาประดิษฐ์

ลูกค้าและผู้ใช้

ผู้ใช้ได้รับผลลัพธ์ ได้แก่ โค้ดที่ขับเคลื่อนบริการของตน คำตอบต่อคำขอ และเอกสารที่พึ่งพา ผู้ใช้ได้ประโยชน์เมื่อคุณภาพคงอยู่และเดือดร้อนเมื่อไม่คงอยู่ ควรติดต่อบุคคลจริงได้ และข้อมูลป้อนกลับของผู้ใช้เกี่ยวกับการโต้ตอบที่ใช้ปัญญาประดิษฐ์ช่วยเป็นหลักฐานสำคัญของคุณภาพ

ในทางปฏิบัติ: ตัวอย่าง ITIL แบบคล่องตัว

กลุ่มดิจิทัลของสายการบินแห่งหนึ่งในยุโรปมีทีมผลิตภัณฑ์หกทีมที่สร้างและดำเนินการซอฟต์แวร์จองและปฏิบัติการ ทีมเริ่มใช้ผู้ช่วยเขียนโค้ดด้วยปัญญาประดิษฐ์เมื่อปีก่อน และแดชบอร์ดของกลุ่มรายงานว่า 38 เปอร์เซ็นต์ของบรรทัดที่ผสานเข้าแล้วถูกสร้างโดยปัญญาประดิษฐ์ ตัวเลขด้านล่างเป็นตัวเลขสมมติเพื่อประกอบภาพ

หัวหน้าฝ่ายความเป็นเลิศด้านวิศวกรรมรู้สึกไม่สบายใจกับแดชบอร์ดนั้น เธอขอให้สามทีมติดแท็กการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วยผ่านบันทึกของเครื่องมือ ในระดับทีมเท่านั้น และเลือกการเปลี่ยนแปลงเปรียบเทียบที่มีขนาดและพื้นที่คล้ายกัน ตลอดหนึ่งไตรมาส เวลามัธยฐานจากคอมมิตแรกถึงการผสานสั้นกว่าสำหรับการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วย คือ 1.4 วันเทียบกับ 2.0 อัตราการคงอยู่หลัง 30 วันของการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วยคือ 81 เปอร์เซ็นต์ เทียบกับ 90 เปอร์เซ็นต์ของการเปลี่ยนแปลงเปรียบเทียบ และ 12 เปอร์เซ็นต์ของการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วยต้องมีการแก้ไขตามมาภายใน 14 วัน เทียบกับ 7 เปอร์เซ็นต์ ภาระการทบทวนเล่าเรื่องเดียวกัน เวลาทบทวนมัธยฐานต่อการเปลี่ยนแปลงสูงกว่า 35 เปอร์เซ็นต์สำหรับการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วย และเปอร์เซ็นไทล์ที่ 85 ของขนาดการเปลี่ยนแปลงเพิ่มขึ้น ข้อบกพร่องที่หลุดรอดต่อ 100 การเปลี่ยนแปลงสูงกว่าเล็กน้อยสำหรับการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วย แม้ว่าตัวอย่างจะเล็กและความแตกต่างอยู่ในความแปรผันปกติ ตัวอย่างการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วย 40 รายการแสดงว่าใน 31 รายการ ผู้เขียนอธิบายแนวทางและข้อแลกเปลี่ยนได้ดี ใน 6 รายการอธิบายได้บางส่วน และใน 3 รายการอธิบายไม่ได้เลย ส่วนใหญ่อยู่ในพื้นที่โค้ดที่ใหม่สำหรับผู้เขียน ในเซอร์วิสเดสก์ คำตอบที่ใช้ปัญญาประดิษฐ์ช่วยมีอัตราเปิดซ้ำ 7 เปอร์เซ็นต์ เทียบกับ 6 ของคำตอบที่ไม่ใช้ โดยความพึงพอใจใกล้เคียงกัน ในแบบสำรวจชีพจรของทีม วิศวกรใหม่ให้คะแนนความมั่นใจในการพัฒนาฟีเจอร์หลักโดยไม่ใช้เครื่องมือที่ 2.6 จาก 5 เทียบกับ 4.1 ของวิศวกรที่อยู่ในกลุ่มมานานกว่าสามปี

หัวหน้าฝ่ายความเป็นเลิศด้านวิศวกรรมนำผลไปให้ทีมและไม่จัดอันดับทีม ทีมตกลงกัน 4 ข้อ ข้อจำกัดด้านขนาดการเปลี่ยนแปลงและตารางหมุนเวียนการทบทวนปกป้องผู้ทบทวน ผู้เขียนอธิบายการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วยโดยสั้น ๆ ในการทบทวน วิศวกรใหม่ทำงานคู่กับวิศวกรที่มีประสบการณ์สำหรับฟีเจอร์หลัก และแบบฝึกหัดโดยไม่ใช้เครื่องมือรายเดือนช่วยให้ทักษะยังใช้งานอยู่ แดชบอร์ดเลิกแสดงสัดส่วนบรรทัดที่สร้าง และแสดงการคงอยู่ การทำซ้ำ ภาระการทบทวน และข้อบกพร่องที่หลุดรอด โดยเทียบงานที่ใช้ปัญญาประดิษฐ์ช่วยกับกลุ่มเปรียบเทียบ สามเดือนต่อมา ช่องว่างการคงอยู่แคบลงเหลือ 4 จุด การแก้ไขตามมาลดลงเหลือ 8 เปอร์เซ็นต์ และการตรวจสอบการอธิบายดีขึ้น รองประธานคนหนึ่งขอให้สัดส่วนบรรทัดที่สร้างเป็นเป้าหมายของทุกทีม หัวหน้าฝ่ายความเป็นเลิศด้านวิศวกรรมอธิบายสิ่งที่พบและเสนอให้ติดตามผลลัพธ์ต่อไป พร้อมเสริมว่าประโยชน์มีจริงในบางงานและไม่มีในบางงาน และทีมจะตัดสินใจว่าจะใช้เครื่องมือที่ใด การตัดสินใจถูกบันทึกไว้

มุมมองตามประเภทองค์กร

สตาร์ทอัป ทีมเล็กอาจได้ประโยชน์มากจากความช่วยเหลือ และก็สะสมหนี้ซ่อนเร้นได้เร็วเช่นกัน ให้ติดตามการคงอยู่และการทำซ้ำตั้งแต่ต้น รักษาการทดสอบให้มีความหมาย และให้แน่ใจว่าผู้ที่จะบำรุงรักษาระบบเข้าใจระบบนั้น ระวังการส่งมอบโค้ดที่ไม่มีใครอธิบายได้

ธุรกิจขนาดเล็ก ความช่วยเหลือช่วยขยายขีดความสามารถของทีมเล็กมาก ให้วัดจากตัวอย่างเล็ก ๆ คืองานที่ใช้ปัญญาประดิษฐ์ช่วยต้องแก้ไขภายหลังบ่อยเพียงใด เก็บข้อมูลสำรอง การทดสอบ และการทบทวนโดยมนุษย์สำหรับทุกสิ่งที่เผชิญลูกค้า และปกป้องความเข้าใจของเจ้าของเกี่ยวกับระบบที่ตนพึ่งพา

องค์กรขนาดใหญ่ ขนาดที่ใหญ่ขยายทั้งประโยชน์และปัญหา จัดให้มีแนวทางร่วมเรื่องการติดแท็ก ข้อจำกัดการทบทวน และตัวชี้วัด เปรียบเทียบข้ามทีมอย่างระมัดระวังโดยไม่จัดอันดับ และลงทุนในขีดความสามารถด้านการทบทวนและการทดสอบ รวมการทบทวนความมั่นคงปลอดภัยและลิขสิทธิ์ของโค้ดที่สร้างขึ้นไว้ในสายธาร (ดูหัวข้อ 7.2 “ตัวชี้วัดสินทรัพย์ซอฟต์แวร์และลิขสิทธิ์”)

ภาครัฐและหน่วยงานสาธารณะ ระบบสาธารณะมีอายุยาว ความรับผิดชอบเข้มงวด และผลของความผิดพลาดสูง ให้กำหนดความรับผิดชอบของมนุษย์ที่ตรวจสอบย้อนกลับได้ การทดสอบอย่างระมัดระวัง และเอกสารว่าใช้ปัญญาประดิษฐ์อย่างไร บันทึกงานที่ใช้ปัญญาประดิษฐ์ช่วยในบันทึกการเปลี่ยนแปลง และประเมินความเสี่ยงด้านความเป็นธรรมและความมั่นคงปลอดภัย (ดูหัวข้อ 8.5 “การรายงานตามข้อกำหนดและต่อภาครัฐ”)

กรณีทางธุรกิจ: แรงจูงใจ ROI และ TCO

ต้นทุนได้แก่ ค่าเครื่องมือและค่าใช้งาน ความพยายามในการติดแท็กและเชื่อมโยงบันทึก เวลาทบทวนและแก้ไข การทดสอบเพิ่มเติม และการฝึกอบรม การศึกษาเปรียบเทียบใช้เวลา แต่ถูกเมื่อเทียบกับการตัดสินใจผิดที่จะขยายผลหรือห้ามใช้

ผลตอบแทนมีจริงเมื่อความช่วยเหลือลดความพยายามโดยไม่ลดคุณภาพ และสูญเสียไปเมื่อมันย้ายความพยายามไปสู่การทบทวน การทำซ้ำ และการบำรุงรักษา ให้สร้างกรณีทางธุรกิจจากตัวชี้วัดของตนเอง ได้แก่ เวลาถึงการเปลี่ยนแปลงที่ผสานและคงอยู่ การทำซ้ำและข้อบกพร่องที่หลุดรอดเทียบกับกลุ่มเปรียบเทียบ ภาระการทบทวน และความพึงพอใจของผู้ใช้และพนักงาน หลีกเลี่ยงการใช้ตัวเลขผลิตภาพที่เผยแพร่เป็นค่าประมาณของตน จำต้นทุนซ่อนเร้นไว้ ได้แก่ ความเข้าใจที่ลดลง การสูญเสียทักษะ และหนี้ทางเทคนิค ซื่อสัตย์ต่อความไม่แน่นอน (ดูหัวข้อ 7.7 “ผลตอบแทนจากการลงทุนและกรณีทางธุรกิจ”)

รูปแบบที่ไม่ควรทำและข้อควรระวัง

  • นับบรรทัดที่สร้างหรือข้อเสนอที่ยอมรับ ให้รางวัลแก่ปริมาณ ให้วัดสิ่งที่คงอยู่
  • เปรียบเทียบงานง่ายที่ใช้ปัญญาประดิษฐ์ช่วยกับงานยากที่ไม่ใช้ ผลทำให้เครื่องมือดูดีหรือแย่เกินจริง ให้จับคู่งาน
  • ปล่อยให้ขีดความสามารถในการทบทวนตามไม่ทัน คุณภาพตกอย่างเงียบ ๆ จำกัดขนาดการเปลี่ยนแปลงและปกป้องผู้ทบทวน
  • ข้ามตัวชี้วัดปลายน้ำ ต้นทุนปรากฏภายหลัง ให้ติดตามการทำซ้ำ ข้อบกพร่อง และเสถียรภาพ
  • ถือการทดสอบที่สร้างขึ้นเป็นคุณภาพ ผ่านได้โดยไม่ตรวจสอบอะไรเลย ให้ทดสอบตัวการทดสอบ
  • เพิกเฉยต่อทักษะ ความเข้าใจเลือนหายโดยไม่มีใครสังเกต ให้ติดตามความมั่นใจเมื่อไม่ใช้เครื่องมือและการฝึก
  • เฝ้าติดตามรายบุคคล ก่อให้เกิดความหวาดกลัวและซ่อนปัญหา เก็บข้อมูลในระดับทีม
  • ประกาศชัยชนะจากการศึกษาสั้นและเล็ก ให้ทำซ้ำเมื่อเครื่องมือและแนวปฏิบัติเปลี่ยน

แบบจำลองวุฒิภาวะ

มิติ 1 เริ่มต้น 2 พัฒนา 3 ทำให้เป็นมาตรฐาน 4 บริหารจัดการ 5 ประสานจัดการ
การวัดสิ่งที่คงอยู่ นับผลผลิต ความประทับใจเรื่องคุณภาพอย่างไม่เป็นทางการ ติดแท็กงานที่ใช้ปัญญาประดิษฐ์ช่วย ติดตามการคงอยู่และการทำซ้ำเทียบกับกลุ่มเปรียบเทียบ จัดการข้อบกพร่องปลายน้ำ เสถียรภาพ และภาระการทบทวนร่วมกัน หลักฐานข้ามทีมชี้นำว่าจะใช้ความช่วยเหลือที่ใด แบ่งปันผลอย่างกว้างขวาง
การทบทวนและความเข้าใจ ทบทวนเหมือนเดิม กังวลเรื่องภาระเกิน มีแนวปฏิบัติเรื่องขนาดการเปลี่ยนแปลง สุ่มตรวจการอธิบาย วางแผนขีดความสามารถในการทบทวน รับมืออคติจากระบบอัตโนมัติ การทบทวนและความเข้าใจฝังอยู่ในวิธีที่ทุกทีมทำงานกับปัญญาประดิษฐ์
ผู้คนและทักษะ ไม่ได้พิจารณา เรื่องเล่า สำรวจชีพจรความมั่นใจเมื่อไม่ใช้เครื่องมือ มีการฝึกบ้าง วางแผนการพัฒนาทักษะ จัดการแนวโน้ม ปกป้องการเรียนรู้และงานฝีมือทั่วทั้งองค์กร ออกแบบการใช้ปัญญาประดิษฐ์ร่วมกับพนักงาน

รายการตรวจสอบ

  • งานที่ใช้ปัญญาประดิษฐ์ช่วยถูกติดแท็กในระดับทีมผ่านบันทึกของเครื่องมือหรือข้อตกลงแบบเบา ๆ
  • กำหนดงานเปรียบเทียบที่มีขนาด พื้นที่ และความเสี่ยงคล้ายกันแล้ว
  • ติดตามการคงอยู่และการทำซ้ำหลังผสานสำหรับงานที่ใช้ปัญญาประดิษฐ์ช่วยและงานเปรียบเทียบ
  • รายงานข้อบกพร่องที่หลุดรอดและอัตราความล้มเหลวของการเปลี่ยนแปลงควบคู่กับตัวชี้วัดความเร็วใด ๆ
  • เฝ้าติดตามเวลาทบทวน รอบ และขนาดการเปลี่ยนแปลง พร้อมแนวปฏิบัติเรื่องขนาด
  • ผู้เขียนอธิบายการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วยได้ และสุ่มตรวจตัวอย่างทุกไตรมาส
  • สุ่มตัวอย่างการทดสอบที่สร้างขึ้นเพื่อดูคุณค่า
  • เปรียบเทียบงานสนับสนุนที่ใช้ปัญญาประดิษฐ์ช่วยด้านอัตราเปิดซ้ำ การติดต่อซ้ำ และความพึงพอใจ
  • สำรวจชีพจรความมั่นใจเมื่อไม่ใช้เครื่องมือ และวางแผนการฝึกโดยไม่ใช้เครื่องมือ
  • ไม่ใช้ข้อมูลการใช้งานและอัตราการยอมรับรายบุคคลในการประเมิน

พรอมต์ AI

วางแผนการเปรียบเทียบการเปลี่ยนแปลงที่ใช้และไม่ใช้ปัญญาประดิษฐ์ช่วย

เราต้องการเปรียบเทียบการเปลี่ยนแปลงที่ใช้และไม่ใช้ปัญญาประดิษฐ์ช่วยสำหรับ [ทีมและระบบ]
ข้อมูลของเรามี: [รายการฟิลด์] เสนอวิธีติดแท็กการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วยโดยไม่
พึ่งความจำของผู้เขียน วิธีเลือกการเปลี่ยนแปลงเปรียบเทียบที่มีขนาดและความเสี่ยงคล้ายกัน
ตัวชี้วัดที่จะเปรียบเทียบ (การคงอยู่ การทำซ้ำ ภาระการทบทวน ข้อบกพร่อง) ช่วงเวลา
และวิธีใส่ข้อควรระวังให้ผลที่พบ อย่าระบุผลที่คาดหวัง ระบุ
สมมติฐานและภัยคุกคามต่อความตรงของผล

ออกแบบการตรวจสอบการอธิบาย

ออกแบบการตรวจสอบการอธิบายแบบสั้นและสนับสนุนสำหรับการเปลี่ยนแปลงที่ใช้ปัญญาประดิษฐ์ช่วย
ที่สุ่มตัวอย่างใน [ภาษาและโดเมน] รวมวิธีสุ่มตัวอย่าง คำถามที่ผู้ทบทวนถาม
สิ่งที่การอธิบายที่ดีครอบคลุม วิธีบันทึกผลในระดับทีม และวิธี
ใช้สิ่งที่พบเพื่อการเรียนรู้โดยไม่ให้คะแนนผู้คน ระบุสมมติฐานและ
ความเสี่ยงของการตรวจสอบนี้

ทบทวนตัวชี้วัดปลายน้ำ

นี่คือตัวชี้วัดของเราสำหรับ [ช่วงเวลา]: ความเร็ว [ค่า] การคงอยู่ [ค่า] การทำซ้ำ
[ค่า] ภาระการทบทวน [ค่า] ข้อบกพร่องที่หลุดรอด [ค่า] สำหรับงานที่ใช้ปัญญาประดิษฐ์ช่วยและ
งานเปรียบเทียบ อธิบายว่ารูปแบบนี้บ่งชี้อะไรและไม่ได้บ่งชี้อะไร ความแตกต่างใด
อยู่ในความแปรผันปกติ และควรตรวจอะไรต่อไป อย่าอ้างว่าเป็นเหตุและผล ระบุ
สมมติฐานและข้อมูลที่ฉันควรเพิ่ม

วางแผนการฝึกโดยไม่ใช้เครื่องมือ

เสนอโปรแกรมเบา ๆ เพื่อรักษาทักษะหลักสำหรับทีมที่ใช้เครื่องมือปัญญาประดิษฐ์ทุกวัน:
แบบฝึกหัดโดยไม่ใช้เครื่องมือรายเดือน การทำงานเป็นคู่ระหว่างสมาชิกใหม่กับผู้มีประสบการณ์
และการอภิปรายเรื่องการออกแบบ เสนอวิธีใส่ไว้ในสัปดาห์ทำงานโดยไม่
เพิ่มแรงกดดัน และวิธีติดตามผลด้วยแบบสำรวจชีพจรความมั่นใจเมื่อไม่ใช้เครื่องมือ
ระบุสมมติฐานและข้อแลกเปลี่ยน

ทักษะ AI

  • ทักษะ Agile ITIL Metrics: ใช้เพื่อค้นหาตัวชี้วัดป้องกันที่จับคู่กันสำหรับตัวชี้วัดงานที่ใช้ปัญญาประดิษฐ์ช่วย
  • ทักษะผู้ดูแล Agile ITIL Metrics: ใช้เพื่อตรวจสอบว่าตัวชี้วัดงานที่ใช้ปัญญาประดิษฐ์ช่วยวัดสิ่งที่คงอยู่ และมีช่องทางการบิดเบือนและมาตรการป้องกันครบถ้วน

ข้อสรุปสำคัญ

  • วัดสิ่งที่คงอยู่ ได้แก่ การคงอยู่ การทำซ้ำ ข้อบกพร่องที่หลุดรอด และเสถียรภาพ เทียบกับงานที่เทียบกันได้ซึ่งไม่ใช้ปัญญาประดิษฐ์ช่วย
  • ปกป้องขีดความสามารถในการทบทวนและรักษาการทบทวนให้ลึกซึ้ง เพราะเป็นตัวจำกัดว่างานที่ใช้ปัญญาประดิษฐ์ช่วยจะไหลได้เร็วเพียงใดอย่างปลอดภัย
  • ตรวจว่าผู้เขียนอธิบายสิ่งที่ส่งมอบได้ และสังเกตว่าทักษะกำลังเติบโตหรือเลือนหาย
  • สุ่มตัวอย่างการทดสอบและผลลัพธ์ที่สร้างขึ้นเพื่อดูคุณค่าจริง
  • อ่านข้ออ้างด้านผลิตภาพที่เผยแพร่เป็นการศึกษาชิ้นเดียว และวัดงานของตนเอง
  • เก็บข้อมูลการใช้งานรายบุคคลไว้นอกการประเมิน

เอกสารอ้างอิงและแหล่งอ่านเพิ่มเติม

  1. Peng, S., Kalliamvakou, E., Cihon, P., and Demirer, M., "The Impact of AI on Developer Productivity: Evidence from GitHub Copilot," arXiv preprint, 2023.
  2. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  3. DORA, Google Cloud, Accelerate State of DevOps Report (latest edition addressing AI), https://dora.dev/.
  4. Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
  5. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
  6. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  7. Wikipedia, Lines of code.
  8. Wikipedia, Code review.
  9. Wikipedia, Pull request.
  10. Wikipedia, Duplicate code.
  11. Wikipedia, Technical debt.
  12. Wikipedia, Cognitive offloading.
  13. Wikipedia, Deskilling.
  14. Wikipedia, Goodhart's law.
  15. Wikipedia, Software testing.
  16. Wikipedia, Regression testing.

ตัวชี้วัด ITIL แบบคล่องตัว — วัดบริการไอทีแบบคล่องตัวโดยไม่บิดเบือนงาน

ซอร์สและการมีส่วนร่วม: github.com/agile-itil-metrics. สร้างด้วย Lily Design System™.

สร้างโดย Joel Parker Henderson.