ปัญญาประดิษฐ์ในการวัดผลการจัดการบริการ
ก่อนที่ปัญญาประดิษฐ์จะเปลี่ยนแปลงงาน ให้บันทึกก่อนว่างานในปัจจุบันเป็นอย่างไร จากนั้นวัดการใช้ปัญญาประดิษฐ์แต่ละกรณีเทียบกับค่าฐานนั้นและเทียบกับงานที่เทียบเคียงกันได้ซึ่งทำโดยไม่ใช้ปัญญาประดิษฐ์ เพราะข้ออ้างมักใหญ่โต แต่หลักฐานมักมีน้อย
ภาพรวมและแรงจูงใจ
ปัญญาประดิษฐ์อยู่ในเครื่องมือจำนวนมากที่ทีมใช้สร้างและดำเนินการบริการแล้ว ปัญญาประดิษฐ์ (AI) คือความสามารถของระบบคอมพิวเตอร์ในการทำงานที่เกี่ยวข้องกับสติปัญญาของมนุษย์ ภายในสาขานี้ ระบบการเรียนรู้ของเครื่องเรียนรู้รูปแบบจากข้อมูล และระบบปัญญาประดิษฐ์เชิงสร้างสรรค์ ซึ่งมักสร้างบนโมเดลภาษาขนาดใหญ่ สร้างข้อความ โค้ด และเนื้อหาอื่นตามพรอมต์ ในการจัดการบริการไอที (ITSM) ความสามารถเหล่านี้ปรากฏในการคัดแยกตั๋ว การสรุปเหตุขัดข้อง การร่างบทความความรู้ ข้อเสนอคำตอบสำหรับเซอร์วิสเดสก์ การเติมโค้ดและการทบทวนโค้ดในสายธารการส่งมอบ การตรวจจับความผิดปกติในการเฝ้าติดตาม และผู้ช่วยสนทนาสำหรับผู้ใช้ AIOps เป็นชื่อที่มักใช้เรียกการประยุกต์ใช้ปัญญาประดิษฐ์กับข้อมูลปฏิบัติการด้านไอที
ข้ออ้างเกี่ยวกับเครื่องมือเหล่านี้มักใหญ่โต ส่วนหลักฐานในแต่ละองค์กรมักมีน้อย ผู้ขายรายงานเวลาที่ประหยัดได้ ผู้ที่นำไปใช้ก่อนรายงานความกระตือรือร้น ผู้บริหารถามหาประสิทธิภาพที่เพิ่มขึ้นตามที่สัญญาไว้ ขณะเดียวกันทีมรายงานว่าผลลัพธ์ต้องตรวจสอบ ข้อเสนอบางอย่างผิดอย่างมั่นใจ และงานให้ความรู้สึกต่างไปจากเดิม การวัดผลคือวิธีที่องค์กรใช้ค้นหาว่าข้อใดเป็นจริงสำหรับงานของตนเอง ส่วนนี้ของหนังสือมองปัญญาประดิษฐ์อย่างจริงจังในฐานะสิ่งที่ต้องวัด ด้วยมาตรการป้องกันเช่นเดียวกับตระกูลตัวชี้วัดอื่น
ปัญญาประดิษฐ์เปลี่ยนปัญหาการวัดผลใน 4 ด้าน
- ปริมาณและความเร็วเพิ่มขึ้น แต่คุณภาพมองเห็นยากขึ้น ปัญญาประดิษฐ์ผลิตตั๋ว คำตอบ โค้ด และเอกสารได้รวดเร็ว ตัวชี้วัดผลผลิตจึงสูงขึ้น ส่วนผลผลิตนั้นดีหรือไม่เป็นอีกคำถามหนึ่ง (ดูหัวข้อ 10.4 “เงินเฟ้อของตัวชี้วัดและคุณภาพที่เจือจาง”)
- ค่าฐานหายไป เมื่อใช้ปัญญาประดิษฐ์ในแต่ละวันแล้ว จะไม่สามารถย้อนกลับไปดูว่างานเคยเป็นอย่างไรเมื่อไม่มีมัน ต้องบันทึกค่าฐานก่อนการเปลี่ยนแปลง หรือต้องมีกลุ่มเปรียบเทียบอยู่
- มนุษย์ยังอยู่ในวงจร และมีผลตามมา การออกแบบแบบมนุษย์อยู่ในวงจรให้บุคคลรับผิดชอบต่อผลลัพธ์ ผู้ที่ทบทวนผลลัพธ์ของเครื่องอาจคล้อยตามง่ายเกินไป ซึ่งเป็นรูปแบบที่เรียกว่าอคติจากระบบอัตโนมัติ หรืออาจใช้เวลาตรวจสอบมากกว่าเวลาที่ประหยัดได้
- ผลลัพธ์อาจลื่นไหลแต่ผิด ภาพหลอนของปัญญาประดิษฐ์ (hallucination) คือผลลัพธ์ที่มั่นใจแต่ไม่มีข้อมูลนำเข้าหรือข้อเท็จจริงรองรับ ตัวชี้วัดต้องรวมการตรวจสอบความถูกต้อง โดยให้บุคคลสุ่มตัวอย่าง
วิธีการทำงานแบบ Agile และ ITIL ให้ท่าทีต่อเรื่องนี้ทั้งคู่ เป้าหมายแบบ Agile ด้านการส่งมอบอย่างต่อเนื่อง การปรับปรุงอย่างต่อเนื่อง และการวิวัฒนาการอย่างต่อเนื่อง ชี้ให้มองการใช้ปัญญาประดิษฐ์แต่ละครั้งเป็นการทดลองขนาดเล็ก คือระบุประโยชน์ที่คาดหวัง ลองกับผู้ที่เต็มใจไม่กี่คน เปรียบเทียบ แล้วตัดสินใจ หลักการนำทางของ ITIL ว่าด้วยการก้าวหน้าแบบทำซ้ำพร้อมข้อมูลป้อนกลับก็ชี้ไปทางเดียวกัน และการเน้นคุณค่าของ ITIL ถามว่าผลลัพธ์ใดดีขึ้นสำหรับผู้ใช้และธุรกิจ ไม่ใช่ว่าผลิตข้อความได้มากเพียงใด เป้าหมายเรื่องบุคลากรที่มีแรงจูงใจจะบรรลุเมื่อปัญญาประดิษฐ์ช่วยลดงานที่น่าเบื่อและเคารพวิจารณญาณของผู้คน และจะไม่บรรลุเมื่อปัญญาประดิษฐ์กลายเป็นวิธีเร่งจังหวะงานหรือเฝ้าติดตามผู้ที่ใช้มัน จังหวะการทำงานที่ยั่งยืนหมายความว่าเวลาที่ประหยัดได้ไม่ควรถูกแปลงเป็นความต้องการที่มากขึ้นอย่างเงียบ ๆ
มาตรการป้องกันจากกฎของกูดฮาร์ตใช้กับปัญญาประดิษฐ์ในรูปแบบที่แหลมคมที่สุด หาก “การนำปัญญาประดิษฐ์ไปใช้” หรือ “สัดส่วนโค้ดที่ปัญญาประดิษฐ์สร้าง” กลายเป็นเป้าหมาย ผู้คนจะใช้เครื่องมือในที่ที่ไม่ช่วยอะไร และคุณภาพจะต้องจ่ายเพื่อตัวเลขนั้น (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”)
หัวข้อนี้ครอบคลุมรากฐาน ได้แก่ จุดที่ปัญญาประดิษฐ์เข้ามาในงาน ค่าฐานที่ควรบันทึก และตัวชี้วัดที่แสดงว่าการใช้ปัญญาประดิษฐ์ช่วยได้จริงหรือไม่ หัวข้อถัดไปลงลึกเรื่องงานที่มีปัญญาประดิษฐ์ช่วย เอเจนต์และแชตบอต เงินเฟ้อและการเจือจาง และการกำกับดูแล ข้อเท็จจริงเกี่ยวกับผลิตภัณฑ์และกฎเกณฑ์ด้านปัญญาประดิษฐ์เปลี่ยนแปลงอย่างรวดเร็ว และข้อความเกี่ยวกับเครื่องมือหรือกฎระเบียบเฉพาะเจาะจงในส่วนนี้อ้างอิง ณ เดือนตุลาคม 2026 และควรตรวจสอบซ้ำ
หลักการสำคัญ
- บันทึกค่าฐานก่อนนำปัญญาประดิษฐ์มาใช้ หากไม่มี ข้ออ้างเรื่องประโยชน์ทุกข้อก็เป็นเพียงความเห็น
- มองการใช้แต่ละกรณีเป็นการทดลองที่มีการเปรียบเทียบ เปรียบเทียบกับงานที่คล้ายกันซึ่งทำโดยไม่ใช้ปัญญาประดิษฐ์ในช่วงเวลาเดียวกัน
- วัดคุณภาพด้วยการสุ่มตัวอย่างร่วมกับผู้คน ผลลัพธ์ที่ลื่นไหลไม่ใช่ผลลัพธ์ที่ถูกต้อง
- นับต้นทุนทั้งหมด รวมเวลาทบทวน การทำซ้ำ ค่าสิทธิ์การใช้ และต้นทุนการอนุมาน (inference)
- ให้ผู้คนรับผิดชอบและรับรู้ ผู้ที่ใช้ปัญญาประดิษฐ์ต้องรับผิดชอบต่อผลลัพธ์
- อย่าให้ปัญญาประดิษฐ์กลายเป็นการเร่งจังหวะงานหรือเครื่องมือเฝ้าติดตาม เวลาที่ประหยัดได้เป็นทางเลือกว่าจะใช้เวลานั้นอย่างไร
- เริ่มจากผู้ที่เต็มใจและปัญหาจริง การบังคับใช้ก่อให้เกิดการใช้งานโดยไม่มีคุณค่า
นิยามตัวชี้วัด
| ตัวชี้วัด | นิยาม | สูตร | หน่วย | แหล่งข้อมูล | แนวปฏิบัติ ITIL | คู่เทียบแบบ Agile | ความถี่ |
|---|---|---|---|---|---|---|---|
| ความครบถ้วนของค่าฐาน | สัดส่วนของกรณีการใช้ปัญญาประดิษฐ์ที่วางแผนไว้ซึ่งมีการบันทึกค่าฐานก่อนนำไปใช้สำหรับตัวบ่งชี้หลัก | กรณีการใช้ที่มีค่าฐานระบุวันที่ / กรณีการใช้ที่วางแผนไว้ | เปอร์เซ็นต์ | ทะเบียนกรณีการใช้ | การปรับปรุงอย่างต่อเนื่อง การวัดและการรายงาน | ค่าฐานก่อนการทดลอง | รายไตรมาส |
| ความครอบคลุมการใช้ปัญญาประดิษฐ์ | สัดส่วนของรายการงานหรืองานที่เข้าเกณฑ์ซึ่งมีการใช้ปัญญาประดิษฐ์ แยกตามกรณีการใช้ | รายการที่ใช้ความช่วยเหลือจากปัญญาประดิษฐ์ / รายการที่เข้าเกณฑ์ จากบันทึกเครื่องมือหรือแท็กของผู้ใช้ ในระดับทีม | เปอร์เซ็นต์ | บันทึกการใช้เครื่องมือ แท็ก | เซอร์วิสเดสก์ การจัดการเหตุขัดข้อง การจัดการการปล่อยรุ่นและการติดตั้งใช้งาน | การนำเครื่องมือไปใช้โดยทีมที่เต็มใจ | รายเดือน |
| อัตราการยอมรับและการแก้ไขทับข้อเสนอ | สัดส่วนของข้อเสนอจากปัญญาประดิษฐ์ที่ถูกยอมรับตามเดิม แก้ไข หรือปฏิเสธ | ข้อเสนอในแต่ละประเภท / ข้อเสนอที่เสนอทั้งหมด | เปอร์เซ็นต์ | บันทึกเครื่องมือที่รวมระดับทีม | เซอร์วิสเดสก์ การจัดการความรู้ | การทบทวนข้อเสนอของเครื่อง | รายเดือน |
| ความถูกต้องของผลลัพธ์ที่ผ่านการทบทวน | สัดส่วนของผลลัพธ์จากปัญญาประดิษฐ์ที่สุ่มตัวอย่าง ซึ่งผู้ทบทวนที่มีคุณสมบัติตัดสินว่าถูกต้องและเหมาะกับวัตถุประสงค์ | ผลลัพธ์ที่ตัดสินว่าถูกต้อง / ผลลัพธ์ที่สุ่มตัวอย่าง | เปอร์เซ็นต์ | บันทึกการทบทวนตัวอย่าง | การประกันคุณภาพ การจัดการความรู้ | นิยามของความเสร็จสิ้นสำหรับผลลัพธ์ | รายเดือน |
| เวลาทำงานเทียบกับค่าฐาน | เวลาที่ใช้ทำงานที่กำหนดให้เสร็จเมื่อใช้ปัญญาประดิษฐ์ เทียบกับค่าฐานหรือกลุ่มเปรียบเทียบ | มัธยฐานและเปอร์เซ็นไทล์ที่ 85 ของเวลาทำงานเมื่อใช้ปัญญาประดิษฐ์ ลบด้วยค่าเดียวกันของค่าฐานหรือกลุ่มเปรียบเทียบ | นาทีหรือชั่วโมง | งานที่จับเวลา การประทับเวลาของตั๋ว | เซอร์วิสเดสก์ การจัดการเหตุขัดข้อง | รอบเวลาของงาน | รายไตรมาส |
| ต้นทุนต่องานที่ใช้ปัญญาประดิษฐ์ช่วย | ต้นทุนรวมของงานที่ใช้ปัญญาประดิษฐ์ช่วยต่องาน รวมการทบทวนและการทำซ้ำ | (ต้นทุนสิทธิ์การใช้และการใช้งาน + ต้นทุนเวลาทบทวนและทำซ้ำ) / งานที่เสร็จโดยใช้ปัญญาประดิษฐ์ | หน่วยเงินตราต่องาน | ใบแจ้งหนี้ของผู้ขาย ประมาณการเวลา เครื่องมือติดตามงาน | การจัดการการเงินของบริการ | ต้นทุนการให้บริการต่อผลลัพธ์ | รายไตรมาส |
| การเคลื่อนไหวของผลลัพธ์เทียบกับกลุ่มเปรียบเทียบ | การเปลี่ยนแปลงของตัวบ่งชี้ผลลัพธ์สำหรับงานที่ใช้ปัญญาประดิษฐ์ช่วย เทียบกับงานที่คล้ายกันซึ่งไม่ได้ใช้ | การเปลี่ยนแปลงของตัวบ่งชี้ในกลุ่มที่ใช้ปัญญาประดิษฐ์ช่วย ลบด้วยการเปลี่ยนแปลงของกลุ่มเปรียบเทียบ | หน่วยของตัวบ่งชี้ | ตัวชี้วัดผลลัพธ์ของแต่ละกรณีการใช้ (คุณภาพ ความพึงพอใจ อัตราเปิดซ้ำ ข้อบกพร่อง) | การปรับปรุงอย่างต่อเนื่อง | การเรียนรู้จากการทดลอง | รายไตรมาส |
ให้นิยามแต่ละกรณีการใช้ด้วยงาน ผู้ใช้ และตัวบ่งชี้ผลลัพธ์ แล้วบันทึกไว้ในทะเบียน ความครอบคลุมการใช้ปัญญาประดิษฐ์เป็นตัวชี้วัดเชิงพรรณนาและไม่ใช่เป้าหมาย ความถูกต้องของผลลัพธ์ที่ผ่านการทบทวนตัดสินเทียบกับมาตรฐานที่เป็นลายลักษณ์อักษรโดยผู้มีคุณสมบัติซึ่งไม่ได้เป็นผู้ผลิตผลลัพธ์นั้น เวลาทำงานรวมเวลาที่ใช้พรอมต์ ทบทวน และแก้ไข รวมถึงเวลาสร้างผลลัพธ์ ต้นทุนต่องานนับเวลาของบุคลากรที่ใช้ตรวจสอบและแก้ไข การเคลื่อนไหวของผลลัพธ์ต้องมีกลุ่มเปรียบเทียบที่เลือกไว้ล่วงหน้าและบันทึกการเปลี่ยนแปลงอื่นในช่วงเวลานั้น
ข้อเสนอแนะ
ตัดสินใจว่าปัญญาประดิษฐ์เหมาะกับที่ใด
1. รายการงานและปัญหาที่การใช้ปัญญาประดิษฐ์แต่ละกรณีแก้ เริ่มจากความเจ็บปวด ไม่ใช่จากเครื่องมือ เช่น การร่างซ้ำ ๆ การคัดแยกที่ช้า ความรู้ที่กระจัดกระจาย การทบทวนที่ยาวนาน การแจ้งเตือนที่เป็นสัญญาณรบกวน สำหรับแต่ละกรณีที่เป็นไปได้ ให้เขียนปัญหา ผู้ที่รู้สึกถึงปัญหา ผลลัพธ์ที่ควรดีขึ้น และความเสี่ยง ข้ามกรณีที่ไม่มีปัญหาชัดเจน นี่คือทะเบียนที่ค่าฐานและตัวชี้วัดต่าง ๆ ผูกอยู่
2. จัดระดับความเสี่ยงของการใช้แต่ละกรณี เครื่องมือที่ร่างบันทึกภายในมีความเสี่ยงต่างจากเครื่องมือที่เปลี่ยนแปลงระบบการผลิต ตอบลูกค้า หรือตัดสินใจเกี่ยวกับบุคคล จัดระดับการใช้ตามความเสียหายหากผลลัพธ์ผิด ผู้ที่ได้รับผลกระทบ และมีบุคคลทบทวนก่อนมีผลหรือไม่ การใช้ที่เสี่ยงสูงกว่าต้องมีตัวชี้วัด การสุ่มตัวอย่าง และการกำกับดูแลที่เข้มแข็งกว่า (ดูหัวข้อ 10.5 “ตัวชี้วัดการกำกับดูแลและความเสี่ยงของปัญญาประดิษฐ์”)
3. เริ่มจากผู้ที่เต็มใจและงานที่มีขอบเขต นำร่องกับอาสาสมัครในงานที่พบบ่อยและตรวจสอบได้ อาสาสมัครให้ข้อมูลป้อนกลับตามจริงและปรับเครื่องมือให้เข้ากับงานของตน งานที่มีขอบเขตทำให้ค่าฐานและการเปรียบเทียบเป็นไปได้ หลีกเลี่ยงการเริ่มจากงานที่อ่อนไหวที่สุด
บันทึกค่าฐานและตั้งการเปรียบเทียบ
4. บันทึกค่าฐานก่อนการใช้ครั้งแรก สำหรับแต่ละกรณีการใช้ ให้บันทึกสถานะปัจจุบันของตัวบ่งชี้ ได้แก่ เวลาที่ใช้ทำให้เสร็จ อัตราคุณภาพหรือข้อบกพร่อง การทำซ้ำ ความพึงพอใจของผู้ใช้ และต้นทุน เก็บข้อสังเกตให้มากพอที่จะเห็นความแปรผันตามปกติ (ดูหัวข้อ 1.6 “ความรู้ด้านสถิติสำหรับตัวชี้วัดบริการ”) ระบุวันที่ของค่าฐานและเก็บรักษาไว้ ค่าฐานที่เก็บหลังเปิดใช้เป็นเพียงบันทึกของโลกใหม่
5. สร้างการเปรียบเทียบ หากเป็นไปได้ ให้คงกลุ่มหรือชุดงานที่คล้ายกันซึ่งไม่ใช้ปัญญาประดิษฐ์ตลอดช่วงนำร่อง หรือสลับการใช้รายสัปดาห์หรือตามประเภทงานอย่างเป็นธรรม การสุ่มเป็นสิ่งที่ดีที่สุดแต่มักทำไม่ได้ในทางปฏิบัติ ระบุให้ชัดว่ามีอะไรอย่างอื่นเปลี่ยนไปด้วย หากไม่มีการเปรียบเทียบ การปรับปรุงที่เกิดจากฤดูกาล การจัดกำลังคน หรือการเรียนรู้ จะถูกยกให้เป็นผลของเครื่องมือ
6. วัดเวลาอย่างซื่อสัตย์ เวลาถึงร่างแรกแทบไม่เคยเป็นตัวชี้วัดที่เหมาะสม ให้วัดเวลาถึงผลลัพธ์ที่เสร็จสมบูรณ์และผ่านการตรวจสอบ รวมการเขียนพรอมต์ การทบทวน และการแก้ไข ผู้คนมักรายงานเวลาที่ประหยัดได้โดยอิงขั้นตอนการสร้าง แต่ขั้นตอนทบทวนกลืนเวลานั้นไปบางส่วนหรือทั้งหมด การศึกษาเวลากับตัวอย่างงานคุ้มค่ากับความพยายาม
วัดคุณภาพและต้นทุน
7. สุ่มตัวอย่างผลลัพธ์ให้ผู้มีคุณสมบัติทบทวน ทุกเดือน สุ่มตัวอย่างผลลัพธ์ที่ใช้ปัญญาประดิษฐ์ช่วย และให้ผู้มีคุณสมบัติตัดสินเทียบกับมาตรฐานที่เป็นลายลักษณ์อักษร รายงานความถูกต้อง ประเภทของข้อผิดพลาดที่พบ และแนวโน้ม นี่คือการป้องกันหลักไม่ให้ความผิดพลาดที่ลื่นไหลแพร่กระจาย ให้ผู้ทบทวนเป็นอิสระจากผู้ผลิต และหมุนเวียนผู้ทบทวน
8. เฝ้าดูรูปแบบการยอมรับและการแก้ไขทับ อัตราการยอมรับที่สูงมากอาจบ่งชี้อคติจากระบบอัตโนมัติ คือผู้คนยอมรับโดยไม่ตรวจสอบ อัตราที่ต่ำมากอาจบ่งชี้ว่าเครื่องมือไม่มีประโยชน์ ใช้อัตราเหล่านี้เป็นสิ่งกระตุ้นการสนทนากับทีม และถามว่าตัวเลขมีความหมายอย่างไรในประสบการณ์ของพวกเขา อย่ากำหนดเป้าหมายอัตราการยอมรับ
9. นับต้นทุนทั้งหมดต่องาน รวมค่าสิทธิ์การใช้ ค่าใช้งานตามปริมาณ เวลาที่ใช้เขียนพรอมต์ ทบทวน และแก้ไข การฝึกอบรม และความพยายามด้านการกำกับดูแล เปรียบเทียบกับต้นทุนค่าฐาน เครื่องมือที่ร่างได้เร็วแต่ต้องแก้ไขมากอาจแพงกว่าวิธีเดิม รวมต้นทุนของความผิดพลาดที่ไปถึงผู้ใช้
ดูแลด้านมนุษย์ให้ถูกต้อง
10. ปกป้องผู้คนจากการเฝ้าติดตามและการเร่งจังหวะงานแบบค่อย ๆ คืบ รวมข้อมูลการใช้ปัญญาประดิษฐ์ในระดับทีม และอย่าใช้จัดอันดับรายบุคคล อย่าใช้การใช้งานเป็นตัวชี้วัดผลงาน ตกลงล่วงหน้าว่าเวลาที่ประหยัดได้จะไม่กลายเป็นภาระงานเพิ่มโดยอัตโนมัติ และตัดสินร่วมกับทีมว่าจะใช้เวลานั้นทำอะไร ได้แก่ คุณภาพ การเรียนรู้ การปรับปรุง หรืองานอื่น จังหวะที่คงที่เป็นเป้าหมายของการออกแบบ (ดูหัวข้อ 9.2 “ตัวชี้วัดความพึงพอใจและความเป็นอยู่ที่ดี”)
11. ถามผู้ที่ใช้งาน แบบสำรวจสั้นและการสนทนาเผยสิ่งที่ตัวเลขมองไม่เห็น ได้แก่ เครื่องมือช่วยได้ที่ใด ทำให้หงุดหงิดที่ใด ย้ายงานจากการสร้างไปเป็นการตรวจสอบที่ใด และเปลี่ยนความพึงพอใจในงานหรือไม่ ปฏิบัติต่อความกังวลเรื่องทักษะ คุณภาพ และความมั่นคงในงานด้วยความเคารพ
12. ตัดสินใจ เผยแพร่ และทบทวนซ้ำ เมื่อสิ้นสุดการนำร่องแต่ละครั้ง ให้ตัดสินใจขยาย ปรับ หรือหยุด และบันทึกหลักฐาน แบ่งปันผลลัพธ์อย่างตรงไปตรงมา รวมผลที่ไม่มีนัยสำคัญและผลเชิงลบ ทบทวนการตัดสินใจเมื่อเครื่องมือเปลี่ยนไป ซึ่งเกิดขึ้นอย่างรวดเร็ว การใช้ที่ไม่ช่วยเมื่อปีที่แล้วอาจช่วยได้ในตอนนี้ และกลับกัน
ช่องทางการบิดเบือนและมาตรการป้องกัน
| ตัวชี้วัด | ถูกบิดเบือนได้อย่างไร | ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่ |
|---|---|---|
| ความครบถ้วนของค่าฐาน | บันทึกค่าฐานหลังเหตุการณ์ ใช้ตัวบ่งชี้ที่สะดวก | ค่าฐานที่ประทับวันที่ การทบทวนวิธีการหาค่าฐานโดยผู้เป็นอิสระ |
| ความครอบคลุมการใช้ปัญญาประดิษฐ์ | บังคับใช้ นับการเรียกใช้ที่ไม่สำคัญหรืออัตโนมัติ | ห้ามเป็นเป้าหมาย เปรียบเทียบกับการเคลื่อนไหวของผลลัพธ์ นับการใช้ที่มีความหมาย |
| อัตราการยอมรับและการแก้ไขทับข้อเสนอ | ให้รางวัลแก่การยอมรับ ทำให้การปฏิเสธยุ่งยาก | ไม่มีเป้าหมาย ความถูกต้องของผลลัพธ์ที่ผ่านการทบทวน ถามผู้ใช้เกี่ยวกับประสบการณ์ |
| ความถูกต้องของผลลัพธ์ที่ผ่านการทบทวน | สุ่มเฉพาะผลลัพธ์ที่ง่าย ผู้ทบทวนที่ผ่อนปรน | สุ่มตัวอย่างโดยผู้ทบทวนที่เป็นอิสระ มาตรฐานที่เป็นลายลักษณ์อักษร หมุนเวียนผู้ทบทวน |
| เวลาทำงานเทียบกับค่าฐาน | จับเวลาเฉพาะการสร้าง เลือกงานที่ง่าย | เวลาถึงผลลัพธ์ที่ผ่านการตรวจสอบ สุ่มงานตัวอย่าง รวมการทบทวนและการทำซ้ำ |
| ต้นทุนต่องานที่ใช้ปัญญาประดิษฐ์ช่วย | ละเว้นเวลาทบทวนหรือต้นทุนการกำกับดูแล | รายการตรวจสอบต้นทุนทั้งหมด เทียบกับการศึกษาเวลา |
| การเคลื่อนไหวของผลลัพธ์เทียบกับกลุ่มเปรียบเทียบ | เลือกกลุ่มหรือช่วงเวลาที่เป็นผลดี ไม่สนใจการเปลี่ยนแปลงอื่น | กลุ่มเปรียบเทียบและช่วงเวลาที่ตกลงไว้ล่วงหน้า รายการการเปลี่ยนแปลงอื่น |
ภาพที่ดีคือมีค่าฐานสำหรับทุกการนำร่อง เวลาที่วัดถึงผลลัพธ์ที่เสร็จสมบูรณ์ ความถูกต้องที่ผู้มีคุณสมบัติตรวจสอบ ต้นทุนที่รวมการทบทวน ผลลัพธ์ที่เปรียบเทียบอย่างเป็นธรรม และทีมที่บอกว่าเครื่องมือรับใช้วิจารณญาณของตน
ข้อแลกเปลี่ยน: ข้อดีและข้อเสีย
| แนวทาง | จุดแข็ง | จุดอ่อน |
|---|---|---|
| นำร่องกับอาสาสมัคร | ข้อมูลป้อนกลับที่ตรงไปตรงมา ความเสี่ยงต่ำ | อาสาสมัครเป็นผู้กระตือรือร้น ผลอาจใช้ทั่วไปไม่ได้ |
| เปิดใช้โดยบังคับ | ครอบคลุมเร็ว | ใช้โดยไม่มีคุณค่า ความไม่พอใจ การบิดเบือน |
| การเปรียบเทียบที่ควบคุม | หลักฐานที่น่าเชื่อถือ | ต้องใช้ความพยายาม ทำไม่ได้เสมอไป |
| ก่อนและหลังเท่านั้น | เรียบง่าย | ถูกปะปนด้วยการเปลี่ยนแปลงอื่น |
| การประหยัดตามที่ผู้ขายรายงาน | หาได้ง่าย | มองโลกในแง่ดี ไม่มีบริบท |
| งานที่จับเวลาเอง | อิงกับงานของตนเอง | ใช้เวลามาก ตัวอย่างเล็ก |
| ทบทวนทุกผลลัพธ์อย่างเข้มข้น | ปลอดภัย | ทำลายประโยชน์ |
| ทบทวนแบบสุ่มตัวอย่าง | ขยายขนาดได้ | ข้อผิดพลาดบางส่วนหลุดรอด |
คำตอบเชิงบรรยายคือให้นำร่องขนาดเล็กพร้อมค่าฐานและการเปรียบเทียบ สุ่มตัวอย่างผลลัพธ์เพื่อตรวจคุณภาพ นับต้นทุนทั้งหมด และตัดสินใจจากหลักฐาน ใช้ตัวเลขจากผู้ขายเป็นสมมติฐานที่ต้องทดสอบ
คำถามสำหรับอภิปรายกับทีม
1. เราคาดหวังให้ปัญญาประดิษฐ์ช่วยเราตรงไหน และเราจะเห็นอะไรหากมันช่วยได้จริง รายการกรณีการใช้ที่เป็นไปได้ และสำหรับแต่ละกรณี ให้ระบุตัวบ่งชี้และค่าฐานที่เรามีในปัจจุบัน ผู้อำนวยการประชุมควรผลักดันให้เจาะจง ได้แก่ งานใด ตัวชี้วัดใด การเปลี่ยนแปลงขนาดเท่าใดจึงจะมีความหมาย เลือกกรณีการใช้หนึ่งกรณีเพื่อนำร่องและตกลงค่าฐาน
2. อะไรจะทำให้เราเชื่อหรือไม่เชื่อข้อเสนอของปัญญาประดิษฐ์ และเราจะรู้ได้อย่างไรว่าเราผิด อภิปรายกรณีที่ผลลัพธ์ผิดและสังเกตเห็นได้อย่างไร พิจารณาว่าการทบทวนทำงานจริงอย่างไรและแรงกดดันทำให้ข้ามไปหรือไม่ ตกลงวิธีสุ่มตัวอย่างที่ผู้เป็นอิสระจะเป็นผู้ดำเนินการ
3. เวลาที่เราประหยัดได้จะถูกใช้ไปกับการตรวจสอบเท่าใด จับเวลางานจริงหนึ่งงานทั้งแบบมีและไม่มีเครื่องมือ รวมการเขียนพรอมต์และการทบทวน เปรียบเทียบกับสิ่งที่ผู้คนคาดหวัง การสนทนานี้มักเผยว่าประโยชน์อยู่ที่ใดและไม่อยู่ที่ใด
4. เราควรทำอะไรกับเวลาที่เราประหยัดได้ ตัดสินใจล่วงหน้า ทางเลือกได้แก่ งานด้านคุณภาพ การเรียนรู้ การปรับปรุง หรือความกดดันที่ลดลง อภิปรายวิธีป้องกันไม่ให้เวลาถูกดูดซับเข้าไปในความต้องการที่มากขึ้นอย่างเงียบ ๆ ตกลงกับผู้นำว่าทีมจะปกป้องเวลานั้นอย่างไร
5. เราไม่อยากให้ปัญญาประดิษฐ์ทำอะไรในที่นี้ และเพราะเหตุใด รายการงานที่ต้องใช้วิจารณญาณ ความเห็นอกเห็นใจ หรือความรับผิดชอบของมนุษย์ อภิปรายความเสี่ยงต่อผู้ใช้และต่อทักษะ ผู้อำนวยการประชุมควรบันทึกขอบเขตเหล่านั้นเป็นข้อมูลนำเข้าของการกำกับดูแล
6. เราจะรู้ได้อย่างไรว่าถึงเวลาหยุด กำหนดหลักฐานที่จะยุติการนำร่องหรือการใช้งาน ตกลงว่าใครเป็นผู้ตัดสินและเมื่อใด การนำร่องที่ไม่มีเกณฑ์ยุติจะกลายเป็นสิ่งถาวร
สี่มุมมอง
ทีมผลิตภัณฑ์และการส่งมอบ
ทีมส่งมอบใช้ปัญญาประดิษฐ์กับโค้ด การทดสอบ การทบทวน และเอกสาร ควรวัดเวลาถึงผลลัพธ์ที่ทบทวนแล้วและใช้งานได้ เฝ้าดูคุณภาพและข้อบกพร่อง และรักษาการทบทวนโดยมนุษย์ให้มีความหมาย ควรต่อต้านตัวชี้วัดที่นับบรรทัดที่สร้างหรือการยอมรับ และยืนยันตัวชี้วัดผลลัพธ์ เช่น ข้อบกพร่องและเสถียรภาพ
ทีมบริการและปฏิบัติการ
ทีมปฏิบัติการและเซอร์วิสเดสก์ใช้ปัญญาประดิษฐ์กับการคัดแยก การสรุป ข้อเสนอ และการเฝ้าติดตาม ควรเปรียบเทียบคุณภาพการจัดการและการแก้ไขกับค่าฐาน สุ่มตัวอย่างผลลัพธ์ และเฝ้าดูผลกระทบต่อผู้ใช้และการติดต่อซ้ำ ควรปรึกษาทีมเหล่านี้ก่อนนำปัญญาประดิษฐ์ไปไว้หน้าผู้ใช้
ภาวะผู้นำและการกำกับดูแล
ผู้นำสนับสนุนโครงการปัญญาประดิษฐ์และเผชิญแรงกดดันให้แสดงผลที่ได้ ควรยืนยันให้มีค่าฐานและการเปรียบเทียบ จัดงบประมาณให้งานทบทวน หลีกเลี่ยงเป้าหมายการใช้งาน และปกป้องผู้คนจากการเฝ้าติดตามและการเร่งจังหวะงานแบบค่อย ๆ คืบ การกำกับดูแลควรกำหนดให้มีการจัดระดับความเสี่ยงและหลักฐานก่อนขยายผล
ลูกค้าและผู้ใช้
ผู้ใช้พบปัญญาประดิษฐ์ในคำตอบ ข้อเสนอ และการกระทำอัตโนมัติ ผู้ใช้ต้องการความช่วยเหลือที่ถูกต้องและเข้าใจได้ และความสามารถในการติดต่อบุคคลจริง ควรแจ้งให้ผู้ใช้ทราบเมื่อกำลังโต้ตอบกับปัญญาประดิษฐ์ในกรณีที่เหมาะสม และข้อมูลป้อนกลับของผู้ใช้เป็นหลักฐานสำคัญว่าเครื่องมือช่วยได้หรือไม่ (ดูหัวข้อ 6.1 “ตัวชี้วัดความพึงพอใจของลูกค้า”)
ในทางปฏิบัติ: ตัวอย่าง ITIL แบบคล่องตัว
กลุ่มเทคโนโลยีของบริษัทประกันภัยขนาดกลางแห่งหนึ่งดำเนินเซอร์วิสเดสก์ภายในให้พนักงาน 4,000 คนและทีมผลิตภัณฑ์หลายทีม ผู้นำซื้อสิทธิ์การใช้ผู้ช่วยปัญญาประดิษฐ์และขอรายงานเวลาที่ประหยัดได้หลังสามเดือน ตัวเลขด้านล่างเป็นตัวเลขสมมติเพื่อประกอบภาพ
หัวหน้าฝ่ายจัดการบริการยืนยันให้มีค่าฐาน สำหรับงานที่พบบ่อยที่สุดของเซอร์วิสเดสก์ คือการร่างคำตอบคำขอสิทธิ์การเข้าถึงและรหัสผ่าน เธอจับเวลาตั๋วล่าสุด 120 ใบ ได้เวลาจัดการมัธยฐาน 11 นาที เปอร์เซ็นไทล์ที่ 85 เท่ากับ 24 นาที อัตราเปิดซ้ำ 6 เปอร์เซ็นต์ และคะแนนความพึงพอใจจากแบบสำรวจที่คงที่ เธอเลือก 2 ทีมเพื่อนำร่องผู้ช่วย และคงไว้อีก 2 ทีมที่คล้ายกันเป็นกลุ่มเปรียบเทียบ ทีมนำร่องเป็นอาสาสมัคร
หลังผ่านไปแปดสัปดาห์ เวลาจัดการมัธยฐานของทีมนำร่องคือ 8 นาที และเปอร์เซ็นไทล์ที่ 85 คือ 19 นาที เทียบกับ 11 และ 23 ในทีมเปรียบเทียบ บันทึกของเครื่องมือแสดงว่าเจ้าหน้าที่ยอมรับข้อเสนอตามที่เขียนไว้ใน 52 เปอร์เซ็นต์ของกรณี แก้ไขใน 38 เปอร์เซ็นต์ และปฏิเสธใน 10 เปอร์เซ็นต์ การสุ่มตัวอย่างคำตอบ 80 รายการทุกเดือน โดยเจ้าหน้าที่อาวุโสที่ไม่ได้อยู่ในการนำร่องเป็นผู้ทบทวน พบว่าถูกต้องสมบูรณ์ 91 เปอร์เซ็นต์ โดยข้อผิดพลาดกระจุกตัวอยู่ในขั้นตอนที่ใช้ไม่บ่อย ซึ่งผู้ช่วยให้ขั้นตอนที่ล้าสมัย อัตราเปิดซ้ำในทีมนำร่องเพิ่มขึ้นเล็กน้อยเป็น 7 เปอร์เซ็นต์ ซึ่งอยู่ในความแปรผันปกติ ต้นทุนต่อตั๋วลดลงเล็กน้อยเมื่อนับสิทธิ์การใช้และเวลาทบทวนแล้ว แบบสำรวจแสดงว่าเจ้าหน้าที่ชื่นชอบร่างคำตอบ แต่ไม่ชอบการตรวจสอบเพิ่มเติมในคำตอบที่ยาว เจ้าหน้าที่สองคนบอกว่ารู้สึกถูกกดดันให้จัดการตั๋วต่อชั่วโมงมากขึ้น
หัวหน้าฝ่ายจัดการบริการรายงานว่าประหยัดเวลาได้ประมาณหนึ่งในสี่ที่ค่ามัธยฐาน และระบุข้อควรระวัง ได้แก่ สองทีม แปดสัปดาห์ อาสาสมัคร และอัตราเปิดซ้ำที่ต้องเฝ้าดู เธอตกลงกับผู้นำว่าเวลาที่ประหยัดได้จะไปที่ฐานความรู้และกรณีซับซ้อน และจะไม่เพิ่มเป้าหมายตั๋ว ขั้นตอนที่ล้าสมัยถูกแก้ไขในฐานความรู้ ผู้จัดการอาวุโสคนหนึ่งขอให้บังคับใช้ทั้งบริษัทและตั้งเป้าหมายการยอมรับ 80 เปอร์เซ็นต์ เธอปฏิเสธเป้าหมายนั้น โดยอธิบายว่าเป้าหมายการยอมรับจะให้รางวัลแก่การไม่ตรวจสอบ และเสนอให้ขยายการนำร่องไปอีกสองทีมด้วยตัวชี้วัดเดิม การตัดสินใจถูกบันทึกไว้
มุมมองตามประเภทองค์กร
สตาร์ทอัป เครื่องมือถูกนำมาใช้อย่างรวดเร็วและมักไม่เป็นทางการ ให้บันทึกค่าฐานง่าย ๆ ของเวลาและข้อบกพร่องสำหรับการใช้หลัก คงการทบทวนโดยมนุษย์สำหรับทุกสิ่งที่เผชิญลูกค้า และหลีกเลี่ยงการผูกติดกับผู้ขายรายเดียวตั้งแต่ต้น เฝ้าระวังความมั่นคงปลอดภัยและการเปิดเผยข้อมูลเมื่อพนักงานใช้เครื่องมือสาธารณะ
ธุรกิจขนาดเล็ก ผู้ช่วยสำเร็จรูปช่วยการร่างและงานประจำได้จริง ให้วัดในระดับเล็ก คือเวลาของงานจริงไม่กี่งานและอัตราการแก้ไข ระมัดระวังข้อมูลที่เป็นความลับ และตรวจเงื่อนไขของผู้ขายว่าข้อมูลถูกใช้อย่างไร
องค์กรขนาดใหญ่ ขนาดที่ใหญ่ต้องการการกำกับดูแล มาตรฐานการจัดซื้อ และแนวทางการวัดผลร่วมกัน ให้นำร่องพร้อมการเปรียบเทียบ เผยแพร่ผลภายใน และแบ่งปันค่าฐานและวิธีการระหว่างทีม ระวังโครงการที่รายงานการใช้งานเป็นความสำเร็จ
ภาครัฐและหน่วยงานสาธารณะ การตัดสินใจที่กระทบประชาชนอาจอยู่ภายใต้หน้าที่ตามกฎหมายด้านความโปร่งใส ความเป็นธรรม และการทบทวนโดยมนุษย์ จัดระดับการใช้ตามความเสี่ยง เก็บบันทึกว่าใช้ปัญญาประดิษฐ์ในการตัดสินใจอย่างไร และเปิดเผยเรื่องนี้ กฎการจัดซื้อและการคุ้มครองข้อมูลมีผลบังคับใช้ และบางเขตอำนาจมีกฎหมายด้านปัญญาประดิษฐ์โดยเฉพาะซึ่งควรตรวจสอบ ณ ปัจจุบัน (ดูหัวข้อ 8.5 “การรายงานตามข้อกำหนดและต่อภาครัฐ”)
กรณีทางธุรกิจ: แรงจูงใจ ROI และ TCO
ต้นทุนได้แก่ ค่าสิทธิ์การใช้หรือค่าใช้งาน การบูรณาการ การฝึกอบรม เวลาในการบันทึกค่าฐานและทำการเปรียบเทียบ เวลาของบุคลากรที่ใช้ทบทวนและแก้ไขผลลัพธ์ และความพยายามด้านการกำกับดูแล ต้นทุนอาจเพิ่มตามการใช้งานและเปลี่ยนตามราคาของผู้ขาย จึงควรสร้างแบบจำลองเป็นช่วง
ผลตอบแทนที่อาจเกิดขึ้นคือเวลาที่ได้คืนจากงานซ้ำ ๆ การร่างและการค้นหาที่เร็วขึ้น ความครอบคลุมของความรู้ที่ดีขึ้น และการที่พนักงานพ้นจากงานที่น่าเบื่อ สิ่งเหล่านี้คือความเป็นไปได้ที่ต้องทดสอบ ไม่ใช่สมมติฐานที่นำไปตั้งเป็นผลได้ ให้สร้างกรณีทางธุรกิจจากการนำร่องของตนเอง ได้แก่ เวลาทำงานที่วัดถึงผลลัพธ์ที่ผ่านการตรวจสอบ ความถูกต้องที่ผ่านการทบทวน การทำซ้ำ และต้นทุนทั้งหมดต่องาน เทียบกับค่าฐานและกลุ่มเปรียบเทียบ หลีกเลี่ยงการอ้างเปอร์เซ็นต์ผลิตภาพจากผู้ขายหรือแหล่งสำรวจ เว้นแต่จะตรวจสอบวิธีการและความเหมาะสมกับงานของตนได้ รวมความเสี่ยงของความผิดพลาดที่ไปถึงผู้ใช้และต้นทุนของการกำกับดูแลเครื่องมือ (ดูหัวข้อ 7.7 “ผลตอบแทนจากการลงทุนและกรณีทางธุรกิจ”)
รูปแบบที่ไม่ควรทำและข้อควรระวัง
- นำปัญญาประดิษฐ์มาใช้โดยไม่มีค่าฐาน แยกไม่ออกว่าอะไรเปลี่ยนไป ให้บันทึกก่อน
- วัดความเร็วในการสร้าง ผลประหยัดอาจหายไปในขั้นทบทวน ให้วัดเวลาถึงผลลัพธ์ที่ผ่านการตรวจสอบ
- เป้าหมายการนำไปใช้ ก่อให้เกิดการใช้งานโดยไม่มีคุณค่า ให้ถือความครอบคลุมเป็นข้อมูลเชิงพรรณนา
- เชื่อข้ออ้างของผู้ขาย เป็นเพียงสมมติฐาน ให้ทดสอบกับงานของตนเอง
- การทบทวนที่ไม่จริงจัง อคติจากระบบอัตโนมัติทำให้การทบทวนกลายเป็นตราประทับ ให้สุ่มตัวอย่างและตรวจสอบอย่างเป็นอิสระ
- แปลงเวลาที่ประหยัดได้เป็นความต้องการที่มากขึ้น กัดกร่อนความไว้วางใจและจังหวะการทำงานที่ยั่งยืน ตัดสินใจล่วงหน้าว่าเวลานั้นมีไว้เพื่ออะไร
- เฝ้าติดตามการใช้งานรายบุคคล ก่อให้เกิดความหวาดกลัว ให้รวมเป็นระดับทีม
- นำร่องที่ไม่มีจุดสิ้นสุด กลายเป็นของถาวรโดยปริยาย ให้กำหนดเกณฑ์ยุติ
แบบจำลองวุฒิภาวะ
| มิติ | 1 เริ่มต้น | 2 พัฒนา | 3 ทำให้เป็นมาตรฐาน | 4 บริหารจัดการ | 5 ประสานจัดการ |
|---|---|---|---|---|---|
| วัตถุประสงค์และค่าฐาน | นำเครื่องมือมาใช้ด้วยความกระตือรือร้น | มีรายการกรณีการใช้ | มีทะเบียนที่ระบุปัญหา ระดับความเสี่ยง ค่าฐาน และตัวบ่งชี้ของแต่ละกรณีการใช้ | กำหนดให้มีค่าฐานและการเปรียบเทียบก่อนขยายผล เผยแพร่ผลลัพธ์ | แบ่งปันค่าฐานและวิธีการข้ามทีมและพันธมิตร เลิกการใช้เมื่อหลักฐานเลือนหาย |
| หลักฐานของประโยชน์ | เรื่องเล่าและข้ออ้างของผู้ขาย | ประมาณการเวลาแบบไม่เป็นทางการ | งานที่จับเวลา ความถูกต้องที่สุ่มตัวอย่าง ต้นทุนทั้งหมดต่องาน | รายงานการเคลื่อนไหวของผลลัพธ์เทียบกับกลุ่มเปรียบเทียบพร้อมข้อจำกัด | มุมมองพอร์ตโฟลิโอว่าปัญญาประดิษฐ์ช่วยที่ใด พร้อมแบ่งปันการเรียนรู้อย่างกว้างขวาง |
| ผู้คนและจังหวะการทำงาน | บังคับใช้ เฝ้าติดตาม | ใส่ใจอย่างไม่เป็นทางการ | ใช้เฉพาะข้อมูลระดับทีม จัดสรรเวลาที่ประหยัดได้ตามข้อตกลง | ติดตามความกังวล วัดทักษะและความพึงพอใจ | ออกแบบการใช้ปัญญาประดิษฐ์ร่วมกับผู้ใช้และพนักงาน ปกป้องจังหวะการทำงานที่ยั่งยืน |
รายการตรวจสอบ
- การใช้ปัญญาประดิษฐ์แต่ละกรณีมีปัญหา ระดับความเสี่ยง เจ้าของ และเกณฑ์ยุติที่เป็นลายลักษณ์อักษร
- มีค่าฐานที่ระบุวันที่สำหรับแต่ละการนำร่องก่อนการใช้ครั้งแรก
- กำหนดกลุ่มเปรียบเทียบหรืองานเปรียบเทียบไว้ล่วงหน้า
- วัดเวลาถึงผลลัพธ์ที่เสร็จสมบูรณ์และผ่านการตรวจสอบ
- สุ่มตัวอย่างผลลัพธ์ทุกเดือนและให้ผู้มีคุณสมบัติที่เป็นอิสระทบทวน
- ต้นทุนทั้งหมดต่องานรวมการทบทวนและการทำซ้ำ
- รวมข้อมูลการใช้งานในระดับทีม และไม่ใช้กับรายบุคคล
- ทีมตกลงกันแล้วว่าจะทำอะไรกับเวลาที่ประหยัดได้
- ถามผู้ใช้เกี่ยวกับประสบการณ์การใช้เครื่องมือ
- การนำร่องสิ้นสุดด้วยการตัดสินใจที่บันทึกไว้ว่าจะขยาย ปรับ หรือหยุด
พรอมต์ AI
ร่างรายการกรณีการใช้
เรากำลังพิจารณาใช้ปัญญาประดิษฐ์กับ [งาน] ใน [ทีมและบริการ] ช่วยร่างรายการ
ในทะเบียนกรณีการใช้: ปัญหาและผู้ที่รู้สึกถึงปัญหา ผลลัพธ์ที่ควรดีขึ้น
การจัดระดับความเสี่ยงและเหตุผล ขั้นตอนการทบทวนโดยมนุษย์ ตัวบ่งชี้ค่าฐานที่ควร
บันทึกตอนนี้ แนวทางการเปรียบเทียบ องค์ประกอบต้นทุนที่ต้องติดตาม เกณฑ์ยุติ
และคำถามสำหรับทีม อย่าสมมติฟีเจอร์เฉพาะของผู้ขายหรืออ้างประโยชน์ใด ๆ
ระบุสมมติฐานของคุณ
ออกแบบการศึกษางานที่จับเวลา
ออกแบบการศึกษาขนาดเล็กเพื่อวัดผลของผู้ช่วยปัญญาประดิษฐ์ต่อ [งาน] เสนอวิธีเลือก
งาน วิธีเปรียบเทียบระหว่างการมีและไม่มีเครื่องมืออย่างเป็นธรรม สิ่งที่ต้องจับเวลา
(รวมการเขียนพรอมต์ การทบทวน และการแก้ไข) วิธีตัดสินคุณภาพของผลลัพธ์ และวิธีหลีกเลี่ยงอคติ
ให้ใช้งานได้จริงสำหรับทีมขนาด [จำนวน] คน
อย่าระบุผลที่คาดหวัง ระบุสมมติฐานและข้อจำกัดของการออกแบบ
วางแผนการสุ่มตัวอย่างผลลัพธ์
ผลลัพธ์ที่ใช้ปัญญาประดิษฐ์ช่วยของเราต่อเดือนมีประมาณ [จำนวน] ประเภท [รายการ]
ออกแบบกระบวนการสุ่มตัวอย่างและทบทวนรายเดือน: ขนาดตัวอย่างและวิธีเลือก (พร้อม
เหตุผล โดยไม่อ้างความแม่นยำเกินจริง) ผู้ทบทวน มาตรฐานที่เป็นลายลักษณ์อักษร
ประเภทของข้อผิดพลาด วิธีรายงาน และวิธีใช้ผลที่พบ ระบุสมมติฐานและความเสี่ยง
ตัดสินใจว่าจะทำอะไรกับเวลาที่ประหยัดได้
การนำร่องของเราประหยัดเวลาได้มัธยฐาน [ค่า] ต่องาน สำหรับ [จำนวน] งานต่อสัปดาห์ใน
[ทีม] เสนอทางเลือกในการใช้เวลาที่สนับสนุนคุณภาพ การเรียนรู้ และ
จังหวะการทำงานที่ยั่งยืน พร้อมข้อแลกเปลี่ยนและความเสี่ยงของแต่ละทางเลือก และวิธีตกลง
ทางเลือกกับทีมและผู้นำ อย่าสมมติว่าการประหยัดจะคงอยู่
ระบุสมมติฐานของคุณ
ทักษะ AI
- ทักษะ Agile ITIL Metrics: ใช้เพื่อค้นหาตัวชี้วัดป้องกันที่จับคู่กันสำหรับตัวชี้วัดที่เกี่ยวกับปัญญาประดิษฐ์ก่อนรายงาน
- ทักษะผู้ดูแล Agile ITIL Metrics: ใช้เพื่อตรวจสอบว่ารายการตัวชี้วัดปัญญาประดิษฐ์บันทึกค่าฐาน การเปรียบเทียบ ช่องทางการบิดเบือน และมาตรการป้องกันไว้ครบ
ข้อสรุปสำคัญ
- บันทึกค่าฐานที่ระบุวันที่ก่อนใช้ปัญญาประดิษฐ์ และเปรียบเทียบกับงานที่คล้ายกันซึ่งทำโดยไม่ใช้
- วัดเวลาถึงผลลัพธ์ที่เสร็จสมบูรณ์และผ่านการตรวจสอบ และสุ่มตัวอย่างผลลัพธ์เพื่อตรวจความถูกต้องโดยผู้ทบทวนที่เป็นอิสระ
- นับต้นทุนทั้งหมด รวมการทบทวนและการทำซ้ำ
- ถือการใช้งานและการยอมรับเป็นข้อมูลเชิงพรรณนา ไม่ใช่เป้าหมาย
- ตัดสินใจล่วงหน้าว่าจะทำอะไรกับเวลาที่ประหยัดได้ และรักษาจังหวะการทำงานที่ยั่งยืน
- เก็บข้อมูลการใช้งานในระดับทีม และให้ทุกการนำร่องจบด้วยการตัดสินใจที่บันทึกไว้
เอกสารอ้างอิงและแหล่งอ่านเพิ่มเติม
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- ISO/IEC 42001, Information technology: Artificial intelligence: Management system, International Organization for Standardization, 2023.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- Bender, E. M., Gebru, T., McMillan-Major, A., and Shmitchell, S., "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?" Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 2021.
- Russell, S., and Norvig, P., Artificial Intelligence: A Modern Approach, 4th ed., Pearson, 2020.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Artificial intelligence.
- Wikipedia, Machine learning.
- Wikipedia, Generative artificial intelligence.
- Wikipedia, Large language model.
- Wikipedia, AIOps.
- Wikipedia, Human-in-the-loop.
- Wikipedia, Automation bias.
- Wikipedia, Hallucination (artificial intelligence).
- Wikipedia, Goodhart's law.