ตัวชี้วัดเอเจนต์ปัญญาประดิษฐ์และแชตบอต
ผู้ช่วยสนทนาจะถือว่าช่วยได้ก็ต่อเมื่อปัญหาของผู้ใช้ได้รับการแก้และยังคงแก้อยู่ จึงควรวัดการแก้ปัญหาที่ผ่านการตรวจสอบ การติดต่อกลับ คุณภาพของการส่งต่อให้บุคคล และความเสียหายจากการกระทำที่ผิดพลาด และอย่าให้รางวัลแก่บอตที่กันผู้คนออกจากความช่วยเหลือ
ภาพรวมและแรงจูงใจ
หลายองค์กรวางผู้ช่วยสนทนาไว้ระหว่างผู้ใช้กับเซอร์วิสเดสก์ และบางแห่งให้เอเจนต์ปัญญาประดิษฐ์ลงมือทำได้ เช่น รีเซ็ตรหัสผ่าน สั่งอุปกรณ์ รีสตาร์ตบริการ เปลี่ยนการกำหนดค่า แชตบอตคือแอปพลิเคชันซอฟต์แวร์ที่สนทนา และผู้ช่วยเสมือนเพิ่มความสามารถในการทำงานแทนผู้ใช้ แนวคิดที่กว้างกว่าของเอเจนต์อัจฉริยะคือระบบที่รับรู้สภาพแวดล้อมและลงมือทำเพื่อบรรลุเป้าหมาย โมเดลภาษาสมัยใหม่ทำให้ระบบเหล่านี้สนทนาแบบเปิดได้เก่งกว่ารุ่นก่อนที่อิงกฎมาก และโปรแกรมสนทนาแรก คือ ELIZA ของโจเซฟ ไวเซนบาวม์ในทศวรรษ 1960 ได้แสดงให้เห็นแล้วว่าผู้คนมักเชื่อว่าเครื่องที่เพียงสร้างคำตอบที่ดูสมเหตุสมผลนั้นมีความเข้าใจ
เสน่ห์ชัดเจน ผู้ใช้ได้รับความช่วยเหลือทุกเวลาโดยไม่ต้องรอ ทีมใช้เวลากับคำขอประจำน้อยลง การบริการด้วยตนเองเป็นเป้าหมายของ ITSM มานาน และการเลื่อนไปทางซ้าย (shift-left) คือการย้ายการแก้ปัญหาไปยังจุดที่เร็วและถูกกว่า เป็นแนวคิดหลักของเซอร์วิสเดสก์ (ดูหัวข้อ 3.7 “ตัวชี้วัดบริการด้วยตนเองและระบบอัตโนมัติ”) ปัญหาของการวัดคือตัวเลขที่เห็นได้ชัดให้รางวัลแก่สิ่งที่ผิด บอตที่จบการสนทนานับว่า “กักกัน” การสนทนานั้นได้ ไม่ว่าผู้ใช้จะได้รับความช่วยเหลือหรือยอมแพ้ บอตที่ไม่เคยเสนอบุคคลจริงทำให้การกักกันสูงสุด บอตที่ให้คำตอบผิดอย่างมั่นใจก่อให้เกิดความล้มเหลวเงียบ ๆ ที่ปรากฏเป็นการติดต่อด้วยความโกรธอีกหลายวันต่อมา
ระบบสองชนิดต้องการตัวชี้วัดที่ต่างกัน
- ผู้ช่วยสนทนา ตอบคำถาม แนะนำผู้ใช้ และรวบรวมข้อมูล ความเสี่ยงคือคำตอบที่ผิดหรือไม่เป็นประโยชน์ และการกักผู้ใช้ไว้ในวงวน ตัวชี้วัดเน้นการแก้ปัญหา ความถูกต้อง และเส้นทางไปหาบุคคล
- เอเจนต์ที่ลงมือทำ เปลี่ยนแปลงสิ่งต่าง ๆ ในโลกจริง ได้แก่ บัญชี ระบบ ตั๋ว เงิน ความเสี่ยงคือการกระทำที่ผิดซึ่งมีผลจริง ตัวชี้วัดเน้นความถูกต้องของการกระทำ การย้อนกลับได้ ขอบเขตสิทธิ์ และร่องรอยการตรวจสอบ การใช้งานเหล่านี้ต้องการการกำกับดูแลที่เข้มแข็งกว่า และมักต้องให้มนุษย์อนุมัติขั้นตอนที่มีผลสืบเนื่อง (ดูหัวข้อ 10.5 “ตัวชี้วัดการกำกับดูแลและความเสี่ยงของปัญญาประดิษฐ์”)
ประเด็นด้านการออกแบบหลายข้อกำหนดสิ่งที่ต้องวัด
- ความซื่อสัตย์ว่าผู้ใช้กำลังคุยกับอะไร หลายเขตอำนาจมีหรือกำลังพัฒนาหน้าที่ในการแจ้งผู้คนเมื่อโต้ตอบกับระบบปัญญาประดิษฐ์ และ ณ เดือนตุลาคม 2026 กฎเหล่านี้ยังพัฒนาอยู่ จึงควรตรวจว่าอะไรใช้กับตน แนวปฏิบัติที่ดีคือบอกให้ชัดเจนไม่ว่าอย่างไรก็ตาม
- ทางออก ผู้ใช้ต้องติดต่อบุคคลจริงได้โดยไม่ลำบาก บอตที่ซ่อนเส้นทางไปหามนุษย์เป็นรูปแบบหลอกลวง (dark pattern) คือการออกแบบที่หลอกหรือกักผู้ใช้ให้ไปสู่ผลลัพธ์ที่ตนจะไม่เลือก
- การเข้าถึงได้ อินเทอร์เฟซสนทนาต้องใช้ได้สำหรับผู้ที่ใช้เทคโนโลยีช่วยเหลือ ผู้ที่มีความสามารถทางภาษาจำกัด และผู้ที่ต้องการภาษาหรือช่องทางอื่น
- การตัดสินใจอัตโนมัติ เมื่อผลลัพธ์ของผู้ช่วยกระทบสิทธิหรือการเข้าถึงของบุคคล เรื่องการตัดสินใจอัตโนมัติและหน้าที่ที่เกี่ยวข้องย่อมใช้บังคับ ให้การตัดสินใจเช่นนั้นอยู่กับมนุษย์ หรือมีมาตรการป้องกันที่เข้มแข็ง
มาตรการป้องกันจากกฎของกูดฮาร์ตชัดเจนที่นี่ หากการกักกันหรือการเบี่ยงเบนคำขอเป็นเป้าหมาย วิธีที่ถูกที่สุดในการบรรลุคือทำให้ติดต่อมนุษย์ได้ยากขึ้น (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”) ตัวชี้วัดด้านล่างวางการแก้ปัญหาและผลลัพธ์ของผู้ใช้เป็นอันดับแรก
หลักการสำคัญ
- การแก้ปัญหาคือตัวชี้วัด ไม่ใช่การกักกัน การสนทนาที่จบแล้วไม่ใช่ปัญหาที่ได้รับการแก้
- ตรวจสอบ และดูการติดต่อกลับ นับการติดต่อว่าแก้แล้วก็ต่อเมื่อผู้ใช้ยืนยันหรือไม่กลับมา
- จัดเส้นทางไปหาบุคคลเสมอ ทำให้เส้นทางง่าย เร็ว และมองเห็นได้ และส่งต่อบริบทไปด้วย
- ซื่อสัตย์เรื่องระบบ บอกว่าเป็นปัญญาประดิษฐ์ ทำอะไรได้ และทำอะไรไม่ได้
- จำกัดสิ่งที่เอเจนต์ทำได้ ให้สิทธิ์น้อยที่สุด ต้องมีการอนุมัติสำหรับการกระทำที่มีผลสืบเนื่อง และเก็บร่องรอยการตรวจสอบ
- วัดคุณภาพของคำตอบด้วยการสุ่มตัวอย่าง คำตอบที่ลื่นไหลอาจผิด
- รับฟังผู้ใช้และพนักงานที่ตามเก็บกวาด พวกเขาเห็นสิ่งที่ตัวชี้วัดมองไม่เห็น
นิยามตัวชี้วัด
| ตัวชี้วัด | นิยาม | สูตร | หน่วย | แหล่งข้อมูล | แนวปฏิบัติ ITIL | คู่เทียบแบบ Agile | ความถี่ |
|---|---|---|---|---|---|---|---|
| อัตราการแก้ปัญหาที่ผ่านการตรวจสอบ | สัดส่วนของการสนทนากับบอตที่ผู้ใช้ยืนยันว่าปัญหาได้รับการแก้ หรือไม่กลับมาภายในช่วงเวลาที่กำหนด | การสนทนาที่ยืนยันการแก้ปัญหา หรือไม่มีการติดต่อกลับภายใน 7 วัน / การสนทนาที่เริ่มด้วยเจตนาที่แก้ไขได้ | เปอร์เซ็นต์ | บันทึกการสนทนา การยืนยันของผู้ใช้ ข้อมูลตั๋วและการติดต่อ | เซอร์วิสเดสก์ การจัดการความรู้ | ผลลัพธ์ที่ใช้งานได้สำหรับผู้ใช้ | รายสัปดาห์ |
| อัตราการติดต่อกลับ | สัดส่วนของการสนทนาที่บอตจบ ซึ่งตามด้วยการติดต่อเกี่ยวกับปัญหาเดิมผ่านช่องทางใดก็ได้ | การสนทนาที่ตามด้วยการติดต่อที่เกี่ยวข้องภายใน 7 วัน / การสนทนาที่จบโดยไม่ส่งต่อ | เปอร์เซ็นต์ | บันทึกการสนทนาที่เชื่อมกับบันทึกตั๋วและการติดต่อ | เซอร์วิสเดสก์ การจัดการเหตุขัดข้อง | ข้อบกพร่องที่หลุดรอด | รายสัปดาห์ |
| ความครบถ้วนของบริบทการส่งต่อ | สัดส่วนของการส่งต่อให้บุคคลที่บุคคลนั้นมีข้อมูลที่ต้องการโดยไม่ต้องขอให้ผู้ใช้พูดซ้ำ | การส่งต่อที่สุ่มตัวอย่างซึ่งเจ้าหน้าที่ผู้รับประเมินว่าครบถ้วน / การส่งต่อที่สุ่มตัวอย่าง | เปอร์เซ็นต์ | การส่งต่อที่สุ่มตัวอย่าง ข้อมูลป้อนกลับของเจ้าหน้าที่ | เซอร์วิสเดสก์ การจัดการความรู้ | การทำงานร่วมกันอย่างราบรื่นข้ามเส้นแบ่ง | รายเดือน |
| เวลาถึงบุคคล | เวลาตั้งแต่ผู้ใช้ขอบุคคลจริง หรือบอตตัดสินใจส่งต่อ จนถึงบุคคลเข้ามารับช่วง | มัธยฐานและเปอร์เซ็นไทล์ที่ 85 ของนาที | นาที | บันทึกการสนทนา ข้อมูลคิว | เซอร์วิสเดสก์ การจัดการเหตุขัดข้อง | การตอบสนองเมื่อผู้ใช้ต้องการความช่วยเหลือ | รายสัปดาห์ |
| ความถูกต้องของคำตอบ | สัดส่วนของคำตอบของบอตที่สุ่มตัวอย่างซึ่งผู้ทบทวนที่มีคุณสมบัติตัดสินว่าถูกต้อง ครบถ้วน และปลอดภัย | คำตอบที่ตัดสินว่าถูกต้อง / คำตอบที่สุ่มตัวอย่าง | เปอร์เซ็นต์ | การทบทวนตัวอย่าง | การจัดการความรู้ การประกันคุณภาพ | นิยามของความเสร็จสิ้นสำหรับคำตอบ | รายเดือน |
| ความพึงพอใจและความยากง่ายในการใช้บอต | คะแนนความพึงพอใจและความง่ายของผู้ใช้หลังการสนทนา พร้อมความเห็น | คะแนนที่ดี / คะแนนทั้งหมด คะแนนความยากง่ายเฉลี่ย | เปอร์เซ็นต์ จุดบนมาตรา | แบบสำรวจสั้นหลังการสนทนา | เซอร์วิสเดสก์ ประสบการณ์ลูกค้า | ข้อมูลป้อนกลับเกี่ยวกับซอฟต์แวร์ที่ใช้งานได้ | รายสัปดาห์ |
| อัตราการย้อนกลับการกระทำของเอเจนต์ | สัดส่วนของการกระทำที่เอเจนต์ปัญญาประดิษฐ์ทำซึ่งต้องแก้ไข เลิกทำ หรือยกระดับ | การกระทำที่ถูกย้อนกลับหรือแก้ไข / การกระทำที่ทำ แยกตามประเภทการกระทำและระดับความเสี่ยง | เปอร์เซ็นต์ | บันทึกตรวจสอบการกระทำ บันทึกการเปลี่ยนแปลง | การสนับสนุนการเปลี่ยนแปลง การจัดการเหตุขัดข้อง | การทำซ้ำและการย้อนกลับ | รายสัปดาห์ |
ให้นิยามเจตนา (intent) ที่บอตจัดการ และแยกเจตนาที่ควรส่งต่อเสมอออกจากการกักกัน การแก้ปัญหาที่ผ่านการตรวจสอบนับการสนทนาก็ต่อเมื่อปัญหาอยู่ในขอบเขตและผู้ใช้ยืนยันหรือไม่มีการติดต่อกลับ เวลาถึงบุคคลเริ่มที่คำขอของผู้ใช้ ไม่ใช่เมื่อสิ้นสุดเมนู ความถูกต้องของคำตอบตัดสินเทียบกับฐานความรู้และนโยบายโดยบุคคลที่ไม่ได้สร้างบอต การย้อนกลับการกระทำของเอเจนต์แยกตามประเภทการกระทำและระดับความเสี่ยง และการกระทำที่ก่อความเสียหายรายงานแยกเป็นเหตุการณ์
ข้อเสนอแนะ
กำหนดความสำเร็จเป็นการแก้ปัญหา
1. กำหนดเจตนาและผลลัพธ์ที่ต้องการ รายการปัญหาที่ผู้ช่วยควรจัดการ เช่น การรีเซ็ตรหัสผ่าน สถานะการเข้าถึง คำถามวิธีใช้ และผลลัพธ์ของแต่ละเรื่อง ได้แก่ ตอบแล้ว ทำแล้ว หรือส่งต่อ ตัดสินใจว่าเจตนาใดต้องไปถึงบุคคลเสมอ ได้แก่ ข้อร้องเรียน เรื่องที่เกี่ยวกับความทุกข์ใจ ความปลอดภัย สิทธิตามกฎหมาย หรือเงิน บอตที่พยายามจัดการทุกอย่างจะล้มเหลวหนักที่ขอบเขต
2. วัดการแก้ปัญหาที่ผ่านการตรวจสอบและการติดต่อกลับ ถามผู้ใช้เมื่อสิ้นสุดว่าปัญหาแก้แล้วหรือไม่ และดูการติดต่อที่เกี่ยวข้องภายหลังด้วย อย่างใดอย่างหนึ่งเพียงอย่างเดียวไม่พอ ผู้ใช้ที่ยอมแพ้ไม่ตอบ และบางคนที่ได้รับความช่วยเหลือแล้วก็ยังโทรมา ทั้งสองอย่างรวมกันประมาณการการแก้ปัญหาที่แท้จริงได้ ให้ถืออัตราการติดต่อกลับเป็นมาตรการป้องกันหลักสำหรับตัวเลขการกักกันใด ๆ (ดูหัวข้อ 3.1 “ตัวชี้วัดเซอร์วิสเดสก์”)
3. หลีกเลี่ยงการกักกันเป็นเป้าหมาย รายงานการกักกันเป็นตัวเลขเชิงพรรณนาเท่านั้น และอยู่ข้างการแก้ปัญหาที่ผ่านการตรวจสอบ การติดต่อกลับ และความพึงพอใจเสมอ การกักกันที่สูงขึ้นพร้อมการติดต่อกลับที่สูงขึ้นหมายความว่าบอตกำลังปฏิเสธผู้คน อย่ากำหนดเป้าหมายการกักกันหรือผูกผลงานของใครกับมัน
ทำให้เส้นทางไปหาบุคคลง่ายและดี
4. ให้ผู้ใช้ติดต่อบุคคลได้ทุกจุด จัดวิธีขอมนุษย์ที่ชัดเจนและเรียบง่าย และปฏิบัติตามคำขอนั้น วัดเวลาถึงบุคคลและสัดส่วนของการสนทนาที่ผู้ใช้ขอมากกว่าหนึ่งครั้ง ทดสอบเส้นทางด้วยตนเองเป็นประจำ หากไม่มีบุคคลให้บริการ ให้บอกว่าเมื่อใดจะมี และเสนอการโทรกลับ
5. ส่งต่อพร้อมบริบท เมื่อบอตส่งการสนทนาให้บุคคล ให้รวมสรุป สิ่งที่ลองแล้ว ถ้อยคำของผู้ใช้ และรายละเอียดบัญชีที่เกี่ยวข้อง เพื่อไม่ให้ผู้ใช้พูดซ้ำ ขอให้เจ้าหน้าที่ผู้รับประเมินว่าการส่งต่อครบถ้วนหรือไม่ และสุ่มตัวอย่างผลลัพธ์ การส่งต่อที่แย่ทำให้ผู้ใช้เชื่อมั่นทั้งบอตและบริการน้อยลง (ดูหัวข้อ 9.3 “ตัวชี้วัดการทำงานร่วมกันและการส่งต่องาน”)
6. ออกแบบเพื่อผู้ใช้ทุกคน ทดสอบผู้ช่วยกับผู้ใช้ที่ใช้เทคโนโลยีช่วยเหลือ ผู้ที่เขียนในภาษาอื่น ผู้ที่รีบเร่งหรือทุกข์ใจ และผู้ที่ไม่คุ้นกับเทคโนโลยี เสนอช่องทางอื่น วัดการแก้ปัญหาที่ผ่านการตรวจสอบและความพึงพอใจแยกตามกลุ่มผู้ใช้ในกรณีที่ปลอดภัยและถูกกฎหมาย ค่าเฉลี่ยซ่อนกลุ่มที่บอตล้มเหลวมากที่สุด
ตรวจสอบคุณภาพของสิ่งที่บอตพูดและทำ
7. สุ่มตัวอย่างคำตอบเพื่อตรวจความถูกต้องและความปลอดภัย ทุกเดือน สุ่มตัวอย่างการสนทนาและให้ผู้มีคุณสมบัติตัดสินคำตอบ ได้แก่ ถูกต้อง ครบถ้วน ปลอดภัย และซื่อสัตย์เรื่องความไม่แน่ใจ บันทึกข้อผิดพลาดตามประเภท ได้แก่ ล้าสมัย แต่งขึ้น ขัดนโยบาย หรือเข้าใจผิด ส่งข้อผิดพลาดไปยังฐานความรู้และการกำหนดค่า เพิ่มการทดสอบเฉพาะสำหรับหัวข้อละเอียดอ่อน และสำหรับความพยายามผลักดันผู้ช่วยให้ออกนอกขอบเขต
8. รักษาความรู้ให้ทันสมัย ผู้ช่วยดีได้เท่าเนื้อหาและเครื่องมือที่มันใช้ เชื่อมข้อผิดพลาดของคำตอบกับบทความความรู้ และวัดความสดใหม่ของความรู้ที่มันใช้ (ดูหัวข้อ 3.6 “ตัวชี้วัดการจัดการความรู้”) หากระบบใช้การดึงข้อมูลจากฐานความรู้ ให้รวมการตรวจว่ามันอ้างแหล่งที่มาและแหล่งที่มาถูกต้อง
9. ซื่อสัตย์กับผู้ใช้ บอกตั้งแต่ต้นว่ากำลังคุยกับปัญญาประดิษฐ์ และทำอะไรได้และไม่ได้ อย่าตั้งชื่อหรือให้อากัปกิริยาแบบมนุษย์ที่สื่อเป็นอย่างอื่น เมื่อไม่แน่ใจ ควรบอกและเสนอบุคคลจริง ตรวจกฎหมายที่ใช้บังคับเรื่องการเปิดเผย
กำกับดูแลเอเจนต์ที่ลงมือทำ
10. จัดระดับการกระทำตามความเสี่ยงและกำหนดสิทธิ์ให้สอดคล้อง สำหรับแต่ละการกระทำที่เอเจนต์ทำได้ ให้กำหนดระดับความเสี่ยง ได้แก่ ให้ข้อมูล ย้อนกลับได้และผลกระทบต่ำ หรือมีผลสืบเนื่อง ให้สิทธิ์น้อยที่สุดเท่าที่จำเป็น กำหนดให้มนุษย์อนุมัติการกระทำที่มีผลสืบเนื่อง เก็บร่องรอยการตรวจสอบของทุกการกระทำพร้อมเหตุผล ผู้ใช้ และผลลัพธ์ การควบคุมเหล่านี้เชื่อมกับตัวชี้วัดการเปลี่ยนแปลงและความมั่นคงปลอดภัยในส่วนก่อนหน้า (ดูหัวข้อ 8.1 “ตัวชี้วัดเหตุการณ์ความมั่นคงปลอดภัยและช่องโหว่” และหัวข้อ 8.2 “ตัวชี้วัดความเสี่ยงและการควบคุม”)
11. วัดความถูกต้องและการย้อนกลับได้ของการกระทำ ติดตามอัตราการย้อนกลับตามประเภทการกระทำ และทบทวนทุกการกระทำที่ก่อความเสียหายเป็นเหตุการณ์โดยไม่กล่าวโทษ ทดสอบเอเจนต์ในสภาพแวดล้อมที่ปลอดภัยก่อนให้สิทธิ์เข้าถึง และทดสอบซ้ำเมื่อโมเดลหรือเครื่องมือเปลี่ยน โมเดลรุ่นใหม่เปลี่ยนพฤติกรรมได้ จึงควรถือเป็นการเปลี่ยนแปลงที่ต้องมีการควบคุม (ดูหัวข้อ 4.3 “ตัวชี้วัดการสนับสนุนการเปลี่ยนแปลง”)
12. รับฟังผู้ที่ตามเก็บกวาด เจ้าหน้าที่เซอร์วิสเดสก์เห็นผลของความล้มเหลวของบอต ได้แก่ ผู้ใช้ที่โกรธ การติดต่อซ้ำ และเรื่องวุ่นวายที่ต้องเก็บกวาด ถามพวกเขาเป็นประจำว่าบอตทำอะไรผิดและอะไรทำให้ยากขึ้น ข้อมูลป้อนกลับของพวกเขาและความเห็นของผู้ใช้เป็นหลักฐานที่ไม่มีตัวชี้วัดใดบันทึกได้ครบ และควรกำหนดทิศทางของการเปลี่ยนแปลงรอบถัดไป
ช่องทางการบิดเบือนและมาตรการป้องกัน
| ตัวชี้วัด | ถูกบิดเบือนได้อย่างไร | ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่ |
|---|---|---|
| อัตราการแก้ปัญหาที่ผ่านการตรวจสอบ | นับการจบการสนทนาใด ๆ ว่าแก้แล้ว ถามคำถามยืนยันแบบชี้นำ | นิยามการยืนยันอย่างเป็นกลาง อัตราการติดต่อกลับ สุ่มตัวอย่างการสนทนา |
| อัตราการติดต่อกลับ | วัดผ่านช่องทางเดียว ช่วงเวลาสั้น | เชื่อมทุกช่องทาง ใช้ช่วงเวลาที่ยาวขึ้นเป็นการตรวจสอบ สุ่มตัวอย่างการติดต่อกลับ |
| ความครบถ้วนของบริบทการส่งต่อ | ส่งบันทึกการสนทนายาว ๆ แทนสรุป สุ่มเฉพาะการส่งต่อที่ง่าย | คะแนนจากเจ้าหน้าที่ผู้รับ สุ่มตัวอย่าง เวลาถึงการแก้ปัญหาหลังส่งต่อ |
| เวลาถึงบุคคล | เริ่มนับเวลาหลังเมนู นับการตอบรับคิวเป็นการรับช่วง | เริ่มนับที่คำขอ การรับช่วงหมายถึงมีบุคคลทำงานอยู่ในการสนทนา |
| ความถูกต้องของคำตอบ | สุ่มการสนทนาที่ง่าย ผู้ทบทวนผ่อนปรน | สุ่มตัวอย่างโดยผู้ทบทวนอิสระ กรณีทดสอบเชิงโต้แย้ง |
| ความพึงพอใจและความยากง่ายในการใช้บอต | สำรวจเฉพาะการสนทนาที่เสร็จสมบูรณ์ วางแบบสำรวจในที่ที่มีเฉพาะผู้ใช้ที่พอใจไปถึง | สำรวจการสนทนาที่ถูกทิ้งด้วย อัตราการตอบและสัดส่วน อ่านความเห็น |
| อัตราการย้อนกลับการกระทำของเอเจนต์ | ไม่บันทึกการย้อนกลับ จัดประเภทการแก้ไขใหม่เป็นงานใหม่ | บันทึกตรวจสอบที่ป้องกันการแก้ไข เชื่อมการย้อนกลับกับการกระทำ ทบทวนเหตุการณ์ |
ภาพที่ดีคือการแก้ปัญหาที่ผ่านการตรวจสอบสูงและการติดต่อกลับต่ำ เส้นทางไปหาบุคคลที่ง่ายและเร็วพร้อมการส่งต่อที่ครบถ้วน คำตอบที่ถูกต้องในการทบทวนตัวอย่าง ผู้ใช้ที่พอใจทุกกลุ่ม และเอเจนต์ที่การกระทำแทบไม่ต้องย้อนกลับและไม่เคยก่อความเสียหายโดยไม่มีใครเห็น
ข้อแลกเปลี่ยน: ข้อดีและข้อเสีย
| แนวทาง | จุดแข็ง | จุดอ่อน |
|---|---|---|
| บอตอิงกฎ | คาดเดาได้ ทดสอบง่าย | แคบ เปราะบาง น่าหงุดหงิดนอกสคริปต์ |
| ผู้ช่วยโมเดลภาษา | ยืดหยุ่น ลื่นไหล | ผิดได้อย่างมั่นใจ ทดสอบยากกว่า |
| ดึงข้อมูลจากความรู้ที่อนุมัติแล้ว | คำตอบมีฐานอ้างอิง แก้ไขง่ายกว่า | ขึ้นกับคุณภาพเนื้อหา |
| การสร้างแบบเปิด | ครอบคลุมกว้าง | เสี่ยงต่อการแต่งขึ้นสูงกว่า |
| มนุษย์อนุมัติการกระทำ | ปลอดภัย | ช้ากว่า ผู้ทบทวนล้า |
| การกระทำอัตโนมัติ | เร็ว | รัศมีความเสียหายใหญ่กว่าเมื่อผิด |
| ขอบเขตเข้มงวดพร้อมส่งต่อเร็ว | ปลอดภัย | กักกันได้น้อยกว่า |
| ขอบเขตกว้าง | กักกันได้สูงกว่า | ข้อผิดพลาดที่ขอบเขตมากกว่า |
คำตอบเชิงบรรยายคือเริ่มจากเจตนาที่แคบและเข้าใจดี วางคำตอบบนความรู้ที่อนุมัติแล้ว ทำให้ความช่วยเหลือจากมนุษย์เข้าถึงง่าย และขยายขอบเขตและความเป็นอิสระเฉพาะเมื่อตัวชี้วัดรองรับ
คำถามสำหรับอภิปรายกับทีม
1. หากผู้ใช้ต้องการบุคคลจริงทันที ต้องทำกี่ขั้นตอน และเราเคยลองด้วยตนเองหรือไม่ ทดสอบเส้นทางร่วมกัน นับขั้นตอนและเวลารอ ผู้อำนวยการประชุมควรจดทุกอุปสรรค ตกลงการเปลี่ยนแปลงเพื่อให้เส้นทางสั้น และวัดเวลาถึงบุคคล
2. การสนทนาที่บอตของเราจบไปนั้น แก้ปัญหาได้จริงสัดส่วนเท่าใด ตรวจการติดต่อกลับและการยืนยันสำหรับตัวอย่าง เปรียบเทียบกับตัวเลขการกักกัน อภิปรายช่องว่าง ตัดสินใจว่าผู้นำควรเห็นตัวเลขใด
3. บอตของเราทำอะไรผิด และใครรู้ ถามเซอร์วิสเดสก์ ทบทวนการสนทนาที่สุ่มตัวอย่าง มองหารูปแบบ ได้แก่ บทความล้าสมัย คำถามกำกวม หัวข้อละเอียดอ่อน ตกลงเส้นทางจากข้อผิดพลาดไปสู่การแก้ไข พร้อมผู้รับผิดชอบ
4. การกระทำใดที่เอเจนต์ทำเองได้ และการกระทำใดต้องมีบุคคล รายการการกระทำพร้อมระดับความเสี่ยงและสิทธิ์ ถามว่าความล้มเหลวที่เลวร้ายที่สุดตามความเป็นจริงของแต่ละอย่างคืออะไร ตกลงกฎการอนุมัติและร่องรอยการตรวจสอบ และผู้ที่ทบทวนกรณีที่ก่อความเสียหาย
5. บอตกำลังทำให้ใครล้มเหลวอย่างเงียบ ๆ คิดถึงผู้ใช้ที่รีบเร่ง ทุกข์ใจ มีความต้องการด้านการเข้าถึง หรือมีความสามารถทางภาษาจำกัด ดูการแก้ปัญหาและความพึงพอใจแยกตามกลุ่มในกรณีที่ปลอดภัย ตกลงการทดสอบหนึ่งอย่างกับผู้ใช้เหล่านั้น
6. อะไรจะทำให้เราปิดบอตหรือจำกัดขอบเขตลง กำหนดหลักฐาน ได้แก่ การติดต่อกลับเกินระดับหนึ่ง การกระทำที่ก่อความเสียหาย ความถูกต้องต่ำกว่ามาตรฐาน ตัดสินใจว่าใครมีอำนาจตัดสิน การมีกฎหยุดล่วงหน้าทำให้ลงมือทำได้ง่ายขึ้น
สี่มุมมอง
ทีมผลิตภัณฑ์และการส่งมอบ
ทีมที่สร้างผู้ช่วยเป็นเจ้าของคุณภาพของมัน ควรกำหนดเจตนา วางคำตอบบนความรู้ที่อนุมัติแล้ว ทดสอบด้วยกรณีเชิงโต้แย้ง ปล่อยการเปลี่ยนแปลงภายใต้การควบคุม และอ่านความล้มเหลว ควรคัดค้านเป้าหมายการกักกันที่ให้รางวัลแก่การกักผู้ใช้
ทีมบริการและปฏิบัติการ
เจ้าหน้าที่เซอร์วิสเดสก์ทำงานกับผู้ช่วยและรับช่วงความล้มเหลวของมัน ควรให้คะแนนการส่งต่อ ทำเครื่องหมายคำตอบที่ผิด รักษาความรู้ให้ทันสมัย และรับช่วงอย่างรวดเร็วเมื่อถูกขอ พวกเขาเป็นผู้ตัดสินที่ดีที่สุดว่าผู้ช่วยช่วยผู้ใช้ได้หรือไม่ และภาระงานและความเครียดของพวกเขาเป็นส่วนหนึ่งของภาพรวม
ภาวะผู้นำและการกำกับดูแล
ผู้นำสนับสนุนผู้ช่วยและต้องการการประหยัด ควรขอการแก้ปัญหาที่ผ่านการตรวจสอบ การติดต่อกลับ และความพึงพอใจควบคู่กับการกักกัน กำหนดให้มีกฎหยุด จัดงบประมาณให้เส้นทางของมนุษย์ และทบทวนระดับความเสี่ยงสำหรับเอเจนต์ การกำกับดูแลควรตรวจการเปิดเผย การเข้าถึงได้ และหน้าที่ตามกฎหมาย
ลูกค้าและผู้ใช้
ผู้ใช้ต้องการความช่วยเหลือโดยใช้ความพยายามน้อยและไม่มีเล่ห์เหลี่ยม ควรรู้ว่ากำลังคุยกับปัญญาประดิษฐ์ ติดต่อบุคคลจริงได้ง่าย และไว้วางใจได้ว่าระบบจะไม่ลงมือโดยไม่มีเหตุผลที่ดี ประสบการณ์ของพวกเขา โดยเฉพาะเมื่อล้มเหลว เป็นหลักฐานหลักว่าผู้ช่วยคุ้มค่าที่จะมีหรือไม่
ในทางปฏิบัติ: ตัวอย่าง ITIL แบบคล่องตัว
มหาวิทยาลัยแห่งชาติแห่งหนึ่งดำเนินเซอร์วิสเดสก์สำหรับนักศึกษาและบุคลากรที่จัดการการติดต่อราว 30,000 ครั้งต่อเดือน มหาวิทยาลัยเปิดตัวแชตบอตสำหรับคำขอทั่วไป และแดชบอร์ดของผู้ขายรายงานอัตราการกักกัน 74 เปอร์เซ็นต์ ตัวเลขด้านล่างเป็นตัวเลขสมมติเพื่อประกอบภาพ
หัวหน้าฝ่ายบริการนักศึกษาตรวจสอบ ในการสนทนาที่บอตจบเมื่อเดือนที่แล้ว 29 เปอร์เซ็นต์ตามด้วยการติดต่อที่เกี่ยวข้องทางอีเมลหรือโทรศัพท์ภายในเจ็ดวัน การแก้ปัญหาที่ผ่านการตรวจสอบ โดยใช้การยืนยันของผู้ใช้และการไม่มีการติดต่อกลับ อยู่ที่ 49 เปอร์เซ็นต์สำหรับเจตนาที่อยู่ในขอบเขต เวลามัธยฐานในการถึงบุคคลหลังขอคือ 6 นาที โดยเปอร์เซ็นไทล์ที่ 85 คือ 22 นาที ส่วนหนึ่งเพราะเส้นทางต้องผ่านเมนูสามขั้น ตัวอย่างการสนทนา 100 รายการที่ทบทวนโดยที่ปรึกษาผู้มีประสบการณ์สองคนพบว่าคำตอบถูกต้อง 88 รายการและมีข้อบกพร่อง 12 รายการ ได้แก่ ล้าสมัย 7 แต่งรายละเอียดเกี่ยวกับกำหนดเวลา 3 และจัดการกรณีละเอียดอ่อนที่เกี่ยวข้องกับนักศึกษาที่ประสบปัญหาไม่เหมาะสม 2 เจ้าหน้าที่ผู้รับประเมินว่า 54 เปอร์เซ็นต์ของการส่งต่อครบถ้วน ความพึงพอใจต่อบอตต่ำกว่าสำหรับนักศึกษาที่ใช้โปรแกรมอ่านหน้าจอและผู้ที่เขียนเป็นภาษาอื่นนอกจากภาษาอังกฤษ ทีมเซอร์วิสเดสก์รายงานว่ามีการติดต่อจำนวนมากที่เริ่มต้นด้วยประโยค “แชตบอตช่วยไม่ได้”
หัวหน้าฝ่ายบริการนักศึกษาทำการเปลี่ยนแปลงร่วมกับทีม เจตนาที่ละเอียดอ่อน เช่น สวัสดิภาพ ข้อร้องเรียน และข้อพิพาทเรื่องค่าธรรมเนียม ถูกส่งตรงไปยังบุคคล และบอตแจ้งเรื่องนี้ ตัวเลือก “คุยกับบุคคลจริง” ปรากฏบนทุกหน้าจอ และติดตามเวลาถึงบุคคล โดยมีเป้าหมายให้ตอบภายในไม่กี่นาทีในช่วงเวลาที่มีเจ้าหน้าที่ การส่งต่อมีสรุปอัตโนมัติและถ้อยคำของผู้ใช้เอง เจ้าของฐานความรู้แก้บทความที่ล้าสมัย และการทบทวนตัวอย่างรายเดือนป้อนข้อมูลให้พวกเขา ผู้ช่วยถูกจำกัดให้ตอบจากเนื้อหาที่อนุมัติแล้วและต้องบอกเมื่อไม่ทราบ การนำร่องครั้งที่สองให้เอเจนต์รีเซ็ตรหัสผ่านหลังการยืนยันตัวตน โดยบันทึกทุกการกระทำและย้อนกลับได้ภายในเวลาจำกัด และติดตามอัตราการย้อนกลับ แดชบอร์ดเปลี่ยนจากการกักกันเป็นการแก้ปัญหาที่ผ่านการตรวจสอบ อัตราการติดต่อกลับ ความถูกต้อง เวลาถึงบุคคล และความพึงพอใจแยกตามกลุ่ม
สามเดือนต่อมา การแก้ปัญหาที่ผ่านการตรวจสอบสูงถึง 66 เปอร์เซ็นต์สำหรับเจตนาที่อยู่ในขอบเขต อัตราการติดต่อกลับลดเหลือ 14 เปอร์เซ็นต์ เวลามัธยฐานถึงบุคคลลดเหลือ 2 นาที สัดส่วนการส่งต่อที่ครบถ้วนเพิ่มเป็น 86 เปอร์เซ็นต์ และความถูกต้องของคำตอบที่สุ่มตัวอย่างเพิ่มเป็น 95 เปอร์เซ็นต์ โดยไม่มีกรณีละเอียดอ่อนที่จัดการไม่เหมาะสมในตัวอย่าง อัตราการย้อนกลับการกระทำของเอเจนต์ในการนำร่องรหัสผ่านคือ 1.2 เปอร์เซ็นต์ สำนักงานอธิการบดีขอให้ตั้งเป้าหมายการกักกัน 85 เปอร์เซ็นต์ หัวหน้าฝ่ายบริการนักศึกษาอธิบายว่าเป้าหมายการกักกันที่สูงขึ้นจะให้รางวัลแก่การซ่อนเส้นทางไปหาบุคคล และเสนอให้ใช้การแก้ปัญหาที่ผ่านการตรวจสอบและการติดต่อกลับเป็นตัวชี้วัด พร้อมการทบทวนว่าจะขยายอะไรต่อไป การตัดสินใจถูกบันทึกไว้
มุมมองตามประเภทองค์กร
สตาร์ทอัป ผู้ช่วยครอบคลุมงานสนับสนุนได้ด้วยต้นทุนต่ำ และคำตอบที่แย่หนึ่งครั้งอาจทำให้เสียลูกค้า ให้คงขอบเขตแคบ วางคำตอบบนเอกสารของตน ทำให้ตัวเลือกบุคคลจริงชัดเจน และอ่านทุกการยกระดับ ระวังการให้เอเจนต์ลงมือกับบัญชีหรือการชำระเงิน
ธุรกิจขนาดเล็ก ผู้ช่วยสำเร็จรูปบนเว็บไซต์จัดการคำถามทั่วไปได้ ทดสอบเหมือนลูกค้า ให้แน่ใจว่าหาหมายเลขโทรศัพท์หรืออีเมลได้ง่าย และทบทวนการสนทนารายสัปดาห์ ตรวจว่าผู้ขายทำอะไรกับข้อมูล
องค์กรขนาดใหญ่ ขนาดที่ใหญ่นำทั้งการประหยัดและความเสี่ยง ดำเนินกระบวนการกำกับดูแลสำหรับระดับความเสี่ยง การอนุมัติ และการตรวจสอบ วัดตามเจตนาและกลุ่มผู้ใช้ และให้แน่ใจว่าติดต่อบุคคลได้ในทุกช่องทาง ประสานงานข้ามฝ่ายสนับสนุน ความมั่นคงปลอดภัย กฎหมาย และการเข้าถึงได้
ภาครัฐและหน่วยงานสาธารณะ ประชาชนอาจไม่มีผู้ให้บริการทางเลือก และหน้าที่ด้านการเข้าถึงได้ การเข้าถึงทางภาษา และการปฏิบัติอย่างเป็นธรรมมีผลแรง ให้คงบุคคลจริงที่ติดต่อได้ หลีกเลี่ยงการตัดสินใจอัตโนมัติเกี่ยวกับสิทธิประโยชน์โดยไม่มีมาตรการป้องกัน เผยแพร่ว่าใช้ผู้ช่วยอย่างไร และตรวจสอบหน้าที่ด้านการเปิดเผยและกฎหมายปกครอง (ดูหัวข้อ 8.5 “การรายงานตามข้อกำหนดและต่อภาครัฐ”)
กรณีทางธุรกิจ: แรงจูงใจ ROI และ TCO
ต้นทุนได้แก่ ค่าสิทธิ์การใช้หรือค่าใช้งาน การบูรณาการ การเตรียมเนื้อหา การสุ่มตัวอย่างและทบทวนต่อเนื่อง การบำรุงรักษาฐานความรู้ การทดสอบ และการกำกับดูแล เส้นทางของมนุษย์ที่ดีก็มีต้นทุนเช่นกัน เพราะต้องมีเจ้าหน้าที่
ผลตอบแทนที่อาจเกิดขึ้นคือเวลารอที่สั้นลงสำหรับปัญหาง่าย การพ้นจากการติดต่อซ้ำ ๆ และการครอบคลุมนอกเวลาทำการ ด้านความเสี่ยงรวมการติดต่อกลับ ความไว้วางใจที่สูญเสีย ความเสียหายจากคำตอบหรือการกระทำที่ผิด และความเสี่ยงทางกฎหมาย ให้สร้างกรณีทางธุรกิจจากตัวเลขของตนเอง ได้แก่ การแก้ปัญหาที่ผ่านการตรวจสอบและการติดต่อกลับ ต้นทุนต่อการติดต่อที่แก้แล้วรวมการส่งต่อ เวลาของเจ้าหน้าที่ที่ใช้แก้ความล้มเหลวของบอต และความพึงพอใจแยกตามกลุ่ม หลีกเลี่ยงการใช้ข้ออ้างเรื่องการกักกันหรือการเบี่ยงเบนคำขอของผู้ขายเป็นค่าประมาณของตน นับต้นทุนของเส้นทางมนุษย์และการกำกับดูแล (ดูหัวข้อ 7.7 “ผลตอบแทนจากการลงทุนและกรณีทางธุรกิจ”)
รูปแบบที่ไม่ควรทำและข้อควรระวัง
- การกักกันเป็นเป้าหมาย ให้รางวัลแก่การกันผู้คนออกจากความช่วยเหลือ ให้รายงานการแก้ปัญหาที่ผ่านการตรวจสอบและการติดต่อกลับ
- เส้นทางไปหาบุคคลที่ซ่อนหรือช้า เป็นรูปแบบหลอกลวง และผู้ใช้สังเกตเห็น ทำให้สั้นและทดสอบ
- ส่งต่อโดยไม่มีบริบท ผู้ใช้พูดซ้ำและความไว้วางใจลดลง ส่งสรุปไปด้วย
- ปล่อยให้บอตจัดการกรณีละเอียดอ่อน สวัสดิภาพ ข้อร้องเรียน และสิทธิต้องใช้บุคคล ให้ส่งตรง
- การกระทำอัตโนมัติโดยไม่มีการตรวจสอบหรืออนุมัติ ข้อผิดพลาดเดียวขยายขนาดได้ ให้จัดระดับ จำกัด และบันทึก
- วัดเฉพาะที่แดชบอร์ดผู้ขายแสดง ทำให้ดูดีเกินจริง ให้เชื่อมข้อมูลของตนเอง
- เพิกเฉยต่อกลุ่มที่บอตทำให้ล้มเหลว ค่าเฉลี่ยซ่อนพวกเขา ให้ทดสอบและแยกส่วนในกรณีที่ปลอดภัย
- ไม่มีกฎหยุด บอตที่ล้มเหลวยังคงทำงานอยู่ ให้กำหนดหลักฐานที่จะจำกัดขอบเขตหรือปิดมัน
แบบจำลองวุฒิภาวะ
| มิติ | 1 เริ่มต้น | 2 พัฒนา | 3 ทำให้เป็นมาตรฐาน | 4 บริหารจัดการ | 5 ประสานจัดการ |
|---|---|---|---|---|---|
| ผลลัพธ์ | รายงานการกักกัน | สำรวจความพึงพอใจ | ติดตามการแก้ปัญหาที่ผ่านการตรวจสอบและการติดต่อกลับตามเจตนา | แยกตามกลุ่มผู้ใช้ กำหนดกฎหยุด สุ่มตรวจความถูกต้องทุกเดือน | ปรับปรุงผู้ช่วย พนักงาน และความรู้ไปพร้อมกันด้วยหลักฐานร่วม |
| เส้นทางไปหาบุคคล | หายาก | มีตัวเลือก | เส้นทางสั้น ติดตามเวลาถึงบุคคล การส่งต่อมีบริบท | ให้คะแนนและปรับปรุงคุณภาพการส่งต่อ จัดกำลังคนให้ตรงกับความต้องการ | บอตและพนักงานทำงานร่วมกันอย่างราบรื่นข้ามช่องทาง โดยเคารพการเลือกของผู้ใช้ |
| เอเจนต์ที่ลงมือทำ | ระบบอัตโนมัติแบบเฉพาะกิจ | การกระทำตามสคริปต์ | การกระทำที่จัดระดับความเสี่ยง สิทธิ์น้อยที่สุด การอนุมัติและการตรวจสอบ | ทบทวนอัตราการย้อนกลับและความเสียหาย ควบคุมการเปลี่ยนแปลง | กำกับดูแลพฤติกรรมเอเจนต์ทั่วทั้งองค์กรและผู้ให้บริการพร้อมการรับรองอิสระ |
รายการตรวจสอบ
- ระบุเจตนาของผู้ช่วย พร้อมเจตนาที่ต้องไปถึงบุคคลเสมอ
- รายงานการแก้ปัญหาที่ผ่านการตรวจสอบและอัตราการติดต่อกลับควบคู่กับการกักกัน
- มีเส้นทางไปหาบุคคลที่มองเห็นได้และสั้นบนทุกหน้าจอ และวัดเวลาถึงบุคคล
- การส่งต่อมีสรุปและถ้อยคำของผู้ใช้ และเจ้าหน้าที่ผู้รับให้คะแนน
- ผู้ทบทวนที่มีคุณสมบัติและเป็นอิสระสุ่มตัวอย่างคำตอบทุกเดือน
- แจ้งผู้ใช้ว่ากำลังคุยกับปัญญาประดิษฐ์ และมันทำอะไรได้
- ทดสอบการเข้าถึงได้และภาษาอื่นกับผู้ใช้จริง
- การกระทำของเอเจนต์จัดระดับความเสี่ยง กำหนดสิทธิ์น้อยที่สุด และบันทึกตรวจสอบ
- ทบทวนอัตราการย้อนกลับและการกระทำที่ก่อความเสียหายโดยไม่กล่าวโทษ
- มีกฎหยุดที่กำหนดว่าเมื่อใดจะจำกัดขอบเขตหรือปิดผู้ช่วย
พรอมต์ AI
กำหนดเจตนาและกฎการส่งต่อ
เราดำเนินเซอร์วิสเดสก์สำหรับ [ประเภทขององค์กร] เหตุผลการติดต่อที่พบบ่อยที่สุด
คือ: [รายการพร้อมปริมาณ] เสนอว่าเจตนาใดที่แชตบอตควรจัดการได้เต็มที่
เจตนาใดควรช่วยเพียงบางส่วนแล้วส่งต่อ และเจตนาใดต้องไปถึง
บุคคลเสมอ พร้อมเหตุผล รวมข้อมูลการส่งต่อที่ควรส่งไปด้วย อย่าแต่ง
สถิติขึ้น ระบุสมมติฐานและความเสี่ยงสำหรับกรณีละเอียดอ่อน
ตรวจข้ออ้างเรื่องการกักกัน
แดชบอร์ดแชตบอตของเราแสดงการกักกัน [ค่า] เรายังมี: การติดต่อกลับ
ภายในเจ็ดวัน [ค่า] ผลสำรวจ [ค่า] และตัวอย่าง
การสนทนา [อธิบาย] อธิบายว่าการแก้ปัญหาที่ผ่านการตรวจสอบอาจเป็นอย่างไร จะ
คำนวณจากข้อมูลของเราได้อย่างไร ช่องว่างระหว่างการกักกันกับการแก้ปัญหา
บ่งชี้อะไร และควรตรวจอะไรต่อไป อย่าอ้างสาเหตุที่ข้อมูลรองรับไม่ได้
ระบุสมมติฐานของคุณ
ออกแบบการจัดระดับความเสี่ยงสำหรับการกระทำของเอเจนต์
เอเจนต์ปัญญาประดิษฐ์อาจทำการกระทำเหล่านี้: [รายการ] สำหรับแต่ละอย่าง เสนอระดับ
ความเสี่ยง (ให้ข้อมูล ย้อนกลับได้และผลกระทบต่ำ มีผลสืบเนื่อง) สิทธิ์ที่ควร
ต้องมี ต้องให้บุคคลอนุมัติหรือไม่ สิ่งที่ต้องบันทึก วิธีย้อนกลับ และ
การทดสอบที่ต้องทำก่อนเปิดใช้ อย่าสมมติเครื่องมือเฉพาะ ระบุ
สมมติฐานและการตัดสินใจที่ต้องการข้อมูลจากฝ่ายความมั่นคงปลอดภัยและกฎหมาย
วางแผนการทบทวนการสนทนาของบอต
ออกแบบการทบทวนการสนทนาของบอตรายเดือน: ขนาดตัวอย่างและการเลือก
(รวมบางรายการที่ถูกทิ้งและบางรายการจากกลุ่มผู้ใช้ที่เสี่ยงได้รับ
บริการไม่ดี) คุณสมบัติของผู้ทบทวน เกณฑ์สั้น ๆ สำหรับความถูกต้อง ความปลอดภัย และ
ความซื่อสัตย์เรื่องความไม่แน่ใจ วิธีบันทึกข้อผิดพลาดและแก้ที่ต้นเหตุ และวิธี
รายงานโดยไม่ระบุตัวผู้ใช้ ระบุสมมติฐานและข้อควรระวังด้านความเป็นส่วนตัว
ทักษะ AI
- ทักษะ Agile ITIL Metrics: ใช้เพื่อค้นหาตัวชี้วัดป้องกันที่จับคู่กันสำหรับตัวชี้วัดแชตบอตหรือเอเจนต์ปัญญาประดิษฐ์
- ทักษะผู้ดูแล Agile ITIL Metrics: ใช้เพื่อตรวจสอบว่ารายการตัวชี้วัดแชตบอตวัดการแก้ปัญหา และมีช่องทางการบิดเบือนและมาตรการป้องกันครบถ้วน
ข้อสรุปสำคัญ
- วัดการแก้ปัญหาที่ผ่านการตรวจสอบและการติดต่อกลับ และถือการกักกันเป็นตัวเลขเชิงพรรณนาเท่านั้น
- ทำให้เส้นทางไปหาบุคคลสั้นและมองเห็นได้ และส่งต่อพร้อมบริบท
- สุ่มตัวอย่างคำตอบเพื่อตรวจความถูกต้องและความปลอดภัย และรักษาความรู้ที่ผู้ช่วยใช้ให้ทันสมัย
- ซื่อสัตย์ว่าผู้ใช้กำลังคุยกับปัญญาประดิษฐ์ และทดสอบกับผู้ใช้ที่มีแนวโน้มถูกทำให้ล้มเหลวมากที่สุด
- สำหรับเอเจนต์ที่ลงมือทำ ให้จัดระดับความเสี่ยง จำกัดสิทธิ์ กำหนดให้อนุมัติการกระทำที่มีผลสืบเนื่อง และเก็บร่องรอยการตรวจสอบ
- กำหนดกฎหยุดล่วงหน้า
เอกสารอ้างอิงและแหล่งอ่านเพิ่มเติม
- Weizenbaum, J., "ELIZA: A computer program for the study of natural language communication between man and machine," Communications of the ACM, 9(1), 1966.
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- European Parliament and Council, Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 2024.
- Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Chatbot.
- Wikipedia, Virtual assistant.
- Wikipedia, Intelligent agent.
- Wikipedia, Self-service.
- Wikipedia, Dark pattern.
- Wikipedia, Automated decision-making.
- Wikipedia, Goodhart's law.