ภาพรวมและแรงจูงใจ

ข้อตกลงระดับบริการ (SLA) บันทึกสิ่งที่ผู้ให้บริการให้คำมั่นว่าจะส่งมอบ โดยมักใช้ถ้อยคำที่ผู้ให้บริการนับได้ เช่น ความพร้อมใช้งาน เวลาตอบสนอง เวลาแก้ไข มาตรวัดเหล่านี้มีประโยชน์และก็ไม่สมบูรณ์เช่นกัน ทีมหนึ่งอาจบรรลุทุกเป้าหมายบนแดชบอร์ดขณะที่ผู้ใช้ใช้เวลาทั้งสัปดาห์หาทางเลี่ยงการล็อกอินที่ช้า พูดซ้ำกับเซอร์วิสเดสก์ และรอการอนุมัติ ช่องว่างระหว่างรายงานสีเขียวกับผู้ใช้ที่ไม่พอใจนี้บางครั้งเรียกว่าปรากฏการณ์แตงโม: เขียวด้านนอก แดงด้านใน (ดูหัวข้อ 5.1 “ตัวชี้วัด SLA, OLA และ XLA”)

ข้อตกลงระดับประสบการณ์ (XLA) คือข้อตกลงระหว่างผู้ให้บริการกับผู้ที่ใช้บริการ เกี่ยวกับประสบการณ์ที่บริการควรมอบให้ ข้อตกลงนี้ระบุผลลัพธ์และความรู้สึกที่ต้องการ เช่น “ฉันเริ่มงานได้ภายในไม่กี่นาทีหลังมาถึง” หรือ “ฉันเชื่อมั่นว่าคำขอของฉันจะได้รับการจัดการ” และระบุมาตรวัดที่จะแสดงว่าเป็นไปตามนั้นหรือไม่ คำนี้ใช้กันทั่วชุมชนการจัดการบริการไอที (ITSM) และนิยามที่แน่ชัดต่างกันไประหว่างผู้เขียนและผู้ขาย ควรตรวจเอกสารเผยแพร่ล่าสุดของเจ้าของกรอบงานก่อนอธิบาย XLA ว่าเป็นส่วนหนึ่งของ ITIL และระบุว่าใช้ความหมายแบบใด หัวข้อนี้มอง XLA เป็นแนวคิดเชิงปฏิบัติ: ข้อตกลงที่วางมาตรวัดประสบการณ์เคียงกับมาตรวัดด้านปฏิบัติการ

แนวคิดนี้มีรากอยู่นอกวงการไอที ประสบการณ์ผู้ใช้คือประสบการณ์โดยรวมของบุคคลที่ใช้ผลิตภัณฑ์ ระบบ หรือบริการ และประสบการณ์ลูกค้าคือผลรวมของปฏิสัมพันธ์ของลูกค้ากับองค์กรตามเวลา ความสามารถในการใช้งานเกี่ยวกับว่าผู้คนบรรลุเป้าหมายได้อย่างมีประสิทธิผล มีประสิทธิภาพ และน่าพึงพอใจเพียงใด ทีมแบบคล่องตัวคุ้นเคยกับแวดวงนี้จากการคิดเชิงออกแบบและการวิจัยผู้ใช้ และจากการทบทวนกับผู้มีส่วนได้ส่วนเสียที่ผู้ใช้ตอบสนองต่อซอฟต์แวร์ที่ใช้งานได้ XLA นำความใส่ใจแบบเดียวกันมาสู่บริการในขณะที่ใช้งานจริง

ประสบการณ์วัดยากและบิดเบือนง่าย แบบสำรวจที่เข้าถึงเฉพาะผู้ใช้ที่พอใจ คะแนนความรู้สึกที่ปรับจนสูงขึ้น หรือ “ดัชนีประสบการณ์” เดียวที่ไม่มีใครอธิบายได้ ล้วนทำให้เข้าใจผิดได้ไม่ต่างจากเวลาตั๋วงานที่ถูกบิดเบือน มาตรการป้องกันจากกฎของกูดฮาร์ตใช้ได้เต็มที่: มาตรวัดประสบการณ์เป็นตัวเริ่มบทสนทนา ไม่ใช่โควตา (ดูหัวข้อ 1.2 “กฎของกูดฮาร์ตและจิตวิทยาของตัวชี้วัด”)

หัวข้อนี้ต่อยอดจากมาตรวัดแบบสำรวจในหัวข้อก่อนหน้า (ดูหัวข้อ 6.1 “ตัวชี้วัดความพึงพอใจของลูกค้า”) และเพิ่มมาตรวัดเชิงพฤติกรรมและตามเส้นทางผู้ใช้ที่ไม่ต้องอาศัยการถาม

หลักการสำคัญ

  • เริ่มจากผลลัพธ์ที่ผู้คนใส่ใจ ถามผู้ใช้ว่าวันที่ดีเป็นอย่างไร และเขียนข้อตกลงด้วยถ้อยคำของพวกเขา
  • จับคู่ประสบการณ์กับปฏิบัติการ XLA อยู่เคียงข้าง SLA ไม่ใช่แทนที่
  • ใช้มาตรวัดจำนวนน้อยจากหลายมุม รวมสิ่งที่ผู้คนพูด สิ่งที่ผู้คนทำ และสิ่งที่ระบบบันทึก
  • วัดเส้นทางผู้ใช้ไม่ใช่เฉพาะจุดสัมผัส ประสบการณ์คือเส้นทางทั้งหมดจากความต้องการถึงผลลัพธ์
  • ซื่อตรงเรื่องความไม่แน่นอน ข้อมูลประสบการณ์มีสัญญาณรบกวน และกลุ่มขนาดเล็กต้องได้รับการคุ้มครอง
  • ตกลงเป้าหมายกับผู้ใช้ และปรับปรุงเป้าหมาย XLA เป็นข้อตกลงที่มีชีวิต ทบทวนร่วมกับผู้ที่ข้อตกลงนั้นอธิบาย
  • ไม่ใช้ข้อมูลประสบการณ์เพื่อจัดอันดับบุคคล

นิยามตัวชี้วัด

ตัวชี้วัด นิยาม สูตร หน่วย แหล่งข้อมูล แนวปฏิบัติ ITIL สิ่งที่สอดคล้องในแนวทางแบบคล่องตัว ความถี่
คะแนนประสบการณ์ คะแนนเฉลี่ยของข้อความประสบการณ์ที่ตกลงกัน สำหรับบริการและกลุ่มผู้ใช้หนึ่ง ๆ คะแนนเฉลี่ยของคำตอบที่ใช้ได้ต่อข้อความหนึ่งในมาตราคงที่ จุดบนมาตรา แบบสำรวจชีพจรสั้น ๆ ที่ส่งตามตารางเวลา การจัดการระดับบริการ การปรับปรุงอย่างต่อเนื่อง ข้อมูลป้อนกลับจากการทบทวนกับผู้มีส่วนได้ส่วนเสีย การทบทวนผลลัพธ์ของผลิตภัณฑ์ รายเดือน
แนวโน้มความรู้สึก ทิศทางของน้ำเสียงในความคิดเห็นแบบข้อความอิสระของบริการ สัดส่วนของความคิดเห็นที่จัดรหัสเป็นบวกลบด้วยสัดส่วนที่จัดรหัสเป็นลบ ต่อรอบเวลา จุดร้อยละ ความคิดเห็นจากแบบสำรวจและความคิดเห็นในตั๋วงานที่จัดรหัสแล้ว การปรับปรุงอย่างต่อเนื่อง ประเด็นจากการทบทวนย้อนหลัง รายเดือน
เหตุการณ์ความติดขัดต่อผู้ใช้ จำนวนสัญญาณที่แสดงว่าผู้ใช้เจอปัญหา ปรับเป็นอัตราต่อผู้ใช้ที่ใช้งาน (การติดต่อซ้ำ + รายการที่เปิดซ้ำ + การล็อกอินล้มเหลวเกินจำนวนที่กำหนด + คำขอที่ถูกละทิ้ง) / ผู้ใช้ที่ใช้งาน เหตุการณ์ต่อผู้ใช้ ระบบตั๋วงาน บันทึกของระบบยืนยันตัวตน พอร์ทัลคำขอ เซอร์วิสเดสก์ การจัดการเหตุขัดข้อง ข้อบกพร่องที่พบในการใช้งาน รายเดือน
เวลาที่สูญเสียไปกับปัญหาไอที เวลาโดยประมาณที่ผู้ใช้สูญเสียไปกับปัญหาบริการในรอบเวลาหนึ่ง นาทีที่สูญเสียซึ่งผู้ใช้รายงานเองต่อผู้ใช้ หรือเวลาที่วัดได้ในสภาพเสื่อมถ่วงด้วยผู้ใช้ที่ได้รับผลกระทบ นาทีต่อผู้ใช้ แบบสำรวจชีพจร การเฝ้าติดตามที่เชื่อมกับจำนวนผู้ใช้ การจัดการความพร้อมใช้งาน การจัดการเหตุขัดข้อง รอบเวลาที่สูญเสียไปกับสิ่งที่ขวางทาง รายไตรมาส
อัตราการทำเส้นทางผู้ใช้สำเร็จ สัดส่วนของผู้ใช้ที่ทำเส้นทางที่กำหนดเสร็จโดยไม่ละทิ้งหรือขอความช่วยเหลือ ผู้ใช้ที่ทำเส้นทางเสร็จโดยไม่มีการติดต่อขอความช่วยเหลือ / ผู้ใช้ที่เริ่มเส้นทาง ร้อยละ การวิเคราะห์พอร์ทัล การเชื่อมโยงกับตั๋วงาน การจัดการคำขอบริการ การจัดการแคตตาล็อกบริการ ความสำเร็จของงานในการทดสอบการใช้งาน รายเดือน
การบรรลุ XLA สัดส่วนของเป้าหมายประสบการณ์ที่ตกลงกันซึ่งบรรลุในรอบเวลานั้น เป้าหมายที่บรรลุ / เป้าหมายที่ตกลงกัน ร้อยละ ทะเบียน XLA การจัดการระดับบริการ การบรรลุเป้าหมายการส่งมอบ รายไตรมาส
ช่องว่างด้านประสบการณ์ ความต่างระหว่างการบรรลุ SLA กับคะแนนประสบการณ์ของบริการเดียวกัน ลำดับของการบรรลุ SLA ลบด้วยลำดับของคะแนนประสบการณ์ข้ามบริการ หรือการเปรียบเทียบที่เขียนเป็นข้อความ ผลต่างของลำดับหรือหมายเหตุ รายงาน SLA และแบบสำรวจชีพจร การจัดการระดับบริการ นิยามของความเสร็จสมบูรณ์เทียบกับข้อมูลป้อนกลับของผู้ใช้ รายไตรมาส

กำหนดกลุ่มผู้ใช้และรอบเวลาสำหรับทุกมาตรวัด ระบุวิธีคุ้มครองกลุ่มขนาดเล็ก เช่น ไม่แสดงผลของกลุ่มใดก็ตามที่มีน้อยกว่าสิบคน เหตุการณ์ความติดขัดนับสัญญาณ ไม่ใช่การกล่าวโทษ ดังนั้นเหตุการณ์จึงผูกกับบริการและกลุ่มผู้ใช้ ไม่เคยผูกกับการประเมินผลการปฏิบัติงานของบุคคลที่ระบุชื่อ

ข้อเสนอแนะ

ออกแบบข้อตกลงร่วมกับผู้ใช้

1. สัมภาษณ์ก่อนวัด ใช้เวลากับตัวอย่างผู้ใช้จากแต่ละกลุ่มสำคัญและถามว่า: วันที่ดีกับบริการนี้เป็นอย่างไร ตรงไหนที่เสียเวลาของคุณ ถ้าบริการนี้ใช้ได้ดี คุณจะเลิกทำอะไร ใช้นิสัยของการออกแบบที่มนุษย์เป็นศูนย์กลาง: สังเกตงานจริง และจดสิ่งที่ได้ยินด้วยถ้อยคำของผู้ใช้ ข้อความที่ได้กลายเป็นเป้าหมายประสบการณ์ของข้อตกลง

2. เขียนข้อความประสบการณ์เป็นผลลัพธ์ “ฉันทำให้พนักงานใหม่ทำงานได้ตั้งแต่เช้าวันแรก” บอกได้มากกว่า “คำขอสิทธิ์เข้าใช้ของพนักงานใหม่แก้ไขเสร็จในสองวัน” ให้แต่ละข้อความสั้น เป็นบุรุษที่หนึ่ง และผูกกับบริการเดียว ตั้งเป้าสามถึงห้าข้อความต่อบริการเพื่อให้ผู้คนจำได้

3. เลือกมาตรวัดจากสามมุม สำหรับแต่ละข้อความ เลือกมาตรวัดหนึ่งอย่างจากสิ่งที่ผู้คนพูด (คำถามชีพจรหรือประเด็นความคิดเห็น) หนึ่งอย่างจากสิ่งที่ผู้คนทำ (การทำเส้นทางสำเร็จ การติดต่อซ้ำ คำขอที่ถูกละทิ้ง) และหากเป็นไปได้หนึ่งอย่างจากสิ่งที่ระบบบันทึก (ความหน่วงของขั้นตอนในเส้นทาง) เมื่อทั้งสามไม่ตรงกัน แสดงว่าคุณพบสิ่งที่ควรสืบค้น

4. ตกลงเป้าหมายอย่างเบามือ ในช่วงแรก ให้กำหนดทิศทาง (“ลดเวลาที่สูญเสีย”) และวันทบทวนแทนตัวเลขตายตัว เป้าหมายตายตัวสำหรับมาตรวัดประสบการณ์ใหม่เชื้อเชิญการบิดเบือนก่อนที่จะเข้าใจมาตรวัด เมื่อมีเป้าหมายปรากฏ ให้เป็นช่วงค่า และระบุว่าใครเห็นพ้อง

เก็บและอ่านข้อมูล

5. ใช้คำถามชีพจรสั้น ๆ สม่ำเสมอ คำถามหนึ่งข้อเกี่ยวกับข้อความหนึ่งข้อ ถามตามช่วงเวลาปกติ ตอบง่ายกว่าแบบสำรวจรายปีที่ยาว หมุนเวียนข้อความ รักษาถ้อยคำให้คงที่ และหลีกเลี่ยงการถามบุคคลเดียวกันมากกว่าหนึ่งครั้งในช่วงเวลาที่กำหนด เชื่อมการออกแบบชีพจรกับหลักการแบบสำรวจในหัวข้อก่อนหน้า (ดูหัวข้อ 6.1 “ตัวชี้วัดความพึงพอใจของลูกค้า”)

6. อ่านความคิดเห็นอย่างมีวิธีการ เครื่องมือการวิเคราะห์ความรู้สึกจัดเรียงข้อความปริมาณมากได้ แต่ตีความการประชด ศัพท์เฉพาะ และบริบทผิด ให้ถือผลจากเครื่องมือเป็นรอบแรก ให้คนตรวจตัวอย่างทุกเดือน และเก็บรายการประเด็นสั้น ๆ ที่จัดรหัสด้วยมือ จุดประสงค์ของการวิเคราะห์คือหาหัวข้อที่จะพูดคุยกับผู้ใช้ ไม่ใช่สร้างคะแนน

7. เพิ่มสัญญาณเชิงพฤติกรรมจากเส้นทางผู้ใช้ ติดตั้งเครื่องมือวัดในเส้นทางที่ผู้ใช้ใส่ใจ โดยให้ผู้ใช้ทราบ: เริ่มที่ใด ออกกลางทางที่ใด และขอความช่วยเหลือที่ใด การเฝ้าติดตามผู้ใช้จริงของเวลาโหลดหน้า ข้อผิดพลาด และขั้นตอนให้มุมมองที่แบบสำรวจให้ไม่ได้ บอกผู้ใช้ว่าเก็บอะไร เก็บเท่าที่จำเป็น และรวมข้อมูลก่อนแบ่งปัน

8. คุ้มครองกลุ่มขนาดเล็กและบุคคล ข้อมูลประสบการณ์อาจเผยว่าใครกำลังลำบาก ให้รวมผลลัพธ์ ปิดกลุ่มที่ต่ำกว่าขนาดที่ตกลงกัน และไม่ใช้ข้อมูลในการประเมินผลการปฏิบัติงาน ตัดสินว่าใครดูความคิดเห็นดิบได้ และเก็บให้สอดคล้อง ในสภาพแวดล้อมที่มีการกำกับดูแล ให้ปรึกษาผู้เชี่ยวชาญด้านความเป็นส่วนตัวก่อนเก็บข้อมูลเชิงพฤติกรรม

ใช้ข้อตกลง

9. แสดง SLA และ XLA เคียงกัน ในหน้าเดียวกัน แสดงการบรรลุด้านปฏิบัติการและมาตรวัดประสบการณ์ของแต่ละบริการ การจับคู่คือหัวใจ: SLA สีเขียวกับคะแนนประสบการณ์ที่ลดลงเป็นสัญญาณให้สนทนา และคะแนนประสบการณ์สีเขียวกับ SLA ที่ล้มเหลวควรตรวจดูว่าผู้ใช้ไม่ได้รับแจ้งอะไร

10. จัดการทบทวนประสบการณ์เป็นประจำร่วมกับผู้ใช้ พบกันทุกไตรมาสกับตัวแทนของกลุ่มผู้ใช้ แสดงข้อมูล ถามว่าหมายความว่าอย่างไร และตกลงการปรับปรุงหนึ่งหรือสองอย่างที่จะลอง รวมเซอร์วิสเดสก์และทีมผลิตภัณฑ์ไว้ด้วย เพราะสาเหตุของประสบการณ์ที่ไม่ดีมักอยู่ที่ผลิตภัณฑ์ ไม่ใช่การสนับสนุน

11. สนับสนุนงบประมาณสำหรับการแก้ไข ข้อตกลงที่ระบุความติดขัดแล้วปล่อยไว้เหมือนเดิมสอนผู้ใช้ว่ามาตรวัดเป็นเพียงการแสดง ให้นำปัญหาประสบการณ์สองถึงสามอันดับแรกขึ้นแบ็กล็อกพร้อมเจ้าของและวันที่ และรายงานในการทบทวนครั้งถัดไป ดูตัวชี้วัดการปรับปรุงอย่างต่อเนื่องในส่วนหลังของหนังสือเล่มนี้ (ดูหัวข้อ 9.5 “ตัวชี้วัดการปรับปรุงอย่างต่อเนื่อง”)

12. ปรับข้อตกลงเมื่อบริการและผู้ใช้เปลี่ยน เลิกใช้ข้อความที่ไม่สำคัญอีกต่อไปและเพิ่มข้อความใหม่ บันทึกการเปลี่ยนแปลงและทำเครื่องหมายบนแผนภูมิแนวโน้ม เช่นเดียวกับนิยามตัวชี้วัดอื่น ๆ

ช่องทางการบิดเบือนและมาตรการป้องกัน

ตัวชี้วัด วิธีที่ถูกบิดเบือน ตัวชี้วัดหรือแนวปฏิบัติป้องกันที่จับคู่กัน
คะแนนประสบการณ์ สำรวจเฉพาะผู้ใช้ที่พอใจ กำหนดเวลาส่งหลังเหตุการณ์ที่ดี เปลี่ยนถ้อยคำของข้อความให้เห็นด้วยได้ง่ายขึ้น อัตราการตอบและองค์ประกอบของผู้ตอบ บันทึกความคงที่ของถ้อยคำ อ่านความคิดเห็น
แนวโน้มความรู้สึก ปรับเครื่องมือหรือรายการประเด็นจนแนวโน้มสูงขึ้น ตัดช่องทางที่เป็นลบออก ให้คนตรวจตัวอย่างรายเดือน ใช้คู่มือจัดรหัสที่คงที่และบันทึกการเปลี่ยนแปลง
เหตุการณ์ความติดขัดต่อผู้ใช้ นิยามเหตุการณ์ใหม่ให้นับน้อยลง กีดกันการติดต่อซ้ำด้วยการทำให้เข้าถึงเดสก์ยาก ปริมาณการติดต่อตามช่องทาง อัตราการละทิ้งที่เซอร์วิสเดสก์ (ดูหัวข้อ 3.1 “ตัวชี้วัดเซอร์วิสเดสก์”)
เวลาที่สูญเสียไปกับปัญหาไอที ถามในลักษณะที่ทำให้ประมาณการต่ำ นับเฉพาะเหตุขัดข้องรุนแรง เปรียบเทียบเวลาที่ผู้ใช้รายงานเองกับเวลาเสื่อมที่วัดได้ ทบทวนถ้อยคำของแบบสำรวจ
อัตราการทำเส้นทางผู้ใช้สำเร็จ นิยามเส้นทางให้แคบจนความล้มเหลวอยู่นอกขอบเขต ชี้นำกรณียากไปช่องทางอื่น นิยามเส้นทางในทะเบียน อัตราการติดต่อขอความช่วยเหลือและการยกระดับ
การบรรลุ XLA ตั้งเป้าหมายที่บรรลุอยู่แล้ว นิยามเป้าหมายชุดเล็กมาก ทบทวนการตั้งเป้าหมายกับผู้ใช้ แสดงการบรรลุพร้อมแนวโน้มและประวัติเป้าหมาย
ช่องว่างด้านประสบการณ์ เลือกบริการหรือรอบเวลาที่ดูดีที่สุด เปลี่ยน SLA ที่นำมาเปรียบเทียบ ชุดเปรียบเทียบคงที่ที่ตกลงล่วงหน้า แสดงทุกบริการ

การอ่านค่าที่แข็งแรงคือภาพประสบการณ์ที่ตรงกับความคิดเห็นและบทสนทนาในการทบทวนกับผู้ใช้ มาตรวัดชุดเล็กที่เปลี่ยนช้าและด้วยเหตุผลที่ทีมอธิบายได้ และแบ็กล็อกการแก้ไขด้านประสบการณ์ที่สั้นลง

ข้อแลกเปลี่ยน: ข้อดีและข้อเสีย

แนวทาง จุดแข็ง จุดอ่อน
SLA อย่างเดียว ชัดเจน นับได้ มีผลผูกพันตามสัญญา พลาดสิ่งที่ผู้ใช้รู้สึก อาจเป็นสีเขียวขณะที่ผู้ใช้ไม่พอใจ
XLA อย่างเดียว ใกล้สิ่งที่ผู้ใช้เห็นคุณค่า วัดและเปรียบเทียบยากกว่า อ่อนเมื่อใช้เป็นฐานของสัญญากับผู้ให้บริการ
SLA ร่วมกับ XLA ให้ทั้งสองมุมมองและเปิดเผยช่องว่าง งานมากขึ้น ต้องอาศัยความไว้วางใจและวิจารณญาณในการอ่านความไม่ตรงกัน
มาตรวัดประสบการณ์จากแบบสำรวจ เสียงโดยตรงของผู้ใช้ อคติจากการตอบ เป็นภาระของผู้ตอบ
มาตรวัดเชิงพฤติกรรม ไม่เป็นภาระแบบสำรวจ เป็นภววิสัย ต้องมีเครื่องมือวัดและความระมัดระวังเรื่องความเป็นส่วนตัว แสดงว่าเกิดอะไร ไม่ใช่เพราะเหตุใด
ดัชนีประสบการณ์เดียว พาดหัวง่าย ซ่อนรายละเอียด บิดเบือนง่ายและอธิบายยาก

คำตอบเชิงบรรยายคือใช้ XLA เป็นส่วนเสริม เริ่มใช้กับบริการไม่กี่รายการที่ช่องว่างระหว่างปฏิบัติการกับประสบการณ์มองเห็นได้อยู่แล้ว อย่าแทนที่ SLA ตามสัญญาด้วยมาตรวัดประสบการณ์ที่ผู้ให้บริการควบคุมไม่ได้ เก็บข้อผูกพันทางกฎหมายและการค้าไว้ใน SLA และใช้ XLA เพื่อขับเคลื่อนการปรับปรุงและการสนทนา

คำถามสำหรับอภิปรายกับทีม

1. สำหรับบริการที่สำคัญที่สุดของเรา วันที่ดีสำหรับผู้ใช้เป็นอย่างไร ในถ้อยคำของพวกเขา รวบรวมผู้ใช้สองถึงสามคน หรือใช้บทสัมภาษณ์ล่าสุดซ้ำ และจดข้อความของพวกเขา ผู้อำนวยความสะดวกควรต้านทานการเปลี่ยนถ้อยคำให้เป็นภาษาด้านปฏิบัติการ เปรียบเทียบข้อความกับ SLA ปัจจุบันและถามว่าข้อความใดที่ SLA ครอบคลุม และข้อความใดที่ละเลย ช่องว่างเหล่านั้นคือตัวเลือกสำหรับมาตรวัดประสบการณ์

2. แดชบอร์ดสีเขียวของเรากับเรื่องเล่าของผู้ใช้ขัดแย้งกันตรงไหน ขอให้ทีมยกกรณีล่าสุดที่บริการบรรลุเป้าหมายแต่ผู้ใช้ยังบ่น ไล่ตามกรณีนั้นผ่านข้อมูล: เราวัดอะไร และพลาดอะไร บทสนทนามักเผยขั้นตอนที่ขาด การส่งต่องาน หรือนาฬิกาที่หยุดเร็วเกินไป บันทึกกรณีนั้นเป็นตัวอย่างสำหรับการทบทวนกับผู้ใช้ครั้งถัดไป

3. เราจะใช้มาตรวัดสามอย่างใดเพื่อรู้ว่าข้อความประสบการณ์นี้เป็นจริงหรือไม่ เลือกข้อความหนึ่งข้อและเลือกมาตรวัดหนึ่งอย่างจากสิ่งที่ผู้คนพูด หนึ่งอย่างจากสิ่งที่ทำ และหนึ่งอย่างจากสิ่งที่ระบบบันทึก ถามว่าแต่ละอย่างอาจพลาดอะไรและบิดเบือนได้อย่างไร ตกลงชุดที่เล็กที่สุดที่จะโน้มน้าวผู้ใช้ที่สงสัยได้

4. เราเก็บอะไรเกี่ยวกับผู้ใช้ที่พวกเขาอาจไม่คาดคิด และพวกเขาจะสบายใจกับเรื่องนั้นหรือไม่ ทำรายการแหล่งข้อมูลเชิงพฤติกรรมและวัตถุประสงค์ของแต่ละแหล่ง ขอให้ตัวแทนผู้ใช้แสดงปฏิกิริยา ผู้อำนวยความสะดวกควรมองความไม่สบายใจเป็นข้อมูลเกี่ยวกับการออกแบบ ไม่ใช่อุปสรรค ตัดสินใจว่าจะเลิกเก็บอะไร จะรวมอะไร และใครดูข้อมูลดิบได้

5. เราจะทำอย่างไรหากคะแนนประสบการณ์ลดลงขณะที่ทุก SLA ยังเป็นสีเขียว ซ้อมการตอบสนอง ใครดูก่อน ตรวจอะไร และคุยกับใคร ตัดสินว่าทีมจะเชื่อคะแนนประสบการณ์หรือหาทางปัดตก คำตอบแสดงว่าทีมให้ความสำคัญกับข้อตกลงมากเพียงใด

6. เราสัญญาจะแก้ไขเรื่องประสบการณ์อะไรไว้บ้าง และเกิดอะไรขึ้นกับสิ่งเหล่านั้น ทบทวนการประชุมกับผู้ใช้สองครั้งล่าสุด สำหรับแต่ละข้อผูกพัน แสดงวันที่ เจ้าของ และผลลัพธ์ หากรายการว่างหรือล้าสมัย ให้อภิปรายว่าเพราะเหตุใด ตกลงการแก้ไขหนึ่งอย่างที่จะส่งมอบก่อนการทบทวนครั้งถัดไป และวิธีบอกผู้ใช้ว่าเกิดขึ้นแล้ว

สี่มุมมอง

ทีมผลิตภัณฑ์และการส่งมอบ

ทีมผลิตภัณฑ์ถือสาเหตุส่วนมากของประสบการณ์ที่ไม่ดี: หน้าจอที่สับสน ขั้นตอนที่ช้า ข้อผิดพลาดที่ไม่ชัดเจน มาตรวัดประสบการณ์ให้หลักฐานจากการใช้งานจริงและป้อนเข้าสู่การปรับแต่งรายการงานโดยตรง ทีมควรอ่านประเด็นความคิดเห็นก่อนการวางแผนแต่ละครั้ง และเชื่อมมาตรวัดเส้นทางผู้ใช้กับแบ็กล็อก ไม่ควรมองคะแนนประสบการณ์เป็นเป้าหมายของทีม เป็นข้อมูลเกี่ยวกับบริการที่ใช้ร่วมกับทีมปฏิบัติการ

ทีมบริการและปฏิบัติการ

ทีมปฏิบัติการเห็นความติดขัดก่อน: การติดต่อซ้ำ วิธีเลี่ยงปัญหา และผู้โทรที่โกรธ มาตรวัดประสบการณ์ให้วิธีแสดงสิ่งที่ SLA ซ่อน และเหตุผลที่จะแก้ไขสาเหตุแทนการปิดตั๋วงานเร็วขึ้น ควรยึดมั่นกับนิยามและการสุ่มตัวอย่าง หลีกเลี่ยงการชี้นำผู้ใช้ไปช่องทางที่ดูดีกว่า และอ่านความคิดเห็นที่ไม่พอใจให้ครบ (ดูหัวข้อ 3.1 “ตัวชี้วัดเซอร์วิสเดสก์”)

ภาวะผู้นำและการกำกับดูแล

ผู้นำเลือกว่า XLA จะเป็นบทสนทนาหรือกระดานคะแนน ควรถามว่าข้อมูลประสบการณ์บอกอะไรเกี่ยวกับที่ที่ควรลงทุน หลีกเลี่ยงการเชื่อมค่าตอบแทนกับดัชนีประสบการณ์ และคุ้มครองความเป็นส่วนตัวของข้อมูลพนักงาน การกำกับดูแลควรขอดูนิยาม การสุ่มตัวอย่าง และประวัติการเปลี่ยนแปลง และควรมองการกระโดดที่อธิบายไม่ได้ในมาตรวัดประสบการณ์เป็นเหตุผลให้ตรวจวิธีการ

ลูกค้าและผู้ใช้

ผู้ใช้เป็นผู้เขียนข้อตกลง พวกเขาควรได้รับเชิญให้อธิบายว่าสิ่งที่ดีเป็นอย่างไร ได้เห็นผลลัพธ์ และได้รับแจ้งว่าอะไรเปลี่ยนไป พวกเขาควรรู้ว่ามีการเก็บอะไรเกี่ยวกับตนและเพราะเหตุใด และมีวิธีปฏิเสธ ผู้ใช้ที่ถูกถามบ่อยแต่ไม่เห็นอะไรดีขึ้นจะหยุดตอบ และความเงียบจะทำให้ข้อมูลดูดีกว่าความเป็นจริง

ในทางปฏิบัติ: ตัวอย่าง ITIL แบบคล่องตัว

บริษัทบริการวิชาชีพขนาดกลางแห่งหนึ่งดำเนินบริการไอทีภายในให้พนักงาน 1,800 คน ตัวเลขด้านล่างเป็นตัวเลขสมมติเพื่อประกอบตัวอย่าง

รายงาน SLA รายเดือนแสดงความพร้อมใช้งานร้อยละ 99.8 สำหรับแพลตฟอร์มการทำงานร่วมกัน และเหตุขัดข้องร้อยละ 96 แก้ไขได้ภายในเป้าหมาย ผู้อำนวยการฝ่ายไอทีพอใจ แต่ที่ปรึกษาที่ไซต์ลูกค้ายังบ่นเรื่องการลงชื่อเข้าใช้ที่ช้าอย่างต่อเนื่อง ผู้จัดการบริการเสนอโครงการนำร่อง XLA สำหรับแพลตฟอร์มการทำงานร่วมกัน

จากการสัมภาษณ์ที่ปรึกษา 12 คน มีสามข้อความปรากฏขึ้น: “ฉันเข้าร่วมการประชุมกับลูกค้าได้ภายในสองนาทีหลังตัดสินใจ” “ฉันไม่ต้องโทรหาไอทีเพื่อกลับเข้าบัญชีของฉัน” และ “เมื่อมีอะไรเสีย ฉันรู้ว่ากำลังเกิดอะไรขึ้น” ทีมเลือกมาตรวัดสำหรับแต่ละข้อความ สำหรับข้อแรก ใช้คะแนนชีพจรของข้อความและเวลาที่วัดได้จากเริ่มลงชื่อเข้าใช้จนเข้าร่วมการประชุมจากการเฝ้าติดตามผู้ใช้จริงของลูกค้า รวมตามภูมิภาค สำหรับข้อที่สอง นับการติดต่อขอรีเซ็ตรหัสผ่านต่อผู้ใช้ที่ใช้งานต่อเดือน สำหรับข้อที่สาม ติดตามสัดส่วนของเหตุขัดข้องที่ข้อความสถานะได้รับการปรับปรุงภายใน 30 นาที และถามคำถามชีพจรเกี่ยวกับเรื่องนั้น

ข้อมูลสองเดือนแรกแสดงว่าเวลามัธยฐานจากลงชื่อเข้าใช้ถึงเข้าร่วมการประชุมนั้นปกติในภูมิภาคสำนักงานใหญ่ แต่ยาวในอีกสองภูมิภาค และการติดต่อรีเซ็ตรหัสผ่านต่อผู้ใช้สูงกว่าสามเท่าสำหรับพนักงานที่ใช้แล็ปท็อปที่บริหารจัดการเมื่อเทียบกับผู้อื่น คะแนนประสบการณ์ของข้อความแรกคือ 3.1 จาก 5 เทียบกับ 4.2 สำหรับพนักงานที่ทำงานในสำนักงาน SLA เป็นสีเขียวทั้งสองกรณี ผู้จัดการบริการนำข้อค้นพบไปเสนอในการทบทวนกับผู้ใช้ ทีมตกลงการปรับปรุงสองอย่าง: ปรับการตั้งค่าการลงชื่อเข้าใช้ครั้งเดียวสำหรับภูมิภาคระยะไกล และเปลี่ยนการตั้งค่าการรีเฟรชโทเค็นบนแล็ปท็อปที่บริหารจัดการ สามเดือนต่อมา เวลามัธยฐานลดลง การติดต่อรีเซ็ตต่อผู้ใช้ลดลง และคะแนนประสบการณ์เพิ่มเป็น 3.8 ผู้อำนวยการเห็นชอบให้คง XLA สำหรับบริการนี้ เพิ่มอีกหนึ่งบริการ และไม่ตั้งเป้าหมายตัวเลขจนกว่าจะถึงการทบทวนครั้งถัดไป

มุมมองตามประเภทองค์กร

สตาร์ตอัป การติดต่อใกล้ชิดกับผู้ใช้ทำให้การสัมภาษณ์ง่าย อย่าเพิ่งสร้างกรอบงาน: เขียนข้อความประสบการณ์สามข้อสำหรับบริการหลัก ถามผู้ใช้เกี่ยวกับข้อความเหล่านั้นทุกเดือน และเพิ่มมาตรวัดเชิงพฤติกรรมหนึ่งอย่าง ข้อตกลงอย่างเป็นทางการค่อยตามมาภายหลัง

ธุรกิจขนาดเล็ก พนักงานมีน้อยและมักมีผู้จัดการร่วมกับไอที ใช้การสนทนาและแบบสำรวจชีพจรรายเดือนที่สั้นมาก ระมัดระวังข้อมูลเชิงพฤติกรรม เพราะกลุ่มเล็กระบุตัวตนได้ง่าย

องค์กรขนาดใหญ่ ขนาดที่ใหญ่นำมาซึ่งกลุ่มผู้ใช้และผู้ให้บริการจำนวนมาก นิยามข้อความประสบการณ์ต่อบริการและต่อกลุ่มบุคคลตัวแทน เก็บแดชบอร์ดต่อบริการ และหลีกเลี่ยงดัชนีประสบการณ์เดียวทั้งบริษัท ทำให้ XLA สอดคล้องกับสัญญาผู้ให้บริการเพื่อให้ผู้ให้บริการมีส่วนร่วมให้ข้อมูลโดยไม่ถูกผูกกับมาตรวัดที่ตนมีอิทธิพลไม่ได้

ภาครัฐและหน่วยงานสาธารณะ บริการมักเผชิญทั้งประชาชนและพนักงาน โดยมีหน้าที่เรื่องการเข้าถึง ภาษาที่เข้าใจง่าย และการเข้าถึงอย่างเท่าเทียม ให้รวมการเข้าถึงไว้ในข้อความประสบการณ์และมาตรวัด ทดสอบกับผู้ใช้ที่พึ่งพาเทคโนโลยีช่วยเหลือ และคุ้มครองข้อมูลส่วนบุคคลตามกฎหมาย เมื่อต้องรายงานต่อสาธารณะ ให้รายงานวิธีการพร้อมผลลัพธ์ (ดูหัวข้อ 8.5 “การรายงานตามข้อกำหนดและต่อภาครัฐ”)

กรณีทางธุรกิจ: แรงจูงใจ ROI และ TCO

ต้นทุนปานกลาง การสัมภาษณ์ผู้ใช้ใช้เวลาไม่กี่วันต่อบริการ แบบสำรวจชีพจรรายเดือนต้องใช้เครื่องมือแบบสำรวจ ซึ่งหลายองค์กรมีอยู่แล้ว มาตรวัดเชิงพฤติกรรมต้องมีเครื่องมือวัดบ้าง ซึ่งอาจมาจากการเฝ้าติดตามและการวิเคราะห์พอร์ทัลที่มีอยู่ การทบทวนกับผู้ใช้ใช้เวลาไม่กี่ชั่วโมงต่อไตรมาส การจัดรหัสความคิดเห็นใช้เวลาหนึ่งถึงสองชั่วโมงต่อเดือน

ผลตอบแทนอยู่ที่การพบปัญหาที่ SLA ไม่แสดง เช่น เส้นทางที่ช้าในบางภูมิภาคหรืออุปกรณ์ และการนำเงินปรับปรุงไปสู่สิ่งที่ผู้ใช้เห็นคุณค่า เวลาที่สูญเสียไปกับปัญหาไอทีแปลงเป็นต้นทุนได้ด้วยอัตราค่าจ้างพนักงานของตนเองหากวัดอย่างระมัดระวัง หลีกเลี่ยงข้ออ้างทั่วไปเรื่องผลิตภาพที่เพิ่มขึ้น ให้สร้างกรณีจากฐานเปรียบเทียบของตนเอง: เวลาที่สูญเสียต่อผู้ใช้ เหตุการณ์ความติดขัดต่อผู้ใช้ และการติดต่อซ้ำ ก่อนและหลังการแก้ไข และนับต้นทุนที่หลีกเลี่ยงได้ของวิธีเลี่ยงปัญหาด้วย เช่น เครื่องมือเงาที่ถูกนำมาใช้เพราะบริการอย่างเป็นทางการใช้ยาก

รูปแบบที่ไม่ควรทำและข้อควรระวัง

  • แทนที่ SLA ด้วย XLA สัญญาต้องมีข้อผูกพันที่นับได้ ให้เก็บทั้งสองและแสดงไว้ด้วยกัน
  • ดัชนีประสบการณ์รวมเดียว ซ่อนสาเหตุและเชื้อเชิญการบิดเบือน ให้แสดงมาตรวัดแยกกันจำนวนน้อย
  • นิยามประสบการณ์โดยไม่มีผู้ใช้ ข้อความที่เขียนในห้องประชุมอธิบายมุมมองของผู้ให้บริการ ให้สัมภาษณ์และทดสอบกับผู้ใช้
  • สำรวจจนผู้คนเลิกตอบ ทำชีพจรให้สั้นและหมุนเวียนหัวข้อ
  • เก็บข้อมูลเชิงพฤติกรรมโดยไม่บอกใคร ทำลายความไว้วางใจและอาจผิดกฎหมาย ให้เปิดเผยว่าเก็บอะไรและเพราะเหตุใด
  • ใช้ข้อมูลประสบการณ์ในการประเมินผลการปฏิบัติงาน เปลี่ยนเครื่องมือการเรียนรู้เป็นการสอดส่องและทำลายการรายงานที่ซื่อตรง
  • แก้มาตรวัดไม่ใช่สาเหตุ อย่าเปลี่ยนเส้นทางผู้ใช้ไปช่องทางที่เป็นมิตรกว่าเพื่อปรับปรุงตัวเลข ให้แก้เส้นทางผู้ใช้
  • ปล่อยข้อค้นพบไว้บนสไลด์ ให้สนับสนุนงบประมาณและติดตามการแก้ไขด้านประสบการณ์

แบบจำลองวุฒิภาวะ

มิติ 1 เริ่มต้น 2 พัฒนา 3 ทำให้เป็นมาตรฐาน 4 บริหารจัดการ 5 ประสานจัดการ
เป้าหมายประสบการณ์ เป็นนัยหรือไม่มี ผู้ให้บริการเขียนสำหรับบางบริการ ข้อความที่เขียนร่วมกับผู้ใช้สำหรับบริการสำคัญ ทบทวนและปรับข้อความทุกไตรมาสร่วมกับกลุ่มผู้ใช้ ใช้ร่วมกันข้ามบริการและผู้ให้บริการ เป็นเจ้าของร่วมกับผู้ใช้
การวัด แบบสำรวจเป็นครั้งคราว แบบสำรวจชีพจรสำหรับหนึ่งบริการ มาตรวัดสามมุม (พูด ทำ ระบบ) สำหรับแต่ละข้อความ มาตรวัดมีแนวโน้ม คุ้มครองกลุ่มขนาดเล็ก และเปรียบเทียบกับ SLA ข้อมูลรวมข้ามผู้ให้บริการ โดยผู้ใช้ควบคุมทางเลือกด้านความเป็นส่วนตัวได้
การลงมือทำ จัดการข้อร้องเรียนทีละรายการ แก้ไขแบบเฉพาะกิจ ปัญหาประสบการณ์สำคัญอยู่ในแบ็กล็อกพร้อมเจ้าของ การแก้ไขได้รับงบประมาณ ติดตาม และรายงานกลับไปยังผู้ใช้ ประสานการปรับปรุงข้ามทีม ผู้ให้บริการ และผู้ใช้ โดยแบ่งปันการเรียนรู้

รายการตรวจสอบ

  • แต่ละบริการที่มี XLA มีข้อความประสบการณ์สามถึงห้าข้อที่เขียนร่วมกับผู้ใช้
  • แต่ละข้อความมีมาตรวัดจากอย่างน้อยสองมุม (พูด ทำ ระบบ)
  • มาตรวัด SLA และประสบการณ์ปรากฏในหน้าเดียวกันสำหรับแต่ละบริการ
  • แบบสำรวจชีพจรสั้น สม่ำเสมอ และถ้อยคำคงที่
  • จัดรหัสความคิดเห็นด้วยคู่มือที่คงที่ และมีคนตรวจตัวอย่างรายเดือน
  • ปิดกลุ่มที่ต่ำกว่าขนาดที่ตกลงกันในรายงาน
  • ข้อมูลเชิงพฤติกรรมที่เก็บถูกเปิดเผยต่อผู้ใช้และจำกัดตามความจำเป็น
  • ไม่มีมาตรวัดประสบการณ์ใดถูกใช้ในการประเมินผลการปฏิบัติงานรายบุคคล
  • มีการทบทวนรายไตรมาสกับตัวแทนผู้ใช้อยู่ในปฏิทิน
  • ปัญหาประสบการณ์สำคัญมีเจ้าของและวันที่ในแบ็กล็อก

พรอมต์ AI

ร่างข้อความประสบการณ์จากบันทึกการสัมภาษณ์

นี่คือบันทึกที่ไม่ระบุตัวตนจากการสัมภาษณ์ผู้ใช้ [จำนวน] คนของ [บริการ] ใน
[ประเภทองค์กร]: [วางบันทึก] เสนอข้อความประสบการณ์สามถึงห้าข้อในบุรุษที่หนึ่ง
แต่ละข้อผูกกับผลลัพธ์หนึ่งอย่างที่ผู้ใช้ใส่ใจ โดยใช้ถ้อยคำของพวกเขาเท่าที่เป็นไปได้
สำหรับแต่ละข้อ เสนอมาตรวัดหนึ่งอย่างจากสิ่งที่ผู้คนพูด หนึ่งอย่างจากสิ่งที่ผู้คนทำ
และหนึ่งอย่างจากสิ่งที่ระบบบันทึก อย่าคิดตัวเลขขึ้นเอง ระบุข้อสมมติของคุณและ
สิ่งที่คุณบอกไม่ได้จากบันทึก

หาช่องว่างระหว่าง SLA กับประสบการณ์

สำหรับ [บริการ] ในช่วง [รอบเวลา] ผลลัพธ์ SLA ของเราคือ: [วางผลลัพธ์] ข้อมูล
ประสบการณ์ของเรา (คะแนนชีพจร ประเด็นความคิดเห็น จำนวนความติดขัด) คือ:
[วางข้อมูล] อธิบายว่าทั้งสองไม่ตรงกันตรงไหน เสนอคำอธิบายที่เป็นไปได้สามข้อ
สำหรับแต่ละความไม่ตรงกัน และเสนอสิ่งที่ควรตรวจต่อไป อย่าสันนิษฐานสาเหตุที่
ข้อมูลรองรับไม่ได้ ระบุข้อสมมติของคุณและข้อมูลเพิ่มเติมที่จะช่วยได้

ทบทวนแนวทางความเป็นส่วนตัวสำหรับมาตรวัดเชิงพฤติกรรม

เราวางแผนจะเก็บสัญญาณเชิงพฤติกรรมเหล่านี้เพื่อวัดประสบการณ์: [รายการ] ผู้ใช้คือ
[พนักงาน ประชาชน หรือทั้งสองกลุ่ม] ใน [เขตอำนาจรัฐหรือภาคส่วน] ทบทวนแผน
เรื่องความเสี่ยงต่อความเป็นส่วนตัว ความไว้วางใจ และความเป็นธรรม และเสนอแนวปฏิบัติ
ขั้นต่ำเรื่องการรวมข้อมูล การเก็บรักษา และการเปิดเผย ชี้ประเด็นที่ฉันควรนำไป
ปรึกษาผู้เชี่ยวชาญด้านความเป็นส่วนตัว อย่าสรุปทางกฎหมาย ระบุข้อสมมติของคุณ

เตรียมการทบทวนประสบการณ์รายไตรมาสกับผู้ใช้

ร่างวาระและสรุปหนึ่งหน้าสำหรับการทบทวนประสบการณ์รายไตรมาสของ [บริการ] กับ
ตัวแทนของ [กลุ่มผู้ใช้] ให้มีผล SLA และประสบการณ์เคียงกัน ประเด็นความคิดเห็น
หลัก ข้อผูกพันของไตรมาสที่แล้วและสถานะ และคำถามสองข้อสำหรับผู้ใช้ ข้อมูล:
[วางข้อมูล] ใช้น้ำเสียงเรียบง่ายและหลีกเลี่ยงศัพท์เฉพาะ ระบุข้อสมมติของคุณและ
ทำเครื่องหมายข้ออ้างใดที่ต้องตรวจสอบ

ทักษะ AI

  • ทักษะ Agile ITIL Metrics: ใช้เพื่อหามาตรการป้องกันของมาตรวัดประสบการณ์ก่อนเพิ่มลงในแดชบอร์ด
  • ทักษะผู้ดูแล Agile ITIL Metrics: ใช้เพื่อตรวจว่ารายการตัวชี้วัด XLA มีช่องทางการบิดเบือนและมาตรการป้องกัน

ข้อสรุปสำคัญ

  • XLA เพิ่มเป้าหมายและมาตรวัดประสบการณ์เข้ากับเป้าหมายด้านปฏิบัติการ และเสริม SLA
  • เขียนข้อความประสบการณ์ร่วมกับผู้ใช้ ด้วยถ้อยคำของพวกเขา และผูกแต่ละข้อกับมาตรวัดจากสิ่งที่ผู้คนพูด ทำ และระบบบันทึก
  • แสดงผล SLA และประสบการณ์ไว้ด้วยกัน และมองความไม่ตรงกันเป็นสัญญาณให้สืบค้น
  • คุ้มครองผู้ใช้: เปิดเผยสิ่งที่เก็บ รวมข้อมูล ปิดกลุ่มขนาดเล็ก และไม่นำไปใช้ในการประเมินผลการปฏิบัติงาน
  • หลีกเลี่ยงดัชนีประสบการณ์เดียว และหลีกเลี่ยงเป้าหมายตายตัวก่อนที่จะเข้าใจมาตรวัด
  • สนับสนุนงบประมาณสำหรับการแก้ไขที่ข้อมูลเผยให้เห็น และบอกผู้ใช้ว่าอะไรเปลี่ยนไป

เอกสารอ้างอิงและแหล่งอ่านเพิ่มเติม

  1. ISO 9241-210, Ergonomics of human-system interaction: Human-centred design for interactive systems, International Organization for Standardization.
  2. Norman, D. A., The Design of Everyday Things, revised and expanded edition, Basic Books, 2013.
  3. Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
  4. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly, 2016.
  5. Wikipedia, Service-level agreement.
  6. Wikipedia, User experience.
  7. Wikipedia, Customer experience.
  8. Wikipedia, Usability.
  9. Wikipedia, Goodhart's law.
  10. Wikipedia, Human-centered design.
  11. Wikipedia, Sentiment analysis.
  12. Wikipedia, Real user monitoring.

ตัวชี้วัด ITIL แบบคล่องตัว — วัดบริการไอทีแบบคล่องตัวโดยไม่บิดเบือนงาน

ซอร์สและการมีส่วนร่วม: github.com/agile-itil-metrics. สร้างด้วย Lily Design System™.

สร้างโดย Joel Parker Henderson.