ผลทดสอบชี้ AI ระดับแนวหน้ายังสะดุดกับงานจริงในสำนักงาน
แม้บริษัทเทคโนโลยีลงทุนมหาศาลกับโมเดล AI และเอเจนต์อัตโนมัติ แต่ผลการทดสอบในสถานการณ์การทำงานจริงชี้ว่า ระบบระดับแนวหน้ายังไม่สามารถรับผิดชอบงานสำนักงานที่ซับซ้อนได้อย่างสม่ำเสมอ
โมเดลอาจทำคะแนนสูงในการทดสอบคณิตศาสตร์ การเขียนโปรแกรม หรือการตอบคำถาม แต่เมื่อถูกมอบหมายงานที่ต้องอ่านเอกสารหลายชุด ติดต่อระบบหลายแห่ง และตัดสินใจจากข้อมูลที่ไม่สมบูรณ์ ความผิดพลาดจะเพิ่มขึ้นอย่างชัดเจน
รายงานดังกล่าวเกิดขึ้นในช่วงที่การลงทุนสะสมในอุตสาหกรรม AI ถูกประเมินว่าสูงกว่า 1.6 ล้านล้านดอลลาร์ ทำให้เกิดคำถามว่าความสามารถเชิงพาณิชย์พัฒนาเร็วพอจะรองรับความคาดหวังและค่าใช้จ่ายหรือไม่
Benchmark ทั่วไปไม่เหมือนงานในชีวิตจริง
การทดสอบมาตรฐานมักมีคำถามชัดเจน ข้อมูลครบ และเกณฑ์คำตอบที่ตรวจสอบได้ง่าย ขณะที่งานจริงมีความคลุมเครือและต้องประสานข้อมูลจากหลายแหล่ง
ตัวอย่างเช่น การวางแผนประชุมไม่ได้จบที่การเลือกเวลา แต่ต้องตรวจปฏิทินของหลายคน พิจารณาเขตเวลา ห้องประชุม ข้อจำกัดการเดินทาง และความสำคัญของผู้เข้าร่วม
หาก AI พลาดเพียงขั้นตอนเดียว ผลลัพธ์ทั้งหมดอาจใช้งานไม่ได้ แม้ว่าส่วนอื่นจะถูกต้องก็ตาม
อ่านเพิ่มเติม
งานหลายขั้นตอนสะสมความผิดพลาด
เอเจนต์ AI ต้องแบ่งงานออกเป็นหลายขั้นตอน เปิดเครื่องมือ อ่านข้อมูล ตัดสินใจ และตรวจสอบผลลัพธ์ แต่ละขั้นตอนมีโอกาสเกิดข้อผิดพลาด
หากระบบมีความแม่นยำ 95% ต่อหนึ่งขั้นตอน งานที่ต้องทำ 20 ขั้นตอนติดต่อกันมีโอกาสสำเร็จครบทุกส่วนต่ำกว่าตัวเลข 95% อย่างมาก
ปัญหานี้ยิ่งชัดเมื่อเอเจนต์ไม่รู้ว่าตนเองทำผิด และเดินหน้าต่อด้วยข้อมูลที่คลาดเคลื่อน ทำให้ความเสียหายสะสมก่อนมนุษย์ตรวจพบ
ความล้มเหลวไม่ได้หมายความว่า AI ไม่มีประโยชน์
AI ยังสามารถเพิ่มประสิทธิภาพในงานที่มีขอบเขตชัดเจน เช่น สรุปเอกสาร จัดหมวดหมู่ข้อมูล ร่างข้อความ และค้นหาข้อมูลเบื้องต้น
ปัญหาเกิดเมื่อองค์กรนำระบบไปใช้แทนมนุษย์ในงานที่ต้องรับผิดชอบผลลัพธ์ทั้งหมด โดยไม่มีขั้นตอนตรวจสอบหรือช่องทางให้พนักงานเข้ามาแก้ไข
แนวทางที่เหมาะสมในปัจจุบันคือให้ AI ทำหน้าที่เป็นผู้ช่วย ลดงานซ้ำ และเตรียมข้อมูล ส่วนมนุษย์ยังคงตัดสินใจในขั้นตอนที่มีความเสี่ยงสูง
บริษัทต้องวัดผลจากงานสำเร็จ ไม่ใช่จำนวนครั้งที่ใช้ AI
องค์กรบางแห่งวัดความสำเร็จจากจำนวนพนักงานที่ใช้ AI หรือจำนวนคำขอที่ส่งเข้าสู่ระบบ แต่ตัวเลขดังกล่าวไม่ได้บอกว่าคุณภาพงานดีขึ้นหรือไม่
ตัวชี้วัดควรรวมถึงอัตรางานสำเร็จ เวลาที่มนุษย์ใช้แก้ไขข้อผิดพลาด ความพึงพอใจของลูกค้า และค่าใช้จ่ายรวมต่อภารกิจ
หากพนักงานต้องใช้เวลาตรวจและแก้งานที่ AI สร้างมากกว่าการทำเอง ระบบอาจไม่ได้ลดต้นทุนจริง แม้ดูเหมือนทำงานได้รวดเร็วในขั้นแรก
ตลาดแรงงานอาจเปลี่ยนช้ากว่าที่คาด
ผลทดสอบดังกล่าวลดน้ำหนักคำกล่าวที่ว่าเอเจนต์ AI จะสามารถแทนพนักงานสำนักงานจำนวนมากได้ในเวลาอันใกล้
บทบาทของพนักงานมีแนวโน้มเปลี่ยนไปสู่การกำหนดปัญหา ตรวจสอบข้อมูล ควบคุมระบบ และรับผิดชอบการตัดสินใจ มากกว่าหายไปทั้งหมด
องค์กรที่ลดบุคลากรเร็วเกินไปอาจพบว่าต้องจ้างกลับ เมื่อ AI ไม่สามารถรับมือกับกรณียกเว้น ลูกค้าที่มีปัญหาซับซ้อน หรือสถานการณ์ที่ไม่มีคำตอบอยู่ในข้อมูลเดิมได้.
