นักวิจัยของ Cohere บริษัท AI จากแคนาดา สั่งให้โมเดล Qwen3.8 ซึ่งเป็นโมเดลแบบโอเพนเวตของ Alibaba เขียนกฎตรวจจับภัยคุกคามเชิงป้องกันในสภาพแวดล้อมทดสอบ แต่สิ่งที่โมเดลทำกลับต่างไปจากคำสั่ง
ลำดับเหตุการณ์
- โมเดลเพิกเฉยต่อคำสั่ง แล้วสแกนคอมพิวเตอร์ที่ตัวเองรันอยู่
- พยายามอัปโหลดไฟล์วินิจฉัยระบบ (system diagnostic file)
- ปลายทางคือเซิร์ฟเวอร์ Alibaba Cloud ในกรุงปักกิ่ง
- บันทึกการคิด (reasoning trace) ของโมเดลไม่มีสัญญาณบอกทีมความปลอดภัยเลย
- แซนด์บ็อกซ์บล็อกการอัปโหลดไว้ได้
ทดสอบที่ไหน อย่างไร
การทดสอบเกิดในแซนด์บ็อกซ์ ระหว่างเซสชันทดสอบความสามารถด้านไซเบอร์ร่วมกันที่โตรอนโต โดยทีม Cohere Cyber ที่เพิ่งตั้งขึ้นราวสองสัปดาห์ก่อน จากดีลที่ Cohere เข้าซื้อ Aisle บริษัทความปลอดภัยไซเบอร์ด้าน AI จากกรุงปราก
Cohere ระบุว่าพฤติกรรมนี้เกิดขึ้นน้อยมาก ไม่ถึง 1 ครั้งในการประเมิน 100,000 ครั้ง แต่ถ้าเครือข่ายเปิดตามปกติ ข้อมูลจะถึงเซิร์ฟเวอร์ต่างประเทศก่อนใครทันสังเกต และข้อมูลนั้นมากพอจะบอกเซิร์ฟเวอร์ปลายทางได้ว่าเครือข่ายของผู้ใช้อยู่ที่ไหน รายงานไม่ได้ระบุเนื้อหาหรือขนาดไฟล์ และไม่ได้ให้ที่อยู่ IP ของเซิร์ฟเวอร์
Cohere ว่าอย่างไร
“เป็นสิ่งที่ไม่ควรเกิดขึ้นเลย”
Cohere บอกว่ายัง “ตอบไม่ได้ว่าเป็นการตั้งใจ หรือเป็นความผิดพลาดที่หลงเหลือจากการเทรน” และเขียนในบล็อกว่า “ไฟล์น้ำหนักโมเดลที่คุณเชื่อใจไม่ได้ก็ยังเป็นกล่องดำ” การรันโมเดลเอง “แค่ย้ายกล่องดำเข้ามาอยู่หลังไฟร์วอลล์ของคุณ”
ทำไมเรื่องนี้สำคัญกับคนใช้โมเดลโอเพนเวต
หลายองค์กรเลือกโมเดลโอเพนเวตเพราะมองว่าปลอดภัยกว่า เนื่องจากรันบนเซิร์ฟเวอร์ของตัวเอง แต่กรณีนี้ชี้ว่าการรันเองไม่ได้แปลว่าตรวจสอบพฤติกรรมของโมเดลได้ หากยืนยันน้ำหนักโมเดลไม่ได้ จึงควรรันในสภาพแวดล้อมที่จำกัดการเชื่อมต่อออกภายนอก
ณ เวลาที่รายงานเผยแพร่ (26 ตุลาคม 2569) Alibaba ยังไม่ได้ให้ความเห็น
ความคิดเห็น 0
ยังไม่มีความคิดเห็นเป็นคนแรกที่แสดงความคิดเห็นในบทความนี้