ศาลบราซิลปรับทนายกว่า 5 แสนบาท ปมซ่อนคำสั่งโจมตี AI ในเอกสารคดี

ทนายความในบราซิลถูกปรับเป็นเงิน 16,000 ดอลลาร์สหรัฐ หรือราว 5.8 แสนบาท หลังมีรายงานว่าซ่อนข้อความลักษณะ prompt injection ไว้ในเอกสารที่ยื่นต่อศาล ข่าวดังกล่าวเผยแพร่ผ่าน Hacker News แต่ข้อมูลต้นทางที่ได้รับไม่ได้ระบุชื่อศาล คู่ความ หรือรายละเอียดคำสั่งที่ซ่อนอยู่ จึงยังไม่ควรสรุปเกินกว่าข้อเท็จจริงที่มี

เมื่อเอกสารกลายเป็นช่องทางโจมตี AI

Prompt injection คือการแทรกคำสั่งลงในเนื้อหาที่ระบบ AI นำไปอ่าน เพื่อชักนำให้โมเดลทำงานผิดจากเป้าหมายเดิม เช่น เพิกเฉยต่อคำสั่งก่อนหน้า หรือให้ความสำคัญกับข้อความที่ผู้จัดทำเอกสารฝังไว้ หากผู้ใช้มอบหมายให้ AI สรุปหรือวิเคราะห์เอกสารโดยไม่แยกเนื้อหาที่ไม่น่าเชื่อถือออกจากคำสั่งของระบบ ข้อความดังกล่าวอาจมีอิทธิพลต่อผลลัพธ์ได้ อย่างไรก็ตาม โมเดลไม่ได้ทำตามคำสั่งแฝงทุกครั้ง และวิธีโจมตีหรือผลกระทบขึ้นอยู่กับระบบที่นำไปใช้

กรณีนี้สะท้อนว่าเอกสารที่ใช้ในกระบวนการทางกฎหมายอาจเป็นทั้งแหล่งข้อมูลและช่องทางโจมตีระบบ AI การตรวจเอกสารด้วยโมเดลจึงควรมีมาตรการป้องกัน เช่น จำกัดสิทธิ์การเข้าถึงเครื่องมือ แยกคำสั่งออกจากข้อมูลที่โมเดลอ่าน และให้ผู้เชี่ยวชาญตรวจทานผลก่อนนำไปใช้ตัดสินใจหรือยื่นต่อศาล

มุมมองสำหรับนักพัฒนาและผู้ประกอบการไทย

องค์กรไทยที่ใช้ AI อ่านสัญญา อีเมล หรือเอกสารจากบุคคลภายนอก ควรมองเนื้อหาเหล่านั้นเป็นข้อมูลที่อาจไม่น่าเชื่อถือ ไม่ใช่คำสั่งที่ระบบต้องปฏิบัติตาม ควรทดสอบ prompt injection กับเอกสารหลายรูปแบบ รวมถึงข้อความที่ซ่อนในภาพหรือการจัดหน้า พร้อมบันทึกการทำงาน จำกัดการเชื่อมต่อกับระบบสำคัญ และกำหนดให้คนตรวจทานก่อนดำเนินการที่มีผลทางกฎหมายหรือการเงิน

ผู้ที่ต้องการทดลองโมเดล AI สำหรับงานข้อความหรือวิดีโอ สามารถดูตัวเลือกและเริ่มใช้งานผ่าน Tora API Playground หรือศึกษาแพ็กเกจได้ที่ หน้าราคา Tora API โดยควรประเมินการคุ้มครองข้อมูลและความเหมาะสมกับงานก่อนนำไปใช้จริง