DualChem Benchmark เปิดช่องโหว่ AI ด้านเคมี: โมเดลเก่งขึ้น แต่ยังรับมือความเสี่ยงไม่พอ

Scale AI เปิดตัว DualChem Benchmark ซึ่งเป็นชุดทดสอบสำหรับประเมินความสามารถและความปลอดภัยของโมเดลภาษาขนาดใหญ่ในงานเคมีที่มีลักษณะ “สองทาง” หรือ dual use กล่าวคือ คำถามเดียวกันอาจเป็นประโยชน์ต่อการวิจัยที่ถูกต้องตามกฎหมาย ขณะเดียวกันก็อาจถูกนำไปใช้ในทางที่เป็นอันตรายได้ ข่าวดังกล่าวได้รับความสนใจในชุมชน Hacker News เนื่องจากสะท้อนความท้าทายใหม่ของการประเมิน AI ที่ไม่สามารถวัดด้วยการดูเพียงว่าระบบตอบถูกหรือปฏิเสธคำขออันตรายได้หรือไม่

DualChem ประกอบด้วยคำถามด้านเคมีจำนวน 600 ข้อ ซึ่งผ่านการคัดเลือกและตรวจสอบโดยผู้เชี่ยวชาญระดับปริญญาเอก ครอบคลุมหัวข้ออย่างการออกแบบโมเลกุล ขั้นตอนการสังเคราะห์ การทำให้บริสุทธิ์ การตรวจสอบผล และการจัดการข้อมูล โดยโจทย์ถูกออกแบบให้มีบริบทใกล้เคียงกับการใช้งานจริงและมีความกำกวมด้านเจตนา มากกว่าการใช้คำสั่งอันตรายแบบตรงไปตรงมา ([scale.com](https://scale.com/blog/dualchem-evaluating-ai-models-dual-use-chemistry-risks?utm_source=openai))

เจาะลึกผลทดสอบและความหมายต่อความปลอดภัย AI

Scale AI ระบุว่าได้นำ DualChem ไปประเมินโมเดลแนวหน้าจำนวน 31 รุ่น โดยคะแนนความแม่นยำเฉลี่ยอยู่ที่ประมาณ 50% และโมเดลที่ทำผลงานดีที่สุดอยู่ที่ราว 67% ตัวเลขนี้แสดงให้เห็นว่า AI รุ่นใหม่มีความรู้ด้านเคมีเพียงพอที่จะช่วยตอบโจทย์วิจัยระดับสูงได้ แต่ก็หมายความว่าความสามารถดังกล่าวอาจลดต้นทุนด้านความรู้สำหรับผู้ที่มีเจตนาไม่เหมาะสมเช่นกัน ([scale.com](https://scale.com/blog/dualchem-evaluating-ai-models-dual-use-chemistry-risks?utm_source=openai))

อีกประเด็นสำคัญคือ Scale AI รายงานว่า ผู้เข้าร่วมการทดสอบที่มีวุฒิปริญญาตรีด้านเคมีทำคะแนนได้ประมาณ 32% เมื่อทำด้วยตนเอง และเพิ่มเป็นประมาณ 48% เมื่อได้รับความช่วยเหลือจากโมเดลภาษา ผลลัพธ์นี้ชี้ว่า AI สามารถยกระดับความสามารถของผู้ใช้ที่มีพื้นฐานบางส่วนได้อย่างมีนัยสำคัญ ขณะเดียวกัน รายงานยังชี้ถึงช่องว่างระหว่างการที่โมเดลมองเห็นว่าคำถามมีความเสี่ยง กับการเลือกตอบหรือปฏิเสธคำถามนั้นอย่างเหมาะสม ([scale.com](https://scale.com/blog/dualchem-evaluating-ai-models-dual-use-chemistry-risks?utm_source=openai))

ในเชิงอุตสาหกรรม DualChem จึงมีความสำคัญมากกว่าการจัดอันดับว่าโมเดลใดฉลาดที่สุด เพราะช่วยผลักดันแนวคิดว่าการประเมิน AI ต้องวัดทั้งความถูกต้อง ความสามารถในการช่วยผู้ใช้ และความตระหนักถึงผลกระทบจากคำตอบ การใช้ระบบปฏิเสธคำขอเพียงอย่างเดียวอาจไม่เพียงพอสำหรับบริบทที่เจตนาของผู้ใช้ไม่ชัดเจน และจำเป็นต้องพิจารณาระดับรายละเอียด บริบทแวดล้อม และความเสี่ยงของผลลัพธ์ร่วมกัน

มุมมองสำหรับนักพัฒนาและผู้ประกอบการไทย

สำหรับบริษัทไทยที่กำลังนำ AI ไปใช้ในงานวิจัย ห้องปฏิบัติการ วัสดุศาสตร์ อาหาร เกษตร หรือเภสัชกรรม ควรเริ่มประเมินโมเดลด้วยชุดคำถามที่สะท้อนสถานการณ์จริงขององค์กร แทนการทดสอบเฉพาะความสามารถทั่วไป ควรกำหนดระดับข้อมูลที่ระบบสามารถเข้าถึงได้ แยกงานที่มีความเสี่ยงสูงออกจากงานทั่วไป และบันทึกเหตุผลของการอนุมัติหรือปฏิเสธคำตอบเพื่อให้ตรวจสอบย้อนหลังได้

นักพัฒนาควรออกแบบระบบแบบหลายชั้น เช่น การตรวจสอบคำขอก่อนส่งเข้าโมเดล การลดรายละเอียดของคำตอบในกรณีที่มีความเสี่ยง การให้ผู้เชี่ยวชาญตรวจทาน และการติดตามพฤติกรรมของระบบหลังเปิดใช้งานจริง นอกจากนี้ การทดสอบภาษาไทยและบริบทการใช้งานในประเทศไทยก็มีความสำคัญ เพราะโมเดลอาจตีความคำถามที่มีความกำกวมแตกต่างกันตามภาษา วัฒนธรรม และข้อกำกับดูแลของแต่ละประเทศ

ทดลองโมเดล AI รุ่นล่าสุดผ่าน Tora API

ผู้ประกอบการและทีมพัฒนาที่ต้องการเปรียบเทียบความสามารถของโมเดล AI สามารถทดลองใช้งานโมเดลล่าสุด เช่น Claude 3.7, GPT-4o, DeepSeek R1 หรือเครื่องมือสร้างวิดีโอ Seedance ผ่าน Tora Playground หรือดูรายละเอียดการใช้งานและแพ็กเกจได้ที่ Tora API สำหรับงานสร้างวิดีโอ สามารถเริ่มต้นได้ที่ เครื่องมือ Text-to-Video โดยควรนำแนวคิดจาก DualChem ไปประยุกต์ใช้ร่วมกับการทดสอบความถูกต้อง ความปลอดภัย และความเหมาะสมของคำตอบในบริบทจริงขององค์กร