เฟิร์มแวร์เข้ารหัส Nvidia DGX Spark ทำความเร็วรัน AI บน Linux เหลือเพียง 35%

ประเด็นด้านประสิทธิภาพของ Nvidia DGX Spark กำลังได้รับความสนใจในชุมชนนักพัฒนา หลังมีการเผยแพร่ข้อมูลบน Hacker News ว่าเฟิร์มแวร์เข้ารหัสของแพลตฟอร์มอาจทำให้ความเร็วในการประมวลผลโมเดล AI บนระบบปฏิบัติการ Linux ลดลงอย่างมาก โดยรายงานระบุว่าความเร็วการอนุมาน หรือ inference speed อาจเหลือเพียงประมาณ 35% เมื่อเทียบกับระดับที่คาดหวังในสภาพแวดล้อมที่ไม่ได้รับผลกระทบจากข้อจำกัดดังกล่าว

DGX Spark เป็นแพลตฟอร์มคอมพิวเตอร์ขนาดกะทัดรัดที่ออกแบบมาเพื่อรองรับงาน AI ภายในเครื่อง ตั้งแต่การทดลองโมเดลภาษาขนาดใหญ่ไปจนถึงการพัฒนาแอปพลิเคชันแบบ generative AI อย่างไรก็ตาม กรณีนี้ทำให้เกิดคำถามว่ากระบวนการรักษาความปลอดภัยของเฟิร์มแวร์และการตรวจสอบสิทธิ์การทำงานในระดับฮาร์ดแวร์ กำลังเพิ่มภาระให้กับเส้นทางการประมวลผลหรือการเข้าถึงหน่วยความจำหรือไม่

ความปลอดภัยกับประสิทธิภาพที่ต้องแลก

เฟิร์มแวร์เข้ารหัสมีบทบาทสำคัญในการปกป้องซอฟต์แวร์ระดับต่ำ คีย์ลับ และกระบวนการเริ่มต้นระบบจากการถูกแก้ไขหรือดัดแปลง โดยเฉพาะอุปกรณ์ที่ใช้ประมวลผลข้อมูล AI ซึ่งอาจเกี่ยวข้องกับโมเดลเชิงพาณิชย์ ข้อมูลลูกค้า หรือทรัพย์สินทางปัญญา การเพิ่มชั้นความปลอดภัยจึงช่วยลดความเสี่ยงจากการโจมตีที่มุ่งเป้าไปยังเฟิร์มแวร์และซัพพลายเชนของอุปกรณ์

อย่างไรก็ตาม หากการเข้ารหัสหรือการตรวจสอบดังกล่าวอยู่ในเส้นทางที่ถูกเรียกใช้บ่อยระหว่างการอนุมาน ผลกระทบจะเห็นได้ชัดกับงานที่ต้องประมวลผลต่อเนื่อง เช่น การสร้างข้อความแบบเรียลไทม์ การรันโมเดลขนาดใหญ่บนเครื่องปลายทาง และการประมวลผลแบบแบตช์จำนวนมาก ตัวเลข 35% ควรได้รับการตรวจสอบเพิ่มเติมด้วยการทดสอบที่ควบคุมตัวแปรเดียวกัน ทั้งรุ่นไดรเวอร์ เวอร์ชันเฟิร์มแวร์ ขนาดโมเดล ตัวเร่งความเร็วที่ใช้ และการตั้งค่าของ Linux ก่อนสรุปว่าเป็นข้อจำกัดถาวรของผลิตภัณฑ์

มุมมองสำหรับนักพัฒนาและผู้ประกอบการไทย

นักพัฒนาไทยที่กำลังพิจารณาใช้อุปกรณ์ AI แบบประมวลผลภายในองค์กรควรทดสอบประสิทธิภาพจากงานจริง ไม่ควรอ้างอิงเฉพาะตัวเลขทางการตลาดหรือผลทดสอบจากสภาพแวดล้อมอื่น ควรวัดทั้งความเร็วในการตอบสนอง จำนวนโทเคนต่อวินาที การใช้หน่วยความจำ อุณหภูมิ และต้นทุนต่อคำขอ รวมถึงเปรียบเทียบเฟิร์มแวร์และไดรเวอร์หลายเวอร์ชัน

สำหรับผู้ประกอบการ ประเด็นนี้ชี้ให้เห็นว่าการเลือกโครงสร้างพื้นฐาน AI ต้องประเมินทั้งความปลอดภัยและต้นทุนการดำเนินงาน หากระบบต้องตอบสนองแบบเรียลไทม์ การที่ประสิทธิภาพลดลงอย่างมากอาจทำให้ต้องเพิ่มจำนวนเครื่องหรือย้ายงานบางส่วนไปยังคลาวด์ ขณะเดียวกันองค์กรที่จัดการข้อมูลอ่อนไหวอาจยอมรับความเร็วที่ลดลงเพื่อแลกกับการควบคุมข้อมูลและการป้องกันโมเดลที่เข้มงวดขึ้น

ทดลองใช้โมเดล AI ผ่าน Tora API

ทีมพัฒนาและธุรกิจที่ต้องการเปรียบเทียบต้นทุนกับประสิทธิภาพของการรันโมเดลภายในเครื่อง สามารถทดลองใช้งานโมเดล AI รุ่นล่าสุดผ่าน Tora Playground หรือเชื่อมต่อบริการผ่าน Tora API เพื่อทดสอบโมเดลอย่าง Claude 3.7, GPT-4o และ DeepSeek R1 นอกจากนี้ยังสามารถสำรวจการสร้างวิดีโอด้วยโมเดล Seedance ผ่าน เครื่องมือ Text-to-Video ได้เช่นกัน