เปิดตัว Clover-35B-A3B-Preview โมเดล AI แบบ MoE ที่ใช้พารามิเตอร์ทำงานเพียง 3B

วงการโมเดลภาษาขนาดใหญ่มีความเคลื่อนไหวอีกครั้ง หลังมีการเผยแพร่ข้อมูลของ Clover-35B-A3B-Preview บน Hacker News โมเดลรุ่นนี้อยู่ในสถานะพรีวิว และใช้ชื่อที่สะท้อนแนวทางการออกแบบอย่างชัดเจนว่า มีพารามิเตอร์รวม 35 พันล้านรายการ ขณะที่การประมวลผลแต่ละครั้งเปิดใช้งานประมาณ 3 พันล้านรายการ

เจาะลึกสถาปัตยกรรม MoE

แนวคิดดังกล่าวสอดคล้องกับสถาปัตยกรรม Mixture of Experts หรือ MoE ซึ่งแบ่งความสามารถของโมเดลออกเป็นผู้เชี่ยวชาญหลายชุด แล้วใช้กลไก Router เลือกเฉพาะส่วนที่เหมาะสมกับคำสั่งหรือข้อมูลในแต่ละช่วง การประมวลผลแบบ Sparse ช่วยลดจำนวนคำนวณต่อโทเคน เมื่อเทียบกับการเปิดใช้งานพารามิเตอร์ทั้งหมดพร้อมกัน

สำหรับผู้ใช้งาน ผลลัพธ์ที่คาดหวังคือการรักษาความสามารถของโมเดลขนาดใหญ่ไว้บางส่วน พร้อมลดภาระด้านหน่วยความจำ แบนด์วิดท์ และค่าใช้จ่ายในการให้บริการ อย่างไรก็ตาม เนื่องจาก Clover-35B-A3B-Preview ยังเป็นรุ่นพรีวิว จึงควรประเมินความแม่นยำ ความเสถียร ความเข้ากันได้กับเครื่องมือรันโมเดล และประสิทธิภาพในภาษาไทยก่อนนำไปใช้งานจริงในระดับผลิตภัณฑ์

มุมมองสำหรับนักพัฒนาและผู้ประกอบการไทย

นักพัฒนาไทยสามารถติดตามโมเดลลักษณะนี้เป็นทางเลือกสำหรับระบบแชตบอต การสรุปเอกสาร การค้นคืนข้อมูลภายในองค์กร และงานประมวลผลที่ต้องการควบคุมต้นทุน การมีจำนวนพารามิเตอร์ที่ทำงานต่อคำสั่งต่ำกว่าโมเดลแบบ Dense อาจช่วยให้การติดตั้งบนเซิร์ฟเวอร์ขององค์กรหรือระบบคลาวด์ขนาดเล็กทำได้ง่ายขึ้น

ก่อนใช้งานจริง ควรทดสอบด้วยชุดข้อมูลภาษาไทยที่สะท้อนงานจริง เช่น เอกสารธุรกิจ ภาษากฎหมาย คำศัพท์เฉพาะอุตสาหกรรม และบทสนทนาที่มีบริบทหลายรอบ พร้อมวัดทั้งคุณภาพคำตอบ ความเร็ว ค่าใช้จ่าย และความเสี่ยงจากการสร้างข้อมูลคลาดเคลื่อน ผู้ประกอบการควรวางระบบตรวจสอบโดยมนุษย์และกำหนดนโยบายการจัดการข้อมูลส่วนบุคคลควบคู่กัน

ทดลองใช้โมเดล AI ผ่าน Tora API

ผู้ที่ต้องการเปรียบเทียบแนวทางของโมเดล AI รุ่นใหม่ สามารถทดลองใช้งานโมเดลอย่าง Claude 3.7, GPT-4o, DeepSeek R1 หรือเครื่องมือสร้างวิดีโอ Seedance ผ่าน Tora Playground และเชื่อมต่อการใช้งานในแอปพลิเคชันผ่าน Tora API ส่วนผู้ที่สนใจงานวิดีโอสามารถดูเครื่องมือได้ที่ Tora Text-to-Video