เปิดตัว Tora First-Class Fallback Routes: ระบบสลับ Upstream อัตโนมัติ ป้องกัน Downtime และ Rate Limit

สรุปภาพรวม (Quick Take)

หนึ่งในความท้าทายใหญ่ที่สุดของการใช้งาน AI ในระดับโปรดักชัน คือความไม่แน่นอนของผู้ให้บริการภายนอก (Upstream Outages, Rate Limits HTTP 429, และ Overloaded Errors 503)

วันนี้ Tora AI เปิดตัวระบบ **First-Class Fallback Routes** ซึ่งแยกตรรกะการจัดเส้นทาง (Upstream Routing Policy) ออกจากระดับสิทธิ์ผู้ใช้ (User Group Entitlement) ช่วยให้ผู้พัฒนาสามารถกำหนด Fallback Channels เรียงตามลำดับความสำคัญได้อย่างอิสระ

สาระสำคัญทางวิศวกรรม (Engineering Highlights)

• **Ordered Failover**: เมื่อ Channel ปฐมภูมิ (Primary Channel) ตอบกลับด้วยรหัสข้อผิดพลาดที่เข้าเกณฑ์ (เช่น 429, 502, 503, 504 หรือ Connection Timeout) ระบบจะสลับไปยัง Channel ถัดไปในทันที
• **Streaming Commitment Guard**: หากการเชื่อมต่อแบบ Streaming ได้เริ่มส่งข้อมูล (First Chunk) ให้แก่ไคลเอนต์ปลายทางแล้ว จะไม่เกิดการสลับ Channel กลางคัน เพื่อป้องกันปัญหาคำตอบขาดตอนหรือพิมพ์ซ้ำ
• **Billing Integrity**: ระบบจะเรียกเก็บเครดิตหรือโควตาตาม Route และ Model Ratio ที่ประมวลผลสำเร็จจริงเท่านั้น หากเกิดข้อผิดพลาดและไม่มี Route สำรองใดทำงานสำเร็จ ระบบจะคืนเงินส่วน Pre-charge ทั้งหมดแบบ 100%

แผนผังการทำงานของ Route Engine

Client Request
  ↓
Token Auth & Quota Check
  ↓
Resolve Active Route (Primary)
  ↓
Try Upstream Channel 1 ──[429 Rate Limit]──→ Circuit Breaker Record
  ↓
Auto Fallback Channel 2 ──[Success 200 OK]──→ Stream Tokens
  ↓
Settle Billing for Channel 2

แหล่งข้อมูลอ้างอิงต้นฉบับ (Verified Sources)

• **เอกสารคู่มือสถาปัตยกรรม**: [Tora AI Routing Architecture Docs](https://www.toraapi.com/docs/routing)