โค้ด AI ดูดีแต่ซ่อนบั๊ก นักพัฒนาตั้งคำถาม ยังไว้ใจได้แค่ไหน?

เมื่อโค้ดดูถูกต้อง แต่พฤติกรรมของระบบกลับไม่ใช่

AI เขียนโค้ดได้เก่งขึ้น แต่เก่งพอให้เลิกตรวจงานแล้วหรือยัง? กระทู้บน Hacker News ในหัวข้อ “Ask HN: What mistakes did AI make in your codebase?” เปิดประเด็นนี้ผ่านประสบการณ์ของนักพัฒนารายหนึ่ง ซึ่งพบว่าโค้ดที่ AI สร้างมีข้อผิดพลาดละเอียดอ่อน แม้หน้าตาจะเป็นระเบียบ อ่านง่าย และตั้งชื่อฟังก์ชันได้เหมาะสมก็ตาม

ผู้เขียนกระทู้ประเมินจากประสบการณ์ส่วนตัวว่า โค้ดที่ได้รับถูกต้องประมาณ 80% ส่วนอีก 20% ผิดในลักษณะที่ต้องเข้าใจระบบอย่างลึกซึ้งจึงจะมองออก ตัวเลขดังกล่าวเป็นข้อสังเกตของผู้เขียน ไม่ใช่ผลทดสอบมาตรฐานหรืออัตราความผิดพลาดของ AI โดยรวม ประเด็นที่เขากังวลคือ แม้ AI จะแก้ไขได้เมื่อได้รับคำชี้แนะ แต่มนุษย์ยังต้องลงแรงมากเพื่อค้นหาให้ได้ก่อนว่าควรชี้แนะตรงไหน

เทสต์ที่เรียบร้อย อาจจำลองบั๊กจริงไม่ได้

ตัวอย่างสำคัญในกระทู้คือการให้ AI เขียน integration test เพื่อจำลองปัญหาที่เคยเกิดขึ้นในระบบจริง ปัญหานั้นเกี่ยวข้องกับแหล่งเก็บข้อมูลสองชุดที่ถูกเขียนพร้อมกัน เมื่อการเขียนชุดหนึ่งล้มเหลว ข้อมูลทั้งสองจึงไม่สอดคล้องกัน

แต่ AI เลือกลดความซับซ้อนของตัวจำลองระบบหลังบ้าน โดยรวมแหล่งเก็บข้อมูลทั้งสองไว้ในที่เดียว และใช้ mutex เดียวควบคุมการเขียน การเปลี่ยนแปลงนี้ทำให้ตัวจำลองไม่สะท้อนเงื่อนไขสำคัญของเหตุขัดข้องเดิม เทสต์ที่ได้จึงไม่สามารถใช้พิสูจน์ปัญหาที่ต้องการตรวจสอบได้อย่างถูกต้อง แม้ตัวโค้ดจะดูรอบคอบก็ตาม

กรณีนี้ชี้ให้เห็นช่องว่างระหว่าง ความเรียบร้อยของโค้ดกับความถูกต้องของพฤติกรรมระบบ การลดรายละเอียดในเทสต์อาจเป็นประโยชน์ แต่หากตัดเงื่อนไขที่ทำให้บั๊กเกิดขึ้นออกไป เทสต์นั้นก็อาจสร้างความมั่นใจผิด ๆ ผู้เขียนระบุด้วยว่าได้ลองใช้เทคนิคให้ AI ซักถามข้อกำหนดและให้โมเดลต่างตัวช่วยตรวจทานแล้ว ซึ่งช่วยได้บางส่วน แต่ยังไม่กำจัดข้อผิดพลาดทั้งหมด ทั้งนี้ กระทู้ดังกล่าวเป็นการเล่าประสบการณ์และเชิญชวนให้ผู้อื่นยกตัวอย่างเพิ่มเติม ไม่ใช่ข้อสรุปเปรียบเทียบประสิทธิภาพระหว่างโมเดล

มุมมองสำหรับนักพัฒนาและผู้ประกอบการไทย

สำหรับทีมพัฒนาซอฟต์แวร์ไทย บทเรียนที่นำไปใช้ได้คือ การตรวจงานจาก AI ควรครอบคลุมสมมติฐานของระบบ ไม่ใช่ดูเพียงว่าโค้ดอ่านง่ายหรือรันผ่านหรือไม่ ก่อนให้ AI สร้างเทสต์ ควรระบุให้ชัดว่าองค์ประกอบใดต้องแยกจากกัน การทำงานใดเกิดพร้อมกัน และแต่ละขั้นตอนสามารถล้มเหลวอย่างอิสระได้อย่างไร โดยเฉพาะระบบที่มีการเขียนข้อมูลหลายปลายทาง

แนวทางตรวจสอบที่ตรงกับกรณีนี้คือ ยืนยันว่าเทสต์สามารถแสดงบั๊กก่อนแก้ไข และผ่านหลังแก้ไขด้วยเหตุผลที่ถูกต้อง พร้อมตรวจว่าตัวจำลองยังรักษาเงื่อนไขสำคัญของระบบจริงไว้ สำหรับผู้ประกอบการ การประเมินความคุ้มค่าของ AI จึงควรนับรวมเวลาตรวจทานและแก้ไขงานด้วย แทนที่จะวัดเฉพาะความเร็วในการสร้างโค้ด และควรให้ผู้ที่เข้าใจระบบตรวจการเปลี่ยนแปลงที่กระทบความถูกต้องของข้อมูล

ทดลอง AI พร้อมออกแบบวิธีตรวจสอบผลลัพธ์

ผู้ที่ต้องการทดลองใช้ AI ในเวิร์กโฟลว์พัฒนาซอฟต์แวร์ สามารถสำรวจโมเดลที่เปิดให้บริการผ่าน Tora API ได้ที่ Tora Playground และตรวจสอบรายละเอียดบริการที่ หน้าราคา หากต้องการใช้งานโมเดลอย่าง Claude 3.7, GPT-4o หรือ DeepSeek R1 ควรตรวจสอบรายการและรุ่นที่รองรับก่อนเริ่มใช้งาน ส่วนผู้สนใจงานสร้างวิดีโอสามารถดูเครื่องมือได้ที่ Text to Video การทดลองกับงานจริงควรมีทั้งเกณฑ์วัดคุณภาพและขั้นตอนตรวจสอบผลลัพธ์ เพื่อให้เห็นว่า AI ช่วยลดภาระงานได้มากเพียงใด