ค้นหา ‘ความทรงจำที่ไม่เกี่ยวกัน’ ด้วย AI: โจทย์ใหม่ของระบบค้นคืนส่วนตัว

ผู้ใช้ Hacker News รายหนึ่งตั้งคำถามถึงวิธีสร้างระบบค้นคืนความทรงจำส่วนตัวที่ทำงานได้มากกว่าการค้นหาบทสนทนาที่เกี่ยวข้องโดยตรง หลังจากเก็บบทสนทนา ไฟล์เสียง และเอกสารไว้ให้เอเจนต์ AI ใช้งานมาราว 6 เดือน ระบบปัจจุบันจะตรวจประวัติและแนะนำบทสนทนาที่น่าจะเกี่ยวข้องเมื่อมีการถามหรือตอบคำถาม

เป้าหมายที่ท้าทายกว่าคือให้ AI เชื่อมโยงบทสนทนาซึ่งดูเหมือนไม่เกี่ยวข้องกัน แล้วค้นพบรูปแบบหรือแนวคิดร่วม ตัวอย่างเช่น ผู้ใช้อาจพูดถึงการลงทุนในหุ้น OKLO โดยตั้งใจถือหุ้นและทยอยซื้อเพิ่ม พร้อมกับมีประวัติสนับสนุนร้านอาหารเล็ก ๆ ที่ชื่นชอบเพื่อให้ร้านอยู่ต่อ หากระบบมองข้ามความต่างของคำศัพท์ได้ ก็อาจเชื่อมโยงทั้งสองเรื่องเข้ากับแนวคิดส่วนตัวเกี่ยวกับการใช้เงินหรือการจัดสรรทุน

ผู้ตั้งคำถามทดลองแนวทางมาแล้วหลายแบบ ทั้ง Personalized PageRank, การเสริมความเชื่อมโยงของบทสนทนาที่เปิดดู, TF-IDF, embedding, การขยายคำค้นด้วยกราฟความสัมพันธ์, การค้นหาด้วยเอเจนต์ และการให้ LLM ตัดสินผลการค้นหา วิธีเหล่านี้ช่วยค้นความทรงจำที่เกี่ยวข้องได้ดี แต่ยังไม่สามารถชี้ไปสู่ความเชื่อมโยงเชิงนามธรรมหรือข้อสังเกตใหม่ตามที่ต้องการได้ อีกทั้งระบบต้องค้นหาได้รวดเร็ว ใช้ทรัพยากรน้อย และรองรับการใช้งานหลายอุปกรณ์

โจทย์ไม่ได้อยู่ที่การค้นคำเหมือน

ระบบค้นคืนทั่วไปมักเริ่มจากคำค้นหรือความหมายใกล้เคียง แล้วจัดอันดับข้อความที่เกี่ยวข้องกับคำถามโดยตรง แต่การค้นคืนเชิงอุปมาและการเชื่อมโยงข้ามบริบทต้องทำงานอีกขั้นหนึ่ง คือระบุแนวคิดแฝง เช่น ทัศนคติต่อความเสี่ยง ความภักดี หรือการใช้เงิน แล้วค้นหาความทรงจำจากหลายหัวข้อที่อาจสะท้อนแนวคิดเดียวกัน แม้จะไม่มีคำสำคัญร่วมกันก็ตาม

จึงอาจไม่ใช่เพียงปัญหาคุณภาพของ embedding หรือการจัดอันดับผลค้นหา แต่เป็นปัญหาว่าโมเดลจะสร้างทิศทางการสำรวจที่เหมาะสมได้อย่างไร หากเริ่มจากคำถามเรื่องหุ้น ระบบอาจต้องตั้งสมมติฐานว่าความทรงจำเกี่ยวกับการสนับสนุนธุรกิจขนาดเล็กมีโอกาสให้บริบทเพิ่ม ก่อนค้นต่อและตรวจสอบว่าความเชื่อมโยงนั้นมีหลักฐานรองรับหรือไม่ การค้นแบบนี้มีโอกาสสร้างข้อสังเกตใหม่ แต่ก็เสี่ยงต่อการโยงเรื่องที่ไม่เกี่ยวกัน หากโมเดลนำเสนอข้อสรุปเกินกว่าข้อมูลที่มี

แนวทางหนึ่งที่น่าทดลองคือสร้างดัชนีแนวคิดหรือสรุปความทรงจำในระดับที่เป็นนามธรรม ควบคู่กับดัชนีค้นข้อความเดิม แล้วใช้การค้นหลายขั้นเพื่อขยายจากหัวข้อไปสู่แนวคิดที่เป็นไปได้ ก่อนตรวจสอบย้อนกลับกับบทสนทนาต้นทาง วิธีนี้อาจลดภาระการอ่านประวัติทั้งหมด แต่ต้องควบคุมเวลาและทรัพยากร โดยเฉพาะเมื่อระบบต้องพกพาและทำงานบนหลายอุปกรณ์

มุมมองสำหรับนักพัฒนาและผู้ประกอบการไทย

สำหรับทีมไทยที่กำลังสร้างผู้ช่วย AI หรือระบบจัดการความรู้ส่วนบุคคล บทเรียนสำคัญคือการค้นคืนที่ดีไม่ได้วัดแค่การหาข้อมูลตรงคำถาม แต่ต้องช่วยนำบริบทที่มีประโยชน์กลับมาโดยไม่แต่งเติมเกินจริง การจัดเก็บข้อมูลอย่างมีโครงสร้าง การทำสรุปที่ระบุแนวคิดและแหล่งที่มา และการทดสอบว่าระบบเชื่อมโยงได้ถูกต้องเพียงใด ล้วนสำคัญพอ ๆ กับการเลือกโมเดล embedding

ควรออกแบบการค้นให้มีขอบเขต เช่น จำกัดจำนวนความทรงจำที่ค้นต่อรอบ แสดงเหตุผลและแหล่งอ้างอิงของการเชื่อมโยง และเปิดให้ผู้ใช้ยืนยันหรือปฏิเสธความสัมพันธ์ที่ระบบเสนอ สำหรับข้อมูลส่วนบุคคล ยังต้องพิจารณาการเข้ารหัส การควบคุมสิทธิ์ และการทำงานในเครื่อง เพื่อให้สมดุลระหว่างความเป็นส่วนตัว ความเร็ว และคุณภาพของผลลัพธ์

นักพัฒนาสามารถทดลองเปรียบเทียบโมเดลและแนวทางประมวลผลภาษาได้ผ่าน Tora API Playground หรือดูตัวเลือกการใช้งานที่ Tora API เพื่อประเมินให้เหมาะกับข้อมูล ภาษา และข้อจำกัดด้านต้นทุนของแต่ละโครงการ