ช่องว่างข้อมูล: องค์กร AI กำลังเผชิญปัญหาความน่าเชื่อถือ ไม่ใช่ปัญหาการค้นหาข้อมูล
ในโลกของปัญญาประดิษฐ์ (AI) ที่พัฒนาไปอย่างรวดเร็ว องค์กรต่าง ๆ กำลังทุ่มเทสร้างโครงสร้างพื้นฐานเพื่อป้อนข้อมูลบริบททางธุรกิจให้กับ AI Agent ของตน แต่กลับพบว่ามีปัญหาใหญ่ที่ซ่อนอยู่ นั่นคือ "ความน่าเชื่อถือ" ของข้อมูลที่ AI ได้รับ ซึ่งส่งผลให้ AI Agent บางครั้งให้คำตอบที่ดูมั่นใจ แต่กลับผิดพลาดไปจากความเป็นจริง
จากการสำรวจองค์กรกว่า 101 แห่ง พบว่า แม้เทคนิค Retrieval-Augmented Generation (RAG) จะกลายเป็นแหล่งข้อมูลบริบทหลัก และการค้นหาข้อมูลแบบ Native ของผู้ให้บริการ (Provider-native retrieval) จะเริ่มแซงหน้า Vector Databases แบบเดิม ๆ แต่ส่วนใหญ่ยังคงประสบปัญหา AI Agent ให้คำตอบที่ผิดพลาดอย่างมั่นใจ โดยมีสาเหตุมาจากบริบทข้อมูลที่ไม่ครบถ้วนหรือไม่สอดคล้องกัน
แม้ว่า "Governed Semantic Layer" กำลังถูกมองว่าเป็นทางออก แต่ส่วนใหญ่ยังอยู่ในช่วงเริ่มต้นของการพัฒนา ขณะที่แนวโน้มตลาดกำลังมุ่งสู่ "Hybrid Retrieval" แต่ก็ยังมีองค์กรจำนวนมากที่ต้องการเลือกใช้เครื่องมือที่ดีที่สุดในแต่ละด้าน (Best-of-breed) ผลลัพธ์ที่ได้คือ "ช่องว่างข้อมูล" (Context Gap) ที่ทำให้ AI Agent ดูน่าเชื่อถือ แต่รากฐานข้อมูลที่ใช้กลับยังไม่เป็นที่ไว้วางใจได้เต็มที่
ปัญหาหลัก: AI Agent ให้คำตอบผิดพลาดอย่างมั่นใจ
งานวิจัย VentureBeat Pulse Research นี้ได้เจาะลึกถึงโครงสร้างพื้นฐาน RAG และ Context Layer ขององค์กร ซึ่งเป็นส่วนที่ป้อนข้อมูลบริบททางธุรกิจให้กับ AI Agent รวมถึงระบบการค้นหาที่องค์กรใช้งาน วิธีการซื้อและการวัดผล รวมถึงทิศทางสถาปัตยกรรมในอนาคต และที่สำคัญที่สุด คือการตรวจสอบว่าบริบทข้อมูลนั้นล้มเหลวบ่อยแค่ไหน
ผลการสำรวจที่สำคัญคือ "ช่องว่างข้อมูล" (Context Gap) ซึ่งหมายถึงความแตกต่างระหว่างความมั่นใจในการตอบคำถามของ Agent กับความน่าเชื่อถือของบริบทข้อมูลเบื้องหลัง
- 57% ขององค์กร รายงานว่าในช่วงหกเดือนที่ผ่านมา AI Agent ของตนได้ให้คำตอบที่ผิดพลาดอย่างมั่นใจ แต่สามารถตรวจสอบย้อนกลับได้ว่าเกิดจากบริบทข้อมูลทางธุรกิจที่ไม่ครบถ้วนหรือไม่สอดคล้องกัน
- มากกว่าครึ่งหนึ่ง ขององค์กรที่ประสบปัญหานี้ ระบุว่าเกิดขึ้นมากกว่าหนึ่งครั้ง
- นี่ไม่ใช่ความล้มเหลวเพียงเล็กน้อย เพราะ 38% ขององค์กร ใช้ RAG เป็นแหล่งข้อมูลบริบทหลัก เมื่อการค้นหาข้อมูล (Retrieval) มีข้อจำกัดหรือไม่สอดคล้องกัน ข้อผิดพลาดที่เกิดขึ้นก็จะบั่นทอนความน่าเชื่อถือของ Agent
- แม้ว่าโครงสร้างพื้นฐานเพื่อแก้ไขปัญหานี้กำลังถูกสร้างขึ้น โดย 58% ขององค์กร กำลังใช้งานหรือกำลังสร้าง Governed Semantic Layer แต่ส่วนใหญ่ยังไม่ได้นำไปใช้งานจริง
RAG คือแหล่งข้อมูลบริบทหลักที่องค์กรเลือกใช้
เมื่อสอบถามว่า AI Agent ขององค์กรใช้สิ่งใดเป็นหลักในการทำความเข้าใจข้อมูล พบว่า Retrieval (RAG) นำมาเป็นอันดับหนึ่งอย่างเห็นได้ชัด
- 38% ขององค์กร ใช้ RAG กับเอกสารหรือ Vector Index เป็นวิธีหลักที่ Agent ใช้ทำความเข้าใจธุรกิจ ซึ่งเกือบสองเท่าของแนวทางถัดไป คือ Governed Semantic Layer หรือ Ontology (21%)
- แนวทางผสมผสาน (14%), การสอบถามระบบสดโดยตรง (10%), และการโหลดข้อมูลบริบทที่ยาว (Long-context loading) (6%) เป็นส่วนที่เหลือ
- มีเพียง 2% เท่านั้นที่ปล่อยให้ Agent ทำงานโดยใช้เพียงความรู้ทั่วไปของโมเดลเท่านั้น
- สิ่งที่น่าสังเกตคือ การปรับแต่งโมเดล (Fine-tuning) ไม่ได้ถูกกล่าวถึงในฐานะแหล่งข้อมูลหลักในการตอบคำถาม องค์กรส่วนใหญ่เลือกที่จะ "ฉีด" บริบทข้อมูลเข้าไปในขณะใช้งาน (Runtime)
Provider-Native Retrieval นำหน้า Vector Databases แล้ว
เมื่อสอบถามถึงระบบการค้นหาข้อมูล (Retrieval Systems) ที่องค์กรใช้งานอยู่ในปัจจุบัน คำตอบชี้ไปที่ผู้ให้บริการโมเดลและ Hyperscalers มากกว่าเครื่องมือเฉพาะทาง
- OpenAI File Search (40%) และ Google Vertex AI Search (38%) นำหน้า Vector Databases ที่สร้างขึ้นเพื่อวัตถุประสงค์เฉพาะ
- ในกลุ่มเครื่องมือเฉพาะทาง เครื่องมือที่องค์กรใช้งานอยู่แล้ว (เช่น Elasticsearch/OpenSearch 20%) และตัวเลือกแบบ Open-source ที่ฝังมาด้วย (pgvector 12%) ได้รับความนิยม
- Vector Databases แบบ Pure-play เช่น Weaviate, Qdrant, Pinecone, Milvus แต่ละตัวมีส่วนแบ่งการตลาดในระดับเลขหลักเดียวถึงเลขหลักสิบต้นๆ
- 13% ขององค์กร ระบุว่ายังไม่ได้ใช้งาน RAG ในการผลิต (Production) เลย
- องค์กรกำลังโน้มเอียงไปหา Retrieval ที่มาพร้อมกับเครื่องมือที่พวกเขาซื้ออยู่แล้ว
แต่องค์กรก็ยังต้องการเครื่องมือที่ดีที่สุดในแต่ละด้าน
แม้ว่า Provider-Native Retrieval จะได้รับความนิยมในการใช้งานจริง แต่ความตั้งใจขององค์กรกลับสวนทางกัน
- 36% ขององค์กร ระบุว่าต้องการเลือกใช้เครื่องมือที่ดีที่สุดในแต่ละด้าน (Best-of-breed standalone tools) แทนที่จะรวมทุกอย่างไว้ในแพลตฟอร์มของผู้ให้บริการ
- มีเพียง 21% ที่วางแผนจะรวมทุกอย่างไว้ในแพลตฟอร์มเดียว และอีก 21% คาดว่าจะใช้แนวทางผสมผสาน
- 9% ตั้งใจจะสร้างและดูแล Context Layer ด้วยตนเอง
- ความขัดแย้งระหว่างสิ่งที่องค์กรใช้งานจริงกับสิ่งที่พวกเขาต้องการ คือคำถามเชิงกลยุทธ์ของวงการนี้: พวกเขารับเอา Retrieval ที่รวมมาให้เพื่อความสะดวก แต่ก็ยืนยันว่าจะรักษาความเป็นอิสระในการเลือกใช้เครื่องมือ
Hybrid Retrieval คือแนวโน้มที่ได้รับการยอมรับ
การค้นหาข้อมูลแบบ Vector-only กำลังถูกมองว่าไม่เพียงพอ
- 34% คาดการณ์ว่า Hybrid Retrieval (การผสมผสาน Embeddings กับการจัดอันดับใหม่ และการควบคุมการเข้าถึง) จะเป็นสถาปัตยกรรมหลักในระบบ RAG ของพวกเขาภายในสิ้นปี 2026
- มีเพียง 11% เท่านั้นที่คาดว่า Vector-only Retrieval จะเป็นที่แพร่หลาย
- นี่เป็นสัญญาณที่น่าสนใจ: แนวทางการค้นหาด้วย Vector เพียงอย่างเดียวที่จุดประกายวงการนี้ กำลังถูกมองว่าไม่เพียงพอ และถูกแทนที่ด้วยกระบวนการที่เพิ่มการจัดอันดับใหม่เพื่อความแม่นยำ และการควบคุมการเข้าถึงเพื่อการกำกับดูแล
- 17% ของผู้ตอบแบบสอบถาม ยังไม่แน่ใจ และอีก 14% คาดว่าจะก้าวข้าม Vector Layer ไปสู่การใช้เครื่องมือเป็นหลัก (Tool-first) หรือการจัดการข้อมูลบริบทที่ยาว (Long-context retrieval)
- ฉันทามติคือการสร้าง "ไปป์ไลน์" ที่มีความซับซ้อนมากขึ้น ซึ่งยังอยู่ในช่วงเริ่มต้นของการพัฒนา
Governed Context Layer กำลังถูกสร้างขึ้น
ทางออกสำหรับ Context Gap กำลังอยู่ในช่วงก่อสร้าง
- มากกว่าครึ่งหนึ่งขององค์กร (58%) กำลังใช้งาน Governed Semantic Layer ใน Production (25%) หรือกำลังทดลองและสร้าง (34%)
- อีก 17% กำลังอยู่ในช่วงประเมิน
- หมายความว่า สามในสี่ขององค์กร กำลังให้ความสนใจกับแนวคิดนี้ในรูปแบบใดรูปแบบหนึ่ง
- อย่างไรก็ตาม สัดส่วนนี้ชี้ให้เห็นว่าส่วนใหญ่ยังอยู่ในช่วงการก่อสร้างมากกว่าการส่งมอบ ดังนั้น สำหรับองค์กรส่วนใหญ่ การมีชั้นข้อมูลที่แบ่งปันและมีการกำกับดูแล (Governed definition layer) เพื่อป้องกันความผิดพลาด "มั่นใจแต่ผิด" ยังคงเป็นงานที่กำลังดำเนินการอยู่
- Semantic Layer คือคำตอบของอุตสาหกรรมสำหรับบริบทข้อมูลที่ไม่สอดคล้องกัน แต่ตอนนี้เราเห็นมันอยู่ในช่วงกลางของการก่อสร้าง โดยความทะเยอทะยานนำหน้าการใช้งานจริง
การเลือกซื้อและการติดตามผล
- การเลือกซื้อ: องค์กรให้ความสำคัญกับการใช้งานที่ง่าย (Operability) และความเรียบง่ายเป็นหลัก
- การติดตามผล: เน้นไปที่ความถูกต้อง (Correctness) และความปลอดภัย (Security) เป็นสำคัญ
โดยสรุป ปัญหาหลักที่องค์กร AI กำลังเผชิญคือ "ความน่าเชื่อถือ" ของข้อมูลบริบทที่ป้อนให้กับ AI Agent ซึ่งนำไปสู่คำตอบที่ผิดพลาด แม้ว่าเทคนิค RAG และสถาปัตยกรรมอย่าง Hybrid Retrieval และ Governed Semantic Layer กำลังถูกพัฒนาขึ้น แต่การนำไปใช้งานจริงยังคงเป็นความท้าทายที่องค์กรส่วนใหญ่กำลังเผชิญอยู่
ขอบคุณ แหล่งข้อมูล
https://venturebeat.com/ai/the-ai-context-gap-enterprise-ai-organizations-have-a-trust-problem-not-a-retrieval-problem-and-most-are-still-building-the-fix