POMA AI บุกเบิกโซลูชัน RAG ด้วยการแบ่งชิ้นข้อมูลแบบมีโครงสร้าง ลดจำนวนโทเค็นได้ถึง 77% เมื่อเทียบกับแบบเดิม

(SeaPRwire) –   การแบ่งส่วนตามลำดับชั้นอัจฉริยะเป็นการเตรียมข้อมูลที่เหมาะสมที่สุดสำหรับการฝังในฐานข้อมูลเวกเตอร์

เบอร์ลิน, เบอร์ลิน วันที่ 16 มีนาคม 2569 — POMA AI ซึ่งเป็นบริษัทด้านอินเทลิเจนซ์เอกสารที่ตั้งอยู่ในเบอร์ลิน ได้เปิดตัว POMA-OfficeQA ในวันนี้ ซึ่งเป็นมาตรฐานอ้างอิงโอเพ่นซอร์สที่แสดงให้เห็นว่าการแบ่งชิ้นเอกสารแบบรับรู้โครงสร้างของบริษัทช่วยลดต้นทุนการค้นคืน RAG ได้ 77% เมื่อเทียบกับทั้งวิธีการแยกข้อความแบบธรรมดาและวิธีการสกัดองค์ประกอบของ Unstructured.io

เมื่อใช้งานตามค่าเริ่มต้น POMA PrimeCut ใช้โทเค็นน้อยกว่าโมเดลทั่วไปถึง 77% โดยค่าดังกล่าวจะเพิ่มขึ้นเป็น 83% เมื่อใช้ในคอนฟิกูเรชันที่ปรับแต่งเอง

“ทุกระบบ RAG ที่ใช้งานจริงในปัจจุบันสูญเสียข้อมูลก่อนที่โมเดลจะได้เห็นมันเสียอีก” กล่าวโดย ดร. Alexander Kihm ผู้ก่อตั้งและซีอีโอของ POMA AI “อุตสาหกรรมนี้มีการปรับปรุงประสิทธิภาพการฝัง, การเรียงลำดับใหม่ และวิศวกรรมพร้อมต์มาตลอด แต่เลเยอร์การนำข้อมูลเข้าคือจุดที่ความล้มเหลวในการค้นคืนส่วนใหญ่เกิดขึ้นจริง มาตรฐานอ้างอิงนี้แสดงตัวเลขของสิ่งที่ผู้ปฏิบัติงานรู้สึกโดยสัญชาตญาณว่า การแบ่งชิ้นแบบรับรู้โครงสร้างคือรากฐานที่ทำให้ทุกอย่างในขั้นตอนถัดไปทำงานได้จริง”

มาตรฐานอ้างอิงฉบับเต็ม ซึ่งเปิดให้ใช้งานบน GitHub ได้ทดสอบกลยุทธ์การแบ่งชิ้นเอกสาร 3 แบบสำหรับ Retrieval-Augmented Generation (RAG) โดยใช้การฝังที่เหมือนกัน ตรรกะการค้นคืนที่เหมือนกัน และคำถามค้นหาข้อมูลในตาราง 20 ข้อ ครอบคลุมแถลงการณ์กระทรวงการคลังสหรัฐอเมริกา 14 ฉบับ (ประมาณ 2,150 หน้า) การทดสอบวัดความสามารถของแต่ละวิธีในการค้นคืนหลักฐานทั้งหมดที่ต้องใช้เพื่อตอบคำถามเชิงข้อเท็จจริงได้อย่างถูกต้อง โดยเมตริก (การเรียกคืนบริบท) ระบุงบประมาณโทเค็นขั้นต่ำที่ระบบค้นคืนต้องใช้เพื่อรับประกันว่าหลักฐานทั้งหมดมีอยู่ในบริบทที่ค้นคืนมา

ผลการทดสอบแสดงให้เห็นว่าการแบ่งชิ้นตามลำดับชั้นของ POMA ซึ่งคงโครงสร้างเอกสารไว้รวมถึงส่วนหัวตาราง ลำดับชั้นของส่วนเนื้อหา และความสัมพันธ์เชิงความหมายระหว่างองค์ประกอบเนื้อหา ต้องการโทเค็นน้อยกว่า 77% เพื่อให้ได้การเรียกคืนบริบท 100% ดังนี้:

• เบสไลน์ (การแบ่งชิ้นแบบธรรมดา ขนาด 500 โทเค็น การทับซ้อน 100 โทเค็น): 1.45 ล้าน
• Unstructured.io (การสกัดองค์ประกอบ): 1.48 ล้าน
• POMA AI (รับรู้โครงสร้าง): 340,000
  

ทุกวิธีใช้โมเดล text-embedding-3-large ของ OpenAI สำหรับการฝัง และใช้ความคล้ายคลึงโคไซน์สำหรับการจัดอันดับการค้นคืน ความจริงพื้นฐานถูกกำหนดโดยใช้ดัชนีชิ้นส่วนที่แน่นอนซึ่งตรวจสอบกับเอกสารต้นฉบับแล้ว ซึ่งช่วยขจัดผลบวกปลอมจากการจับคู่ตัวเลขที่บังเอิญเกิดขึ้น มีเพียงคำถามที่ทั้งสามวิธีสามารถตอบได้เท่านั้นที่ถูกรวมเข้าไป เพื่อรับประกันการเปรียบเทียบที่ยุติธรรม คำถามที่วิธีใดวิธีหนึ่งมีความล้มเหลวในการสกัด (ข้อผิดพลาด OCR ค่าที่หายไป) ถูกตัดออกไป

“สิ่งที่ทำให้เรามั่นใจใน POMA คือความเข้มงวดทางวิศวกรรมเบื้องหลังข้อคิดที่ดูเรียบง่ายแต่ไม่ธรรมดา” กล่าวโดย Till Faida ผู้ร่วมก่อตั้ง AdBlock นักลงทุนและที่ปรึกษาของ POMA AI “พวกเขาเข้ามาจัดการกับเลเยอร์การนำข้อมูลเข้า ซึ่งเป็นส่วนของไปป์ไลน์ที่ทุกคนคิดว่าเป็นปัญหาที่แก้ไขเสร็จแล้ว มาตรฐานอ้างอิงนี้แสดงให้เห็นว่ามันไม่ใช่ การลดโทเค็นลง 77% เปลี่ยนแปลงหลักเศรษฐศาสตร์ของการใช้งาน RAG ในระดับองค์กร นั่นคือข้อได้เปรียบเชิงโครงสร้างแบบที่เรามองหา”

เกี่ยวกับ POMA AI: POMA AI เป็นบริษัทด้านอินเทลิเจนซ์เอกสารที่ตั้งอยู่ในเบอร์ลิน สร้างโครงสร้างพื้นฐานสำหรับระบบ RAG ระดับองค์กร เทคโนโลยีหลักของบริษัทแปลงเอกสารที่ซับซ้อนให้เป็นชิ้นส่วนที่มีความสอดคล้องเชิงความหมายพร้อมสำหรับการค้นหาเวกเตอร์และการใช้งานโดย LLM API ของ POMA ประมวลผลเอกสารในคำขอเดียวและส่งออกทั้งชิ้นส่วนละเอียดและชุดชิ้นส่วนที่จัดกลุ่มแล้ว ซึ่งเข้ากันได้กับโมเดลการฝังและสโตร์เวกเตอร์ทุกแบบ ทดลองใช้ฟรีสามารถเข้าถึงได้บนเว็บไซต์ของ POMA AI สามารถดูข้อมูลเพิ่มเติมเกี่ยวกับ POMA AI ได้บน LinkedIn หรือ X (Twitter)

การฝังแบบรับรู้โครงสร้างของ POMA PrimeCut แสดงให้เห็นถึงการปรับปรุงประสิทธิภาพ 119 เท่า เมื่อเทียบกับการฝังเฉพาะบริบท

ข้อซักถามสำหรับสื่อ

Florian Athens
fa [at] poma-ai.com
https://poma-ai.com