POMA AI Meraih Pemisahan Potongan RAG dan Penyerapan Dokumen Terbaik di Kelasnya dengan Pengurangan Token 77% Dibandingkan Model Konvensional

(SeaPRwire) –   Smart hierarchical chunking adalah persiapan data optimal untuk embedding database vektor

Berlin, BERLIN, 16 Maret 2026 — POMA AI, perusahaan kecerdasan dokumen yang berbasis di Berlin, hari ini merilis POMA-OfficeQA, sebuah benchmark open-source yang menunjukkan bahwa chunking dokumen yang sadar-struktur mengurangi biaya retrieval RAG sebesar 77% dibandingkan dengan baik text splitting naive maupun pendekatan ekstraksi elemen dari Unstructured.io.

Secara langsungan, POMA PrimeCut menggunakan 77% lebih sedikit token dibandingkan model konvensional. Angka tersebut meningkat menjadi 83% ketika digunakan dalam konfigurasi yang dikustomisasi.

“Setiap sistem RAG yang beroperasi saat ini kehilangan informasi bahkan sebelum model melihatnya,” kata Dr. Alexander Kihm, founder & CEO POMA AI. “Industri telah mengoptimalkan embedding, reranker, dan prompt engineering, tetapi lapisan ingestion adalah tempat kegagalan retrieval sebenarnya berasal. Benchmark ini mengkuantifikasi apa yang telah dirasakan secara intuitif oleh praktisi: chunking yang sadar-struktur adalah fondasi yang membuat semuanya di downstream benar-benar berfungsi.”

Benchmark lengkap yang tersedia di GitHub menguji tiga strategi chunking dokumen untuk Retrieval-Augmented Generation (RAG) menggunakan embedding yang identik, logika retrieval yang identik, dan 20 pertanyaan pencarian tabel di 14 U.S. Treasury Bulletins (~2.150 halaman). Pengujian mengukur kemampuan setiap metode untuk mengambil semua bukti yang diperlukan untuk menjawab pertanyaan faktual dengan benar, dengan metrik (context recall) yang menentukan anggaran token minimum yang dibutuhkan sistem retrieval untuk menjamin semua bukti tersedia dalam konteks yang diambil.

Hasilnya menunjukkan bahwa chunking hierarkis POMA—yang mempertahankan struktur dokumen termasuk header tabel, hierarki bagian, dan hubungan semantik antar elemen konten—membutuhkan 77% lebih sedikit token untuk mencapai 100% context recall:

• Baseline (naive chunking dengan 500 token, 100 overlap): 1,45 juta
• Unstructured.io (ekstraksi elemen): 1,48 juta
• POMA AI (structure-aware): 340k
  

Semua metode menggunakan model text-embedding-3-large dari OpenAI untuk embedding dan cosine similarity untuk peringkat retrieval. Ground truth ditetapkan menggunakan indeks chunk yang tepat yang diverifikasi terhadap dokumen sumber—menghilangkan false positif dari kecocokan numerik yang kebetulan. Hanya pertanyaan yang dapat dijawab oleh ketiga metode yang dimasukkan, untuk memastikan perbandingan yang adil. Pertanyaan di mana metode mana pun mengalami kegagalan ekstraksi (kesalahan OCR, nilai yang hilang) tidak dimasukkan.

“Yang meyakinkan kami tentang POMA adalah ketelitian teknik di balik wawasan yang tampak sederhana,” kata Till Faida, co-founder AdBlock, seorang investor dan advisor untuk POMA AI. “Mereka menargetkan lapisan ingestion, yang merupakan bagian dari pipeline yang semua orang anggap sebagai masalah yang sudah terpecahkan. Benchmark ini menunjukkan bahwa itu belum. Pengurangan token sebesar 77% mengubah ekonomi menjalankan RAG dalam skala enterprise. Itulah jenis keunggulan struktural yang kami cari.”

TENTANG POMA AI: POMA AI adalah perusahaan kecerdasan dokumen yang berbasis di Berlin yang membangun infrastruktur untuk sistem RAG enterprise. Teknologi intinya mengubah dokumen kompleks menjadi chunk yang koheren secara semantik yang siap untuk pencarian vektor dan konsumsi LLM. API POMA memproses dokumen dalam satu panggilan dan menghasilkan baik chunk granuler maupun chunkset yang dikelompokkan, kompatibel dengan model embedding dan vector store apa pun. Demo gratis tersedia di situs web POMA AI. Informasi tambahan tentang POMA AI dapat ditemukan di LinkedIn atau X (Twitter).

Embedding structure-aware POMA PrimeCut menunjukkan peningkatan 119x dibandingkan embedding yang hanya konteks.

Pertanyaan Media

Florian Athens
fa [at] poma-ai.com
https://poma-ai.com