Doküman & Ürün Zekası(anonimize · NDA korumalı)
On-prem LLM ile 15K+ dosya arşivinde semantik hukuki arama
KVKK ve meslek sırrı nedeniyle veri dışarı çıkmayan hukuk bürosu için on-prem LLM destekli doküman zekası.
Problem
Orta ölçekli hukuk bürosunda ~15K dosya, ~18 yıl arşiv. Müvekkil gizliliği ve meslek sırrı nedeniyle veri cloud'a çıkamıyor. Mevcut arama: sadece dosya adı + tarih, içerik aranamıyor. Atıf takibi manuel.
Yaklaşım
- 01On-prem LLM (llama-3.1-70b quantized, A100 1× GPU)
- 02PDF → OCR (Tika) → chunking → pgvector embedding (multilingual)
- 03Semantic search + BM25 hybrid
- 04Atıf grafiği: PostgreSQL jsonb veya Neo4j (case referansları)
- 05Compliance: TLS 1.3 + mTLS, PII redaction post-search, audit log (query hash only)
Sonuçlar
arama hızı
~30 dk → ~15-30 sn
kapsam
~15K dosya, 1M+ sayfa eşdeğeri
veri sınırı
On-prem, dış erişim sıfır
maliyet
~$800/ay donanım vs ~$2K cloud SaaS
Tech stack
- → llama-3.1-70b on-prem (vLLM/ollama)
- → PostgreSQL 16 + pgvector
- → Tika OCR + Apache Spark batch
- → FastAPI Python backend
- → React 19 + Tailwind v4
- → TLS 1.3 + mTLS + Docker
Benzer bir problem mi var? 30 dk ücretsiz görüşmede konuşalım.
Görüşme planla →