Portfolio
System RAG do przetwarzania dokumentów
Technologia ubezpieczeniowa
90%
Szybsze wyszukiwanie dokumentów
25+
Projektów zarządzanych w monorepo
23
Ubezpieczycieli zintegrowanych przez Calcly
Przegląd
W Insly prowadziłem rozwój systemu RAG (Retrieval-Augmented Generation), który daje brokerom ubezpieczeniowym szybkie, kontekstowe odpowiedzi o szczegółach polis. System łączy tradycyjne wyszukiwanie z embeddingami wektorowymi i obsługuje złożone zapytania od 23 różnych ubezpieczycieli.
Kontekst biznesowy
Insly to wiodąca firma z branży insurtech, obsługująca brokerów ubezpieczeniowych w Europie Środkowej. Ich platforma obsługuje tysiące dokumentów polis od 23 różnych ubezpieczycieli, z których każdy ma unikalną terminologię, formaty i struktury. Brokerzy spędzali średnio 15-20 minut na wyszukiwanie informacji o polisach, poważnie wpływając na czas obsługi klienta i wydajność operacyjną. Firma potrzebowała rozwiązania, które mogłoby rozumieć semantyczne znaczenie zapytań ubezpieczeniowych, a nie tylko dopasowywać słowa kluczowe.
Wyzwanie
Brokerzy ubezpieczeniowi potrzebowali szybko znajdować informacje w tysiącach dokumentów polis od 23 różnych ubezpieczycieli, każdy z unikalnym formatem i terminologią.
- Tysiące dokumentów polis w różnych formatach (PDF, Word, HTML)
- Złożona terminologia ubezpieczeniowa wymagająca specjalistycznego rozumienia
- Potrzeba obsługi języka polskiego i angielskiego
Rozwiązanie
Zbudowaliśmy hybrydowy system wyszukiwania łączący Elasticsearch do dopasowywania słów kluczowych z bazą wektorową Qdrant do semantycznego rozumienia, zasilaną embeddingami zoptymalizowanymi dla języka polskiego.
- Zbudowano system RAG z wyszukiwaniem hybrydowym (Elasticsearch + Qdrant vector DB)
- Zaimplementowano embeddingi zoptymalizowane dla języka polskiego
- Zintegrowano AWS Bedrock i lokalne Ollama dla elastycznych backendów LLM
Podejście i metodologia
Zaczęliśmy od dogłębnej analizy, jak brokerzy aktualnie wyszukują informacje - jakich terminów używają, jakie pytania zadają i gdzie istniejące systemy zawodzą. Zmapowaliśmy całą domenę ubezpieczeniową używając Event Storming, identyfikując kluczowe pojęcia i relacje. Następnie zbudowaliśmy POC z minimalnym zestawem dokumentów, aby zwalidować nasze podejście przed skalowaniem. Kluczowym odkryciem było to, że czysto semantyczne wyszukiwanie nie jest wystarczające - brokerzy często potrzebują dokładnych dopasowań terminów (numery polis, konkretne klauzule) w połączeniu z rozumieniem znaczenia.
Szczegóły implementacji
Hybrydowa architektura wyszukiwania
Połączono scoring BM25 z Elasticsearch z podobieństwem wektorowym Qdrant dla optymalnego wyszukiwania. Dokumenty są inteligentnie dzielone na fragmenty, aby zachować kontekst przy jednoczesnym umożliwieniu precyzyjnego dopasowania.
Embeddingi dla języka polskiego
Zaimplementowano niestandardowe embeddingi językowe zoptymalizowane dla słownictwa domeny ubezpieczeniowej, znacznie poprawiając dokładność wyszukiwania semantycznego dla dokumentów w języku polskim.
Elastyczny backend LLM
Zaprojektowano modułową architekturę LLM wspierającą zarówno AWS Bedrock (Claude) dla produkcji, jak i lokalne instancje Ollama dla środowisk deweloperskich i przypadków wrażliwych na koszty.
Kluczowe decyzje
- Wybrano Qdrant zamiast Pinecone do przechowywania wektorów ze względu na możliwość self-hostingu i zgodność z RODO - dane mogą pozostać na infrastrukturze klienta
- Zaimplementowano hybrydowe wyszukiwanie (wektorowe + słowa kluczowe) zamiast czystego podobieństwa semantycznego - dokładność wzrosła z 73% do 94% na naszych benchmarkach
- Zdecydowano się na chunking z zachowaniem kontekstu (1000 tokenów z 200 nakładania) zamiast stałych rozdziałów - pozwoliło to zachować kontekst między sekcjami
Stack technologiczny
Powiązane usługi
Poniższe usługi zostały wykorzystane w tym projekcie do osiągnięcia pomyślnych rezultatów.
Wnioski z projektu
- Embeddingi specyficzne dla domeny znacząco przewyższają modele generyczne dla specjalistycznego słownictwa - nasze polskojęzyczne embeddingi ubezpieczeniowe poprawiły dokładność o 31%
- Benchmarking z ekspertami domenowymi jest kluczowy - początkowo 'sukces' był definiowany inaczej przez IT i brokerów ubezpieczeniowych
- Przewiduj edge cases wcześnie: wielojęzyczne dokumenty, zeskanowane PDF-y i informacje wrażliwe wymagają specjalnej obsługi od samego początku
Informacje o projekcie
Czas realizacji
6 miesięcy (ciągły rozwój)
Zespół
2 developerów + 1 product owner
Rezultaty
90%
Szybsze wyszukiwanie dokumentów
25+
Projektów zarządzanych w monorepo
23
Ubezpieczycieli zintegrowanych przez Calcly
Masz podobne wyzwanie?
Porozmawiajmy, jak mogę pomóc Twojemu projektowi odnieść sukces dzięki sprawdzonym rozwiązaniom architektonicznym i AI.