Portfolio
Platforma Data Warehouse i Analityki
Analityka Ubezpieczeniowa / Inżynieria Danych
100x
Poprawa wydajności zapytań vs PostgreSQL
4
Potoki eksportu CSV dla Rankomat
1
Analityka dla Insly Broker Poland
Przegląd
Prowadziłem development wysokowydajnego data warehouse w Insly, zastępując wolne raportowanie PostgreSQL platformą ClickHouse. System obsługuje wielodzierżawczą analitykę dla Insly Broker Poland i integruje się z Rankomat poprzez strukturyzowane eksporty CSV.
Kontekst biznesowy
Insly obsługuje brokerów ubezpieczeniowych w Europie Środkowej. Warstwa analityczna była zbudowana na operacyjnej bazie PostgreSQL, powodując problemy wydajnościowe wraz ze wzrostem wolumenów danych do milionów rekordów. Brokerzy potrzebowali dashboardów w czasie rzeczywistym a biznes wymagał integracji z Rankomat, wiodącą polską platformą porównania cen ubezpieczeń.
Wyzwanie
Analityka ubezpieczeniowa wymagała zapytań o miliony rekordów polis i roszczeń, ale raportowanie oparte na PostgreSQL było zbyt wolne dla dashboardów w czasie rzeczywistym i dużych eksportów danych.
- Zapytania PostgreSQL na milionach rekordów ubezpieczeniowych trwające minuty zamiast sekund
- Wymogi izolacji danych wielodzierżawczych między organizacjami brokerów
- Integracja z Rankomat wymagająca 4 potoków eksportu CSV z rygorystycznym formatowaniem
Rozwiązanie
Przyjęliśmy ClickHouse jako silnik analityczny ze względu na kolumnowe przechowywanie i zwektoryzowane wykonywanie zapytań, w połączeniu z DBT dla utrzymywalnych transformacji danych i potokami Python ETL do pozyskiwania danych z operacyjnych baz PostgreSQL.
- Migracja obciążeń analitycznych z PostgreSQL do ClickHouse z kolumnowym przechowywaniem
- Budowa potoków transformacji danych opartych na DBT dla wielodzierżawczej analityki
- Implementacja 4 potoków eksportu CSV dla integracji z Rankomat
Podejście i metodologia
Zaczęliśmy od profilowania najwolniejszych zapytań analitycznych i zrozumienia wzorców dostępu. ClickHouse wybrano ze względu na wyjątkową wydajność przy obciążeniach analitycznych. Użyliśmy DBT do tworzenia utrzymywalnej, kontrolowanej wersjonowaniem logiki transformacji i Python ETL do pozyskiwania danych. Migracja była przeprowadzana przyrostowo, aby nie zakłócać istniejącego raportowania.
Szczegóły implementacji
Kolumnowa Analityka ClickHouse
Zaprojektowaliśmy schematy ClickHouse z odpowiednimi kluczami sortowania i zmaterializowanymi widokami dla najczęstszych wzorców zapytań analitycznych, osiągając czasy odpowiedzi poniżej sekundy na zapytaniach, które wcześniej trwały minuty.
Potoki Transformacji DBT
Zaimplementowaliśmy modele DBT do transformacji danych z przetwarzaniem przyrostowym, umożliwiając niezawodne i testowalne potoki danych ze źródeł PostgreSQL do magazynu analitycznego.
Integracja Eksportu CSV Rankomat
Zbudowaliśmy 4 zautomatyzowane potoki eksportu CSV dla platformy porównania cen Rankomat, obsługując formatowanie danych, walidację i harmonogramowanie dostarczania na AWS EKS.
Kluczowe decyzje
- ClickHouse zamiast BigQuery — self-hosted na AWS EKS dla kontroli kosztów i zgodności przechowywania danych
- DBT do transformacji — kontrolowane wersjonowaniem, testowalne modele SQL zastępują ad-hoc skrypty
- MinIO/S3 do stagingu — pośrednie przechowywanie dla dużych transferów zbiorów danych między systemami
Stack technologiczny
Powiązane usługi
Poniższe usługi zostały wykorzystane w tym projekcie do osiągnięcia pomyślnych rezultatów.
Wnioski z projektu
- Wybór klucza sortowania ClickHouse jest krytyczny — złe klucze mogą negować korzyści wydajności kolumnowej
- Przyrostowe modele DBT wymagają starannego projektowania kluczy unikalności dla danych ubezpieczeniowych z korektami
- Izolacja wielodzierżawcza w ClickHouse wymaga projektowania zabezpieczeń na poziomie wierszy od pierwszego dnia
Informacje o projekcie
Czas realizacji
5 miesięcy
Zespół
2 inżynierów (dane + backend)
Rezultaty
100x
Poprawa wydajności zapytań vs PostgreSQL
4
Potoki eksportu CSV dla Rankomat
1
Analityka dla Insly Broker Poland
Masz podobne wyzwanie?
Porozmawiajmy, jak mogę pomóc Twojemu projektowi odnieść sukces dzięki sprawdzonym rozwiązaniom architektonicznym i AI.