The posting
Dla naszego klienta poszukujemy kandydatów na stanowisko:
Staff Data Engineer - High-Performance Data Systems
🏢 Projekt: Budowa architektury danych oraz infrastruktury obliczeniowej dla nowej platformy klasy enterprise. Rola łączy ownership skalowalnych systemów danych, wysokowydajnego przetwarzania analitycznego oraz tworzenia silnika obliczeniowego.
💻 Stack technologiczny: Apache Spark, PostgreSQL, SQL, Apache DataFusion, Apache Arrow, Rust
🤝 Model współpracy: Kontrakt B2B - praca zdalna.
🎯 Zakres obowiązków:
- Projektowanie i rozwój architektury danych platformy, w tym modelowanie danych, projektowanie schematów, strategii przechowywania oraz obsługa obciążeń transakcyjnych i analitycznych.
- Definiowanie architektury przetwarzania danych – balansowanie między przetwarzaniem wsadowym a w czasie rzeczywistym, zapewnienie niskich opóźnień (low latency) oraz poziomej skalowalności.
- Projektowanie i optymalizacja PostgreSQL oraz analitycznej infrastruktury danych (wydajność zapytań, indeksowanie, optymalizacja pamięci masowej).
- Budowa i rozwój silnika obliczeniowego (w tym niestandardowe wykonywanie zapytań i reużywalne transformacje).
- Tworzenie widoków semantycznych, rozszerzeń SQL oraz trwałego katalogu dla definicji danych i złożonych obliczeń finansowych.
- Projektowanie integracji z zewnętrznymi źródłami danych, aplikacjami firm trzecich oraz systemami AI/ML (w tym pliki CSV/Parquet).
- Ustanawianie standardów w zakresie poprawności numerycznej, wersjonowania danych, migracji schematów, data lineage, audytowalności, obserwowalności i niezawodności produkcyjnej.
🛠️ Oczekujemy:
- Solidnego doświadczenia w projektowaniu i budowaniu infrastruktury danych, baz danych, platform analitycznych lub wysokowydajnych systemów danych.
- Doskonałej znajomości SQL oraz PostgreSQL (w tym planowanie zapytań, optymalizacja, indeksowanie, spójność transakcji).
- Głębokiego zrozumienia architektury danych, modelowania oraz różnic między przetwarzaniem transakcyjnym a analitycznym.
- Praktycznej i zaawansowanej znajomości Apache Spark.
- Doświadczenia w projektowaniu systemów pod duże wolumeny danych, skomplikowane obliczenia i niskie opóźnienia.
- Biegłości w korzystaniu z asystentów AI do kodowania (AI coding agents) oraz zdolności do dostarczania najwyższej jakości kodu produkcyjnego.
- Gotowości do podejmowania kluczowych decyzji architektonicznych przy jednoczesnym aktywnym pisaniu kodu (rola hands-on).
- Rygorystycznego podejścia do poprawności, niezawodności, testowania i utrzymywalności oprogramowania.
- Znajomości języka Rust (szczególnie w odniesieniu do pojęć tj. współbieżność, programowanie asynchroniczne, zarządzanie pamięcią, optymalizacja wydajności).
Mile widziana znajomość:
- Apache DataFusion, Apache Arrow,
- ClickHouse (lub innych silników kolumnowych/OLAP),
- architektury HTAP/Lakehouse,
- chmur (AWS/GCP/Azure),
- systemów obliczeń finansowych.
Oferujemy: 🤝
- Umowę B2B i elastyczną formę współpracy.
- Udział w prestiżowym projekcie tworzonym od podstaw, bez konieczności utrzymywania i naprawiania tzw. legacy code.
- Dużą autonomię i decyzyjność – Twój głos będzie miał kluczowy wpływ na ostateczny kształt architektury i technologii.
- Gwarancję stabilności (niezależne i pewne źródła finansowania), co pozwala na komfortowe skupienie się na innowacjach.



