The posting
Jak sprawić, żeby każda aplikacja na komputerze słyszała zrekonstruowany głos użytkownika, a nie tylko jedna wybrana?
Odpowiedź leży głęboko w systemie Windows: w Audio Processing Objects, wirtualnych sterownikach mikrofonu i bezpiecznej inferencji AI na NPU w komputerach PC.
W Etteplan szukamy Senior Windows Audio Engineera, który zintegruje technologię rekonstrukcji mowy opartą na AI ze stosem audio Windows, od pierwszej rozmowy o zakresie, przez zwalidowany proof of concept i prace rozwojowe finansowane przez producenta (NRE), po integrację produkcyjną na sprzęcie klientów.
Od ponad 40 lat łączymy wiedzę inżynierską z nowoczesnymi technologiami. Tworzymy rozwiązania z obszaru software, embedded systems i zaawansowanej inżynierii, pomagając klientom rozwijać produkty i systemy wykorzystywane w rzeczywistym świecie.
Rola w skrócie
Obszar: integracja technologii głosowej AI ze stosem audio Windows
Kluczowe technologie: APO, WASAPI, WDK (PortCls, ACX), C/C++, ONNX Runtime, DirectML/Windows ML, QNN, OpenVINO, Ryzen AI
Główne zagadnienia: Audio Processing Objects, wirtualne sterowniki mikrofonu, inferencja AI na NPU, zabezpieczanie modeli, certyfikacja HLK/WHQL, optymalizacja opóźnień
Środowisko: Windows, komputery PC i platformy producentów (OEM, ODM, IHV), układy audio (Realtek, Intel, Qualcomm, AMD)
Poziom: Senior
O projekcie i Twojej roli
Dołączysz do zespołu klienta rozwijającego technologię rekonstrukcji mowy opartą na AI. Będziesz ekspertem od audio w Windows, który wprowadza ją do systemu tak, aby działała dla wszystkich aplikacji na komputerze, a nie tylko dla jednej.
Odpowiadasz za uruchomienie SDK na sprzęcie klientów, od pierwszej rozmowy o zakresie, przez zwalidowany PoC i podpisany NRE, po integrację produkcyjną. Współpracujesz bezpośrednio z innymi inżynierami oprogramowania, badaczami AI, inżynierami QA, Technical Product Managerem i zespołem business development. Budujesz też techniczne fundamenty, które pozwolą klientowi prowadzić kilka programów z producentami (OEM) równolegle.
Rola wiąże się z podróżami służbowymi do klientów obejmującymi około 30% czasu pracy.
Co chcemy osiągnąć w pierwszym roku:
- SDK działa jako podpisany APO i/lub wirtualny mikrofon na urządzeniu producenta komputerów, zwalidowany od PoC do NRE,
- powstaje referencyjna integracja Windows (APO, wirtualny sterownik audio, bezpieczne ładowanie modeli, instalator), wielokrotnego użytku dla różnych dostawców NPU,
- dokumentacja integracyjna osiąga wersję 1.0 i przyspiesza wdrożenie kolejnego programu,
- trwa integracja z drugim producentem PC lub dostawcą układów, z jasnymi kamieniami milowymi.
Dlaczego warto?
- Budujesz technologię w sercu systemu. Pracujesz w stosie audio Windows, na sterownikach i NPU, a efekt Twojej pracy słyszy każda aplikacja na komputerze.
- Prowadzisz projekt od pierwszej rozmowy do produkcji. Odpowiadasz za techniczną realizację PoC i NRE, więc widzisz, jak Twoje decyzje przekładają się na wdrożenie u klienta.
- Tworzysz fundament dla kolejnych programów. Referencyjna integracja, pakiety APO i sterowników oraz dokumentacja skrócą integrację u każdego następnego producenta.
- Współpracujesz z czołowymi producentami sprzętu. Masz bezpośredni kontakt z zespołami audio producentów komputerów i dostawców układów.
W tej roli będziesz odpowiadać za:
- Projektowanie, budowę i wdrażanie Audio Processing Objects (APO) uruchamiających rekonstrukcję głosu w ścieżce przechwytywania Windows, w tym APO opartych na CAPX, tryby przetwarzania SFX/MFX/EFX oraz ustawienia i powiadomienia APO.
- Tworzenie i utrzymywanie wirtualnych sterowników mikrofonu i urządzeń audio (kernel streaming, PortCls, ACX), które udostępniają zrekonstruowany głos jako systemowe wejście dla dowolnej aplikacji.
- Integrację ze stosami audio producentów sprzętu i układów (np. sterowniki Realtek, Intel, Qualcomm, AMD): pakowanie INF, konfigurację endpointów i współistnienie z istniejącym przetwarzaniem wstępnym, takim jak AEC, redukcja szumu i Windows Studio Effects.
- Przeprowadzanie sterowników i APO przez proces wydawniczy: testy HLK, attestation i podpisywanie WHQL oraz dostarczanie przez Windows Update lub obrazy OEM.
- Uruchamianie modeli AI na NPU, GPU i CPU w komputerach przez ONNX Runtime, Windows ML/DirectML, Qualcomm QNN, Intel OpenVINO lub AMD Ryzen AI, w granicach opóźnień audio czasu rzeczywistego.
- Zabezpieczanie wag modeli i inferencji w Windows: szyfrowanie modeli, enklawy VBS, klucze oparte na TPM, procesy chronione, integralność kodu i bezpieczne ładowanie, w ograniczeniach APO i sterowników.
- Profilowanie i optymalizację całej ścieżki audio pod kątem opóźnień, płynnego odtwarzania i przechwytywania bez zakłóceń oraz poboru energii (ETW, WPR/WPA, MMCSS, WASAPI o niskim opóźnieniu).
- Integrację i walidację SDK na komputerach i projektach referencyjnych klientów.
- Techniczną realizację programów PoC i NRE: konfigurację sprzętu, kamienie milowe, pomiar KPI, demonstracje i końcową dokumentację zakresu.
- Pełnienie roli głównego technicznego kontaktu dla zespołów audio producentów OEM, ODM i dostawców układów (IHV) podczas PoC, NRE i walidacji.
- Przekładanie ograniczeń klientów na konkretne zakresy integracji, takie jak macierze mikrofonów, istniejące łańcuchy APO, limity NPU i wymagania bezpieczeństwa.
- Wspieranie zespołu sprzedaży głębią techniczną na rozmowach o zakresie i w ofertach oraz dbanie o sprawność sprzętu demonstracyjnego na spotkania z klientami i targi.
- Budowanie powtarzalnych playbooków integracji z Windows, referencyjnych pakietów APO i sterowników, harnessów testowych i stanowisk sprzętowych, które skracają integrację u każdego nowego producenta.
- Przekazywanie zespołowi AI obserwacji z terenu, np. o warunkach hałasu, zachowaniu mikrofonów, opóźnieniach i przypadkach brzegowych personalizacji.
- Utrzymywanie dokumentacji integracji SDK i rozwijanie jej na podstawie opinii klientów.
Szukamy osoby, która:
- Ma co najmniej 6 lat doświadczenia w inżynierii systemów Windows, audio lub sterowników.
- Ma głęboką, praktyczną wiedzę o architekturze audio Windows: Audio Engine (audiodg), WASAPI, endpointy audio, tryby przetwarzania i Kernel Streaming.
- Ma udokumentowane doświadczenie w budowie i wdrażaniu Audio Processing Objects (APO).
- Ma doświadczenie w tworzeniu sterowników audio dla Windows lub wirtualnych urządzeń audio (wirtualnych mikrofonów) z użyciem WDK, PortCls, AVStream lub ACX (przykład SysVAD powinien być znajomy).
- Ma solidne podstawy w przetwarzaniu wstępnym audio przy przechwytywaniu: kasowanie echa akustycznego, redukcja szumu, beamforming, AGC i DSP czasu rzeczywistego z niskimi budżetami opóźnień.
- Ma doświadczenie w zabezpieczaniu inferencji modeli AI i własności intelektualnej w Windows: szyfrowanie modeli, przechowywanie kluczy (TPM, DPAPI), enklawy VBS lub inne zaufane środowiska wykonawcze, podpisywanie kodu i odporność na manipulacje.
- Ma praktyczne doświadczenie z inferencją AI na urządzeniach brzegowych w Windows: ONNX Runtime, DirectML/Windows ML lub środowiska uruchomieniowe producentów NPU, takie jak QNN, OpenVINO czy Ryzen AI.
- Bardzo dobrze zna C/C++ w pracy systemowej, sterownikowej lub audio czasu rzeczywistego oraz swobodnie debuguje w trybie jądra i użytkownika (WinDbg, ETW, WPA).
- Zna podpisywanie i certyfikację sterowników: HLK, attestation signing, WHQL i pakowanie INF.
- Ma doświadczenie w tworzeniu SDK lub w integracji zewnętrznych bibliotek AI, audio lub DSP w produktach wdrażanych komercyjnie.
- Potrafi pracować bezpośrednio z zespołami inżynierskimi klientów i jasno dokumentować wyniki.
- Swobodnie posługuje się językiem angielskim w mowie i piśmie.
- Jest gotowa na podróże służbowe do klientów obejmujące około 30% czasu pracy.
Docenimy również:
- Znajomość AOSP: budowanie i dostosowywanie obrazów platformy Android, Audio HAL, AudioFlinger/AudioPolicy i framework efektów audio.
- Doświadczenie z przetwarzaniem audio na Androidzie: AudioRecord, AAudio, Oboe i stosy DSP producentów, takie jak Qualcomm AudioReach.
- Doświadczenie we współpracy lub pracy w firmach Microsoft, Qualcomm, Intel, AMD, Realtek albo u producenta komputerów (OEM/ODM).
- Doświadczenie z Windows Studio Effects, certyfikacją urządzeń Microsoft Teams lub strojeniem audio komunikacyjnego.
- Doświadczenie w przetwarzaniu mowy, AI głosowym lub poprawie jakości dźwięku.
- Optymalizację modeli na urządzeniach, kwantyzację lub profilowanie opóźnień.
- Doświadczenie z integracją w urządzeniach typu hearable, wearable lub ochrony słuchu.
- Znajomość GDPR i obsługi danych biometrycznych na urządzeniu.
- Znajomość Pythona do narzędzi i benchmarków.
Jak przebiega proces rekrutacyjny?
- Prześlij nam swoje CV w języku angielskim, dopisując w formularzu oczekiwania finansowe, preferowaną formę współpracy oraz dyspozycyjność.
- Teraz czas na nasz ruch - analizę Twojego zgłoszenia. Jeśli przebiegła pomyślnie, zaprosimy Cię na dłuższą rozmowę w formie zdalnej (ok. 1.5h).
- Po spotkaniu spodziewaj się feedbacku w przeciągu 2 tygodni.
- Powyższe etapy poszły Ci jak z płatka? Świetnie! Witaj w Etteplan :)
Możesz też zajrzeć na naszą stronę internetową lub Facebooka i zobaczyć, co ciekawego się u nas dzieje!
-
Nasza firma wdrożyła procedury ochrony sygnalistów zgodnie z obowiązującą ustawą. Każda osoba ma prawo zgłaszać nieprawidłowości w bezpieczny sposób, a zgłoszenia są objęte pełną ochroną prawną. Więcej informacji: https://www.etteplan.com/pl/kodeks-postepowania/
