The posting
Jak wytrenować model, który rozumie szept, mowę bezgłośną i napiętą, skoro standardowe zbiory danych w ogóle tego nie zawierają?
Odpowiedź zaczyna się od danych: od tego, jak dobrze zostały zaprojektowane, pozyskane i sprawdzone. Jakość modeli jest ograniczona jakością korpusu.
W Etteplan szukamy Speech Data Engineera, który przejmie odpowiedzialność za pozyskiwanie danych głosowych dla technologii AI naszego klienta, od wyboru dostawców i protokołów nagrań, przez kontrolę jakości, po zgodność z GDPR.
Od ponad 40 lat łączymy wiedzę inżynierską z nowoczesnymi technologiami. Tworzymy rozwiązania z obszaru software, embedded systems i zaawansowanej inżynierii, pomagając klientom rozwijać produkty i systemy wykorzystywane w rzeczywistym świecie.
Rola w skrócie
Obszar: pozyskiwanie i kontrola jakości danych głosowych (speech data operations, data engineering)
Kluczowe technologie: Python, pipeline'y audio i metadanych, wersjonowanie zbiorów danych
Główne zagadnienia: zarządzanie dostawcami danych, protokoły nagrań, kontrola jakości, GDPR i dane biometryczne, licencje i pochodzenie danych (provenance), współpraca z badaczami AI
Środowisko: zbiory danych mowy w wielu językach, zewnętrzni dostawcy nagrań, zespół badawczy AI
O projekcie i Twojej roli
Dołączysz do zespołu klienta, który buduje działającą w czasie rzeczywistym, lokalnie na urządzeniu technologię audio AI. Przekształca ona szept, mowę bezgłośną i napiętą w czysty, naturalny głos, bez udziału chmury i z opóźnieniem pozwalającym na rozmowę. Technologia jest licencjonowana producentom sprzętu.
Modele klienta wymagają mowy, której standardowe zbiory danych nie obejmują. Istniejące korpusy to głównie mowa czytana i dźwięczna, nagrywana w cichych pomieszczeniach przez osoby mówiące normalnie, a produkty klienta działają na mowie szeptanej, bezgłośnej i napiętej, w warunkach rzeczywistych. Dane te pozyskiwane są przez wyspecjalizowanych partnerów w wielu językach, a Ty odpowiadasz za to, jak dobrze są zaprojektowane, pozyskane i sprawdzone.
To rola data engineera, której środek ciężkości leży w operacjach pozyskiwania danych: mniej więcej dwie trzecie operacji i jedna trzecia inżynierii. Wybierasz dostawców i zarządzasz nimi, piszesz protokoły, według których pracują, kontrolujesz jakość dostaw i prowadzisz pipeline, który sprawia, że wynik jest użyteczny. Jeśli szukasz roli czysto związanej z systemami rozproszonymi, to nie ta. Jeśli chcesz odpowiadać za zbiór danych od początku do końca i zobaczyć, jak zmienia wyniki modeli, to właśnie ta.
Dlaczego warto?
- Pracujesz nad problemem, którego nikt jeszcze nie rozwiązał. Nie istnieje gotowy podręcznik pozyskiwania mowy bezgłośnej w dobrej jakości i na dużą skalę, a Ty pomagasz go napisać.
- Odpowiadasz za zbiór danych od początku do końca. Widzisz, jak Twoja specyfikacja, kontrola jakości i decyzje o licencjach przekładają się na wyniki modeli.
- Masz krótką drogę od swojej pracy do gotowego produktu. SDK klienta trafia do urządzeń konsumenckich, a korpus decyduje o tym, jak dobrze brzmi wynik.
- Pracujesz w małym zespole, przy jednym stole z badaczami i dyrektorem produktu (CPO). Osoba odpowiedzialna za dane ma bezpośredni wpływ na decyzje.
W tej roli będziesz odpowiadać za:
- Pozyskiwanie zbiorów danych mowy od zewnętrznych firm zajmujących się zbieraniem danych: wybór dostawców, umowy zakresowe (SOW), standardy akceptacji, harmonogramy dostaw i budżety.
- Ustalanie specyfikacji paneli tak, aby każdy język był zrównoważony pod względem wieku, płci, akcentu i typu głosu, oraz sprawdzanie dostaw względem tych specyfikacji.
- Dbanie o to, aby dostawcy uczciwie płacili uczestnikom i jasno ich informowali.
- Pisanie protokołów nagrań dla każdego języka, według których działają dostawcy: zestawy tekstów, długość sesji i instrukcje dla mówców.
- Definiowanie macierzy przechwytywania (urządzenia, typy mikrofonów, odległość i warunki hałasu), tak aby korpus odzwierciedlał rzeczywiste użycie.
- Szacowanie skali każdej kolekcji: liczba mówców (w tym akcenty i emocje), godziny, zrównoważenie i koszt.
- Budowę i prowadzenie ścieżki przyjmowania danych (ingest) z automatyczną walidacją częstotliwości próbkowania, kanałów, przesterowań, głośności, stosunku sygnału do szumu, aktywności głosowej i wyrównania.
- Utrzymywanie schematu metadanych dla wielu języków, dostawców i sprzętu nagraniowego.
- Wersjonowanie zbiorów danych, pisanie notatek o wydaniach i zapewnianie powtarzalnych podziałów bez wycieku mówców między zbiorami.
- Ustalanie kryteriów akceptacji dla każdej partii i egzekwowanie ich, w tym wymuszanie poprawek, gdy partia ich nie spełnia.
- Prowadzenie eksperckich sesji odsłuchowych w zakresie, którego automatyka nie oceni, oraz monitorowanie dryfu między partiami, dostawcami i lokalizacjami.
- Dbanie o powtarzalność procesu tak, aby dodanie nowego języka było kwestią konfiguracji, a nie osobnym projektem.
- Zarządzanie modelem zgód: jawnym, celowym, udokumentowanym i możliwym do wycofania (nagrania głosu to dane biometryczne w rozumieniu GDPR).
- Zabezpieczanie licencji obejmujących wszystkie planowane zastosowania komercyjne i prowadzenie dokumentacji praw, którą da się prześledzić do każdej umowy.
- Prowadzenie rejestru pochodzenia (provenance) dla każdej próbki: kto, kiedy, na jakiej zgodzie i licencji oraz do jakich celów można jej użyć.
- Odpowiadanie za przechowywanie, usuwanie i wymazywanie danych w praktyce, w tym za to, co wycofanie zgody oznacza dla modelu, który został już wytrenowany.
- Udział w ocenie skutków dla ochrony danych (DPIA) oraz współpracę z doradcami regulacyjnymi nad warunkami kolekcji i unijnym aktem o sztucznej inteligencji (EU AI Act).
- Przekładanie potrzeb modeli na specyfikacje kolekcji, zamykanie pętli od każdego wydania zbioru do wyników ewaluacji modeli oraz wczesne informowanie zespołu badawczego, czego dane nie są w stanie wesprzeć.
Szukamy osoby, która:
- Ma co najmniej 4 lata doświadczenia w inżynierii danych, operacjach na danych mowy lub zarządzaniu korpusami, w tym przynajmniej jeden program kolekcji prowadzony samodzielnie od początku do końca.
- Ma praktyczne doświadczenie z danymi audio na dużą skalę: formaty, częstotliwości próbkowania, głośność, wyrównanie i metadane.
- Swobodnie programuje w Pythonie i sama pisze skrypt zamiast zgłaszać zadanie innym.
- Ma udokumentowane doświadczenie w zarządzaniu dostawcami: pozyskiwanie i kontraktowanie partnerów zbierających dane, umowy zakresowe, budżety, kryteria akceptacji oraz trudna rozmowa, gdy partia nie spełnia wymagań.
- Zna GDPR w zakresie danych biometrycznych i głosowych oraz swobodnie porusza się w licencjonowaniu danych i prawach do nich.
- Potrafi odmówić drogi na skróty, która zagraża możliwości licencjonowania korpusu.
- Potrafi koordynować pracę w różnych kulturach: będzie nadzorować kolekcje w językach, których nie zna, przez dostawców i lokalnych koordynatorów, nie tracąc odpowiedzialności za jakość.
- Pisze tak, żeby inni mogli według tego pracować: protokoły, kryteria akceptacji i notatki o wydaniach to główne wytwory tej pracy.
- Jest gotowa na okazjonalne podróże do dostawców.
Docenimy również:
- Wykształcenie lub doświadczenie z fonetyki lub lingwistyki, w tym praca z szeroką gamą rodzin językowych.
- Doświadczenie z uznanymi korpusami mowy lub platformami zbierania danych metodą crowdsourcingu.
- Doświadczenie w ewaluacji modeli mowy, takiej jak WER, MOS, MUSHRA i podobieństwo mówcy.
- Doświadczenie z przechwytywaniem dźwięku na urządzeniach lub w niestandardowych konfiguracjach.
- Dodatkowe języki: niderlandzki, mandaryński lub japoński.
Jak przebiega proces rekrutacyjny?
- Prześlij nam swoje CV w języku angielskim, dopisując w formularzu oczekiwania finansowe, preferowaną formę współpracy oraz dyspozycyjność.
- Teraz czas na nasz ruch - analizę Twojego zgłoszenia. Jeśli przebiegła pomyślnie, zaprosimy Cię na dłuższą rozmowę w formie zdalnej (ok. 1.5h).
- Po spotkaniu spodziewaj się feedbacku w przeciągu 2 tygodni.
- Powyższe etapy poszły Ci jak z płatka? Świetnie! Witaj w Etteplan :)
Możesz też zajrzeć na naszą stronę internetową lub Facebooka i zobaczyć, co ciekawego się u nas dzieje!
-
Nasza firma wdrożyła procedury ochrony sygnalistów zgodnie z obowiązującą ustawą. Każda osoba ma prawo zgłaszać nieprawidłowości w bezpieczny sposób, a zgłoszenia są objęte pełną ochroną prawną. Więcej informacji: https://www.etteplan.com/pl/kodeks-postepowania/
