Uppdragsbeskrivning

Vi söker en Traffic Analyst inom flerspråkig AI-kvalitetsutvärdering som kan utveckla, testa och förbättra kvaliteten på AI-genererat och AI-översatt innehåll. Du skapar utvärderingsramverk, dataset och scoring-metoder som säkerställer att innehåll är korrekt, flytande och kulturellt relevant. Rollen innebär nära samarbete med ML-ingenjörer och språkexperter för att kalibrera evaluatorer, analysera modellfel och förbättra kvalitet och pålitlighet i företagets AI-drivna språklösningar.

Du ansvarar för att utveckla utvärderingsrubriker, definiera scoringprotokoll, stödja träning av utvärderingsmodeller och dokumentera språk-specifika riktlinjer. Arbetet inkluderar även att identifiera kvalitetsluckor, förbättra utvärderingslogik och bidra till återkopplingsprocesser som kontinuerligt stärker den språkliga kvaliteten i företagets AI-plattformar.

Kvalifikationer:

• Erfarenhet inom språkkvalitetsutvärdering, tillämpad lingvistik, datalingvistik eller språkrelaterad forskningsmiljö.
• Van vid att arbeta med LLM-utvärdering, maskinöversättningsbedömning eller annoteringsprocesser i flerspråkiga miljöer.
• God förståelse för lingvistiska och översättningsfokuserade utvärderingsramverk som MQM, MetricX eller COMET, samt erfarenhet av att skapa flerdimensionella bedömningsmodeller och scoring-rubriker.
• Bekant med GenAI-utvärderingsmetoder, inklusive prompttestning, modellkalibrering och validering av poängsättning.
• Erfarenhet av samarbete med ML-team kring datapipelines, annotering eller finjustering av språkliga evaluatorer.
• Stark språklig och kulturell förståelse över flera marknader och förmåga att definiera vad kvalitet innebär för olika innehållstyper.
• Det är meriterande med erfarenhet av programmatisk QA, exempelvis regelbaserade kontroller eller API-driven validering med Python, YAML eller gRPC.
• Det är meriterande med erfarenhet av att mäta interbedömarreliabilitet, såsom Krippendorffs alfa eller Cohens κ, eller att jämföra mänskliga och AI-genererade bedömningar.