Uppdragsbeskrivning

Vi söker just nu en Data Engineer till vår kund. För intag till deras dataplattform nyttjar dem kafka och pyspark-script för inhämtning. De nyttjar just nu DBT core för transformering av all data med spark som engine (TThriftserver). Vid slutgiltiga lagret skjuts datan upp till Azure Adls Gen2 för nyttjande av Microsoft fabrics som analysplattform. All annan utveckling sker just nu on premise.

En vanlig dag just nu innefattar mycket DBT, då de har haft en ”POC” senaste månaden för att utvärdera verktyget. Framöver kommer fokus ligga mer på att få upp airflow för att kunna orkestrera och schemalägga alla körningar, spark, docker och kubernetes så att kunden får en stabil grund att stå på innan de går mot produktion. Därefter kommer arbete återgå mot dbt för transformering och modellleringsarbete.

Kompetensbehov:

• Spark – Python
• MS Fabric
• Git

Meriterande:

• DBT
• Azure DevOps
• Informationsmodellering
• Medallion architecture