Senior Data Engineer (2 FTE)

Rol

Als Senior Data Engineer speel je een belangrijke rol in de verdere ontwikkeling van het centrale data- en analyticsplatform (CREDO). Je werkt aan zowel de oplevering van dataproducten als de doorontwikkeling en het beheer van het platform, met focus op migratie naar Microsoft Fabric, performanceoptimalisatie, datakwaliteit, monitoring en kostenbeheersing.

Platform en architectuur:

CREDO is gebaseerd op een lakehouse-architectuur in Microsoft Azure, met een medallion-structuur en Delta Lake. De organisatie migreert naar Microsoft Fabric; werk vindt plaats binnen een metadata-gedreven aanpak met aandacht voor data governance, kwaliteit en veiligheid.

Resultaat van de opdracht

• Geïmplementeerde roadmaponderdelen die aansluiten op de doelarchitectuur.

• Werkende en gedocumenteerde datapipelines.

• Ontwikkelde PySpark-notebooks.

• Ontworpen en gerealiseerde dimensionele datamodellen.

• Oplossingen voor ontsluiting en verwerking van gestructureerde en ongestructureerde databronnen.

• Verbeteringen op het gebied van performance, datakwaliteit, monitoring en kostenbeheersing.

Werkzaamheden

• Bijdragen aan de verdere ontwikkeling van het CREDO-dataplatform en realiseren van speerpunten op de roadmap.

• Implementeren van de migratie van Azure Synapse naar Microsoft Fabric op basis van intermediate en target state architectures.

• Omzetten van bestaande pipelines, notebooks en datamodellen naar Microsoft Fabric.

• Ontwikkelen en onderhouden van schaalbare datapipelines en PySpark-notebooks binnen de medallion-architectuur (bronze, silver, gold).

• Optimaliseren van prestaties en kosten van datapipelines en dataverwerking.

• Ontwerpen en implementeren van dimensionele datamodellen.

• Ontsluiten en verwerken van gestructureerde en ongestructureerde databronnen binnen complexe bronlandschappen.

• Implementeren van data quality frameworks en controles binnen ETL/ELT-processen; ontwikkelen van data cleansing-processen.

• Structureren en beheren van SQL-datawarehouses (Azure SQL Database, Fabric Database).

• Samenwerken met data-analisten om requirements te vertalen naar technische specificaties.

• Implementeren en gebruiken van CI/CD-pipelines voor geautomatiseerde build-, test- en deploymentprocessen inclusief kwaliteits- en securitycontroles.

• Analyseren en oplossen van complexe technische problemen; uitvoeren van code reviews; verzorgen van documentatie en monitoring.

• Actief delen van technische kennis en coachen van andere data engineers.

Functie-eisen

• Meer dan 7 jaar werkervaring als Data Engineer met de ontwikkeling en het beheer van een dataplatform binnen Microsoft Azure.

• Aantoonbare ervaring met Microsoft Fabric en/of Azure Synapse Analytics.

• Ervaring met implementeren van dataoplossingen in complexe omgevingen met meerdere bronsystemen, afhankelijkheden en stakeholders.

• Ervaring met lakehouse-architecturen en medallion-principes.

• Minimaal 5 jaar ervaring met dimensioneel datamodelleren, SQL-programmering en PySpark-notebooks.

• Ervaring met standaardiseren en automatiseren van workflows.

• Aantoonbare ervaring met Azure DevOps, Git en CI/CD-principes.

• Ervaring met werken in een agile omgeving en met het vertalen van epics naar features en het aanscherpen van user stories.

• Beschikking over één of meerdere relevante Microsoft Azure-certificeringen binnen data engineering (bijv. Azure Data Engineer Associate DP-203).

• Zelfstandige, proactieve werkhouding en vermogen om snel effectief te functioneren binnen een nieuwe organisatie.

Pré

• Ervaring met het ontwikkelen van dataproducten op basis van SAP en SuccessFactors.

Competenties

• Uitstekende communicatieve vaardigheden en vermogen om effectief te communiceren met verschillende niveaus binnen de organisatie.

• Sterk analytisch en probleemoplossend vermogen.

• Vermogen om complexe datavraagstukken te vertalen naar schaalbare en efficiënte technische oplossingen.

• Proactief en zelfstandig in het identificeren en oplossen van technische uitdagingen.

• Ervaring met begeleiden en coachen van andere engineers en het ondersteunen van technische teams bij kennisontwikkeling.

• Bereidheid om actief kennis te delen en bij te dragen aan verdere professionalisering van het team.

Aanvullende informatie

• Een VOG-verklaring kan onderdeel zijn van de selectieprocedure.