Vacature: Sr Data Engineer 36 uur per week (2 FTE)

Functie: Senior Data Engineer

Als Senior Data Engineer werk je aan de doorontwikkeling en het beheer van het centrale data- en analyticsplatform CREDO en draag je bij aan de oplevering van dataproducten. Je zet schaalbare en efficiënte datapipelines op en ondersteunt de migratie naar Microsoft Fabric, met aandacht voor performance, datakwaliteit, monitoring en kostenbeheersing.

Eindresultaat

• Verdere ontwikkeling van het operationele CREDO-dataplatform door implementatie van één of meer roadmaponderdelen binnen de doelarchitectuur.

• Werkende en gedocumenteerde datapipelines.

• Opgezette PySpark-notebooks en ontworpen en gebouwde datamodellen voor ontsluiting en verwerking van gestructureerde en ongestructureerde databronnen.

Taken

• Ontwikkeling CREDO: Bijdragen aan het verder ontwikkelen van het platform en realiseren van speerpunten op de roadmap.

• Migratie naar Microsoft Fabric: Implementeren van de migratie vanuit Synapse naar Microsoft Fabric, inclusief omzetten van bestaande pipelines, notebooks en datamodellen.

• Datapipelines & notebooks: Bouwen en onderhouden van schaalbare datapipelines en PySpark-notebooks binnen de medallion-structuur (bronze, silver, gold) met focus op prestatie- en kostenoptimalisatie.

• Datamodellering: Implementeren van dimensionele datamodellen en ontsluiten/verwerken van gestructureerde en ongestructureerde databronnen in complexe bronlandschappen.

• Data quality: Uitvoeren en implementeren van een data quality framework en checks gedurende ETL/ELT-processen; implementeren van data cleansing-processen.

• Datawarehousebeheer: Structureren en managen van SQL-datawarehouse (Azure SQL Database en Fabric Database).

• Samenwerking: Samenwerken met data-analisten voor requirements en vertaling naar technische specificaties; werken in een agile omgeving met lead engineers en architects.

• CI/CD & security: Implementeren en gebruiken van CI/CD-pijplijnen voor geautomatiseerde build, test en deployment, inclusief quality- en securitycontroles.

• Kwaliteit & support: Analyseren en oplossen van complexe technische problemen, uitvoeren van code reviews, documenteren en monitoren van oplossingen.

• Kennisdeling & coaching: Inbrengen en borgen van expertise binnen het team en coachen van andere data engineers.

Profiel

• Ervaren Data Engineer met aantoonbare ervaring in cloud-native data-architecturen (Azure/Synapse/Fabric).

• Ervaring met PySpark, Delta Lake en lakehouse/medallion-architecturen (bronze/silver/gold).

• Ervaring met migraties van Synapse naar Microsoft Fabric of vergelijkbare platformmigraties.

• Kennis van dimensionele datamodellering en verwerking van gestructureerde en ongestructureerde data.

• Ervaring met implementatie van data quality frameworks en data cleansing-processen.

• Ervaring met SQL-datawarehouses, Azure SQL Database en Fabric Database.

• Ervaring met CI/CD-pijplijnen, geautomatiseerde build/test/deploy en integratie van quality/security checks.

• Vaardig in oplossen van complexe technische vraagstukken, code reviews, documentatie en monitoring.

• Vertrouwd met zelfstandig en zorgvuldig opleveren in complexe omgevingen en het samenwerken in agile teams.

• Bereidheid en ervaring om kennis te delen en andere engineers te coachen.