Data engineer
Senior Data Engineer
Als Senior Data Engineer ontwerp, bouw en integreer je data-infrastructuur en -pipelines om consistente end-to-end BI-oplossingen en Big Data use-cases te realiseren. Je ontwikkelt ETL/ELT-processen, data lakes en AI/ML-modellen, vertaalt businessbehoeften naar technische user stories en draagt zorg voor deployment, monitoring en sizing van de onderliggende infrastructuur.
Taken en verantwoordelijkheden
• Analyse en specificatie: Analyseren van businessbehoeften en vertalen naar IT-specificaties; creëren en verfijnen van user stories.
• Ontwerp en ontwikkeling: Ontwerpen, ontwikkelen en optimaliseren van data-opslag- en verwerkingsoplossingen (on-prem, cloud, hybrid).
• Data-platformen: Bouwen en onderhouden van data lakes, data warehouses en self-service reporting (bijv. PowerBI).
• ETL/ELT en API's: Bouwen en onderhouden van ETL/ELT-trajecten en API-integraties.
• Streaming analytics: Werken met streaming data analytics samen met business stakeholders.
• AI/ML: Creëren van AI/ML-modellen in Big Data use-cases en ondersteunen van business bij het toepassen van resultaten.
• Deployment & DevOps: Script-based deployments inclusief rollbacks; opzetten en onderhouden van geautomatiseerde deployments (standaard toolset) en CI/CD pipelines.
• Operations: Opzetten van geautomatiseerde monitoring, proactieve alerting en parameters voor sizing van applicatie-infrastructuur.
• Data governance en security: Implementeren van data quality checks, validatie- en securityframeworks en toegangscontroles.
Vereisten en vaardigheden
• Technische stack: Ervaring met Analytics & BI tools, bij voorkeur in de MS Azure stack (bijv. Synapse workspaces, dedicated SQL pools, SQL Database, Analysis Services, Function Apps, Event Grid, Event Hub, MQTT, Stream Analytics, Databricks).
• Programmeertalen: Vaardig in één of meer van Python, SQL, PySpark.
• DevOps en IaC: Bekend met CI/CD, testing en versiebeheer (bijv. Azure DevOps, ARM, GIT); ervaring met Terraform en bash; ontwerpen en onderhouden van Azure-infrastructuur met IaC.
• Security & governance: Implementeren van RBAC, IAM en security best practices in Azure; werken met Azure Key Vault.
• Containers en orkestratie: Ondersteunen van containerized workloads met Kubernetes.
• Data-architectuur: Kennis van Data Warehousing, datamodellering en moderne cloud/distributed platforms; begrip van IT-architectuurprincipes (bijv. TOGAF) en on-prem/cloud/hybrid patterns.
• Werkwijze: Ervaring met agile werken.
• Taal: Vloeiend in Engels, zowel schriftelijk als mondeling.
• Ervaring: Aantoonbare trackrecord in data engineering; ervaring in de energiesector is een pré.
Praktisch
• Opleiding: HBO/WO.
• Taal: Engels is de hoofdtaal voor communicatie in het team.
• Locatie: Aanwezigheid op het kantoor in Amsterdam op dinsdag en donderdag wordt verwacht.
Eisen
• HBO/WO
• We expect the candidates to have a proven trackrecord in the data engineering area
• Are proficient in spoken and written English
• Have working experience with Analytics & BI tools and services
• Have working experience with Synapse workspaces and dedicated SQL pools
• Have working experience with SQL Database and Analysis Services
• Have working experience with Function Apps, Event Grid and Event Hub
• Have working experience with MQTT and stream analytics
• Have working experience with Databricks
• Be proficient in one or more programming languages like Python and SQL, including test criteria
• Have a technical background with an understanding of how analytics solutions are brought into life by means of preferably but not exclusively Python, SQL, Pyspark
• Be familiar with CI/CD, testing and version control (e.g. Azure DevOps, ARM, GIT)
• Be familiar with Terraform and Bash
• Be familiar with data warehousing and data modelling concepts
• Design, implement and maintain Azure infrastructure using Infrastructure as Code with Terraform
• Implement RBAC, IAM and security best practices in Azure environments
• Implement security controls, networking, and governance policies using Azure Key Vault and role-based access control
• Support containerized workloads using Kubernetes
• Have an understanding of IT architecture guidelines and principles such as TOGAF and on-premise, cloud and hybrid architectural patterns
• Have experience in working agile
• Is able to create and execute script-based deployments, including rollbacks
• Is able to maintain/setup automated deployment using the VF standard toolset
• Is able to setup automated monitoring and proactive alerting
• Automate the deployment of data infrastructure and pipelines
Wensen
• Preferably in the MS Azure stack (e.g. Synapse workspaces and dedicated SQL pools, SQL Database, Analysis Services, Function Apps, Event Grid, Event hub, MQTT, stream analytics, Databricks, asset bundles)
• Ideally you already have a good understanding of utility business processes and their IT landscape, such as SAP ERP, IAM, EAM, SCADA and GDPR
Competenties
• Proactively adapt value adding solutions to the needs of other departments
• Collaborate with developers to enable cloud native deployments
Kerngegevens
Vergelijkbare opdrachten
Cloud / Platform Engineer - Gemeente Vlaardingen
Senior Oracle Apex Ontwikkelaar - Raad voor de Rechtspraak
AWS DevOps / Cloud Engineer
Andere opdrachten bij deze opdrachtgever
Procurement Manager Wind
SAP S/4HANA S2C procurerement business lead
Senior Change Communication Consultant
Liever dat wij meezoeken?
