Data Engineer

Data Engineer Vacature bij NedapNedap logo Data Engineer Nedap Wat ga je doen? Als Data-Engineer weet je hoe je data uit verschillende silo's kunt ontsluiten en omzetten naar waardevolle inzichten met behulp van ons dataplatform. Je werkt nauw samen met data-analisten die zich richten op de businesscontext en analytische inzichten toegankelijk maken, bijvoorbeeld via dashboards. Je werkt voornamelijk aan ons on-premise dataplatform: een via GitHub Workflows gedeployde Airflow-instantie die draait in Nomad en het grootste deel van de data ontsluit vanuit onze interne API's en databases. De transformatie en validatie van data gebeurt met Python (o.a. pandas, pandera en DuckDB), waarna de data wordt opgeslagen in Ceph S3. Deze data wordt vervolgens gebruikt door data-analisten voor Exploratory Data Analyses (EDA's) in Jupyter Notebooks binnen een Docker-container op onze VM, of gepubliceerd naar analytische dashboards in Power BI. Je gaat de uitdaging aan om een betrouwbaar, veilig en tegelijkertijd gebruiksvriendelijk systeem te bouwen dat schaalbaar is en aansluit op de analytics-doelstellingen van de Healthcare key market. Je hebt affiniteit met het structureren van complexe, (on)gestructureerde big data en ondersteunt anderen graag bij het werken met data. Daarnaast haal je plezier uit het ontwerpen van heldere processen die dataverwerking faciliteren. Verantwoordelijkheden Dataplatform Je vereenvoudigt, onderhoudt en implementeert nieuwe datapipelines. Dit doe je samen met andere data-engineers en data-analisten die power users van het platform zijn. In de toekomst help je mee om (delen van) het platform te integreren in de bedrijfsbrede data-infrastructuur. Analytics Infrastructure Naast datapipelines voert het team notebook-gedreven EDA's uit die in een veilige en betrouwbare omgeving moeten plaatsvinden. Je helpt bij het mogelijk maken, verbeteren en optimaliseren van de bestaande processen binnen onze huidige Analyti...