Data Streaming Engineer

Contact Inhuur Data Streaming Engineer • Utrecht • Einddatum: • 36 uur • Startdatum: • Maximaal €95.00 per uur • Sluit op Reageren voor woensdag 22 juli 09:00. Wil jij impact maken met realtime data op het dagelijks vervoer van meer dan 1 miljoen reizigers? Bouw binnen team FLUX mee aan FLOW: een nieuwe applicatie die met streaming data en machine learning reizigersprognoses maakt voor de operatie op dezelfde dag. Werk met moderne Azure- en Databricks-componenten in een open, innovatief en maatschappelijk relevant team. Bij de NS Inhuurdesk werken wij met mini aanbestedingen waarbij je je kunt inschrijven op een opdracht. Dit zijn een aantal opdrachtspecifieke criteria en een aantal standaardvoorwaarden waar jouw aanbieding aan moet voldoen. Je maakt gebruik van een voorblad bij je aanbieding. • Je draagt direct bij aan het verbeteren van de reiservaring van miljoenen mensen door slimme data-oplossingen te ontwikkelen. • Je werkt in een multidisciplinair, innovatief team (FLUX) dat volop ruimte biedt voor eigen initiatief en ontwikkeling. • Je stapt in op het moment dat FLOW wordt opgebouwd en krijgt invloed op de architectuur, deploymentstrategie en operationele inrichting van een realtime prognoseplatform. Data vormt een essentieel onderdeel van al onze processen en kent een constante dynamiek. Dit is niet overdreven, dagelijks vertrouwen ruim één miljoen reizigers in Nederland op onze technologie voor het verkrijgen van accurate informatie en het faciliteren van het treinverkeer. Vanuit het hoofdkantoor in Utrecht werken diverse teams op de achtergrond aan het realiseren van deze uitdagingen binnen een innovatieve dataomgeving. Binnen het cluster Reizigersstromen werk je als Data Streaming Engineer mee in team FLUX, een Advanced Analytics-team. FLUX ontwikkelt onder andere het realisatiemodel dat achteraf het aantal reizigers per trein nauwkeurig in kaart brengt. De uitkomsten van dit model vormen de basis voor processen zoals het berekenen van concessie-KPI's, rapportages aan overheidsinstanties, inzichten in reizigersstromen, drukte op stations en commerciële analyses. Naast dit bestaande FLUX-product starten we met FLOW: een nieuwe applicatie die op basis van realtime datastromen en machine learning reizigersprognoses maakt voor de operatie op dezelfde dag. FLOW wordt ontwikkeld in een moderne cloudomgeving op Microsoft Azure en Databricks. Je werkt aan streaming pipelines en event-driven componenten met technologieën zoals Azure Event Hubs, Azure Functions en Databricks Structured Streaming. Belangrijke databronnen zijn onder andere check-in/check-uit transacties, ticketverkoop, dienstregelingen updates en conducteurscontroles. Met deze data bouwen we realtime inzichten en prognoses die helpen bij operationele sturing, monitoring van drukte en het verbeteren van reizigersinformatie. Je werkt als teamlid met een sterke Data Engineering-, Streaming- of ML Engineering-achtergrond mee aan het opzetten van FLOW. Dankzij jouw expertise in streaming architecturen, cloudcomponenten en machine learning ben jij van onschatbare waarde bij: • Het inrichten van event-driven cloudcomponenten, zoals Azure Event Hubs, Azure Functions en Databricks Structured Streaming. • Het integreren van machine learning in streaming datastromen, zodat prognosemodellen continu kunnen werken met actuele informatie. • Het ontwikkelen van deploymentstrategieën voor streaming applicaties, met aandacht voor betrouwbaarheid, schaalbaarheid en veilige releases. • Het ontwerpen van replay-mechanismen waarmee historische streaming events gecontroleerd opnieuw kunnen worden afgespeeld bij incidenten, testen of modelverbeteringen. • Het opzetten van streaming operations, monitoring, alerting en observability om een stabiele productieomgeving te garanderen. • Het analyseren van datastromen en operationele metrieken om zwakke plekken in pipelines, modellen en processen snel zichtbaar te maken. • Het samenwerken met data scientists, data engineers, IT en stakeholders om realtime use-cases van idee naar productie te brengen. Op loopafstand van station Utrecht Centraal bundelen ruim 300 collega's van de afdeling Data, Innovatie & Analyse (DIA) hun krachten. Hier werkt een mix van ervaringen en persoonlijkheden, die elkaar graag opzoeken om met elkaar te sparren en kennis te delen. In scrumteams werken we agile samen om kwalitatief hoogwaardige en innovatieve dataproducten te leveren die (interne) gebruikers snel en betrouwbaar inzicht om tot juiste acties te komen door het verzamelen, combineren, analyseren en presenteren van informatie. Twijfel niet om te reageren of contact op te nemen, vooral als je de ambitie hebt om je verder te ontwikkelen. • Je hebt ruime ervaring met het ontwerpen, bouwen en beheren van streaming data-pipelines in productieomgevingen. • Je brengt expertise op het gebied van streaming over binnen het team en zorgt voor een solide technisch fundament waarop FLOW kan groeien. • Je hebt ervaring met cloudcomponenten voor streaming en event-driven architecturen, zoals Azure Event Hubs, Azure Functions en Databricks. • Je hebt kennis van Databricks Structured Streaming, PySpark, Azure cloud-infrastructuur, Terraform, CI/CD, Docker en Git. • Je hebt ervaring met machine learning in productie en begrijpt hoe ML-modellen kunnen worden toegepast binnen realtime of near-realtime datastromen. • Je hebt ervaring met deploymentstrategieën voor data- of streamingapplicaties en denkt bewust na over releases, rollback, betrouwbaarheid en schaalbaarheid. • Je hebt kennis van event replay, fault recovery, monitoring, alerting en operationeel beheer van streaming systemen. • Je schrijft schone, goed geteste code in Python en PySpark en bent kritisch op details, edge cases en operationele robuustheid. Deze opdracht is alleen geschikt voor kandidaten die in loondienst zijn en waarvoor loonbelasting en premies volks- en werknemersverzekeringen (WW, WAO, WIA en ZW) worden afgedragen. Deze opdracht is niet geschikt voor zelfstandig ondernemers en professionals (waaronder zzp'ers) die zichzelf uitlenen. Deze opdracht is ook niet geschikt voor de directeur-grootaandeelhouder die niet is verzekerd voor de werknemersverzekeringen. Ik verklaar dat de aangeboden kandidaat geen zelfstandig professional is, ook niet via een doorleenconstructie. Werken bij NS betekent dat jij hét verschil kunt maken in de wereld van duurzame mobiliteit. • Je draagt direct bij aan het verbeteren van de reiservaring van miljoenen mensen door slimme data-oplossingen te ontwikkelen. • Je werkt in een multidisciplinair, innovatief team (FLUX) dat volop ruimte biedt voor eigen initiatief en ontwikkeling. • Je stapt in op het moment dat FLOW wordt opgebouwd en krijgt invloed op de architectuur, deploymentstrategie en operationele inrichting van een realtime prognoseplatform. Data vormt een essentieel onderdeel van al onze processen en kent een constante dynamiek. Dit is niet overdreven, dagelijks vertrouwen ruim één miljoen reizigers in Nederland op onze technologie voor het verkrijgen van accurate informatie en het faciliteren van het treinverkeer. Vanuit het hoofdkantoor in Utrecht werken diverse teams op de achtergrond aan het realiseren van deze uitdagingen binnen een innovatieve dataomgeving. Binnen het cluster Reizigersstromen werk je als Data Streaming Engineer mee in team FLUX, een Advanced Analytics-team. FLUX ontwikkelt onder andere het realisatiemodel dat achteraf het aantal reizigers per trein nauwkeurig in kaart brengt. De uitkomsten van dit model vormen de basis voor processen zoals het berekenen van concessie-KPI's, rapportages aan overheidsinstanties, inzichten in reizigersstromen, drukte op stations en commerciële analyses. Naast dit bestaande FLUX-product starten we met FLOW: een nieuwe applicatie die op basis van realtime datastromen en machine learning reizigersprognoses maakt voor de operatie op dezelfde dag. FLOW wordt ontwikkeld in een moderne cloudomgeving op Microsoft Azure en Databricks. Je werkt aan streaming pipelines en event-driven componenten met technologieën zoals Azure Event Hubs, Azure Functions en Databricks Structured Streaming. Belangrijke databronnen zijn onder andere check-in/check-uit transacties, ticketverkoop, dienstregelingen updates en conducteurscontroles. Met deze data bouwen we realtime inzichten en prognoses die helpen bij operationele sturing, monitoring van drukte en het verbeteren van reizigersinformatie. Je werkt als teamlid met een sterke Data Engineering-, Streaming- of ML Engineering-achtergrond mee aan het opzetten van FLOW. Dankzij jouw expertise in streaming architecturen, cloudcomponenten en machine learning ben jij van onschatbare waarde bij: • Het inrichten van event-driven cloudcomponenten, zoals Azure Event Hubs, Azure Functions en Databricks Structured Streaming. • Het integreren van machine learning in streaming datastromen, zodat prognosemodellen continu kunnen werken met actuele informatie. • Het ontwikkelen van deploymentstrategieën voor streaming applicaties, met aandacht voor betrouwbaarheid, schaalbaarheid en veilige releases. • Het ontwerpen van replay-mechanismen waarmee historische streaming events gecontroleerd opnieuw kunnen worden afgespeeld bij incidenten, testen of modelverbeteringen. • Het opzetten van streaming operations, monitoring, alerting en observability om een stabiele productieomgeving te garanderen. • Het analyseren van datastromen en operationele metrieken om zwakke plekken in pipelines, modellen en processen snel zichtbaar te maken. • Het samenwerken met data scientists, data engineers, IT en stakeholders om realtime use-cases van idee naar productie te brengen. Op loopafstand van station Utrecht Centraal bundelen ruim 300 collega's van de afdeling Data, Innovatie & Analyse (DIA) hun krachten. Hier werkt een mix van ervaringen en persoonlijkheden, die elkaar graag opzoeken om met elkaar te sparren en kennis te delen. In scrumteams werken we agile samen om kwalitatief hoogwaardige en innovatieve dataproducten te leveren die (interne) gebruikers snel en betrouwbaar inzicht om tot juiste acties te komen door het verzamelen, combineren, analyseren en presenteren van informatie. Twijfel niet om te reageren of contact op te nemen, vooral als je de ambitie hebt om je verder te ontwikkelen. • Je hebt ruime ervaring met het ontwerpen, bouwen en beheren van streaming data-pipelines in productieomgevingen. • Je brengt expertise op het gebied van streaming over binnen het team en zorgt voor een solide technisch fundament waarop FLOW kan groeien. • Je hebt ervaring met cloudcomponenten voor streaming en event-driven architecturen, zoals Azure Event Hubs, Azure Functions en Databricks. • Je hebt kennis van Databricks Structured Streaming, PySpark, Azure cloud-infrastructuur, Terraform, CI/CD, Docker en Git. • Je hebt ervaring met machine learning in productie en begrijpt hoe ML-modellen kunnen worden toegepast binnen realtime of near-realtime datastromen. • Je hebt ervaring met deploymentstrategieën voor data- of streamingapplicaties en denkt bewust na over releases, rollback, betrouwbaarheid en schaalbaarheid. • Je hebt kennis van event replay, fault recovery, monitoring, alerting en operationeel beheer van streaming systemen. • Je schrijft schone, goed geteste code in Python en PySpark en bent kritisch op details, edge cases en operationele robuustheid. Deze opdracht is alleen geschikt voor kandidaten die in loondienst zijn en waarvoor loonbelasting en premies volks- en werknemersverzekeringen (WW, WAO, WIA en ZW) worden afgedragen. Deze opdracht is niet geschikt voor zelfstandig ondernemers en professionals (waaronder zzp'ers) die zichzelf uitlenen. Deze opdracht is ook niet geschikt voor de directeur-grootaandeelhouder die niet is verzekerd voor de werknemersverzekeringen. Werken bij NS betekent dat jij hét verschil kunt maken in de wereld van duurzame mobiliteit. Bij de NS Inhuurdesk werken wij met mini aanbestedingen waarbij je je kunt inschrijven op een opdracht. Dit zijn een aantal opdrachtspecifieke criteria en een aantal standaardvoorwaarden waar jouw aanbieding aan moet voldoen.