Functiebeschrijving
In het kort: Je gaat de technische architectuur van een on-premise MaaS-platform ontwerpen, PoC-resultaten vertalen naar architectuurkeuzes en realisatie begeleiden, inclusief servicelaag, GPU-inrichting, security en compliance in samenwerking met betrokken stakeholders.
Opdrachtomschrijving
Je bent verantwoordelijk voor het ontwerp en de realisatiebegeleiding van de technische architectuur van het MaaS-platform. Je werkt nauw samen met de projectleider, de PO van het MaaS platform, de interne architecten en de security-/governance-functies van JIO.
Concreet:
- Het opstellen van een doelarchitectuur voor een MaaS-platform op on-premise OpenShift (Kubernetes).
- Het inrichten van een servicelaag waarmee modellen als dienst worden ontsloten (o.a. inferentie-endpoints, schaalbaarheid, isolatie).
- Het inrichten van GPU-slicing (delen van GPU’s over workloads) en multi-GPU-koppeling (tensor parallelism) voor grotere modellen die niet op één kaart passen.
- Adviseren over capaciteit, kosten en architectuurkeuzes op basis van de PoC-uitkomsten en de behoefteanalyse.
- Het borgen van security en compliance in samenwerking met de security-functie van JIO.
De rol heeft een verkennend en adviserend karakter: de techniekkeuzes hieronder zijn richtinggevend, niet in beton gegoten. We verwachten dat je onderbouwd kunt afwijken waar de resultaten van de diverse PoC usecases daar aanleiding toe geven.
Achtergrond
De Justitiële ICT-Organisatie (JIO) bouwt een on-premise AI-platform waarmee medewerkers AI-modellen veilig kunnen inzetten voor documentverwerking en samenvatten. Het platform wordt opgezet als Model-as-a-Service (MaaS): modellen worden centraal aangeboden via een servicelaag, draaiend op een on-premise OpenShift-omgeving met GPU-versnelling.
Het traject bevindt zich in de verkennende fase. Een Proof of Concept loopt om te bepalen welke modellen en use cases passend zijn; de uitkomsten daarvan bepalen mede de definitieve architectuur- en hardwarekeuzes. We zoeken daar.