Een job als Data Engineer

Hallo, ik ben Frederick! Ik krijg vaak de vraag wat ik nu eigenlijk doe en hoe een typische dag als Data Engineer eruit ziet.

Het is alvast zeer gevarieerd en professioneel het meest boeiende wat ik tot hiertoe reeds heb gedaan. Het is een domein waarin je alle dagen nieuwe dingen ontdekt en continue bijleert.

Een leuke mix van coderen, analyse, technologie en klantencontact zorgt ervoor dat je verschillende talenten kan ontwikkelen en inzetten.

Wat is eigenlijk jouw taak als data engineer?

Kort gezegd: klanten helpen de juiste oplossing te kiezen en data voor hen laten werken. Een project is geslaagd als data iedere dag wordt gebruikt om te sturen en aan efficiëntie te winnen. Dus niet enkel om naar KPI's te kijken na de feiten.

Ik doe persoonlijk het liefst een mix van data engineering en data analyse. Hierdoor is mijn kijk op de functie niet noodzakelijk exact gelijklopend met de definitie van een data engineer.

Evengoed heb ik collega's die het liefst enkel data engineering of data analyses doen. De invulling van een functie of job in het data domein is daarom niet altijd in de strikte zin te definiëren.

Hierbij toch even een poging om mijn activiteiten van de dag samen te vatten:

• Geven van workshops en begrijpen waar opportuniteiten in data liggen.
• Samen met de klant in de data duiken.
• Uittekenen van data architecturen.
• Azure data services deployen en DevOps opzetten.
• Data Pipelines opzetten.
• Notebooks schrijven in PySpark (transformaties en analyses).
• Studeren en experimenteren.
• Geven van training en ondersteuning bij analyses.
• Startende data engineers begeleiden en coachen.
• ...

Heel divers dus. Bij voorkeur werk ik samen met collega's om even van gedachten te wisselen. Iedereen heeft zo wel zijn specialisatie of vergaande interesse in een data domein. Dit brengt het beste in het team naar boven en je leert hier enorm veel van tijdens een project.

Waar haal je de meeste voldoening uit?

Als absolute nummer 1, samenwerking en interactie met mijn collega's. We zijn allemaal heel verschillend, maar op één of andere manier blenden we goed als Team. Vaak sluiten we de week af aan de bar in de co-working of organiseren we een skill-up.

Het krijgen van een compliment van een klant bij het vinden van optimalisaties via data analyses of een stralend publiek bij een workshop, vergeet je ook nooit. Ik kan me deze gebeurtenissen nog allemaal herinneren :)

In de pure definitie van data engineer geeft het bouwen van complexere transformaties en datasets  me het meest voldoening.

Wat is volgens jou het ultieme doel dat je kan bereiken in een data project?

Voor mij is het ultieme scenario er eentje waarbij volgend scenario zich afspeelt:

• Vinden van trends, optimalisaties, anomalieën, ... in processen via analyses.
• De frequentie en het potentieel ervan quantificeren.
• Analyses automatiseren via data engineering/datasets zodat dit voor business geen extra moeite kost en het ook gebeurt.
• Het visueel voorstellen van de data in sprekende dashboards.
• De gevonden optimalisaties inbouwen in processen.
• Data voor jou laten werken en acties automatisch triggeren op basis van data input. 

Wat is je profiel en wie zou je een job in data aanbevelen?

Ik ben Ingenieur ICT van achtergrond maar eigenlijk speelt dit niet. Ik ben gepassioneerd door het onbekende en het nieuwe. Ieder nieuw dataproject is een nieuwe ontdekkingsreis. Je blijft verborgen schatten vinden en nieuwe mensen ontmoeten. Dit is mijn drijfveer.

Ben je leergierig, analytisch en gebeten door data en Cloud technologie? Dan is het zeker de moeite om je even verder te informeren. Voorkennis is niet specifiek nodig. Zo heb ik heel wat collega's die uit de pure development wereld komen en schitterende data engineers zijn geworden.

Ook verschillende Power BI collega's komen bijvoorbeeld uit een economische richting.

Analytisch vermogen is zowat de belangrijkste eigenschap denk ik! Dit ongeacht technische voorkennis.