Onze visie op data in 2024

De CTO's van onze drie units - Data, DevOps en Development - vormen samen met de CTO van CINQ een denktank: de CINQTank. Zij houden zich bezig met het “voorspellen” van de toekomst. Samen met de mensen uit de units kijken zij in de verschillende vakgebieden naar de ontwikkeling van technieken en tools. Hiermee wordt een technische visie gecreëerd. Deze wordt onder andere gebruikt om richting te geven aan de opleiding van medewerkers. Tevens wordt het gebruikt als input voor de jaarplannen van elke afdeling. Tot slot is het natuurlijk ook gewoon leuk om na te denken hoe de toekomst eruit zou kunnen zien. Hieronder lees je onze verwachtingen op het gebied van Data in 2024.

Terugblik

In het verleden lag de nadruk binnen de Data Unit vooral op het opzetten, onderhouden en effectief benutten van Splunk voor onze klanten. Het afgelopen jaar heeft de unit haar expertise uitgebreid en hebben wij nieuwe consultants met diverse specialismen mogen verwelkomen, waaronder data ops en data engineers. Onze consultants hebben gemeen dat zij met data werken en hebben dan ook overeenkomsten in de werkzaamheden Toch zijn er ook duidelijke verschillen. Onze DataOps consultants houden zich primair bezig met de optimalisaties van gegevensbeheer, de focus van onze data engineers ligt meer op de gegevensverwerking en onze data consultants zijn voornamelijk met tools bezig om met data te werken. De focus is hiermee dan ook verbreed naar andere tools en binnen de unit wordt er meer en actiever samengewerkt. De unit is nu georganiseerd in verschillende teams, zowel per klant als per specialisme. Een nieuwe ontwikkeling is ook het werken op projectbasis, soms samen met consultants uit de andere units. Dit zorgt niet alleen voor interessante uitdagingen, maar ook voor een waardevolle uitwisseling van kennis tussen vakgebieden. Onderling kunnen wij binnen de unit de uitdagingen en oplossingen van onze klanten met elkaar uitwisselen, mede tijdens één van de vele data sessies op kantoor. Zowel onze klanten als onze collega's profiteren van deze samenwerking. 

Een jaar vooruit

Wat komt eraan

Komend jaar leggen we nog meer nadruk op samenwerking binnen de unit en komt er meer focus op het vaststellen van "CINQ best practices". Onze data architecten zijn verantwoordelijk voor installaties, updates en configuratiewijzigingen in klantomgevingen. Aangezien ze vaak vergelijkbare taken op verschillende klantsystemen uitvoeren, rijst de vraag naar wat de meest optimale aanpak voor deze werkzaamheden is.

Hiervoor komen onze architecten regelmatig bijeen om ervaringen uit te wisselen en gezamenlijk de beste aanpak te bepalen voor veelvoorkomende taken. Op deze manier streven we naar een uniforme werkwijze. Dit resulteert in hoogwaardige dienstverlening en een verhoogd volwassenheidsniveau van onze klanten op het gebied van data en monitoring.

Waar voorheen bij bedrijven vooral de focus lag op het verzamelen van data, verwachten wij een verschuiving naar het beheren van de (hoeveelheid) data en data governance. Wij voorzien een sterke opkomst van “observability pipelines” die de flexibiliteit bieden om gegevens te verzamelen, te verkleinen, te verrijken en/of te normaliseren en te routeren van elke bron naar elke bestemming. Dit zorgt ervoor dat er geen vendor lock-in plaatsvindt bij onze klanten en zij flexibeler met hun monitoring platform om kunnen gaan. Dat is in deze dynamische markt steeds vaker een vereiste.

De Data unit heeft Cribl omarmd als de tool voor het opzetten van observability pipelines. CINQ is één van de eerste Nederlandse partners van Cribl. Een groot deel van onze consultants zijn inmiddels Cribl Certified Consultants waarmee we onze positie in de markt versterken.

Wat gaat er weg

Log Monitoring als los product komt steeds minder vaak voor in de markt. Logging functies zijn veelal ondergebracht in de verschillende Observability platformen of vervangen door Open Telemetry (OTEL). De term "Applicatie Performance Monitoring" (APM) is nog steeds zichtbaar in de markt, maar is nauw verweven en soms zelfs verward met "Digital Experience Monitoring" (DEM).  Bedrijven hebben steeds meer door dat het niet meer gaat om het monitoren van de applicatie, maar om het meten van de gebruikerservaring bij een applicatie. 

Technische kennis is steeds schaarser op de markt en voor organisaties wordt het lastiger om dit in huis op te lossen. In sommige gevallen worden externen ingehuurd, maar we zien een stijgende lijn in de hoeveelheid SaaS oplossingen, waarbij de klant wordt ontzorgd van technisch beheer en onderhoud. De on-premise oplossing gaat hiermee meer naar de achtergrond en daarmee ook de behoefte aan de technische kennis van onze consultants omtrent het platform.

De wijzigingen in de markt zijn in onderstaande Hype Cycle schematisch weergegeven.

Afbeelding 1: CINQ - Gartner Hype Cycle met betrekking tot monitoring

Verder vooruit

Wat komt eraan

Waar termen als AiOps en Machine Learning in de data wereld al langer bekend zijn voor slimme automatisering en voorspellende analyses, is dit jaar AI onmisbaar geworden op onze hype cycle (zie Afbeelding 1). Met de explosieve groei van AI krijgen we er de komende jaren een overvloed aan integratiemogelijkheden bij. Denk alleen al aan geautomatiseerd code schrijven, maar ook het valideren en zelfs becommentariëren van code. Ook wordt het mogelijk om vragen in natuurlijke taal aan systemen te stellen, zonder complexe programmeertalen te gebruiken. Waar de mogelijkheden eindeloos zijn, is het aan de markt, maar ook aan bedrijven en onze consultants om voorzichtig met AI om te gaan en deze op een juiste wijze toe te passen.

Bedrijven verzamelen steeds meer data. De verwachte jaarlijkse samengestelde groei aan data is maar liefst 23%. (bron) De toenemende hoeveelheid data vormt een uitdaging voor bedrijven. De roep om de hoeveelheid data (stromen) beheer(s)baar te houden zal dan ook sterk toenemen dit jaar en wij verwachten op dit vlak dan ook meer werkzaamheden voor onze consultants, alsmede de inzet van Cribl bij onze klanten.

De verwachte groei aan data zien de leveranciers uiteraard ook. Voorzichtig worden licentiemodellen geïntroduceerd die niet meer op ingestion - de inname van data - werken, maar op gebruik (pay-per-use). Bij pay-per-use wordt software als SaaS aangeboden door de leverancier, maar veelal in samenwerking met bekende cloud providers zoals Azure en Amazon. Je betaalt praktisch gezien voor de servercapaciteit, rekenkracht en gebruikte software modules. Achterliggende rekenmodellen genereren de maandelijkse factuur. Het voordeel voor de klant is dat je alleen betaalt voor wat je daadwerkelijk gebruikt, en niet voor ongebruikte modules. Dit verandert ook de marketing dynamiek, omdat software modules in principe gratis zijn voor de klant. Klanten worden nieuwsgierig en gaan meer modules gebruiken, wat de leverancier uiteindelijk zijn verdienmodel oplevert.

Bij SaaS oplossingen wordt zowel de installatie als het beheer grotendeels door de leverancier verzorgd. Consultants voeren doorgaans nog configuraties uit. Het is essentieel voor bedrijven om nauwkeurig te beoordelen welke aspecten zij wel en niet zelf kunnen beheren.

De overstap van On Premise naar SaaS wordt door leveranciers gestimuleerd en soms zelfs afgedwongen door nieuwe features exclusief voor de cloud uit te brengen. Ons advies aan klanten is om grondig onderzoek te blijven doen en een goede afweging te maken tussen kosten, mogelijkheden en rekening te houden met lokale en al dan niet Europese wet- en regelgeving. De cloud is zeker een goede oplossing, maar niet altijd de juiste. De trend naar hybride oplossingen tussen On Premise en de Cloud zal toenemen en de volledig zelfbeheerde On Premise installaties zullen ook in de komende jaren relevant blijven.

Waar observability vaak nog als marking-buzzword wordt gebruikt, wordt het inmiddels steeds meer in de praktijk toegepast. Observability combineert logs, metrics en traces, waardoor tools zich uitbreiden naar deze drie aspecten en de overlap tussen verschillende tools groeit. OpenTelemetry (OTEL) is een open source observability framework, wat als groot pluspunt heeft dat het snel uitgerold kan worden over verschillende applicaties. In plaats van op 1 applicatieserver meerdere agents te moeten installeren met alle specifieke doeleinden, kan je gaan naar 1 uniforme agent voor alle applicaties. De overhead in de klantomgeving wordt op deze manier minder. Onze consultants streven voortdurend naar een balans tussen waarde maximaliseren voor de klant en het kiezen van de meest geschikte tool. De samenwerking in teamverband binnen de Data unit zal hierbij verder helpen.

Binnen de Data Unit ligt een van onze focusgebieden op Data Engineering / Data Ops. Hierbij zijn onze consultants verantwoordelijk voor het ontwerpen, implementeren en optimaliseren van data-infrastructuur en -processen in organisaties. Ze zijn gericht op het efficiënt beheren, integreren en analyseren van gegevens om waardevolle inzichten te genereren en daarnaast organisaties te ondersteunen bij datagestuurde besluitvorming. 

Wat gaat er weg

Met onze consultants hebben we een sterk team, met veel ervaring, vaardigheden en passie om klanten volledig te kunnen ontzorgen. We willen ons steeds meer richten op dienstverlening in plaats van afrekening op uurbasis. We hopen door een combinatie van projecten flexibeler tijd te kunnen besteden aan onze klanten en daardoor meer klanten te kunnen ontzorgen.

Kruisbestuiving

Het monitoring platform beweegt mee met de applicaties/omgevingen die het monitort. We zien vanuit de Data unit een toenemende betrokkenheid bij de cloud, waarbij het opzetten en onderhouden van omgevingen via pipelines en repositories plaatsvindt. We zijn een nieuwe weg ingeslagen door de expertise van de DevOps unit te benutten. Zij helpen bij het configureren en onderhouden van Splunk-omgevingen via CI/CD-pipelines. Vanuit de Data Unit groeit de wens om samen te werken en te leren van de DevOps unit, met een geplande pipeline-training voor het komende jaar.

Ook van de Development Unit valt veel te leren. Met onze verbreding van tools en technieken komen we meer in aanraking met programmeren en vooral met Python. Afgelopen jaar heeft een Python training plaatsgevonden en zijn er verschillende apps in Splunk voor onze klanten opgeleverd. Naast het leren programmeren van de Development unit, kan synergie ontstaan door samen te werken aan logging best practices bij het ontwikkelen van nieuwe applicaties. Developers en data specialisten hebben een verschillende kijk op het loggen van informatie. Door onze krachten te bundelen, kan efficiënt en volledig worden gelogd, waardoor zowel development als monitoring maximaal waarde uit de applicatie halen.

Data Maturity Model

We zijn bezig met de vernieuwing van ons Data Maturity Model, dat eerst gericht was op de volwassenheid van Splunk-omgevingen. Nu komt het in bredere context terug en is de focus verlegd op de datakwaliteit in klantomgevingen zelf. Ons doel is om klanten bewust te maken van het volwassenheidsniveau van hun omgeving en hen vervolgens de nodige ondersteuning en begeleiding te bieden om naar het volgende niveau te groeien. Op deze manier dragen we bij aan waardemaximalisatie en professionalisering van hun omgeving. Het model is nog volop in ontwikkeling en zal bestaan uit een quickscan, interviews met diverse stakeholders en/of een technische scan waarbij onderzoek wordt gedaan naar de processen.