Have you ever been curious to know how to use streaming data with anomaly detection algorithms to check if the system you care about is doing anything peculiar? 

This could be detecting fraud in your banking software, disease detection in healthcare, maintenance of industrial hardware… Well in this instance one of our Data Engineers, James Twose, will take you through an anomaly detection project using mock voltage data taken from a fictional smart meter. 

What technology can be used to do this, (Kafka, Trino, PostgreSQL, River, sklearn, Streamlit)

How all of the different parts interact with each other (mainly focussing on the use of Trino as a semantic layer between everything)

What the idea of anomaly detection is, and will lightly touch on how it works and,

How you could run this locally on your own computer, with an in depth demo of the system

Power anomaly detection Trino demo

We hope that what you learned from this was useful, and that it shone a light on the possibilities of real time anomaly detection. We are curious what use cases you come up with, and fingers crossed, that this is a good starting point for your projects.

Find the full repository on GitHub: https://github.com/jameshtwose/power-anomaly-detection/blob/main/README.md

This video explains how to use streaming data with anomaly detection algorithms to check if the system you care about is doing anything peculiar.

Realtime anomaly detection with Trino

It’s not a secret: we at CINQ love to use Cribl products. We’re particularly fond of using Cribl Stream, and we like it so much, we’re even doing workshops on the matter to show people what you can do with Cribl Stream. Cribl itself says Cribl Stream is an Observabilty Pipeline, but before we get lost into what an Observability Pipeline exactly means, what Cribl Stream can do is collect data from any data source, filter out any parts of the data that you don’t need, transform the data in a format of your choosing, and send the data to a data destination. You can get started with Cribl for free in their sandbox environment here.

One of the assignments in our recent Cribl workshop is based on a real life use case from one of our customers, and the few times we’ve given this workshop, participants were struggling a bit with this assignment.

Since there’s not much time available during our workshop to fully get into detail about why you have to do some steps, here’s a little blog post to cover that need.

The National Data Portal for Road Traffic (Nationaal Data Portaal Wegverkeer, or NDW for short) is a Dutch national portal for road traffic data in the Netherlands, both from national roads, provincial roads and from municipal main roads.

In NDW, Dutch governments work together to collect, combine, store and distribute mobility data. This data is used for traffic management.

First, the NDW has a platform available where the traffic data is posted: the Open Data Portal (​​https://opendata.ndw.nu/) 

For the workshop assignment we’re interested in Ongevalideerde_snelheden_en_Intensiteiten.xml.gz, a file which consists of the average speed and intensity of all measure points of all national roads of the country. That’s over 24000 measure points. In a single XML file. Compressed as a gzip file. Updated every single minute.

Let that sink in for a moment and let’s take a closer look at the structure of the XML file itself.

<?xml version="1.0" encoding="UTF-8"?>
<SOAP:Envelope xmlns:SOAP="http://schemas.xmlsoap.org/soap/envelope/">
  <SOAP:Body>
    <ndw:NdwMrm xmlns:ndw="http://schemas.ndw.nu/wsdl/NdwTmisMrm10/">
      <ndw:exchange>
        <subscription>
          <subscriptionState>active</subscriptionState>
          <updateMethod>snapshot</updateMethod>
        </subscription>
      </ndw:exchange>
      <minute_speed_and_flow_events xmlns="http://speed_and_flow.trafficmanagementinfo.publicatie.hwn.rws.nl/1.1">
        <meta>
          <msg_id>
            <uuid>97b3eddf-cf1c-43cc-ae0f-e2e55ab0d22b</uuid>
          </msg_id>
          <selection />
        </meta>
        <event>
          <ts_event>2019-09-19T12:21:27.741Z</ts_event>
          <ts_state>2019-09-19T11:40:53.853Z</ts_state>
          <measuring_point_id>
            <uuid>e9af9383-2d7f-4963-88c9-38aa1d9c33cc</uuid>
          </measuring_point_id>
          <lanelocation>
            <road>A2</road>
            <carriageway>g</carriageway>
            <lane>3</lane>
            <km>64.242</km>
          </lanelocation>
        </event>
        <event>
          <ts_event>2023-08-20T19:05:06.285Z</ts_event>
          <ts_state>2023-08-20T19:05:00Z</ts_state>
          <measuring_point_id>
            <uuid>e9af9383-2d7f-4963-88c9-38aa1d9c33cc</uuid>
          </measuring_point_id>
          <avgspeed>
            <kmph>92</kmph>
          </avgspeed>
        </event>
        <event>
          <ts_event>2023-08-20T19:05:06.286Z</ts_event>
          <ts_state>2023-08-20T19:05:00Z</ts_state>
          <measuring_point_id>
            <uuid>e9af9383-2d7f-4963-88c9-38aa1d9c33cc</uuid>
          </measuring_point_id>
          <flow>
            <count>6</count>
          </flow>
        </event>
        …
        …
        …
      </minute_speed_and_flow_events>
    </ndw:NdwMrm>
  </SOAP:Body>
</SOAP:Envelope>


We can see that the interesting parts are under element event and that the same  measuring_point_id is mentioned 3 times under 3 different event elements.

Event 1: you can identify the measuring_point_id to the physical location of the measuring point on the specified national road. 

Event 2: you can see the average speed for a specific measuring_point_id

Event 3: you can see the number of vehicles for a specific measuring_point_id

So, everything we need is located on a website in a compressed XML file of around 1.6 MB. Decompressed the file is around 18 MB.

What we need in Cribl, is to get to the gzip file, decompress it to get the XML file, and create separate events for every, well, event .

This is the easiest part. Setup a REST API source pointing to the URL of the file. As if it’s nothing, Cribl will get the file and automatically decompress it when the source is run. 

Here comes the catch though. Since the decompressed file is around 18 MB, Cribl won’t be able to break the file into separate events later on in the pipeline you’ll be using, because by default, the maximum number of bytes in an event before it is flushed to the pipelines is set at 51200 bytes. Luckily, you can make custom event breaker rules where you can adjust the maximum size.

Find the Event Breaker Rules (under Processing > Knowledge). Either create a new Ruleset, or make a copy of the existing Ruleset “Cribl - Do Not Break Ruleset”. What we’re interested in is to adjust the Max event bytes size so the XML file in its entirety will be sent to the pipeline for processing.

So choose a value that’s the size of the file in bytes, or go all the way up to the maximum number of bytes an event can be for Cribl to handle (134217728 bytes).

Use the custom Event Breaker Ruleset in your Data source.

Now we’re able to get the compressed XML file from the website and send it to the pipeline where we’ll do some processing.

In the pipeline we’ll be separating the events we can identify with the event tags from the XML file. We’ll be doing this with the help of the XML Unroll Function. This function accepts a XML event with a set of elements, and converts the elements into individual events.

If we look at the XML file again, we’ll notice that the information we’re interested in in element event  is located as a child element under element minute_speed_and_flow_events which itself is a child element under element ndw:exchange which itself is a child element under element ndw:NdwMrm. And then you have your SOAP body and SOAP envelope.

With this information at hand, we can say that the information we want is located at

SOAP:Envelope\SOAP:Body\ndw:NdwMrm\minute_speed_and_flow_events\event

This is exactly what we’ll be using in the function XML Unroll. Well, we need to change it a little bit because we need to put a Regex expression in the function which describes the path to the array to unroll:

^SOAP:Envelope\.SOAP:Body\.ndw:NdwMrm\.minute_speed_and_flow_events\.event$

The Copy Elements Regex part is empty, because we don’t need anything to be copied into the separate events.

If this is our XML event we put into our pipeline (remember, it’s one big event, so the image is just a sample image)

the XML Unroll Function will make separate XML events and you’ll have something like this (with the Pretty Print option selected)

Each event will have an element measuring_point_id with respectively an element <lanelocation>, <avgspeed> or <flow>.

But we’re not done yet. In our workshop we didn’t want XML events to be sent to our external system, but rather have JSON events, since we were using the data the workshop participants were sending in a dashboard built around data in the JSON format.

Luckily, it’s rather simple to do this in Cribl, since there’s a Cribl expression available that just does that: parse an XML string and returns a JSON object: C.Text.parseXml()

We need to use this expression with the Eval Function to parse XML fields contained in our events.


With this in place the events will be available as JSON objects:

Now, our events are ready to be sent to an external system where the data can be used for whatever purpose.

In our case we used the data to show traffic near our office building:

docs.cribl.io/stream/expressions-text/#parse-xml

In this blog Data consultant Ramond Jaggessar explains how to transform XML data into JSON with Cribl.

Using Cribl to transform XML data to JSON

Het geven van trainingen vind ik een mooi onderdeel van mijn baan. Het is even uit de dagelijkse routine stappen om zo cursisten kennis bij te brengen over mijn vakgebied. Super leuk om over je werk te mogen vertellen, nieuwe mensen te ontmoeten en hen te helpen bij de uitdagingen die binnen hun bedrijf spelen. In deze blog deel ik graag mijn ervaringen met het geven van Splunk-trainingen, inclusief de voorbereiding, het ontwikkelen van oefenopdrachten met AI en natuurlijk het verzorgen van de training zelf.

Voorbereiding Splunk training
Bij CINQ bieden wij trainingen aan op alle niveaus van Splunk. Daarbij leveren wij maatwerk om zo op de behoeften van onze klanten in te spelen. Zodra CINQ een aanvraag ontvangt van onze partner of rechtstreeks van een klant, beginnen wij met het afstemmen van de training op hun specifieke wensen. Hierbij kijken wij niet alleen naar praktische zaken zoals datum en locatie, maar vooral naar de vraag van de klant: wie zijn de deelnemers en wat willen zij precies leren? 

Na het eerste contact starten wij met de voorbereiding van de training. De trainingen zijn meestal verdeeld over 2 tot 3 trainingsdagen, met steeds een week er tussen. Op deze manier krijgen de cursisten de kans om tussen de trainingsdagen door oefeningen te maken en worden zij niet in één dag overladen met theorie. De training zelf bestaat uit een combinatie van theorie en praktijk. Zo leggen wij bijvoorbeeld een Splunk-commando uit en laten de cursisten vervolgens een bijpassende oefenopdracht uitvoeren. Als de training op locatie bij de klant plaatsvindt, kunnen wij in overeenstemming (NDA) ook gebruikmaken van klantdata, hoewel werken met gegenereerde testdata altijd een mogelijkheid is.

Het maken van oefenopdrachten met AI:
Vaak gebruik ik AI-chatbots voor het maken van de oefenopdrachten. Dit bespaart tijd en biedt de mogelijkheid om een test set te personaliseren voor een specifiek bedrijf of branche. De opdrachten worden hierdoor begrijpelijker en leuker voor de cursisten. 

Voor mijn laatste training maakte ik gebruik van ChatGPT, maar Google Gemini of Microsoft CoPilot zouden ook gebruikt kunnen worden. Als voorbeeld moest ik het timechart- en timewrap-commando uitleggen aan een groep die werkzaam is voor een luchthaven. Uiteindelijk kwam ik tot de volgende invoer:

“Maak met SPL en het gentimes commando een testset aan data. Bij gentimes als start-365 als end=0 increment=1d. Doe vervolgens eval _time=starttime. Vervolgens maak met eval statements een ticket_price aan tussen de 200-205 waarbij de ticket_price langzaam afneemt, en geef gebruikmakend van random() 3 airlines. Kies daarna met een where clause 1 luchthaven, vervolgens maak een timechart met de gemiddelde ticket_price per maand en een timewrap per q.”

ChatGPT is helaas geen SplunkGPT*. Het heeft hulp nodig om een werkende Splunk query te fabriceren. Zo herkent het niet alle Splunk commando's of maakt het verkeerde aannames bij het schrijven ervan, waardoor de geleverde SPL code niet werkt. Daarom geef ik in bovenstaand voorbeeld zeer specifieke instructies, door de vraag zo gedetailleerd mogelijk te formuleren. Zo schrijf ik commando’s uit en geef ik in stappen de volgorde van de commando’s weer. De output van ChatGPT is een query die ik bijna rechtstreeks in Splunk kan gebruiken.

Waar ChatGPT de aanname doet dat comments met een # moeten beginnen is dat bij splunk met 3 backtics. Na deze aanpassing zal de query correct werken.

Door een deel van deze query aan de cursisten te verstrekken, kunnen gebruikers eerst een luchtvaartmaatschappij kiezen, vervolgens een timechart maken en deze uiteindelijk aanpassen naar een timewrap per kwartaal. Daarna kunnen ze onderzoeken wat er is gebeurd met de ticketprijzen in het afgelopen jaar.

*Bovenstaande is gemaakt met de gratis versie van ChatGPT gebaseerd op model 3.5. Met de betaalde versie van ChatGPT, 4.0 kun je ook custom GPT’s gebruiken. Dat zijn Chat GPT extensies, die zijn toegespitst op 1 specifieke functionaliteit. Zo zijn er een aantal Splunk GPT’s te vinden op de markt. Mijn ervaring is dat deze ietwat betere resultaten leveren dan de gratis variant, maar zeker niet perfect werken. De tip blijft om je vraag zo exact mogelijk te formuleren, om zo ruimte voor interpretatie en inbreng door chatGPT te verkleinen.

De training zelf:
Met het slidedeck en de testopdrachten gereed, is het tijd om de training te geven. Voordat de training begint ben ik al aanwezig op locatie om alles gereed te maken. Ik heet de cursisten één voor één welkom en tijdens een gezamenlijke kennismaking vraag ik de cursisten kort te vertellen wie zij zijn en wat zij persoonlijk uit de training willen halen. Zo kan ik een laatste afstemming doen en inschatten waar tijdens de training meer of minder aandacht aan besteed moet worden. 

Op de eerste dag, met name de ochtend van de training, ligt de focus meer op de theorie. Aan het einde van de dag geef ik vaak een huiswerkopdracht mee om de theorie in de praktijk te brengen. Daarnaast vraag ik de cursisten om na te denken over hun verwachtingen voor de volgende dagen. Tussen de trainingsdagen door bel ik meestal met onze contactpersoon om feedback te verzamelen die ik kan gebruiken voor de laatste trainingsdagen. 

Op de tweede en/of laatste dag wordt er meer aandacht besteed aan praktische toepassingen. Vaak staat er een praktijkopdracht op het programma en is er extra ruimte voor vragen en specifieke situaties van de klant. 
We sluiten gezamenlijk af met een evaluatie en de cursisten ontvangen een certificaat van deelname.

Komende maand schrijf ik nog een blog over hoe je Splunk Dashboards kan maken met ChatGPT en hoe je bestaande classic XML-dashboards mooier kan maken. Houdt de blogs van CINQ dan ook in de gaten.

Tom verteld over het geven van trainingen via CINQ ICT

Trainingen geven

About a year ago I wrote a blog with the title ‘How to write a simple IntelliJ plugin’. In the previous blog I explained why I wrote the plugin and which steps I had to take. Furthermore you will also read that I set out to create a proper plugin. That is a plugin that can easily be installed by downloading it from the Jetbrains Marketplace. This turned out to be much harder than I expected, so that is why I settled for a live plugin last year. The blog ends with the suggestion that I will write a proper plugin in the future and will blog about it. Well the future is now, as this blog will be about creating this proper plugin. 

The main reason to pick up this pet project again is the fact that I will be giving my talk ‘Improving your skills with the debugger’ at JavaLand. The old plugin is part of this talk, but I always try to update my talk with the latest and greatest. So I decided it was time to finally create a proper plugin. 

The difference between the previous and the current title is exactly two words. The word ‘write’ became ‘create’ and ‘simple’ became ‘proper’. I talked enough about the second difference, so let’s explain the first. The meat of the previous blog was how to write (or code) a plugin. This blog will focus more on how to get this plugin in the JetBrains marketplace. So it also covers the process after writing the plugin. 

In the previous blog I wrote that I tried to create a proper plugin, so my first step was to open this old project and to make sure that everything still functioned. The previous project was around a year old and to my surprise I could not get it working again. Software decay/rot is real! I spent a few hours before I decided to throw the towel. I solved this issue by starting with a clean slate. Jetbrains provides a template plugin repository (link) that you can fork. So I did this and added my code from the previous project. The code compiled again, so the problem was solved!

The first thing I noticed when using the provided template was the feature that one can start a completely new instance of IntelliJ with your plugin pre-installed (see Image 1). This was something I did not notice the previous time I tried to create a plugin. A very useful feature which lets you properly manually test your plugin before you upload it to the marketplace. 

Image 1 - Run Plugin starts a new instance of the IDE with your plugin pre-installed.

The observant reader noticed the word ‘manually’ in the previous sentence. This is a fine start, but in the end we need automated tests as well. It turns out that it is pretty hard. The documentation gives a few examples, but I still spent hours and hours before I got a green unit test. In those hours I had to figure out why a part of my test context was not initialized properly. I spent a lot of time in the source code of IntelliJ to find clues. In the end it turned out to be a dependency problem. I had to specify that my plugin was dependent on the Java features of IntelliJ. For people with the same problem Image 2 shows where to add dependencies. After addressing this omission, things went pretty smooth and I had a lovely green unit test in the end.

Image 2 - This is where one adds dependencies.

With this test in place, I could finally do some refactorings and remove some unnecessary boilerplate from the template plugin project. Furthermore I found a bug while manually testing the plugin. So I updated the test (and fixed the bug) to prevent this ever happening again. As far as I was concerned the plugin was ready to share with the world.

The first step in publishing the plugin is signing it with a private key. The Jetbrains marketplace will use the public key to see if everything is in order. You only have to create a private-public key pair and the template takes care of the heavy lifting after you add a few environment variables. This is a pretty standard procedure for app (or plugin) stores. 

The next step is uploading the plugin to the marketplace. Again a straightforward process. You can choose between a manual upload or an upload via the Gradle scripts in the template. In the former case you can upload your .jar file in your browser. In the latter case you first need to generate a token in your Jetbrains account. The next step is to add this token as an environment variable. You can run the Gradle scripts locally or you can use the included GitHub Actions pipeline. 

The last step is the most difficult one. You have to wait till the people of the Jetbrains Marketplace approve your plugin. This process takes up to two business days. Luckily I had something to do in the meantime, because the dependabot found a lot of dependencies to upgrade. In case you do not know what dependabot is: it is a GitHub bot that creates pull requests in your project whenever it finds a newer version of a dependency.

I am really excited to have my first plugin published on the Jetbrains Marketplace! I learned a lot in the process of creating, testing and publishing the plugin. Normally I use Maven as my go-to buildtool. So it was a nice change to be forced to use Gradle. Secondly, I have never used GitHub Actions before and it is nice to see it in action (pun intended). Thirdly, I had a reason to browse the IntelliJ codebase, which was interesting. Finally, it gave me an excuse to write a new blogpost. 

The plugin can be found here:
https://plugins.jetbrains.com/plugin/23796-log-selection-with-breakpoint

Please visit it, as I've put in extra effort to create an animated gif to demonstrate what the plugin does.
The source code can be found here:
https://github.com/BoukeNijhuis/breakpoint-log-selection

So, there is only one question left to answer: how will I continue this blog series? Good question! My intention is to add a feature to the plugin that enables you to change the hard-coded log expression. However, to do so, I need a UI where you can edit the current expression. So, that sounds like a lot of work. Till next year!

Image 3 The plugin can be found on the IntelliJ marketplace

In this blog Bouke Nijhuis explains how he created a proper plugin for IntelliJ and how he published it on the IntelliJ Marketplace.

How to create a proper IntelliJ plugin

Vakmensen, dat zijn we. En wat we doen op het gebied van informatie- en communicatietechnologie helpt organisaties slim verder. Effectief en meetbaar bovendien. Aangenaam, CINQ. Specialisten in Data, DevOps en Development. Wij geloven in specialisten, vandaar de driedeling Data, DevOps en Development binnen ons bedrijf. Zo zorgen we dat jij excelleert, want je werkt het best waar je je het meest thuis voelt. Logisch, toch?

cinq_logo.png

cinq_logo_square.png

CINQ ICT

Helemaal thuis in de wereld van back-end development? Als specialist breng jij beeldbepalende organisaties in het Nederlandse bedrijvenlandschap naar een hoger niveau. Daar ben jij de aangewezen software engineer voor die zichzelf continu verder ontwikkelt. 

Ooit gedacht om te werken voor een IT-consultancybureau? Niet? CINQ again, zeggen we dan. Want of je nu veel afwisseling in projecten wilt, of juist langer aan een organisatie verbonden wilt zijn: beide opties zijn mogelijk. Je werkt als software engineer voor aansprekende klanten die jouw kennis en inzichten nodig hebben. Ondertussen zijn er je CINQ-collega’s met wie je kennis deelt, functionaliteiten bestudeert en nieuwe technieken onderzoekt. Zo kun jij klanten verrassen en van de vrijheid als software engineer genieten. Een baan uit duizenden, waar je bijvoorbeeld: 

grote of kleine projecten draait, afhankelijk van wat jij wilt.

spreekt op congressen, vakinhoudelijke blogs schrijft en workshops verzorgt.

werkt voor klanten als grote banken, de Politie of luchthaven Schiphol.

Sinds 2013 zetten we onze consultants in op hoogwaardige IT-projecten door heel Nederland. Met de kennis die onze specialisten in huis hebben, adviseren we teams en zetten we koers naar innovatie. Nieuwe tooling helpt ons om klanten keer op keer te verrassen. Tussen alle IT-consultancybureaus vallen we misschien niet direct op in wat we doen. Maar wél in hoe we het doen. Daarmee hebben we naam en faam gemaakt in verschillende sectoren en daar gaan we het liefst nog even mee door.

CINQ is opgesplitst in 3 business units met elk een eigen expertise. Niet dat we ervan houden om in hokjes te denken, maar dit werkt in de praktijk nu eenmaal het beste. Ook voor onze klanten die een beroep doen op jou als back-end developer. Onze developers zitten in heel Nederland. We draaien onze hand niet om voor grote projecten met de nodige complexiteiten. Sterker nog, die doen we misschien wel het liefst. Toch zijn we ook te porren voor kleinere opdrachten, zolang we klanten ermee kunnen helpen. En dat doen we het liefst, terwijl jij nieuwe kennis opdoet en verder groeit.

Bij ons krijg je direct een vast contract voor 36 of 40 uur per week. Bij deze vacature horen de volgende arbeidsvoorwaarden: 

een brutomaandsalaris tussen € 4.000 en € 5.500, afhankelijk van je kennis en ervaring.

8% vakantiegeld en 24 vakantiedagen op basis van een fulltime dienstverband.

een ruim ontwikkelbudget voor trainingen en certificeringen

een telefoonvergoeding en een laptop naar keuze.

€ 1.000 budget om je thuiswerkplek goed in te richten

een auto van de zaak óf mobiliteitsbudget met een kilometervergoeding.

bezoek conferenties zoals JavaOne, Devoxx en JFall.

flexibiliteit om thuis, bij ons op kantoor en bij de klant te werken

Gedreven, analytisch en voldoende doorzettingsvermogen om succes te boeken. Jij bent als software engineer niet voor 1 gat te vangen, want voor complexe uitdagingen vind je de beste oplossingen. In deze rol heb je veel contact met de klant en daarom is goed communiceren uiterst belangrijk. Daar mag humor niet in ontbreken. Als er nieuwe ontwikkelingen of tools voorbijkomen, ben jij er als eerste bij om ze te onderzoeken. Het liefst ga je er meteen mee aan de slag. Als software engineer heb jij:

ongekende coding skills. Die heb je je bijvoorbeeld eigen gemaakt in een rol als software developer of Java ontwikkelaar.

ervaring met relevante back-end frameworks zoals Spring Boot

ervaring met Agile softwareontwikkeling in een DevOps-omgeving.

En, hoe lijkt het? Ben jij de nieuwe software engineer die onze klanten verder helpt? Solliciteer dan meteen via de sollicitatiebutton. Doe het wel voor [sluitingsdatum], want daarna sluiten we de vacature.

Wil je de details van deze vacature tot achter de komma? Neem dan contact op met Marc Jacobs via marc@cinqict.nl of 06 – 51 08 74 37.

Helemaal thuis in back-end development? Als specialist breng jij beeldbepalende organisaties in het Nederlandse bedrijvenlandschap naar een hoger niveau.

Back-end developer

Helemaal thuis in de wereld van Java of Kotlin? Als specialist breng jij beeldbepalende organisaties in het Nederlandse bedrijvenlandschap naar een hoger niveau.

36 - 40 uur per week

Door efficiënt datagebruik help jij onze klanten vooruit. Banken, overheidsinstanties, onderwijsinstellingen: in jouw volgende opdracht krijg je volop de ruimte voor eigen inbreng.

De charme van een IT-consultancybureau als CINQ is dat jij als data engineer over de vloer komt bij meerdere klanten. Soms voor een langdurig project, soms voor een kortere opdracht. Jij helpt ze data te benutten en krijgt de vrijheid om dat te doen op basis van je eigen inzichten. Jij ziet Splunk als de hamer in een gereedschapskist; een onmisbare tool om je werk mee uit te voeren. Meer waarde uit data halen is jouw doel, via proof of concepts verbetertrajecten en implementaties van Splunk-omgevingen. Hierin houd jij je bezig met het:

ontwikkelen, onderhouden en beheren van een Splunk-omgeving voor een optimale performance.

komen met verbetervoorstellen richting de klant.

CINQ is opgesplitst in 3 business units met ieder een eigen expertise. Niet dat we ervan houden om in hokjes te denken, maar dit werkt in de praktijk nu eenmaal het beste. Ook voor onze klanten die een beroep doen op data engineers. Bij een klant meedraaien in een Splunk-team tot aan het uit de grond stampen van een splinternieuwe dataomgeving: als dataspecialist komt er van alles op je bord. En je collega’s van CINQ tref je bij een gezamenlijke data-kantoordag, kennissessie of memorabel uitje. 

Bij ons krijg je direct een vast contract voor 36 of 40 uur per week. Bij deze vacature horen de volgende arbeidsvoorwaarden:

een brutomaandsalaris tussen € 3.000 en € 5.500, afhankelijk van je kennis en ervaring.

8% vakantiegeld en 24 vakantiedagen op basis van een fulltime dienstverband

flexibiliteit om thuis, bij ons op kantoor en bij de klant te werken


De ideale kandidaat bestaat misschien niet. Toch zoeken we iemand die er dichtbij in de buurt komt. Want als data engineer ben je je ervan bewust dat jouw rol altijd in ontwikkeling is. Daarom doe je graag nieuwe kennis op en ben je creatief in het bedenken van oplossingen om klanten te verbluffen. Je bent nieuwsgierig, hebt een sterke klantfocus en kan zelfstandig uit de voeten. Dit breng je mee: 

ervaring met het zelfstandig ontwerpen, bouwen en implementeren van een data-omgeving. Bijvoorbeeld vanuit een eerdere rol als data consultant, data analist, data architect of data scientist. 

ruime ervaring met Splunk, ELK stack of andere vergelijkbare producten.

kennis van Python of een andere scripttaal.

kennis van DevOps, CI/CD-tooling (Docker, Kubernetes, AWS/Azure, Rancher of Terraform) is beslist een meerwaarde.

En, hoe lijkt het? Ben jij de nieuwe data engineer die onze klanten verder helpt? Solliciteer dan meteen via de sollicitatiebutton. Doe het wel voor [sluitingsdatum], want daarna sluiten we de vacature.

Wil je de details van deze vacature tot achter de komma? Neem dan contact op met Marc Jacobs via marc@cinqict.nl of 06-51087437.

Door efficiënt datagebruik help jij onze klanten vooruit. In jouw volgende opdracht krijg je volop de ruimte voor eigen inbreng.

Splunk Engineer

Als Splunk specialist help jij verschillende grote bedrijven om meer waarde uit hun data te halen.

Jij vindt het leuk om aan complexe data-vraagstukken te werken. Je bent de spin in het web als het gaat om data extracten, transformeren en klaarzetten voor verder gebruik binnen organisaties, rekening houdend met de performance van de data-verwerking middels jobs die jij zelf configureert en beheert. Daarnaast zit je boordevol ideeën hoe de omgeving te verbeteren, waarbij je steeds de klant centraal plaatst. Het leren van nieuwe technieken is de reden waarom je dit werk hebt gekozen: nooit saai, en volop mogelijkheden.

CINQ is opgesplitst in 3 business units met ieder een eigen expertise. Niet dat we ervan houden om in hokjes te denken, maar dit werkt in de praktijk nu eenmaal het beste. Ook voor onze klanten die een beroep doen op data engineers. Bij een klant meedraaien in een team tot aan het uit de grond stampen van een splinternieuwe dataomgeving: als dataspecialist komt er van alles op je bord. En je collega’s van CINQ tref je bij een gezamenlijke data-kantoordag, kennissessie of memorabel uitje. 

een bruto maandsalaris tussen € 3.000 en € 5.500, afhankelijk van je kennis en ervaring.

eenmalig € 1.000 budget om je thuiswerkplek goed in te richten

Je kunt zelfstandig een data-omgeving ontwerpen, bouwen, en in gebruik nemen in een Cloud-omgeving (Azure, AWS, of GCP);

Je hebt ruime ervaring met de ETL methode en weet nieuwe data op een efficiënte manier te verwerken tot bruikbare datasets;

Certificeringen zijn geen eis, wel een pré;

Python (en data-libraries zoals Pandas, Numpy, PySpark, Matploblib) lezen en schrijven is geen probleem voor je;

Kennis van DevOps, CI/CD tooling, Docker of Kubernetes leveren bonuspunten op.

Vacature: data engineer bij CINQ ICT in Amsterdam. Bij CINQ staat jouw ontwikkeling centraal!

Data engineer

Draai aansprekende projecten die de grootste organisaties in Nederland steviger op de kaart zetten op het vlak van DevOps. Techniek is continu aan het veranderen en daar weet jij alles over vertellen. 

Iedere organisatie heeft een andere DevOps-cultuur door uiteenlopende behoeftes en wensen. Jij sluit naadloos aan op wat klanten willen en komt met een passend antwoord in de vorm van tooling en technieken. Samen met je collega’s van CINQ loop je voorop met je kennis en vanuit die positie voeg jij de meeste waarde toe voor klanten. En omdat de markt steeds weer verandert, blijf je gefocust op de allerlaatste ontwikkelingen. Projecten waar onze DevOps engineers aan werken zijn onder andere:

bouwen van een Kubernetes cluster op Microsoft Azure.

implementeren van Hashicorp Vault op Azure en AWS.

migreren van applicaties van on-premise naar de cloud.

inrichten en verbeteren van CI/CD pipelines.

Sinds 2013 zetten we onze consultants in op hoogwaardige IT-projecten door heel Nederland. Met de kennis die onze specialisten in huis hebben, adviseren we teams en zetten we koers naar innovatie. Nieuwe tooling helpt ons om klanten keer op keer te verrassen. Tussen alle IT-consultancybureaus vallen we misschien niet direct op in wat we doen. Maar wél in hoe we het doen. Daarmee hebben we naam en faam gemaakt in verschillende sectoren en daar gaan we het liefst nog even mee door. 

CINQ is opgesplitst in 3 business units met ieder een eigen expertise. Niet dat we ervan houden om in hokjes te denken, maar dit werkt in de praktijk nu eenmaal het beste. Ook voor onze klanten die een beroep doen op jou als DevOps engineer. Banken, onderwijsinstellingen, overheidsorganisaties: de bedrijven waar wij voor werken zijn groot en divers. Voor jou betekent dat werken aan opdrachten waar je van alles tegenkomt en nieuwe dingen ontdekt. Hoewel je vooral bij klanten werkt, heb je met je CINQ-collega’s een actieve community voor kenniessessies, workshops en game-avonden. Bij CINQ ontwikkel je je in rap tempo en heb je toegang tot alle tooling die je nodig hebt.

een brutomaandsalaris tussen € 3.500 en € 6.000, afhankelijk van je kennis en ervaring.

bezoeken van conferenties, bijvoorbeeld DockerCon of DevOps Days.

flexibiliteit om thuis, bij ons op kantoor en bij de klant te werken.

DevOps zit in je bloed. Of je ademt DevOps, mag ook. In ieder geval voel jij je thuis in een DevOps-omgeving. Je hebt een sterke drive om de laatste technieken te leren kennen en toont inlevingsvermogen. Je begrijpt klanten, onderkent hun problemen en gaat vanuit jouw expertise op zoek naar een passend antwoord. Zowel inhoudelijk als communicatief weet jij iedere klant te overtuigen. Daar breng je het volgende voor mee:

ervaring met DevOps-tooling, cloudoplossingen en CI/CD.

kennis van tools als Docker, Kubernetes, Ansible, Jenkins, Terraform, Rancher, AWS, Azure, Google Cloud en Git.

kennis van de programmeertalen Go, Ruby, Python en Java. Dit heb je bijvoorbeeld opgedaan als developer, ontwikkelaar, programmeur of IT-consultant.

En, hoe lijkt het? Ben jij de nieuwe DevOps engineer die onze klanten verder helpt? Solliciteer dan meteen via de sollicitatiebutton. Doe het wel voor [sluitingsdatum], want daarna sluiten we de vacature.

Draai aansprekende projecten die de grootste organisaties in Nederland steviger op de kaart zetten op het vlak van DevOps.

Realtime anomaly detection with Trino

Meer blogs