Cribl Stream is recognized for its ability to efficiently structure data flows while providing capabilities to mask, transform, reduce, and route data. The platform's straightforward implementation and operation make it particularly suitable for enterprise environments, which has contributed to Cribl’s rapid adoption among Fortune 100 companies globally. Cribl Stream offers immediate functionality that many organizations have desired to incorporate for a long time.

Our experience with this solution spans several years, during which we have consistently been impressed by its organizational impact. As a partner we are working together with Cribl to enhance the products themselves and for the features outside of the core functionality we have developed an open-source solution: CriblUtilities - A comprehensive tool to streamline migrations and validate configurations. Our open source solution ensures a smooth implementation of Cribl Stream within your organization.

We started our development with the core functionality of database migration. Splunk provides DBConnect as a supplementary application for Splunk Heavy Forwarder. However, the architecture of the Heavy Forwarder does not support high availability. While it is possible to construct a high-availability solution around it, Cribl Stream natively supports database queries at defined intervals with built-in high availability. Making this a quick win for organizations that are starting their Cribl Stream implementation.

All you need is a user on your Cribl API and the three configuration files from Splunk and our CriblUtilities solution takes care of the rest.

The development process required substantial testing and coding efforts. Splunk utilizes a modified implementation of TOML (Tom's Obvious, Minimal Language). The standard Python TOML module proved to be incompatible with this implementation, and requires data reformatting to ensure compatibility. The migration process transforms three distinct Splunk files (db_connections.conf, identities.conf, and db_inputs.conf) into two Cribl outputs (Database Connection Knowledge items and Database Collectors). Followed by verification and additional configuration adjustments, such as schedule activation, the new configurations are deployed to Cribl via the Cribl API.

Currently, this represents the sole migration path incorporated into the utility. It serves as a foundation for the continued expansion of migration capabilities in future development.

Above is a picture shown with a couple of steps. In step 1 the setup of CriblUtilities is started. A few required parameters are asked from the user via the prompt, this results in a ".env" file. Alternatively, you can also set this file manually. In step 2 the empty screens are shown to prove the environment is empty. In step 3 the actual migration is done. The script gives insight into what is done. In step 4 the proof is shown that the database connections and collectors are created in Cribl Stream.

Cribl Stream provides native support for GitOps, which we consider very beneficial as it facilitates a unified approach to configuration promotion, testing, and administration. The implementation process is straightforward, requiring only a single API command. Our clients typically establish a workflow wherein designated individuals review merge requests between environments to identify potential configuration anomalies.

CriblUtilities does not aim to replace these manual reviews but rather to reduce their scope. The utility can be integrated into the pipeline to perform configuration verification prior to manual review, thereby reducing reviewer workload and implementing consistent validation procedures.

Our initial development focused on YAML file linting. As Cribl utilizes standard YAML formatting, we leverage the Python YAML module to identify unsupported modifications, such as improperly formatted local changes. The prevention of improperly formatted YAML files is critical, as they may compromise Cribl Stream in production.

Establishing naming conventions for Cribl Stream configuration elements is considered best practice. We have implemented naming convention verification as an additional feature in CriblUtilities. Organizations typically maintain conventions for worker groups, sources, destinations, data routes, pipelines, and packs. As configuration types store naming information in various locations, our utility simplifies verification through commands such as:

cribl-utilities check naming --conf /opt/cribl --field sources --regex "src_.*"

For pipeline configurations, similar verification can be performed with:

cribl-utilities check naming --conf /opt/cribl --field pipelines --regex "ppl_.*"

In this example there are four worker groups created. Only one applies to the new naming convention. Which states that the name of a worker group should start with "wgp_".

In this example you see the default worker group. We created an exception for this worker group in the naming convention since this group is always there. This gives two workers groups that do not apply to the naming convention:

Use the debug tag to check whether this checks all configurations you expect. Especially filtered_fields are interesting in this case:

We have decided to launch this initiative as an open-source project due to our commitment to transparency. CriblUtilities does not transmit data to external sources with the exception of your designated Cribl environment. Our open approach enables verification of these assurances. We encourage developer participation to enhance functionality, and welcome issue reports from all users to facilitate ongoing improvement.

CribUtilitites is a comprehensive tool to streamline migrations and validate configurations.

Streamline migrations and validate configurations with CriblUtilities

Were you ever curious about how companies like Uber, Just Eat, and Strava show you the location of your delivery, ride, or run in real-time? Well, in this tutorial we will go over the two main ways that map data can be displayed and interacted with on a web page. 

a discussion of the two main ways to display map data on a web page, and their pros and cons

inserting actual map data into the database

spinning up a geoserver to serve the map data

spinning up a geographical REST API to serve the map data

displaying the map data on a web page using streamlit and folium


In the following video demo our resident Python Developer, James Twose, will show you how it is done!

Displaying map data on a web page: geoserver vs geoapi

We hope you enjoyed this tutorial and now have a better understanding of how to display map data on a web page.

If you have any questions or comments, please feel free to reach out to us on our social media channels or via email.

You can find the code for this tutorial here: https://github.com/jameshtwose/geoserver-vs-pygeoapi

Were you ever curious about how companies like Uber, Just Eat, and Strava show you the location of your ride, delivery, or run in real-time? In this tutorial we will go over the two main ways that map data can be displayed and interacted with on a web page.

Displaying map data on a web page: Geoserver vs geoapi

Geoserver vs geoapi

Splunk 9.3 has been released and  there are some new features that we would like to share with you. In the release notes you can find all the features added to this release.

Dashboard Studio - Scheduled PDF and PNG export

It is now possible to schedule PDF or PNG exports for Dashboard Studio dashboards.  For users to be able to do this you have to give them the ‘list_settings’ capability. There are a few limitations that you should consider, see the Splunk Documentation for the details.

A nice bonus is the ability to use the API to fetch a PNG, this means that you can use your automation tooling to fetch a PNG of a dashboard and display that on a website. This is much easier than using embedded reports.

Instead of Python 3.7 the new default is now Python 3.9, you could override this in your app settings but we highly recommend testing all your Python scripts in a test environment with Splunk 9.3 before upgrading on production. 

On busy search heads it is now possible to apply a memory reduction measure for the Splunkd process. In the Splunk conf description it does state that you should consult Splunk support before enabling this setting. 

If you used role-based field filters then you should know that after upgrading these filters will no longer work. You might want to check out the new field filter option, but keep in mind that you can no longer use the following commands: mpreview, mstats, tstats, typeahead, and walklex

If you use Splunk Enterprise Security you probably won’t be able to use this since Splunk Enterprise Security relies heavily on tstats. For more information click this link. 

Indexer cluster rolling upgrade automation

If you have not yet automated your Splunk indexer cluster upgrade you might want to check out this app that helps you. Do note that using systemd for Splunk is currently not supported.
https://docs.splunk.com/Documentation/Splunk/9.3.0/Indexer/AutomatedIDXCrollingupgrade

Splunk 9.3 has been released and we highlight some of the new features in this blogpost.

Splunk 9.3 new features explained

Splunk 9.3 - new features explained

Ever wondered how your API would perform under heavy load? Load testing is a way to simulate a high number of users accessing your API at the same time. This can help you identify bottlenecks in your system and help you optimize your API for better performance.

Well luckily enough one of our data engineers, James Twose, will give a video demo on how to use the open source Python framework Locust to load test your API.

Locally run a postgres database and a fastapi-sqlalchemy API using docker-compose

Loadtesting your API with Locust

We hope you enjoyed the demo and learned something new about load testing. If you have any questions or feedback, feel free to reach out to us on our social media channels. You can find the code for this demo here: https://github.com/jameshtwose/api-framework-comparison

In this video data engineer James Twose shows you how to loadtest your API using Locust.

In this blog I’ll demonstrate how to build a Splunk XML Dashboard by using AI only. Following a case study, I will guide you step-by-step from the initial concept to a fully developed dashboard. 

For this exercise, I used the Cinq ICT website as a base and reference for the layout and aim to create a dashboard that can serve as the homepage for a Cinq ICT Splunk app. For the dashboard code generation, I’m making use of so-called Large Language Model (LLM) bots. In this case chat GPT, the 3.5 free version. I’ll also use the Dall-E 3 image generation via Microsoft CoPilot to generate some logo images for our Data, DevOps, and Development Unit. Feel free to use the prompts in this case study in combination with other LLM bots to see the differences in the image or code generation.

Below I visualized the concept for the Splunk dashboard. The goal is that AI creates the code for each dashboard component, based on 4 prompts.  

1. At the top, we have a header that includes an image with accompanying text below and on the right. 
2. Below that, there will be a headline row “App Dashboards”, a copy of this code will be used to create the “Links/Help” headline.
3. Between these 2 headlines we have 4 tiles with the dashboard 1/2/3/4 links
4. At the bottom, a list of URLs. 

The colors indicated in the color schema are picked from the cinq website and will consistently be used in the AI prompts. The blue circles in the header will be replaced with the generated images.

When asking things to a LLM bot like ChatGPT it’s important to take the following tips/tricks into account for better responses.

1. Be Precise: Clear, detailed inputs yield better responses.
2. Simplify: Break complex questions into shorter ones.
3. Follow-Up: Ask clarifying questions if needed.
4. Provide Context: Background information enhances relevance.
5. Highlight Keywords: Emphasize important terms to focus the response.
6. Avoid Ambiguity: Frame questions clearly to reduce misunderstandings.
7. Confirm Understanding: Summarize responses to check accuracy.

The general idea is to leave few to no room for interpretation, as that will cause inaccurate responses. 

As shown in the concept above we need 4 prompts to generate the dashboard. We’ll take it top-down and begin with the header, applying the tips outlined above. I’ll write the below query in chatGPT. Based on my experience with AI and Splunk code dashboard generation, I know that I need to explain a few more details to get the right response. I already instructed chatGPT to change the <dashboard> tag by including version 1.1, a light theme, and a hidden title. I also ensure to use self-closing <br> and <img> tags. Finally, I eliminated the grey spaces between rows using CSS. If you don’t know – and therefore may not apply - these instructions you will get code that does not work properly in Splunk and then you need to manually apply these fixes in Splunk, also a good exercise. 

Prompt 1 - Header
Please create a header for a Splunk XML dashboard using HTML/CSS. I need a white background with rounded corners with 3 mid-left-aligned image placeholders from left to right (logo_1.png, logo_2.png, logo_3.png) in the Splunk Search app directory, 350px wide and 100px tall). 8px padding-bottom, Below the image, include the text "Data | DevOps | Development" in #575756, with the '|' in orange (#F39201), all bold and 24px. On the right, place the text "CINQ ICT" in bold, 48px, #575756, padding-right 80px padding-botton 12px, with a smaller subtitle "Net iets meer | net iets anders" in #ABABAB, 26px, no padding. Use <dashboard version="1.1" theme="light" hideTitle="true"> to start, and ensure all image and br tags are self-closing. With CSS set the .dashboard-header class min-height to 0px; and the .panel-body.splunk-html padding to 0px;

Optional Prompt: Images
Generate a logo, a circle shape that symbolizes Data Analytics using only colors #58ADDF , #575756, #F39201.

For the 3 images I have used the above prompt, changing the text “Data Analytics” to “DevOps” and “IT Coding/Development”. Using Microsoft Designer, I Downloaded the images and placed them locally in Splunk search app folder src="/static/app/search/data.png".

The first prompt with the images gives the following result, note that it will slightly differ each time based on what chatGPT generates. It looks as follows:

Prompt 2 - Headlines
For an existing Splunk XML dashboard I need a new row that creates a small headline with rounded corners. A white background and a text “App Dashboards” in blue #58ADDF, bold and 16px, aligned left. So start and end with the row tag, omit the dashboard tag.

Note that I instructed chatGPT to clearly only add the row tag here, so we append to our previous code. I copy the rows 2 times in Splunk, so I have both headline rows. The code is now as follows and the dashboard looks like this:

Prompt 3 – Tiles
For an existing Splunk XML dashboard I need a new row with 4 clickable tiles from left to right with height 75. Each tile must have rounded corners, a white background and the text “Dashboard” with a number 1,2,3,4, text in blue #58ADDF , bold and 20px, aligned centre. The tiles need a hover and onclick to another Splunk dashboard.  The first tile needs no margin on the left side, and the last one needs no margin on the right side. All style attributes are in separate style tags. Start with the row tag and omit the dashboard tag.

I add the row prompt result from chatGPT between the 2 headline rows, to add the 4 dashboard link tiles. The result looks as below. Note that the hover function is also added and even came with some advanced CSS transitioning for a smooth background change. 

Prompt 4 – Links/Help
For an existing Splunk XML dashboard I need a row with a with background and rounded corners. In this row I need a list of URLs underneath each other with mouse hover functionality. The link URLs are: “Home”, “What we do – Data”, “About CINQ”, “Events”, “Podcast”, “Blog”, “Vacancies”, “LinkedIn - Tom de Bruijn”. The URL text in blue #58ADDF , bold and 16px, aligned left. Start with the row tag omit dashboard tag.

After Prompt 4 The final code results in this and looks like below. 

I hope you found this case study informative and enjoyed reading the blog! If you'd like to connect, feel free to add me on LinkedIn at https://www.linkedin.com/in/tcdebruijn/. I'm always more than happy to chat or help out if needed. 

In this blog Tom de Bruijn demonstrates how to build a Splunk XML Dashboard by using AI only. Following a case study, he will guide you step-by-step from the initial concept to a fully developed dashboard.

Build a Splunk Dashboard with ChatGPT or AI only

Build a Splunk Dashboard with ChatGPT

It’s not a secret: we at CINQ love to use Cribl products. We’re particularly fond of using Cribl Stream, and we like it so much, we’re even doing workshops on the matter to show people what you can do with Cribl Stream. Cribl itself says Cribl Stream is an Observabilty Pipeline, but before we get lost into what an Observability Pipeline exactly means, what Cribl Stream can do is collect data from any data source, filter out any parts of the data that you don’t need, transform the data in a format of your choosing, and send the data to a data destination. You can get started with Cribl for free in their sandbox environment here.

One of the assignments in our recent Cribl workshop is based on a real life use case from one of our customers, and the few times we’ve given this workshop, participants were struggling a bit with this assignment.

Since there’s not much time available during our workshop to fully get into detail about why you have to do some steps, here’s a little blog post to cover that need.

The National Data Portal for Road Traffic (Nationaal Data Portaal Wegverkeer, or NDW for short) is a Dutch national portal for road traffic data in the Netherlands, both from national roads, provincial roads and from municipal main roads.

In NDW, Dutch governments work together to collect, combine, store and distribute mobility data. This data is used for traffic management.

First, the NDW has a platform available where the traffic data is posted: the Open Data Portal (​​https://opendata.ndw.nu/) 

For the workshop assignment we’re interested in Ongevalideerde_snelheden_en_Intensiteiten.xml.gz, a file which consists of the average speed and intensity of all measure points of all national roads of the country. That’s over 24000 measure points. In a single XML file. Compressed as a gzip file. Updated every single minute.

Let that sink in for a moment and let’s take a closer look at the structure of the XML file itself.

<?xml version="1.0" encoding="UTF-8"?>
<SOAP:Envelope xmlns:SOAP="http://schemas.xmlsoap.org/soap/envelope/">
  <SOAP:Body>
    <ndw:NdwMrm xmlns:ndw="http://schemas.ndw.nu/wsdl/NdwTmisMrm10/">
      <ndw:exchange>
        <subscription>
          <subscriptionState>active</subscriptionState>
          <updateMethod>snapshot</updateMethod>
        </subscription>
      </ndw:exchange>
      <minute_speed_and_flow_events xmlns="http://speed_and_flow.trafficmanagementinfo.publicatie.hwn.rws.nl/1.1">
        <meta>
          <msg_id>
            <uuid>97b3eddf-cf1c-43cc-ae0f-e2e55ab0d22b</uuid>
          </msg_id>
          <selection />
        </meta>
        <event>
          <ts_event>2019-09-19T12:21:27.741Z</ts_event>
          <ts_state>2019-09-19T11:40:53.853Z</ts_state>
          <measuring_point_id>
            <uuid>e9af9383-2d7f-4963-88c9-38aa1d9c33cc</uuid>
          </measuring_point_id>
          <lanelocation>
            <road>A2</road>
            <carriageway>g</carriageway>
            <lane>3</lane>
            <km>64.242</km>
          </lanelocation>
        </event>
        <event>
          <ts_event>2023-08-20T19:05:06.285Z</ts_event>
          <ts_state>2023-08-20T19:05:00Z</ts_state>
          <measuring_point_id>
            <uuid>e9af9383-2d7f-4963-88c9-38aa1d9c33cc</uuid>
          </measuring_point_id>
          <avgspeed>
            <kmph>92</kmph>
          </avgspeed>
        </event>
        <event>
          <ts_event>2023-08-20T19:05:06.286Z</ts_event>
          <ts_state>2023-08-20T19:05:00Z</ts_state>
          <measuring_point_id>
            <uuid>e9af9383-2d7f-4963-88c9-38aa1d9c33cc</uuid>
          </measuring_point_id>
          <flow>
            <count>6</count>
          </flow>
        </event>
        …
        …
        …
      </minute_speed_and_flow_events>
    </ndw:NdwMrm>
  </SOAP:Body>
</SOAP:Envelope>


We can see that the interesting parts are under element event and that the same  measuring_point_id is mentioned 3 times under 3 different event elements.

Event 1: you can identify the measuring_point_id to the physical location of the measuring point on the specified national road. 

Event 2: you can see the average speed for a specific measuring_point_id

Event 3: you can see the number of vehicles for a specific measuring_point_id

So, everything we need is located on a website in a compressed XML file of around 1.6 MB. Decompressed the file is around 18 MB.

What we need in Cribl, is to get to the gzip file, decompress it to get the XML file, and create separate events for every, well, event .

This is the easiest part. Setup a REST API source pointing to the URL of the file. As if it’s nothing, Cribl will get the file and automatically decompress it when the source is run. 

Here comes the catch though. Since the decompressed file is around 18 MB, Cribl won’t be able to break the file into separate events later on in the pipeline you’ll be using, because by default, the maximum number of bytes in an event before it is flushed to the pipelines is set at 51200 bytes. Luckily, you can make custom event breaker rules where you can adjust the maximum size.

Find the Event Breaker Rules (under Processing > Knowledge). Either create a new Ruleset, or make a copy of the existing Ruleset “Cribl - Do Not Break Ruleset”. What we’re interested in is to adjust the Max event bytes size so the XML file in its entirety will be sent to the pipeline for processing.

So choose a value that’s the size of the file in bytes, or go all the way up to the maximum number of bytes an event can be for Cribl to handle (134217728 bytes).

Use the custom Event Breaker Ruleset in your Data source.

Now we’re able to get the compressed XML file from the website and send it to the pipeline where we’ll do some processing.

In the pipeline we’ll be separating the events we can identify with the event tags from the XML file. We’ll be doing this with the help of the XML Unroll Function. This function accepts a XML event with a set of elements, and converts the elements into individual events.

If we look at the XML file again, we’ll notice that the information we’re interested in in element event  is located as a child element under element minute_speed_and_flow_events which itself is a child element under element ndw:exchange which itself is a child element under element ndw:NdwMrm. And then you have your SOAP body and SOAP envelope.

With this information at hand, we can say that the information we want is located at

SOAP:Envelope\SOAP:Body\ndw:NdwMrm\minute_speed_and_flow_events\event

This is exactly what we’ll be using in the function XML Unroll. Well, we need to change it a little bit because we need to put a Regex expression in the function which describes the path to the array to unroll:

^SOAP:Envelope\.SOAP:Body\.ndw:NdwMrm\.minute_speed_and_flow_events\.event$

The Copy Elements Regex part is empty, because we don’t need anything to be copied into the separate events.

If this is our XML event we put into our pipeline (remember, it’s one big event, so the image is just a sample image)

the XML Unroll Function will make separate XML events and you’ll have something like this (with the Pretty Print option selected)

Each event will have an element measuring_point_id with respectively an element <lanelocation>, <avgspeed> or <flow>.

But we’re not done yet. In our workshop we didn’t want XML events to be sent to our external system, but rather have JSON events, since we were using the data the workshop participants were sending in a dashboard built around data in the JSON format.

Luckily, it’s rather simple to do this in Cribl, since there’s a Cribl expression available that just does that: parse an XML string and returns a JSON object: C.Text.parseXml()

We need to use this expression with the Eval Function to parse XML fields contained in our events.


With this in place the events will be available as JSON objects:

Now, our events are ready to be sent to an external system where the data can be used for whatever purpose.

In our case we used the data to show traffic near our office building:

docs.cribl.io/stream/expressions-text/#parse-xml

In this blog Data consultant Ramond Jaggessar explains how to transform XML data into JSON with Cribl.

Using Cribl to transform XML data to JSON

Het geven van trainingen vind ik een mooi onderdeel van mijn baan. Het is even uit de dagelijkse routine stappen om zo cursisten kennis bij te brengen over mijn vakgebied. Super leuk om over je werk te mogen vertellen, nieuwe mensen te ontmoeten en hen te helpen bij de uitdagingen die binnen hun bedrijf spelen. In deze blog deel ik graag mijn ervaringen met het geven van Splunk-trainingen, inclusief de voorbereiding, het ontwikkelen van oefenopdrachten met AI en natuurlijk het verzorgen van de training zelf.

Voorbereiding Splunk training
Bij CINQ bieden wij trainingen aan op alle niveaus van Splunk. Daarbij leveren wij maatwerk om zo op de behoeften van onze klanten in te spelen. Zodra CINQ een aanvraag ontvangt van onze partner of rechtstreeks van een klant, beginnen wij met het afstemmen van de training op hun specifieke wensen. Hierbij kijken wij niet alleen naar praktische zaken zoals datum en locatie, maar vooral naar de vraag van de klant: wie zijn de deelnemers en wat willen zij precies leren? 

Na het eerste contact starten wij met de voorbereiding van de training. De trainingen zijn meestal verdeeld over 2 tot 3 trainingsdagen, met steeds een week er tussen. Op deze manier krijgen de cursisten de kans om tussen de trainingsdagen door oefeningen te maken en worden zij niet in één dag overladen met theorie. De training zelf bestaat uit een combinatie van theorie en praktijk. Zo leggen wij bijvoorbeeld een Splunk-commando uit en laten de cursisten vervolgens een bijpassende oefenopdracht uitvoeren. Als de training op locatie bij de klant plaatsvindt, kunnen wij in overeenstemming (NDA) ook gebruikmaken van klantdata, hoewel werken met gegenereerde testdata altijd een mogelijkheid is.

Het maken van oefenopdrachten met AI:
Vaak gebruik ik AI-chatbots voor het maken van de oefenopdrachten. Dit bespaart tijd en biedt de mogelijkheid om een test set te personaliseren voor een specifiek bedrijf of branche. De opdrachten worden hierdoor begrijpelijker en leuker voor de cursisten. 

Voor mijn laatste training maakte ik gebruik van ChatGPT, maar Google Gemini of Microsoft CoPilot zouden ook gebruikt kunnen worden. Als voorbeeld moest ik het timechart- en timewrap-commando uitleggen aan een groep die werkzaam is voor een luchthaven. Uiteindelijk kwam ik tot de volgende invoer:

“Maak met SPL en het gentimes commando een testset aan data. Bij gentimes als start-365 als end=0 increment=1d. Doe vervolgens eval _time=starttime. Vervolgens maak met eval statements een ticket_price aan tussen de 200-205 waarbij de ticket_price langzaam afneemt, en geef gebruikmakend van random() 3 airlines. Kies daarna met een where clause 1 luchthaven, vervolgens maak een timechart met de gemiddelde ticket_price per maand en een timewrap per q.”

ChatGPT is helaas geen SplunkGPT*. Het heeft hulp nodig om een werkende Splunk query te fabriceren. Zo herkent het niet alle Splunk commando's of maakt het verkeerde aannames bij het schrijven ervan, waardoor de geleverde SPL code niet werkt. Daarom geef ik in bovenstaand voorbeeld zeer specifieke instructies, door de vraag zo gedetailleerd mogelijk te formuleren. Zo schrijf ik commando’s uit en geef ik in stappen de volgorde van de commando’s weer. De output van ChatGPT is een query die ik bijna rechtstreeks in Splunk kan gebruiken.

Waar ChatGPT de aanname doet dat comments met een # moeten beginnen is dat bij splunk met 3 backtics. Na deze aanpassing zal de query correct werken.

Door een deel van deze query aan de cursisten te verstrekken, kunnen gebruikers eerst een luchtvaartmaatschappij kiezen, vervolgens een timechart maken en deze uiteindelijk aanpassen naar een timewrap per kwartaal. Daarna kunnen ze onderzoeken wat er is gebeurd met de ticketprijzen in het afgelopen jaar.

*Bovenstaande is gemaakt met de gratis versie van ChatGPT gebaseerd op model 3.5. Met de betaalde versie van ChatGPT, 4.0 kun je ook custom GPT’s gebruiken. Dat zijn Chat GPT extensies, die zijn toegespitst op 1 specifieke functionaliteit. Zo zijn er een aantal Splunk GPT’s te vinden op de markt. Mijn ervaring is dat deze ietwat betere resultaten leveren dan de gratis variant, maar zeker niet perfect werken. De tip blijft om je vraag zo exact mogelijk te formuleren, om zo ruimte voor interpretatie en inbreng door chatGPT te verkleinen.

De training zelf:
Met het slidedeck en de testopdrachten gereed, is het tijd om de training te geven. Voordat de training begint ben ik al aanwezig op locatie om alles gereed te maken. Ik heet de cursisten één voor één welkom en tijdens een gezamenlijke kennismaking vraag ik de cursisten kort te vertellen wie zij zijn en wat zij persoonlijk uit de training willen halen. Zo kan ik een laatste afstemming doen en inschatten waar tijdens de training meer of minder aandacht aan besteed moet worden. 

Op de eerste dag, met name de ochtend van de training, ligt de focus meer op de theorie. Aan het einde van de dag geef ik vaak een huiswerkopdracht mee om de theorie in de praktijk te brengen. Daarnaast vraag ik de cursisten om na te denken over hun verwachtingen voor de volgende dagen. Tussen de trainingsdagen door bel ik meestal met onze contactpersoon om feedback te verzamelen die ik kan gebruiken voor de laatste trainingsdagen. 

Op de tweede en/of laatste dag wordt er meer aandacht besteed aan praktische toepassingen. Vaak staat er een praktijkopdracht op het programma en is er extra ruimte voor vragen en specifieke situaties van de klant. 
We sluiten gezamenlijk af met een evaluatie en de cursisten ontvangen een certificaat van deelname.

Komende maand schrijf ik nog een blog over hoe je Splunk Dashboards kan maken met ChatGPT en hoe je bestaande classic XML-dashboards mooier kan maken. Houdt de blogs van CINQ dan ook in de gaten.

Tom verteld over het geven van trainingen via CINQ ICT

Trainingen geven

With the release of Splunk 9.2 there are some new features that we would like to share with you. If you upgrade please use version 9.2.0.1 since it solves a bug with config validation check that’s blocks config push. 

Starting with version 9.2 it will be possible to create a deployment server cluster to make it high available. Using a load balancer and 2 or 3 deployment servers you are able to create the cluster, the configuration will be placed on a shared mount.

Besides this new ability the logging will also be sent to the following new indexes:

If you do not see any data in the forwarder management UI, have a look at the following Splunk docs article for possible issues.
https://docs.splunk.com/Documentation/Splunk/9.2.0/Updating/Upgradepre-9.2deploymentservers#Possible_issues_with_upgrade

There are a number of improvements to the dashboard studio dashboards in Splunk. 

If you convert an XML dashboard to a Dashboard Studio dashboard it will show you a report which details what need to be manually changed.

You will now be able to configure drilldowns to custom searches or to reports.

A highly requested feature is the ability to use trellis, in this case you are able to use it with single values. We have seen a number of customers holding out on switching to Dashboard Studio because they had no trellis option. You can do this now!

3. Support for OS certificate trust store and certificate management API 

Instead of uploading additional CA certificates you are now able to integrate with a OS trust/certificate store. This makes it easier for companies to use their own CA’s without having to upload it to each Splunk instance.

4. Abort a rolling restart of an indexer cluster 

You are now able to abort a user-initiated rolling restart of an indexer cluster, you cannot abort a rolling restart that happens with a bundle push because that would leave the cluster in an inconsistent state. 

Although 9.2 does not introduce new functionality it does fix three bugs that could crash the forwarder. If you upgrade from 9.0.x please note that the default user changes from splunk to splunkfwd which can create issues reading logfiles/winventlog on your systems!

We have seen multiple companies that thought their upgrade went smoothly only to find out that some of their logging was no longer going to Splunk. You can check your environment with the following search:

index=_internal sourcetype=splunkd cannot_open  

Splunk Enterprise Release notes:
https://docs.splunk.com/Documentation/Splunk/latest/ReleaseNotes

Deployment server scalability:
https://docs.splunk.com/Documentation/Splunk/9.2.0/Updating/Implementascalabledeploymentserversolution
https://docs.splunk.com/Documentation/Splunk/9.2.0/Updating/Upgradepre-9.2deploymentservers

Dashboard studio:
https://docs.splunk.com/Documentation/Splunk/latest/DashStudio/WhatNew
http://docs.splunk.com/Documentation/Splunk/9.2.0/DashStudio/ConvertSXML
http://docs.splunk.com/Documentation/Splunk/9.2.0/DashStudio/linkURL
http://docs.splunk.com/Documentation/Splunk/9.2.0/DashStudio/trellisLayout

Abort rolling restart:
https://docs.splunk.com/Documentation/Splunk/9.2.0/Indexer/Userollingrestart#Abort_a_rolling_restart_of_an_indexer_cluster

In this blog you will read 5 things you should know before you decide to upgrade to Splunk 9.2.

5 things to know before you upgrade to Splunk 9.2

De CTO's van onze drie units - Data, DevOps en Development - vormen samen met de CTO van CINQ een denktank: de CINQTank. Zij houden zich bezig met het “voorspellen” van de toekomst. Samen met de mensen uit de units kijken zij in de verschillende vakgebieden naar de ontwikkeling van technieken en tools. Hiermee wordt een technische visie gecreëerd. Deze wordt onder andere gebruikt om richting te geven aan de opleiding van medewerkers. Tevens wordt het gebruikt als input voor de jaarplannen van elke afdeling. Tot slot is het natuurlijk ook gewoon leuk om na te denken hoe de toekomst eruit zou kunnen zien. Hieronder lees je onze verwachtingen op het gebied van Data in 2024.

In het verleden lag de nadruk binnen de Data Unit vooral op het opzetten, onderhouden en effectief benutten van Splunk voor onze klanten. Het afgelopen jaar heeft de unit haar expertise uitgebreid en hebben wij nieuwe consultants met diverse specialismen mogen verwelkomen, waaronder data ops en data engineers. Onze consultants hebben gemeen dat zij met data werken en hebben dan ook overeenkomsten in de werkzaamheden Toch zijn er ook duidelijke verschillen. Onze DataOps consultants houden zich primair bezig met de optimalisaties van gegevensbeheer, de focus van onze data engineers ligt meer op de gegevensverwerking en onze data consultants zijn voornamelijk met tools bezig om met data te werken. De focus is hiermee dan ook verbreed naar andere tools en binnen de unit wordt er meer en actiever samengewerkt. De unit is nu georganiseerd in verschillende teams, zowel per klant als per specialisme. Een nieuwe ontwikkeling is ook het werken op projectbasis, soms samen met consultants uit de andere units. Dit zorgt niet alleen voor interessante uitdagingen, maar ook voor een waardevolle uitwisseling van kennis tussen vakgebieden. Onderling kunnen wij binnen de unit de uitdagingen en oplossingen van onze klanten met elkaar uitwisselen, mede tijdens één van de vele data sessies op kantoor. Zowel onze klanten als onze collega's profiteren van deze samenwerking. 

Komend jaar leggen we nog meer nadruk op samenwerking binnen de unit en komt er meer focus op het vaststellen van "CINQ best practices". Onze data architecten zijn verantwoordelijk voor installaties, updates en configuratiewijzigingen in klantomgevingen. Aangezien ze vaak vergelijkbare taken op verschillende klantsystemen uitvoeren, rijst de vraag naar wat de meest optimale aanpak voor deze werkzaamheden is. 

Hiervoor komen onze architecten regelmatig bijeen om ervaringen uit te wisselen en gezamenlijk de beste aanpak te bepalen voor veelvoorkomende taken. Op deze manier streven we naar een uniforme werkwijze. Dit resulteert in hoogwaardige dienstverlening en een verhoogd volwassenheidsniveau van onze klanten op het gebied van data en monitoring.

Waar voorheen bij bedrijven vooral de focus lag op het verzamelen van data, verwachten wij een verschuiving naar het beheren van de (hoeveelheid) data en data governance. Wij voorzien een sterke opkomst van “observability pipelines” die de flexibiliteit bieden om gegevens te verzamelen, te verkleinen, te verrijken en/of te normaliseren en te routeren van elke bron naar elke bestemming. Dit zorgt ervoor dat er geen vendor lock-in plaatsvindt bij onze klanten en zij flexibeler met hun monitoring platform om kunnen gaan. Dat is in deze dynamische markt steeds vaker een vereiste.

De Data unit heeft Cribl omarmd als de tool voor het opzetten van observability pipelines. CINQ is één van de eerste Nederlandse partners van Cribl. Een groot deel van onze consultants zijn inmiddels Cribl Certified Consultants waarmee we onze positie in de markt versterken.

Log Monitoring als los product komt steeds minder vaak voor in de markt. Logging functies zijn veelal ondergebracht in de verschillende Observability platformen of vervangen door Open Telemetry (OTEL). De term "Applicatie Performance Monitoring" (APM) is nog steeds zichtbaar in de markt, maar is nauw verweven en soms zelfs verward met "Digital Experience Monitoring" (DEM).  Bedrijven hebben steeds meer door dat het niet meer gaat om het monitoren van de applicatie, maar om het meten van de gebruikerservaring bij een applicatie. 

Technische kennis is steeds schaarser op de markt en voor organisaties wordt het lastiger om dit in huis op te lossen. In sommige gevallen worden externen ingehuurd, maar we zien een stijgende lijn in de hoeveelheid SaaS oplossingen, waarbij de klant wordt ontzorgd van technisch beheer en onderhoud. De on-premise oplossing gaat hiermee meer naar de achtergrond en daarmee ook de behoefte aan de technische kennis van onze consultants omtrent het platform.

De wijzigingen in de markt zijn in onderstaande Hype Cycle schematisch weergegeven.

Afbeelding 1: CINQ - Gartner Hype Cycle met betrekking tot monitoring

Waar termen als AiOps en Machine Learning in de data wereld al langer bekend zijn voor slimme automatisering en voorspellende analyses, is dit jaar AI onmisbaar geworden op onze hype cycle (zie Afbeelding 1). Met de explosieve groei van AI krijgen we er de komende jaren een overvloed aan integratiemogelijkheden bij. Denk alleen al aan geautomatiseerd code schrijven, maar ook het valideren en zelfs becommentariëren van code. Ook wordt het mogelijk om vragen in natuurlijke taal aan systemen te stellen, zonder complexe programmeertalen te gebruiken. Waar de mogelijkheden eindeloos zijn, is het aan de markt, maar ook aan bedrijven en onze consultants om voorzichtig met AI om te gaan en deze op een juiste wijze toe te passen.

Bedrijven verzamelen steeds meer data. De verwachte jaarlijkse samengestelde groei aan data is maar liefst 23%. (bron) De toenemende hoeveelheid data vormt een uitdaging voor bedrijven. De roep om de hoeveelheid data (stromen) beheer(s)baar te houden zal dan ook sterk toenemen dit jaar en wij verwachten op dit vlak dan ook meer werkzaamheden voor onze consultants, alsmede de inzet van Cribl bij onze klanten.

De verwachte groei aan data zien de leveranciers uiteraard ook. Voorzichtig worden licentiemodellen geïntroduceerd die niet meer op ingestion - de inname van data - werken, maar op gebruik (pay-per-use). Bij pay-per-use wordt software als SaaS aangeboden door de leverancier, maar veelal in samenwerking met bekende cloud providers zoals Azure en Amazon. Je betaalt praktisch gezien voor de servercapaciteit, rekenkracht en gebruikte software modules. Achterliggende rekenmodellen genereren de maandelijkse factuur. Het voordeel voor de klant is dat je alleen betaalt voor wat je daadwerkelijk gebruikt, en niet voor ongebruikte modules. Dit verandert ook de marketing dynamiek, omdat software modules in principe gratis zijn voor de klant. Klanten worden nieuwsgierig en gaan meer modules gebruiken, wat de leverancier uiteindelijk zijn verdienmodel oplevert.

Bij SaaS oplossingen wordt zowel de installatie als het beheer grotendeels door de leverancier verzorgd. Consultants voeren doorgaans nog configuraties uit. Het is essentieel voor bedrijven om nauwkeurig te beoordelen welke aspecten zij wel en niet zelf kunnen beheren.

De overstap van On Premise naar SaaS wordt door leveranciers gestimuleerd en soms zelfs afgedwongen door nieuwe features exclusief voor de cloud uit te brengen. Ons advies aan klanten is om grondig onderzoek te blijven doen en een goede afweging te maken tussen kosten, mogelijkheden en rekening te houden met lokale en al dan niet Europese wet- en regelgeving. De cloud is zeker een goede oplossing, maar niet altijd de juiste. De trend naar hybride oplossingen tussen On Premise en de Cloud zal toenemen en de volledig zelfbeheerde On Premise installaties zullen ook in de komende jaren relevant blijven.

Waar observability vaak nog als marking-buzzword wordt gebruikt, wordt het inmiddels steeds meer in de praktijk toegepast. Observability combineert logs, metrics en traces, waardoor tools zich uitbreiden naar deze drie aspecten en de overlap tussen verschillende tools groeit. OpenTelemetry (OTEL) is een open source observability framework, wat als groot pluspunt heeft dat het snel uitgerold kan worden over verschillende applicaties. In plaats van op 1 applicatieserver meerdere agents te moeten installeren met alle specifieke doeleinden, kan je gaan naar 1 uniforme agent voor alle applicaties. De overhead in de klantomgeving wordt op deze manier minder. Onze consultants streven voortdurend naar een balans tussen waarde maximaliseren voor de klant en het kiezen van de meest geschikte tool. De samenwerking in teamverband binnen de Data unit zal hierbij verder helpen.

Binnen de Data Unit ligt een van onze focusgebieden op Data Engineering / Data Ops. Hierbij zijn onze consultants verantwoordelijk voor het ontwerpen, implementeren en optimaliseren van data-infrastructuur en -processen in organisaties. Ze zijn gericht op het efficiënt beheren, integreren en analyseren van gegevens om waardevolle inzichten te genereren en daarnaast organisaties te ondersteunen bij datagestuurde besluitvorming. 

Met onze consultants hebben we een sterk team, met veel ervaring, vaardigheden en passie om klanten volledig te kunnen ontzorgen. We willen ons steeds meer richten op dienstverlening in plaats van afrekening op uurbasis. We hopen door een combinatie van projecten flexibeler tijd te kunnen besteden aan onze klanten en daardoor meer klanten te kunnen ontzorgen.

Het monitoring platform beweegt mee met de applicaties/omgevingen die het monitort. We zien vanuit de Data unit een toenemende betrokkenheid bij de cloud, waarbij het opzetten en onderhouden van omgevingen via pipelines en repositories plaatsvindt. We zijn een nieuwe weg ingeslagen door de expertise van de DevOps unit te benutten. Zij helpen bij het configureren en onderhouden van Splunk-omgevingen via CI/CD-pipelines. Vanuit de Data Unit groeit de wens om samen te werken en te leren van de DevOps unit, met een geplande pipeline-training voor het komende jaar. 

Ook van de Development Unit valt veel te leren. Met onze verbreding van tools en technieken komen we meer in aanraking met programmeren en vooral met Python. Afgelopen jaar heeft een Python training plaatsgevonden en zijn er verschillende apps in Splunk voor onze klanten opgeleverd. Naast het leren programmeren van de Development unit, kan synergie ontstaan door samen te werken aan logging best practices bij het ontwikkelen van nieuwe applicaties. Developers en data specialisten hebben een verschillende kijk op het loggen van informatie. Door onze krachten te bundelen, kan efficiënt en volledig worden gelogd, waardoor zowel development als monitoring maximaal waarde uit de applicatie halen.

We zijn bezig met de vernieuwing van ons Data Maturity Model, dat eerst gericht was op de volwassenheid van Splunk-omgevingen. Nu komt het in bredere context terug en is de focus verlegd op de datakwaliteit in klantomgevingen zelf. Ons doel is om klanten bewust te maken van het volwassenheidsniveau van hun omgeving en hen vervolgens de nodige ondersteuning en begeleiding te bieden om naar het volgende niveau te groeien. Op deze manier dragen we bij aan waardemaximalisatie en professionalisering van hun omgeving. Het model is nog volop in ontwikkeling en zal bestaan uit een quickscan, interviews met diverse stakeholders en/of een technische scan waarbij onderzoek wordt gedaan naar de processen.

In dit artikel lees je wat onze verwachtingen zijn op het gebied van data in 2024. We beschrijven trends in de markt en ontwikkelingen binnen de CINQ Data unit.

Onze visie op data in 2024

Have you ever been curious to know how to use streaming data with anomaly detection algorithms to check if the system you care about is doing anything peculiar? 

This could be detecting fraud in your banking software, disease detection in healthcare, maintenance of industrial hardware… Well in this instance one of our Data Engineers, James Twose, will take you through an anomaly detection project using mock voltage data taken from a fictional smart meter. 

What technology can be used to do this, (Kafka, Trino, PostgreSQL, River, sklearn, Streamlit)

How all of the different parts interact with each other (mainly focussing on the use of Trino as a semantic layer between everything)

What the idea of anomaly detection is, and will lightly touch on how it works and,

How you could run this locally on your own computer, with an in depth demo of the system

Power anomaly detection Trino demo

We hope that what you learned from this was useful, and that it shone a light on the possibilities of real time anomaly detection. We are curious what use cases you come up with, and fingers crossed, that this is a good starting point for your projects.

Find the full repository on GitHub: https://github.com/jameshtwose/power-anomaly-detection/blob/main/README.md

This video explains how to use streaming data with anomaly detection algorithms to check if the system you care about is doing anything peculiar.

Realtime anomaly detection with Trino

In het jaar 2025 bevinden we ons te midden van een ongekende datarevolutie. Data wordt net zo waardevol gezien als olie en daarom is het essentieel om het maximale potentieel ervan te benutten. Ondanks de groeiende inzet van bedrijven om deze schat aan informatie te gebruiken blijven de verscheidenheid, het volume en de complexiteit van data een uitdaging.  En laten we niet vergeten: de toekomst belooft een forse toename van data. Het is hoog tijd om de controle over deze data-explosie te nemen en te behouden!  Tijdens deze sessie geeft Bas een aantal direct toepasbare tips om de data-explosie te bedwingen.

Bekijk hier de presentatie van Bas op de CINQ.Conferentie 2023.

Tips om de data-explosie te bedwingen - Bas Bakkenes @ CINQ.Conf 2023

Bekijk de video van de presentatie van Bas Bakkenes tijdens CINQ.Conferentie 2023: Tips om de data-explosie te bedwingen.

Tips om de data-explosie te bedwingen

Vakmensen, dat zijn we. En wat we doen op het gebied van informatie- en communicatietechnologie helpt organisaties slim verder. Effectief en meetbaar bovendien. Aangenaam, CINQ. Specialisten in Data, DevOps en Development. Wij geloven in specialisten, vandaar de driedeling Data, DevOps en Development binnen ons bedrijf. Zo zorgen we dat jij excelleert, want je werkt het best waar je je het meest thuis voelt. Logisch, toch?

cinq_logo.png

cinq_logo_square.png

CINQ ICT

We delen graag onze kennis over Data, DevOps en Development met je. Op ons blog lees je tips en tricks over bijvoorbeeld Splunk, Docker, Kubernetes en Java.

Onze laatste blogs over Data