Item: CINQ ICT
Rating: 4
Author: Matthias van den Berg

Cribl Stream is recognized for its ability to efficiently structure data flows while providing capabilities to mask, transform, reduce, and route data. The platform's straightforward implementation and operation make it particularly suitable for enterprise environments, which has contributed to Cribl’s rapid adoption among Fortune 100 companies globally. Cribl Stream offers immediate functionality that many organizations have desired to incorporate for a long time.

Our experience with this solution spans several years, during which we have consistently been impressed by its organizational impact. As a partner we are working together with Cribl to enhance the products themselves and for the features outside of the core functionality we have developed an open-source solution: CriblUtilities - A comprehensive tool to streamline migrations and validate configurations. Our open source solution ensures a smooth implementation of Cribl Stream within your organization.

We started our development with the core functionality of database migration. Splunk provides DBConnect as a supplementary application for Splunk Heavy Forwarder. However, the architecture of the Heavy Forwarder does not support high availability. While it is possible to construct a high-availability solution around it, Cribl Stream natively supports database queries at defined intervals with built-in high availability. Making this a quick win for organizations that are starting their Cribl Stream implementation.

All you need is a user on your Cribl API and the three configuration files from Splunk and our CriblUtilities solution takes care of the rest.

The development process required substantial testing and coding efforts. Splunk utilizes a modified implementation of TOML (Tom's Obvious, Minimal Language). The standard Python TOML module proved to be incompatible with this implementation, and requires data reformatting to ensure compatibility. The migration process transforms three distinct Splunk files (db_connections.conf, identities.conf, and db_inputs.conf) into two Cribl outputs (Database Connection Knowledge items and Database Collectors). Followed by verification and additional configuration adjustments, such as schedule activation, the new configurations are deployed to Cribl via the Cribl API.

Currently, this represents the sole migration path incorporated into the utility. It serves as a foundation for the continued expansion of migration capabilities in future development.

Above is a picture shown with a couple of steps. In step 1 the setup of CriblUtilities is started. A few required parameters are asked from the user via the prompt, this results in a ".env" file. Alternatively, you can also set this file manually. In step 2 the empty screens are shown to prove the environment is empty. In step 3 the actual migration is done. The script gives insight into what is done. In step 4 the proof is shown that the database connections and collectors are created in Cribl Stream.

Cribl Stream provides native support for GitOps, which we consider very beneficial as it facilitates a unified approach to configuration promotion, testing, and administration. The implementation process is straightforward, requiring only a single API command. Our clients typically establish a workflow wherein designated individuals review merge requests between environments to identify potential configuration anomalies.

CriblUtilities does not aim to replace these manual reviews but rather to reduce their scope. The utility can be integrated into the pipeline to perform configuration verification prior to manual review, thereby reducing reviewer workload and implementing consistent validation procedures.

Our initial development focused on YAML file linting. As Cribl utilizes standard YAML formatting, we leverage the Python YAML module to identify unsupported modifications, such as improperly formatted local changes. The prevention of improperly formatted YAML files is critical, as they may compromise Cribl Stream in production.

Establishing naming conventions for Cribl Stream configuration elements is considered best practice. We have implemented naming convention verification as an additional feature in CriblUtilities. Organizations typically maintain conventions for worker groups, sources, destinations, data routes, pipelines, and packs. As configuration types store naming information in various locations, our utility simplifies verification through commands such as:

cribl-utilities check naming --conf /opt/cribl --field sources --regex "src_.*"

For pipeline configurations, similar verification can be performed with:

cribl-utilities check naming --conf /opt/cribl --field pipelines --regex "ppl_.*"

In this example there are four worker groups created. Only one applies to the new naming convention. Which states that the name of a worker group should start with "wgp_".

In this example you see the default worker group. We created an exception for this worker group in the naming convention since this group is always there. This gives two workers groups that do not apply to the naming convention:

Use the debug tag to check whether this checks all configurations you expect. Especially filtered_fields are interesting in this case:

We have decided to launch this initiative as an open-source project due to our commitment to transparency. CriblUtilities does not transmit data to external sources with the exception of your designated Cribl environment. Our open approach enables verification of these assurances. We encourage developer participation to enhance functionality, and welcome issue reports from all users to facilitate ongoing improvement.

CribUtilitites is a comprehensive tool to streamline migrations and validate configurations.

Streamline migrations and validate configurations with CriblUtilities

Were you ever curious about how companies like Uber, Just Eat, and Strava show you the location of your delivery, ride, or run in real-time? Well, in this tutorial we will go over the two main ways that map data can be displayed and interacted with on a web page. 

a discussion of the two main ways to display map data on a web page, and their pros and cons

inserting actual map data into the database

spinning up a geoserver to serve the map data

spinning up a geographical REST API to serve the map data

displaying the map data on a web page using streamlit and folium


In the following video demo our resident Python Developer, James Twose, will show you how it is done!

Displaying map data on a web page: geoserver vs geoapi

We hope you enjoyed this tutorial and now have a better understanding of how to display map data on a web page.

If you have any questions or comments, please feel free to reach out to us on our social media channels or via email.

You can find the code for this tutorial here: https://github.com/jameshtwose/geoserver-vs-pygeoapi

Were you ever curious about how companies like Uber, Just Eat, and Strava show you the location of your ride, delivery, or run in real-time? In this tutorial we will go over the two main ways that map data can be displayed and interacted with on a web page.

Displaying map data on a web page: Geoserver vs geoapi

Geoserver vs geoapi

Splunk 9.3 has been released and  there are some new features that we would like to share with you. In the release notes you can find all the features added to this release.

Dashboard Studio - Scheduled PDF and PNG export

It is now possible to schedule PDF or PNG exports for Dashboard Studio dashboards.  For users to be able to do this you have to give them the ‘list_settings’ capability. There are a few limitations that you should consider, see the Splunk Documentation for the details.

A nice bonus is the ability to use the API to fetch a PNG, this means that you can use your automation tooling to fetch a PNG of a dashboard and display that on a website. This is much easier than using embedded reports.

Instead of Python 3.7 the new default is now Python 3.9, you could override this in your app settings but we highly recommend testing all your Python scripts in a test environment with Splunk 9.3 before upgrading on production. 

On busy search heads it is now possible to apply a memory reduction measure for the Splunkd process. In the Splunk conf description it does state that you should consult Splunk support before enabling this setting. 

If you used role-based field filters then you should know that after upgrading these filters will no longer work. You might want to check out the new field filter option, but keep in mind that you can no longer use the following commands: mpreview, mstats, tstats, typeahead, and walklex

If you use Splunk Enterprise Security you probably won’t be able to use this since Splunk Enterprise Security relies heavily on tstats. For more information click this link. 

Indexer cluster rolling upgrade automation

If you have not yet automated your Splunk indexer cluster upgrade you might want to check out this app that helps you. Do note that using systemd for Splunk is currently not supported.
https://docs.splunk.com/Documentation/Splunk/9.3.0/Indexer/AutomatedIDXCrollingupgrade

Splunk 9.3 has been released and we highlight some of the new features in this blogpost.

Splunk 9.3 new features explained

Splunk 9.3 - new features explained

Vakmensen, dat zijn we. En wat we doen op het gebied van informatie- en communicatietechnologie helpt organisaties slim verder. Effectief en meetbaar bovendien. Aangenaam, CINQ. Specialisten in Data, DevOps en Development. Wij geloven in specialisten, vandaar de driedeling Data, DevOps en Development binnen ons bedrijf. Zo zorgen we dat jij excelleert, want je werkt het best waar je je het meest thuis voelt. Logisch, toch?

cinq_logo.png

cinq_logo_square.png

CINQ ICT

Onze data unit

<span>Gespecialiseerd in heel veel</span> Data

data_engineer (1080p).mp4

Big data… dat klinkt zó 2011. En dat is het ook. Inmiddels zijn data al lang geen hype meer natuurlijk, maar meer een gegeven waar geen organisatie omheen kan. Onze klanten bulken van de data en hebben onze dataspecialisten nodig om er het juiste mee te doen. Door op een slimme manier de relevantie van data inzichtelijk te maken, wordt datagebruik stukken efficiënter. Kritisch kijken naar welke licenties juist wel of niet nodig zijn en daarmee kosten besparen. Als dataconsultant bij CINQ bouw je data-omgevingen in de cloud, analyseer, visualiseer en creëer je overzicht en pas je data toe waar data voor bedoeld zijn.

Snelle resultaten, hoge tevredenheid
Als CINQ-consultant lever jij echt toegevoegde waarde voor onze klanten. Want de snelheid waarmee jij en je collega’s data omzetten naar bruikbare informatie is ongekend. Met bijvoorbeeld Splunk en de ELK stack benut je de mogelijkheid om grote hoeveelheden data snel te doorzoeken, analyseren en visualiseren. De dataconsultants van CINQ richten zich op security, operations (infra en applicaties) en business data en vervullen een onmisbare rol in het support en beheer.  

Hoe ziet jouw ideale opdracht eruit?
Van het meedraaien in een Splunk-team bij een klant tot aan het uit de grond stampen van een splinternieuwe dataomgeving: als dataspecialist komt er van alles op je bord. Je werkt zelfstandig bij klanten, al zie je je CINQ-collega’s eens in de zoveel tijd op een kantoorwerkdag. Nieuwe inzichten, kennis en tooling worden gedeeld in deze hechte community, zodat je bijblijft in je vak. Er zijn volop ontwikkelkansen en er is veel vrijheid om je werkveld breder te maken. Van het organiseren van meet-ups tot het spreken op conferenties. De mogelijkheden zijn er, aan jou om ze te pakken.

Wordt CINQ jouw nieuwe werkgever? Bekijk de vacatures.

Meer dan dashboards

Data 2.0

Als Splunk partner ontwerpen, ontwikkelen en onderhouden we de Splunk omgevingen van verschillende toonaangevende bedrijven in Nederland.  Dit doen we bij de klant zelf, maar ook vanuit ons kantoor in Amsterdam .

Splunk

Hoe ziet ons werk met data er nu uit en hoe verandert dit in de toekomst? In onze visie op data lees je waar we vandaan komen, met welke tools we graag werken en hoe we de toekomst van data binnen CINQ zien. 

Onze visie op Data

Cribl biedt de mogelijkheid om vanuit iedere bron data te verzamelen, te transformeren of verrijken en vervolgens te routeren naar elke bestemming. Als Cribl partner helpen we bedrijven met de Cribl business case én zorgen we voor een vlekkeloze implementatie. 

Neem contact op voor meer info over Cribl

Cribl

voorbeelden van

Ons werk met data

Geschreven door CINQ

Blogs over Data

De juiste toepassing van data? Jij snapt als data consultant precies wat er van jou verwacht wordt door onze klanten.

Data

python

databricks

apache airflow

elastic

dynatrace

4kvisuals

Hoe is het om bij CINQ te werken?

Collega's aan het woord

Er is een hele open sfeer, het is gezellig en iedereen is altijd bereid om met je mee te denken.

Open sfeer

Door efficiënt datagebruik help jij onze klanten vooruit. Banken, overheidsinstanties, onderwijsinstellingen: in jouw volgende opdracht krijg je volop de ruimte voor eigen inbreng.

De charme van een IT-consultancybureau als CINQ is dat jij als data engineer over de vloer komt bij meerdere klanten. Soms voor een langdurig project, soms voor een kortere opdracht. Jij helpt ze data te benutten en krijgt de vrijheid om dat te doen op basis van je eigen inzichten. Jij ziet Splunk als de hamer in een gereedschapskist; een onmisbare tool om je werk mee uit te voeren. Meer waarde uit data halen is jouw doel, via proof of concepts verbetertrajecten en implementaties van Splunk-omgevingen. Hierin houd jij je bezig met het:

ontwikkelen, onderhouden en beheren van een Splunk-omgeving voor een optimale performance.

komen met verbetervoorstellen richting de klant.

Sinds 2013 zetten we onze consultants in op hoogwaardige IT-projecten door heel Nederland. Met de kennis die onze specialisten in huis hebben, adviseren we teams en zetten we koers naar innovatie. Nieuwe tooling helpt ons om klanten keer op keer te verrassen. Tussen alle IT-consultancybureaus vallen we misschien niet direct op in wat we doen. Maar wél in hoe we het doen. Daarmee hebben we naam en faam gemaakt in verschillende sectoren en daar gaan we het liefst nog even mee door.

CINQ is opgesplitst in vier business units met ieder een eigen expertise. Niet dat we ervan houden om in hokjes te denken, maar dit werkt in de praktijk nu eenmaal het beste. Ook voor onze klanten die een beroep doen op data engineers. Bij een klant meedraaien in een Splunk-team tot aan het uit de grond stampen van een splinternieuwe dataomgeving: als dataspecialist komt er van alles op je bord. En je collega’s van CINQ tref je bij een gezamenlijke data-kantoordag, kennissessie of memorabel uitje. 

Bij ons krijg je direct een vast contract voor 36 of 40 uur per week. Bij deze vacature horen de volgende arbeidsvoorwaarden:

een brutomaandsalaris tussen € 3.000 en € 5.500, afhankelijk van je kennis en ervaring.

8% vakantiegeld en 24 vakantiedagen op basis van een fulltime dienstverband

een telefoonvergoeding en een laptop naar keuze.

een ruim ontwikkelbudget voor trainingen en certificeringen

€ 1.000 budget om je thuiswerkplek goed in te richten

een auto van de zaak óf mobiliteitsbudget met een kilometervergoeding.

flexibiliteit om thuis, bij ons op kantoor en bij de klant te werken


De ideale kandidaat bestaat misschien niet. Toch zoeken we iemand die er dichtbij in de buurt komt. Want als data engineer ben je je ervan bewust dat jouw rol altijd in ontwikkeling is. Daarom doe je graag nieuwe kennis op en ben je creatief in het bedenken van oplossingen om klanten te verbluffen. Je bent nieuwsgierig, hebt een sterke klantfocus en kan zelfstandig uit de voeten. Dit breng je mee: 

ervaring met het zelfstandig ontwerpen, bouwen en implementeren van een data-omgeving. Bijvoorbeeld vanuit een eerdere rol als data consultant, data analist, data architect of data scientist. 

ruime ervaring met Splunk, ELK stack of andere vergelijkbare producten.

kennis van Python of een andere scripttaal.

kennis van DevOps, CI/CD-tooling (Docker, Kubernetes, AWS/Azure, Rancher of Terraform) is beslist een meerwaarde.

En, hoe lijkt het? Ben jij de nieuwe data engineer die onze klanten verder helpt? Solliciteer dan meteen via de sollicitatiebutton. Doe het wel voor [sluitingsdatum], want daarna sluiten we de vacature.

Wil je de details van deze vacature tot achter de komma? Neem dan contact op met Marc Jacobs via marc@cinqict.nl of 06-51087437.

Door efficiënt datagebruik help jij onze klanten vooruit. In jouw volgende opdracht krijg je volop de ruimte voor eigen inbreng.

Splunk Engineer

Als Splunk specialist help jij verschillende grote bedrijven om meer waarde uit hun data te halen.

36 - 40 uur per week

Jij vindt het leuk om aan complexe data-vraagstukken te werken. Je bent de spin in het web als het gaat om data extracten, transformeren en klaarzetten voor verder gebruik binnen organisaties, rekening houdend met de performance van de data-verwerking middels jobs die jij zelf configureert en beheert. Daarnaast zit je boordevol ideeën hoe de omgeving te verbeteren, waarbij je steeds de klant centraal plaatst. Het leren van nieuwe technieken is de reden waarom je dit werk hebt gekozen: nooit saai, en volop mogelijkheden.

CINQ is opgesplitst in vier business units met ieder een eigen expertise. Niet dat we ervan houden om in hokjes te denken, maar dit werkt in de praktijk nu eenmaal het beste. Ook voor onze klanten die een beroep doen op data engineers. Bij een klant meedraaien in een team tot aan het uit de grond stampen van een splinternieuwe dataomgeving: als dataspecialist komt er van alles op je bord. En je collega’s van CINQ tref je bij een gezamenlijke data-kantoordag, kennissessie of memorabel uitje. 

een bruto maandsalaris tussen € 3.000 en € 5.500, afhankelijk van je kennis en ervaring.

eenmalig € 1.000 budget om je thuiswerkplek goed in te richten

flexibiliteit om thuis, bij ons op kantoor en bij de klant te werken

Je kunt zelfstandig een data-omgeving ontwerpen, bouwen, en in gebruik nemen in een Cloud-omgeving (Azure, AWS, of GCP);

Je hebt ruime ervaring met de ETL methode en weet nieuwe data op een efficiënte manier te verwerken tot bruikbare datasets;

Certificeringen zijn geen eis, wel een pré;

Python (en data-libraries zoals Pandas, Numpy, PySpark, Matploblib) lezen en schrijven is geen probleem voor je;

Kennis van DevOps, CI/CD tooling, Docker of Kubernetes leveren bonuspunten op.

Vacature: data engineer bij CINQ ICT in Amsterdam. Bij CINQ staat jouw ontwikkeling centraal!

Gespecialiseerd in heel veel Data