We all have to deal with it, static, boring email alert notifications. This while the content is about business-critical processes or applications. Unfortunately, this also happens with most of Splunk's alert emails.

The following approach should be familiar, if you have ever created alerts in Splunk. It starts with a need in the organization. Someone wants to be alerted when there’s a problem regarding availability, performance, or on the increase or decrease of a certain figure. 

As a Splunk Consultant you will work with the customer demand and translate this need into a concrete solution. You create a search that provides the right data and save that as an alert in Splunk. In the alert settings you set your trigger conditions, and make sure that the alert is send by email to your recipients. In this email you put the required values from your Splunk search through tokens and that's it. 

The result is like below, valuable information in a boring email with a piece of text. That being said, there are some good standard options to put the results in the attachments, or to display them as a table and/or add a link to the results. Still, this had to be done differently and is also very easy to achieve.

To stop boring alert emails like above, we are going to make use of HTML and CSS email templates. And that’ what this blog is all about. This blog is divided into two parts. The first part focusses on how to customize Splunk so that HTML is supported. The second part will be an example of how to use and create HTML e-mails with a working example.

Modify Splunk to support HTML in email alerts.

When a Splunk environment sends out an email, a Python script called sendemail.py is used in the background. The script itself resides in the location Splunk/etc/apps/search/bin/sendemail.py. To support HTML, we’re going to modify this script slightly so that html is allowed in the body section of the emails.

For the actual modification of the script there are 2 options:

Option 1, modify the existing script in the existing place. Then the change is implemented for the entire Splunk environment, and all e-mails will support HTML. 

Option 2 copy the python script to your own custom app, then the HTML email templates are only implemented and supported in this app.

In this blog, we’ll go for the second option. This is also the most likely option, since this change will not affect the rest of the Splunk environment, and will just be applied and work for 1 app. Hence, if you want to go with option 1, you would only have to alter the script (see below second bulletpoint) and save the changes to the Splunk environment.

Copy the existing python script Splunk/etc/apps/search/bin/sendemail.py to your own splunk app (in this tutorial named myApp). Save it in the same app/folder location and rename the script (my_sendmail_html.py). If done correctly it should be in the following location: Splunk/etc/apps/myApp/bin/my_sendmail_html.py

Open the python script (original one for option 1, mysendemail.py for option 2) with a text/code editor and look for the text ${msg|h}. remove the |h so it becomes just ${msg} and save the script again.

Create a commands.conf in the local folder of the myApp app, which assigns the command to the mysendemail.py script just created.
❖   Filename and location: 
▪︎  Splunk/etc/apps/myApp/local/commands.conf
❖   contents commands.conf:


[sendemail]
filename = my_sendmail_html.py
streaming = false
run_in_preview = false
passauth = true
required_fields =
changes_colorder = false
supports_rawargs = true
undo_scheduler_escaping = true
is_risky = true
local = true

Upload the myApp app to the Splunk environment. From now on. HTML is supported in email alerts sent from this app. If you do not apply html in the alerts, the email will be sent as usual.

With the myApp in place we will create an alert as we normally would. So we begin with running a search that would trigger an alert.

| makeresults
``` send alert only if set to 1, this so we have a trigger mechanism ```
| eval sendalert=0
``` alert header will be used as subject ```
| eval HEADER="HTML Splunk Alerting CinqICT."
``` fields that will be used in the email ```
| eval SUMMARY="A Positive Normal Performance alert for department Data Businessunits and test HTML Email Alerting at step Send Fancy Email was triggered."
| eval DEPARTMENT="Data Businessunits"
| eval TEST="HTML Email Alerting"
| eval STEP="Send Fancy Email"
| eval LOCATION="Burgemeester Stramanweg 101, 1101 AA Amsterdam."

After running the above search, we will click “Save As”, “Alert”.

Next we fill out the form as shown below.

What we have now created is an alert that runs via CRON schedule once a minute, and triggers when sendalert=1 is set. Once triggered it sends an email to tom.de.bruijn@cinqict.nl.  Then as a subject the field HEADER is used by calling $result.fieldname$. In the message section several fields are used to compose the email body.

1)    Now that the alert is active, we can start testing the alerting, we will go back to the search and change sendalert=0 to sendalert=1, we run the search and afterwards save the alert. Then we wait a minute until the CRON triggers the alert. After an email is received change it back to sendalert=0 and save the alert again, to stop receiving e-mails every minute.

2)   We will end up with below a-mail alert, that was also shown at the beginning of this blog.

3) Now let’s go back to the alert search and change the text in the MAIL token to an HTML and CSS styled text.

In this blog I’m using a template I created earlier myself. The actual building and styling of a HTML template I left out of this demo. However, to get started and get some ideas, I looked at existing email templates in my mailbox and looked on the internet for email templates. I also use the company branding to match my own template. I built and test the templates by using Jsfiddle, as I found that easy for debugging. Note that your CSS must be embedded in your html and not be a separate file. Get started with just some simple html and when that works expand. And as a final tip, you could use red/orange/green color indications, or images, via tokens to emphasize the different severities of your alerts.

Once you have tested your HTML template in your browser, we need to change it so it becomes a Splunk string. Therefore, we have to escape the double quotes with a leading backslash and once done put a double quote (not escaped) at the beginning and end of the html. Please note, that all fields like DEPARTMENT, TEST, STEP and LOCATION have been submitted as a token input in the EMAIL string.

| makeresults
``` send alert only if set to 1, this so we have a trigger mechanism ```
| eval sendalert=0
``` alert header will be used as subject ```
| eval HEADER="HTML Splunk Alerting CinqICT."
``` fields that will be used in the email ```
| eval SUMMARY="A Severe Performance alert for department Data Businessunits and test HTML Email Alerting at step Send Fancy Email was triggered."
| eval DEPARTMENT="Data Businessunits"
| eval TEST="HTML Email Alerting"
| eval STEP="Send Fancy Email"
| eval LOCATION="Burgemeester Stramanweg 101, 1101 AA Amsterdam."
``` html email template ```
| eval MAIL="<body style=\"background-color: #f1f1f1; \"><header>   <div class=\"panel-body html\" style=\"max-width:1000px; margin: 10px auto auto auto;\">     <div style=\"min-height:130px; height:auto;border-radius: 5px; text-align: left; background-color: #545454;\">        <img src=\"https://media-exp1.licdn.com/dms/image/C4E0BAQHp5PH21idHPg/company-logo_200_200/0/1652183310444?e=1667433600&v=beta&t=B0VuCkIHaYp2J_YOzNJjbTnZQWnR0qQ9g7vp6w6Pv7w\" width=\"125px\" style=\"padding: 0px 20px 0px 0px;\" align=\"right\">       <table>         <tbody>           <tr>            <td height=\"10%\" width=\"750\" style=\"padding:0cm 0pt 0cm 5.4pt\">            <span style=\"font-size: 35px;font-weight: bold; color: #ffffff; \">".HEADER."</span>            </td>           </tr>           <tr>            <td height=\"1\" width=\"750\" style=\"padding:0cm 0pt 0cm 5.4pt\">            <span style=\"font-size: 16px; color: #ffffff; color: #FBD913;\">".SUMMARY."</span>            </td>           </tr>          </tbody>         </table>         </div></div></header><section><div class=\"panel-body html\" style=\"max-width:1000px; margin: 10px auto auto auto;\">   <div style=\"line-height: 25px; height:25px;border-radius: 5px; text-align: left; background-color: #545454; \">   <span style=\"font-size: 14px; font-weight: bold; color: #FBD913; padding-left: 0.5em; margin: 0; position: relative;\">Details listed</span>   </div></div><div class=\"panel-body html\" style=\"background-color: #DFDFDF;border-radius: 5px; max-width:1000px; margin: 10px auto auto auto;\">     <span style=\"font-size: 13px; color: #000000; position: relative; left: 2%;\">     <table cellspacing=\"0\" cellpadding=\"0\" style=\"border-spacing: 0;border-collapse:collapse;border:none\"> <tbody> <tr>  <td width=\"142\" style=\"width:106.35pt;border:none;border-right:solid windowtext 1.0pt;  padding:0cm 0pt 0cm 5.4pt\">  <p class=\"MsoNormal\"><span style=\"font-size:11.5pt;font-family:&quot;Segoe UI&quot;,sans-serif;  color:#201F1E\">• Department</span></p>  </td>  <td width=\"434\" valign=\"top\" style=\"width:325.4pt;border:none;padding:0cm 5.4pt 0cm 5.4pt\">  <p class=\"MsoNormal\"><b><span style=\"font-size:11.5pt;font-family:&quot;Segoe UI&quot;,sans-serif;  color:#201F1E\">".DEPARTMENT."</span></b></p>  </td> </tr> <tr>  <td width=\"142\" valign=\"top\" style=\"width:106.35pt;border:none;border-right:solid windowtext 1.0pt;  padding:0cm 5.4pt 0cm 5.4pt\">  <p class=\"MsoNormal\"><span style=\"font-size:11.5pt;font-family:&quot;Segoe UI&quot;,sans-serif;  color:#201F1E\">• Test</span></p>  </td>  <td width=\"434\" valign=\"top\" style=\"width:325.4pt;border:none;padding:0cm 5.4pt 0cm 5.4pt\">  <p class=\"MsoNormal\"><b><span style=\"font-size:11.5pt;font-family:&quot;Segoe UI&quot;,sans-serif;  color:#201F1E\">".TEST."</span></b></p>  </td> </tr> <tr>  <td width=\"142\" valign=\"top\" style=\"width:106.35pt;border:none;border-right:solid windowtext 1.0pt;  padding:0cm 5.4pt 0cm 5.4pt\">  <p class=\"MsoNormal\"><span style=\"font-size:11.5pt;font-family:&quot;Segoe UI&quot;,sans-serif;  color:#201F1E\">• Step</span></p>  </td>  <td width=\"434\" valign=\"top\" style=\"width:325.4pt;border:none;padding:0cm 5.4pt 0cm 5.4pt\">  <p class=\"MsoNormal\"><b><span style=\"font-size:11.5pt;font-family:&quot;Segoe UI&quot;,sans-serif;  color:#201F1E\">".STEP."</span></b></p>  </td> </tr> <tr>  <td width=\"142\" valign=\"top\" style=\"width:106.35pt;border:none;border-right:solid windowtext 1.0pt;  padding:0cm 5.4pt 0cm 5.4pt\">  <p class=\"MsoNormal\"><span style=\"font-size:11.5pt;font-family:&quot;Segoe UI&quot;,sans-serif;  color:#201F1E\">• Event Type</span></p>  </td>  <td width=\"434\" valign=\"top\" style=\"width:325.4pt;border:none;padding:0cm 5.4pt 0cm 5.4pt\">  <p class=\"MsoNormal\"><b><span style=\"font-size:11.5pt;font-family:&quot;Segoe UI&quot;,sans-serif;  color:#201F1E\">Response Time</span></b></p>  </td> </tr> <tr>  <td width=\"142\" valign=\"top\" style=\"width:106.35pt;border:none;border-right:solid windowtext 1.0pt;  padding:0cm 5.4pt 0cm 5.4pt\">  <p class=\"MsoNormal\"><span style=\"font-size:11.5pt;font-family:&quot;Segoe UI&quot;,sans-serif;  color:#201F1E\">• Location/Nodes</span></p>  </td>  <td width=\"434\" valign=\"top\" style=\"width:325.4pt;border:none;padding:0cm 5.4pt 0cm 5.4pt\">  <p class=\"MsoNormal\"><b><span lang=\"EN-US\" style=\"font-size:11.5pt;font-family:  &quot;Segoe UI&quot;,sans-serif;color:#201F1E\">".LOCATION."</span></b></p>  </td> </tr> <tr>  <td width=\"142\" valign=\"top\" style=\"width:106.35pt;border:none;border-right:solid windowtext 1.0pt;  padding:0cm 5.4pt 0cm 5.4pt\">  <p class=\"MsoNormal\"><span style=\"font-size:11.5pt;font-family:&quot;Segoe UI&quot;,sans-serif;  color:#201F1E\">• Responsetime Message</span></p>  </td>  <td width=\"434\" valign=\"top\" style=\"width:325.4pt;border:none;padding:0cm 5.4pt 0cm 5.4pt\">  <p class=\"MsoNormal\"><b><span lang=\"EN-US\" style=\"font-size:11.5pt;font-family:  &quot;Segoe UI&quot;,sans-serif;color:#201F1E\">Performance restored from warning to  normal threshold!</span></b></p>  </td> </tr> <tr>  <td width=\"142\" valign=\"top\" style=\"width:106.35pt;border:none;border-right:solid windowtext 1.0pt;  padding:0cm 5.4pt 0cm 5.4pt\">  <p class=\"MsoNormal\"><span style=\"font-size:11.5pt;font-family:&quot;Segoe UI&quot;,sans-serif;  color:#201F1E\">• Thresholds</span></p>  </td>  <td width=\"434\" valign=\"top\" style=\"width:325.4pt;border:none;padding:0cm 5.4pt 0cm 5.4pt\">  <p class=\"MsoNormal\"><b><span style=\"font-size:11.5pt;font-family:&quot;Segoe UI&quot;,sans-serif;  color:#201F1E\">Warning = 5, High = 8</span></b></p>  </td> </tr> <tr>  <td width=\"142\" valign=\"top\" style=\"width:106.35pt;border:none;border-right:solid windowtext 1.0pt;  padding:0cm 5.4pt 0cm 5.4pt\">  <p class=\"MsoNormal\"><span style=\"font-size:11.5pt;font-family:&quot;Segoe UI&quot;,sans-serif;  color:#201F1E\">• Alert Time</span></p>  </td>  <td width=\"434\" valign=\"top\" style=\"width:325.4pt;border:none;padding:0cm 5.4pt 0cm 5.4pt\">  <p class=\"MsoNormal\"><b><span lang=\"EN-US\" style=\"font-size:11.5pt;font-family:  &quot;Segoe UI&quot;,sans-serif;color:#201F1E\">Alert Start Time: 2022-07-25 11:44:44<br>  Alert End Time: 2022-07-25 12:59:00<br>  Total Alert Time: 1 hour, 14 minutes and 16 seconds.</span></b></p>  </td> </tr></tbody></table></span>   </div></section><footer><div class=\"panel-body html\" style=\"max-width:1000px; margin: 10px auto auto auto;\">   <div style=\"line-height: 25px; height:25px;border-radius: 5px; text-align: left; background-color: #545454; \">   <span style=\"font-size: 14px; font-weight: bold; color: #FBD913; padding-left: 0.5em; margin: 0; position: relative;\">Extra Information</span>   </div></div>   <div class=\"panel-body html\" style=\"background-color: #DFDFDF; height: auto; border-radius: 5px; max-width:1000px; margin: 5px auto auto auto;\">   <a href=\"https://www.linkedin.com/in/tcdebruijn/\">     <span style=\"font-size: 13px; color: #000000; position: relative; left: 2%;\">Confluence Splunk Dashboards</span>   </a>   </div>        <div class=\"panel-body html\" style=\"background-color: #DFDFDF; height: auto; border-radius: 5px; max-width:1000px; margin: 5px auto auto auto;\">   <a href=\"https://www.linkedin.com/in/tcdebruijn/\">     <span style=\"font-size: 13px; color: #000000; position: relative; left: 2%;\">Jira Servicedesk</span>   </a>   </div></footer></body>"

We save this alert search once again and upon editing the alert we change the MESSAGE section to $result.MAIL$ only, keep Subject and everything else as is.

We can start testing the alert with changing sendalert=0 to sendalert=1 in the alert search again, and off course save it once more. Once a minute has past, an alert will be sent and the HTML in your search will be transformed to HTML in your email Template.

Enthusiastic? Or still need some extra assistance with this? Please let us know, we are happy to help!

Stop boring email alerts!

In this blog I would like to talk about Cribl and what its possibilities are and what their certification track currently looks like. 

After seeing a demo of the possibilities of Cribl I wanted to learn more about the product and how we could use it. I have been a Splunk administrator for a few years now and while following the demo I could see how Cribl solves some of the issues and struggles I face as a Splunk administrator. 

Cribl positions itself as a layer between your data sources and your data analytics tools like Splunk, Elastic, Databricks & more.

They call this layer: Cribl Stream. It can receive data and then change, transform and reduce the data before sending it off to different destinations. Below are a few of the options that Stream offers:

Change the data format of the data going out, for example you could change it to JSON.

Drop all the empty/null value fields in the data.

Sent a portion of the event to your SIEM and store the raw log event into a S3 bucket as an archive.

Replay that archive S3 bucket to load the full events into your SIEM when you need to investigate/troubleshoot an issue.

Mask sensitive information for 1 destination but send all data to a 2nd data analytics tool.

Receive data from existing agents as the Splunk forwarder or Elastic Beats.

All of these options are available in a GUI and you can see the effects of changes you are making before actually applying them. After learning about the possibilities I decided it was worth to do a proof of concept in my local test environment.

The goal of the proof of concept was to see how I could send data from a network appliance, and get it into Splunk in a JSON format while also reducing the noise in the events.

There are several options for installing Stream. You can install it on your local machine, use Docker containers or you can make use of their free cloud environment to test things. I installed Stream on a Linux virtual machine and after a few minutes it was already up and running.

The first thing I needed to do was to send data to Stream. Since it is able to receive syslog data, I logged into my router/firewall and started to send my network traffic information to Stream using syslog. In the Stream GUI I started to look at the data coming in, there were a few fields to remove and I wanted to rename some of the other fields. 
After a few minutes I had prepared the changes and could see what would happen if I pushed the change out. The data was almost ready, I only needed to change the format to JSON and add an index and sourcetype field since I was going to send the data to my local Splunk HEC endpoint. 
All in all the entire POC cost about an hour to do and I was really happy with the results.

Besides Stream they also offer the edge software, which is an agent you can install on Linux or Windows servers. The main point of the agent is that it can be used to discover data and also route the data to different types of receivers like, Splunk, Elastic or Databricks. This could help to reduce the amount of agents needed on endpoints and have 1 agent to get the data from your endpoints.

To learn more about Stream, I went to https://cribl.io/university/ and saw that they offer the certification tracks for free. Currently there are two certifications that you can acquire:

For anyone wanting to learn more about Stream, I highly recommend to start with Stream User. It is a combination of video’s, questions and their own sandbox environment which lets you make the changes in the actual product. You really get a good sense of the possibilities of Stream and how you should use the product. 

After finishing the Stream User I went along and followed the Stream Admin track, they really go in depth and help you understand what is happening inside of Stream. If you are thinking about doing a Proof of concept in an enterprise environment this will really help you understand how to set it up. 

I hope this blog gives a feel of what Cribl is and does, and if you have any questions please feel free to reach out to me on LinkedIn.

In this blog we introduce you to the Cribl product. What does it do and what does it's certification track look like?

The Cribl product and their certifications

Certificaten, cruciaal om je server verkeer te beveiligen. Maar ze staan bij veel mensen ook bekend als probleem-veroorzakers. Eén van de problemen die we bij onze klanten meemaken is dat de certificaten niet tijdig worden vervangen. Met Splunk hebben we een krachtige tool in handen, die we ook voor dit probleem kunnen inzetten.

Een Splunk installatie heeft een aantal standaard componenten. Zo komt Splunk standaard met zijn eigen Python versie, maar ook OpenSSL is een van deze componenten. Met OpenSSL kunnen we certificaten uitlezen en dat maakt het mogelijk om monitoring in te richten.

Het volgende commando kan de start- en einddatum van een certificaat tonen:

splunk cmd openssl x509 -inform pem -noout -startdate -enddate

Om dit te kunnen doen hebben we eerst het certificaat nodig. Indien je certificaten die op de server staan zou willen monitoren, kan je die waarschijnlijk nog wel vinden. Maar deze oplossing is juist zo krachtig omdat je de geldigheid van certificaten kunt monitoren waar jij zelf gebruik van maakt. Om certificaten te tonen van andere servers of applicaties kunnen we het volgende commando gebruiken:

splunk cmd openssl s_client -showcerts -connect cinqict.nl:443

In dit voorbeeld maakt OpenSSL een verbinding met de website van CINQ over poort 443. Op deze manier kunnen allerlei applicaties op verschillende poorten benaderd worden. Combineer deze commando’s, filter wat op de output en je hebt bijvoorbeeld dit commando:

splunk cmd openssl s_client -showcerts -servername cinqict.nl -connect cinqict.nl:443  2>/dev/null | splunk cmd openssl x509 -inform pem -noout -startdate -enddate

notAfter=Apr 11 07:13:54 2022 GMT
notBefore=Jan 11 07:13:55 2022 GMT

De volgende stap die we nu moeten doen, is zorgen dat we hiervan een scripted input maken in Splunk.

Het commando dat we gemaakt hebben zetten we om in een Linux shell script. We zetten de hostname en de poort om in parameter. Het scriptje noemen we: sslcheck.sh. 

echo hostname=$1 port=$2
echo | splunk cmd openssl s_client -showcerts -servername $1 -connect $1:$2 2>/dev/null | splunk cmd openssl x509 -inform pem -noout -startdate -enddate

Vergeet niet het scriptje executable te maken (chmod +x) en probeer het uit:

De output van dit scriptje ziet er als volgt uit:

hostname=cinqict.nl port=443
notBefore=Jan 11 07:13:55 2022 GMT
notAfter=Apr 11 07:13:54 2022 GMT

Als we de output van dit script in Splunk indexeren, kunnen we proactief gaan monitoren! Daar hebben we een zogeheten scripted input voor nodig. Maak in je Splunk home directory in etc/apps een nieuwe app aan: TA_CertificateMonitoring en maak twee subdirectories: bin en local. In de bin directory plaats je het sslcheck.sh script en in de local directory maak je een inputs.conf aan.

[script:///$SPLUNK_HOME/etc/apps/TA_SSLCertificateCheck/bin/sslcheck.sh {hostname} {port}]
index = {indexname}
sourcetype = sslcheck
disabled = false
interval = 43200

Als laatste moeten we de Sourcetype nog definiëren, alle data in Splunk bevat een tijdswaarde. In de output van het script zit alleen de start- en einddatum van het certificaat, niet het tijdstip van monitoren. Daarom voegen we in de Sourcetype definitie toe dat de huidige systeem-tijd hiervoor gebruikt moet worden. In de local directory van de TA maak je een props.conf aan die er alsvolgt uitziet:

[sslcheck]
DATETIME_CONFIG = CURRENT
SHOULD_LINEMERGE = true
NO_BINARY_CHECK = true
BREAK_ONLY_BEFORE = hostname

Zodra we de scripted input hebben aangemaakt en Splunk herstart hebben, is de input actief. Zoek in de index die je in de inputs.conf hebt opgegeven naar de data:


Er zijn meerdere manieren om de einddatum juist in een veld te krijgen. Je kunt hiervoor bijvoorbeeld gebruik maken van een field extraction of een calculated field, waarbij je een EVAL functie kunt gebruiken. In dit voorbeeld lossen we het voor het gemak even op met een reguliere expressie. Vervolgens zetten we het veld om naar een epoch timestamp zodat we dit kunnen vergelijken met de huidige datum tijd.

index=_internal sourcetype=sslcheck hostname=cinqict.nl
| rex "notAfter=(?<enddate>[^\n]+)"
| eval enddate = strptime(enddate, "%b %d %H:%M:%S %Y %Z”)

Nu kunnen we een alert gaan maken die ons twee maanden van te voren informeert, zodat we tijdig het certificaat kunnen verlengen of vervangen.

index=_internal sourcetype=sslcheck hostname=cinqict.nl
| rex "notAfter=(?<enddate>[^\n]+)"
| eval enddate = strptime(enddate, "%b %d %H:%M:%S %Y %Z")
| where enddate < relative_time(now(), "+2m")

Sla deze search op als alert, laat deze dagelijks draaien en mail bijvoorbeeld naar het gehele team. Misschien is er op jouw Splunk omgeving wel een custom alert action gemaakt, waardoor je hier meteen een actie van kunt maken op je sprint planning!

Mocht je na het lezen van deze blogpost vragen hebben over het monitoren van certificaten, neem dan gerust contact met ons op. We denken graag met je mee!

Meer weten over certificaten monitoren en vervangen?

Luister naar onze podcast-aflevering over het geautomatiseerd vervangen van TLS certificaten. 

Lees de blogpost over het geautomatiseerd vervangen van certificaten met Hashicorp Vault en cert-manager.

Splunk kan ingezet worden om de geldigheid van certificaten op je servers te monitoren. Hoe je dit opzet lees je in dit blog.

Certificaten monitoren met Splunk

Splunk® IT Service Intelligence (ITSI); De oplossing voor monitoring en analyse, welke aangedreven door machine learning en kunstmatige intelligentie inzicht biedt in de gezondheid van kritieke IT- en zakelijke diensten en hun infrastructuur. 

Een uitleg als bovenstaande, gevolgd door de verschillende usecases die Splunk ITSI vervult is wat ik vooral terugvind op het internet. Wat ik nog weinig zie zijn de ervaringen uit de praktijk of technische how-to’s. Zonde, want na een korte kennismaking met ITSI is vaak de reactie: ‘ziet er super gaaf uit’ – kort gevolgd door – ‘maar wat is er nodig voor de inrichting? Hoe werkt het en/of waar moet ik beginnen?’  

In dit artikel geef ik antwoord op deze vragen en neem ik jullie graag mee naar het startpunt van ITSI, namelijk het aansluiten van een databron. Ik ga wat meer in op de techniek achter de oplossing en laat aan de hand van een praktijkvoorbeeld zien hoe je de metrieken van Applicatie Performance Monitoring op Splunk ITSI aansluit met daarbij een integratie naar ServiceNow. 

High Level Design  - APM integratie Splunk ITSI & ServiceNow

Applicatie Performance Monitoring integratie naar Splunk

Als uitgangspunt nemen wij een bestaande databron, de APM-monitoring in een organisatie, links in het HLD als cloud oplossing weergegeven. Dat is de monitoring die door middel van metingen inzicht biedt in de beschikbaarheid- en performance van een applicatie, dienst of een omgeving. Uit de APM-monitoring komen inzichten. Dit zijn de ruwe meetresultaten maar ook al verrijkte data zoals beschikbaarheid- of performance alerts. 

Laten we kort stilstaan bij het versturen van de data naar Splunk. Veelal wordt hiervoor gebruik gemaakt van een webhook. Splunk biedt hiervoor zelf de HTTP Event Collector (HEC) aan. Middels HEC wordt de data op een veilige manier naar de Splunk omgeving verstuurd waarnaar het direct in de juiste index wordt opgeslagen. In het HLD noemen wij deze index de APM_Name_Private_index. 

Met de alert-data in Splunk is de vervolgstap deze gereed te maken voor Splunk ITSI. Hiervoor is het nodig om de structuur van de data aan te passen naar een structuur die geschikt is voor ITSI. Dit aanpassen van de data naar een geschikt formaat wordt normaliseren genoemd en licht ik graag even toe.

Normaliseren is nodig zodat Splunk ITSI begrijpt wat voor data het binnen krijgt en wat het vervolgens met een event moet doen. Normaliseren lijkt in het begin wat omslachtig, de data zit immers al in Splunk. Het is daarom waarschijnlijk al eerder genormaliseerd tijdens het indexeren, dus waarom moet je het nog een keer aanpassen?

Zie het als volgt; wanneer je meerdere databronnen aansluit op Splunk, dan is de data los van elkaar goed te begrijpen en ook toepasbaar voor ieders doeleinde. Het is echter moeilijk om de data voor hetzelfde doeleinde te gebruiken. Wanneer de data genormaliseerd wordt naar een eenduidig bestandsformaat met daarbij een eenduidige key-value indeling is het voor Splunk ITSI mogelijk wat met de events te kunnen doen. 

Belangrijk hierbij is dus dat de key-value indeling door normalisatie hetzelfde wordt. Als voorbeeld: waar in de APM Name Private index links in de afbeelding weergegeven, een veld als responstijd wordt aangeduid met de key-value combinatie performance=value, zal in index 2 dat veld bijvoorbeeld timer=value zijn en in index 3 responsetime=value. Door normalisatie kan dat voor alle drie de databronnen eenduidig aangepast worden naar itsi_duration=value. 

Voor het normaliseren van data naar ITSI-events zijn regels en richtlijnen opgesteld, welke door Splunk zijn opgenomen in het Common Interface Model (CIM). Hierin staat beschreven welk veld(key) welk doeleinde(value) heeft en worden er voorbeelden gegeven voor hoe deze toegepast kunnen worden. Los van het CIM zijn er ook Cheat Sheets en Templates beschikbaar gesteld voor veel gebruikte integraties.

Data Normalisatie middels een scheduled search

Het normaliseren – oftewel het hernoemen van velden – gaat in de praktijk middels een Scheduled Search. Zoals de naam al zegt is een Scheduled Search een zoekopdracht in Splunk die je herhaald kan laten uitvoeren. Voor dit doeleinde kijkt de zoekopdracht iedere minuut of er in de APM_Name_Private_index nieuwe events binnen zijn gekomen. Indien dit het geval is worden de velden uit de events middels meerdere eval commando’s aangepast naar ITSI-velden en middels een collect commando weggeschreven naar een aparte summary index, in het HLD genaamd apmname_alerts_itsi_public. 

Onderstaand een stuk voorbeeld code SPL waarbij de eval commando’s voor de belangrijkste ITSI-velden worden toegelicht. In de praktijk dient deze code aangepast te worden op de eigen situatie. 

```Voorbeeld event*```
Service=Main_Web_App
Type=Availability
DataSource=Login_App
EventId=123456789_1234567890
Business_Service=IOL_GROUP

```Voorbeeld Eval Commando’s```
| eval itsi_entity=Service. "-". Type. "-".DataSource
| eval itsi_correlation_key=itsi_entity
| eval itsi_urgency=Medium, itsi_impact=Low
| eval itsi_event_key=if(isnull(existing_itsi_event_key) OR existing_itsi_event_key=="", itsi_entity. "~".EventId, existing_itsi_event_key)
| eval  itsi_tag=mvappend("ITSI", "SNOW")
| eval itsi_business_service=business_service

Itsi_entity
Een entity kan gezien worden als de titel van de melding. 


itsi_correlation_key
De correlation_key - in dit geval gelijk aan de entity - zal events in ITSI groeperen en zal vervolgens proberen te kijken of er correlaties mogelijk zijn binnen de entitiy en tussen de entities. Tip: maak een entiteit en dus een correlation_key niet te algemeen, maar ook niet te specifiek. Bij te algemeen krijg je te veel events in 1 entiteit en bij te specifiek, heb je weer te veel entiteiten en dus te weinig events per entiteit. Een belangrijke afweging hierin is dat je wat moet kunnen met de informatie van meerdere events in 1 groep. Voor APM is in dit geval de entiteit dus Service-TypeAlert-Stapnaam, bijvoorbeeld bedrijfsapplicatie-beschikbaarheid-inloggen.


Itsi_urgency en itsi_impact
Hiermee wordt de urgentie alsmede de impact aangegeven voor het event. Een melding wordt afgesloten (positieve alert) door beide als status low mee te geven.


itsi_event_key 
Om nieuwe events aan te maken, maar ook om op een bestaand event door te schrijven wordt gebruik gemaakt van een event_key. Ieder nieuw event heeft een unieke eventID. Tijdens de normalisatie wordt middels een correlatie zoekopdracht gekeken of er nog een openstaand probleem is. Bijvoorbeeld een performance melding met als impact Warning. Als bij een nieuw event de impact/urgentie wijzigt, bijvoorbeeld naar een Critical status, wordt op dat event doorgeschreven. In dat geval wordt dan de existing_itsi_event_key gebruikt.


itsi_tag
eval  itsi_tag=mvappend("ITSI", "SLACK","SNOW") 
Middels een tag wordt aangegeven welke integratie opgepakt moet worden. In dit voorbeeld wordt het event opgenomen door ITSI en wordt ook de integratie Service Now Now-IT gestart. Er zijn echter meerdere standaard integraties mogelijk, zoals naar Slack of Teams, maar ook een custom integratie zoals naar TopDesk.


Itsi_business_service
| eval itsi_business_service=business_service
Een business service komt in dit geval overeen met de business service in Service Now en zal er dus voor zorgen dat dit evenement op juiste manier gekoppeld wordt aan SNOW. Tijdens het normaliseren is het dus mogelijk om custom velden als deze toe te voegen.

Overige velden kunnen nog zijn: itsi_instruction, itsi_summary, itsi_message.  Dit zijn velden met aanvullende informatie, een oplos instructie, samenvatting, en uitgebreidere uitleg van de melding kunnen hier worden opgegeven.

Tijdens de normalisatie is het event middels het collect commando verstuurd naar de apmname_alerts_itsi_public summary index. Vanuit deze public index wordt door een correlation search de events opgenomen door Splunk ITSI. Dit is een standaard functionaliteit binnen Splunk ITSI en kan gezien worden als een macro die een index scant op nieuwe events en de integratie naar Splunk ITSI start. Eenmaal in Splunk ITSI komen de events binnen als “notable event”. Een notable event kan gezien worden als een losstaand alert. Wanneer een alert weer een positieve status heeft, bijvoorbeeld inloggen applicatie was onbeschikbaar en nu weer beschikbaar, wordt het event afgesloten en toegevoegd als Episode. Op zowel de losstaande notable events als de episodes worden correlatie zoekopdrachten gedaan en kunnen incidenten gestart worden. Deze correlaties binnen een databron als tussen databronnen toont de kracht van ITSI.

Voorbeeld: uit een notable event wordt een incident aangemaakt, bijvoorbeeld applicatie 1 is traag bij opstarten (performance), of inloggen werkt niet (beschikbaarheid). Uit episodes kunnen middels deep-dives alerts komen als, de afgelopen 4 maandag ochtenden was het inloggen traag tussen 08:00 en 10:00 of inloggen werkt iedere dinsdag tussen 07:00-08:00 niet. Ook kunnen correlaties gelegd worden tussen databronnen, een incident als, deze servers hadden een hoog CPU, gelijktijdig was de applicatie traag.

Het incident wordt dus aangemaakt binnen ITSI. Een overzicht van de openstaande en/of gesloten events is terug te vinden in de Episode Review:

Voor de integratie naar ServiceNow wordt een standaardoplossing binnen ITSI aangeboden, zie hiervoor de Splunk Docs - ITSI SNOW. In ons voorbeeld is in 1 van de besproken velden, de itsi_tag aangegeven om de integratie naar ServiceNow te starten. Vanuit Splunk ITSI wordt middels een XML/SOAP call een incident in ServiceNow aangemaakt en/of voorzien van een nieuwe status. De integratie tussen Splunk en ServiceNow werkt bidirectioneel. Indien in ServiceNow dus een update wordt doorgevoerd, wordt deze ook naar Splunk verzonden en vice versa.

Event in ServiceNow – aangemaakt door Splunk ITSI

In dit artikel heb ik jullie een inkijkje gegeven over het aansluiten van data op Splunk ITSI. Wij hebben gebruikmakend van HEC, alert data van een APM-product gestuurd naar een Splunk omgeving. Middels een saved search hebben wij vervolgens de event data genormaliseerd naar een Splunk ITSI event. Tijdens het normaliseren is middels eval commando’s aangegeven wat voor event (entiteit) het betreft en wat de status (urgentie/impact) is. Ook is aangegeven onder welke groep (correlation_key) het nieuwe notable event valt en of het gaat om een nieuwe gebeurtenis (event_key) of een vervolg (existing_event_key) op een bestaande gebeurtenis betreft. Doordat in de Tag is aangegeven, ook de koppeling naar ServiceNow Now-IT te starten, zal vanuit ITSI ook direct het evenement hiernaartoe doorgestuurd worden en gekoppeld worden aan de business_service, met daarin mogelijk een instructie, samenvatting en aanvullend bericht.

Persoonlijk vind ik Splunk ITSI een gave oplossing, na al dan niet wat handmatig instellen in het begin, kan vervolgens veel waarde gehaald worden uit de automatische correlaties en berichtgeving die eruit volgt.

Splunk consultant Tom de Bruijn  legt in 5 stappen uit uit hoe je Applicatie Performance Monitoring kan aansluiten op Splunk IT Service Intelligence.

Applicatie Performance Monitoring aansluiten op Splunk IT Service Intelligence

Een product als Splunk, komt vaak op een gefaseerde manier de organisatie binnen. Beginnend met wellicht een Proof of Concept met een enkele server begint men met Splunken. De waarde wordt al snel duidelijk, meer collega’s worden enthousiast en zo langzaam aan worden er steeds meer dashboards, alerts, rapportages en andere knowledge objecten gemaakt. Die ene Splunk server groeit uit naar een eerste cluster, Splunk groeit in de organisatie van 1 tot misschien wel honderden unieke gebruikers per dag. 

Dit is een realistisch scenario dat we bij veel klanten tegenkomen, in de tussentijd zijn er veel collega’s gekomen en gegaan. Daardoor is de kans dat alle knowledge objecten nog relevant zijn kleiner geworden. Uit angst om bestaande functionaliteiten te slopen, wordt er dan vaak besloten om de objecten te behouden “want je weet maar nooit…”. Maar dit kan ten koste gaan van de performance van de Splunk omgeving. 

Waarom is het zo belangrijk om je Splunk omgeving “schoon” te houden? 

Alle tags worden bij elke search geraadpleegd. Dit gaat ten koste van je search performance. Als de tags actief gebruikt worden, weegt het gebruikersgemak wellicht wel op tegen de degradatie van de search performance. Maar gebruik je tags niet meer? Dan is het uiteraard zonde om daar search performance aan kwijt te zijn. 

Wat dacht je van saved searches? Een saved search draait op de achtergrond volgens zijn cron schedule, misschien zelfs wel elke minuut! Als een SAML user verwijderd wordt uit de Active Directory, betekend dit niet automatisch dat hij ook verwijderd wordt uit Splunk. Zo kan het dus zijn dat de objecten van een ex-collega die al maanden geleden het bedrijf heeft verlaten, nog steeds impact hebben op jouw dashboards! Wil jij de performance van je Splunk omgeving verbeteren, maar is uitbreiden geen optie? Dan is het tijd voor Splunk Housekeeping, met ons nieuwe dashboard!

Bij CINQ hebben we een nieuw dashboard geïntroduceerd bij onze klanten die inzichtelijk maakt wat de relaties zijn tussen de knowledge objecten in Splunk. Tags kunnen gebruikt worden in dashboards, search macro’s en saved searches. Saved searches kunnen op hun beurt gebruikt worden in dashboards, search macro’s en zelfs in andere saved searches. Lookups kunnen gebruikt worden in dashboards, saved searches en search macro’s. Nogal wat complexe relaties dus! Standaard zijn die relaties in Splunk niet direct zichtbaar, maar met ons nieuwe dashboard wel!

Met het app overview dashboard wordt structuur gecreëerd in de chaos van knowledge objecten. De naam zegt het al, per app wordt er een mooi overzicht gemaakt van de knowledge objecten die bestaan in de app. Er wordt gecontroleerd wat de relaties zijn, of het gebruikt wordt en of het op een juiste manier gedeeld wordt met andere gebruikers. Het dashboard hoeft ook niet geconfigureerd te worden, zodat deze werkt op jouw Splunk omgeving, hij werkt out of the box!

Per knowledge object wordt in kaart gebracht of deze relaties heeft met andere objecten en zo ja, welke dan. Op die manier hoef je nooit meer bang te zijn dat je een object verwijderd die stiekem toch nog ergens gebruikt werd. Maar je hoeft ook zeker geen objecten te laten staan omdat men niet meer weet of deze nog gebruikt worden. Met behulp van dit dashboard, kun je precies zien wat je wel en niet kunt verwijderen.  Als je ongebruikte searches, lookups en andere objecten verwijderd, verbeter je de performance van de Splunk omgeving - en houd je de boel lekker schoon!

Ben jij nieuwsgierig geworden naar de mogelijkheden voor jouw Splunk omgeving? Neem dan gerust even contact met ons op, we geven graag een demo. 

Verbeter de performance van je Splunk omgeving met het CINQ housekeeping dashboard. Bekijk de mogelijkheden en neem contact op voor een demo op maat.

Verbeter de performance van je Splunk omgeving met het CINQ housekeeping dashboard

Up until Splunk 8.2 Splunk has been lacking in the visualization department, as it relied on simple XML to create its dashboards. Although dark mode was a welcome addition in Splunk 7.2, you are still bound by a grid layout and limited options to customize the dashboard. If you wanted to add an image to your dashboard as a user you had to ask your Splunk team to add the image to the Splunk app so that you as a user could use it. 

Here's a look at an example of a traditional Splunk dashboard:

Starting with Splunk 8.2 there is now a new prompt when you want to create a dashboard: 

You can now choose between Classic Dashboards (simpleXML) or Dashboard studio(JSON)

When you choose Dashboard Studio you also get to choose the layout mode Absolute or Grid.
In this example we are using Absolute to see what we can do. You get a blank canvas where you can set a background color or image. At the top left there are the buttons to add the following:

-        Visualizations 
-        Inputs 
-        Icons 
-        Shapes 
-        Images
-        Text 

To start I added a picture and a few simple singles to the dashboard. 

Then I tried to move the picture around change the background color and added a table. It is awesome to see that you can just drag and drop each element to where you want them. 

It is also pretty easy to change the background color of each element or even to make it transparent.

The one thing to realize is that Splunk no longer uses xml as the backend for the dashboard but JSON. So if you do decide to change something you will see something like the following:

For long time Splunk users, this might take a while to get used to. 
You can use this article in the Splunk docs to see what options you could add in the JSON file for your visualizations. Splunk also provides an example hub which shows visualizations and even complete dashboards as examples to get an idea of what you could do with dashboard studio.

If you already have dashboard that you made in older versions of Splunk you can open it in Splunk and select the 3 dots in the top right corner.  This will give you the option to select Clone in Dashboard Studio.

The layout might not be a 100% match but at the very least you get all of the searches and visualizations that you had on your old dashboard.  

All in all the new dashboard studio is a welcome change for Splunk users as it finally gives users more options and flexibility in how they want to present their data. For Splunk admins: if you are planning to upgrade to 8.2 make sure you inform your users and be prepared to get questions about the usage of Dashboard Studio.

In this blog, we will show you some examples of the new Dashboard Studio features in Splunk 8.2.

Create more complex dashboards with Splunk 8.2 Dashboard Studio

This blog gives you five exam tips for the Splunk Phantom Certified Admin exam. This is based on my experience following the courses and passing the exam earlier this year. I hope this will help you prepare and pass the exam yourself! 

To become a Splunk Phantom Certified Admin there are three courses that you can follow:

The courses are not required but I highly recommend you do them, they give great insights in how to use Splunk Phantom. More detailed information about the Splunk Phantom certification track can be found on the Splunk website.

During the courses you are provided with virtual instances for the practical labs. If you finished the lab you can use the remaining time to check out what Splunk Phantom has to offer. And here is the good thing: Between the training days the instances stay up so if you have an hour to spare log in and retake the steps from some of the more complex labs to make sure you are familiar with the interface.

There are several apps on Splunk Base that have Phantom in the name:

In the Advanced Phantom Implementation course most of these apps are discussed and implemented. It is good to know what each of the apps is used for. So give them a try and know what they are about for the exam. 

If you did not have the time to experiment on the instances provided during the labs, you can easily set up a virtual machine at home using the provided OVA. An OVA is an Open Virtualization Format which you can use to install a virtual instance of Phantom. 

To install it you can follow the steps provided by the documentation: https://docs.splunk.com/Documentation/Phantom/4.10.6/Install/InstallOVA

If you also want to use Splunk you could install it yourself or use the containerised version with Docker: https://docs.splunk.com/Documentation/Splunk/8.2.1/Installation/Chooseyourplatform 

4.    Know the steps to develop a playbook

In the Developing Playbooks course they share some of the best practices to develop a playbook, try and think of a real world scenario and follow the steps in the I2A2 process. This will help you with questions in the exam and will help you prepare for your first playbook. 

In the Developing Playbooks and Advanced Phantom Implementation Splunk provides Playbooks for some of the labs. Make sure you import these examples and study these, they might have used different steps than what you did during the labs. They are also handy as reference material if you need to format data before it can be used in an email for example. 

By following these courses and trying Phantom out you should have enough knowledge to pass the exam. You should also be able to create a Proof of Concept to see if Phantom is the right solution for your company. 
You should know that Splunk is currently actively working towards cloud driven solutions and that is why they announced Splunk SOAR, which essentially is Splunk Phantom in the cloud.

In this article we give you 5 tips to help you pass the Splunp Phantom Certified Admin exam.

5 Tips to pass the Splunk Phantom Certified Admin exam (2021)

5 tips to pass the Splunk Phantom Certified Admin exam

In mei is Splunk 8.2 gelanceerd en in deze blogpost licht ik een aantal van de nieuwe functionaliteiten toe. Vooral Federated Search en Dashboard Studio zijn de moeite waard om je een paar uur in te verdiepen. 

Eindelijk daar is 'ie dan: Federated search! Met federated search kunnen search heads (clusters) zoeken in verschillende Splunk omgevingen. Er kan bijvoorbeeld een mix gemaakt worden van on-premise en cloud Splunk instances. Voor klanten met grote omgeving waarbij meerdere cloud providers gecombineerd worden met een deel on-premise is dit een hele handige functie. Zo kan data binnen de omgeving blijven waar deze al is maar kan wel in 1 Splunk omgeving (search head) doorzocht worden. In de afbeelding hieronder is schematisch weergegeven hoe dit werkt. De search head maakt verbinding met de federated provider 1 en kan hiermee via de search head in dat cluster de data in de indexers doorzoeken. Ook is het mogelijk remote datasets te kunnen gebruiken. Die datasets zijn erg interessant want hiermee is het ook mogelijk om lokale lookup files uit te kunnen lezen in een ander cluster. Erg handig wanneer er bij 1 klant meerdere search head clusters zijn (vaak het geval wanneer de klant 1 of meerdere enterprise apps draait zoals Enterprise Security of ITSI).

Meer informatie over hoe dit technisch in elkaar steekt staat hier.

Iedereen die wel eens met Splunk werkt weet dat het dashboard maken best prima werkt zolang je een standaard dashboard maakt. Maar als je iets buiten de gebaande kaders wil dan moet je aan de gang met zelf geschreven CSS en JavaScript. Werkt redelijk maar echt top werkt het niet. Daar is Splunk zelf inmiddels ook achter en daarom hebben ze dashboard studio gelanceerd. In dashboard studio kun je met een makkelijke interface gave dashboards zoals hierbeneden maken. Top om binnenkort op een regenachtige vrijdag middag eens even mee te spelen!

Backup & restore KVstore; niet nieuw maar wel fors verbeterd.


Durable search; waarmee kan worden geforceerd dat scheduled reports/alerts opnieuw uitgevoerd worden als de results incompleet zijn.


Improved handling of JSON; de functies json_array_to_mv, mv_to_json_array, json_append function en json_extend zijn toegevoegd. 

Voor het complete overzicht van alle nieuwe features in Splunk 8.2, bekijk de  Splunk Docs.

Splunk 8.2 is nog niet productie ready (ik zou dan nog even wachten tot 8.2.1) maar voor de testomgeving is dit zeker al aan te raden!

Maak gebruik van de Python Update Readiness app om te bepalen of je omgeving klaar is voor het uitfaseren van Python 2.7.

In mei 2021 is Splunk 8.2 gelanceerd en in deze blog bespreken we twee mooie nieuwe features: Federated Search en Dashboard Studio.

Federated Search in Splunk 8.2

Federated search nu beschikbaar in Splunk 8.2

A year after Splunk’s big release of version 8, the company now released Splunk 8.1 during their legendary (and virtual) Conf2020. As each release has many new features, in this article I would like to highlight some of these and discuss why they are interesting for users and admins based on my own practical experience. 

The new features that I would like to touch upon are:

Imagine you have the task of developing a new monitoring dashboard for your team and each of the panels have somewhat similar searches. In developing each panel, you probably perform multiple searches before getting to the ultimate search query. In previous versions of Splunk, each new search query was overwritten by the other in the search query bar. If you wanted to use a previous search query you specifically had to go to a search history panel to find your earlier search queries unless you had saved it on your clipboard. In other words, for your search history you had to look at different locations or perform multiple clicks, which felt like spending more time in finding previous searches and made searching sometimes less comfortable. This little issue is now solved in the new release of Splunk 8.1 

Splunk now added a new shortcut feature that allows you to quickly snip to previous search queries you performed. The shortcuts that can be used are Alt/Ctrl P (for previous) and Alt/ Ctrl N (for next) depending your operating system. Personally, I am very enthusiastic about this feature as it helps in actually spending time on performing searches instead of finding previous queries.

Another little feature that improves the experience of building searches and dashboards is the ability of adding comments in search queries. Similar to writing scripts, this way, you can make your search clear for others or leave a reminder for yourself when you continue the other day. This can be really helpful for Splunk users as well as admins. 

For instance, your comment could state what you are trying to do with this search or highlight the reason for a certain argument in your search query. In terms of troubleshooting, you can also specifically indicate with which argument you are struggling. 

From my admin experience, I once found this terrible search with 21 sub-searches of a certain user, which he had copied to multiple dashboards at his department. He probably was very proud of getting this big search to work. However, for me as a Splunk admin who wants to keep his platform running smooth and efficiently I wanted to help him out in improving his search. But looking at his query without the purpose or his ideas behind this big search makes it challenging to support. In this case, comments would definitely help in making a long search more readable as these could state why certain decisions or reasons for an argument were made. The possibility of adding comments can also help admins in supporting their Splunk users.

You can add a comment by adding three backticks ( ``` ) before and after your comments.

1.comments.png

For those Splunk users, who are unfamiliar with writing Splunk queries or who are new to Splunk, there is now a new feature called “Table views”. This feature allows you to easily create a table by clicking through the UI. This feature has been added to the datasets tab. As can be seen in the displayed figure, you can simply specify, which index, source, host you want to search and how you want your table exposed. In the background Splunk automatically writes the query for you, which you can easily export to a dashboard. Personally, I believe this is a great feature, especially for novices. I have seen in multiple companies that the adoption of Splunk is sometimes somewhat challenging for teams as they have to start writing queries, which is not common for each and every person. I believe this feature could remove some of the challenges when starting with Splunk.

Imagine that you as a Splunk admin, are going to implement a big change (like updating to Splunk 8.1) on your Splunk platform and you need to inform all your Splunk users, when this is going to happen and where they can find more information about this. Or imagine that you need to perform a restart of the search head during daytime, which impacts the users. How can we ensure that we reach all our Splunk users? A question that I have seen a couple of times in these kind of cases before. The new banner feature provides the possibility to communicate to all current Splunk users by displaying a bar on top of the Splunk page. This bar can be presented in multiple colors and may contain a message or link to a certain page. Personally, I am very enthusiastic about this feature. I have been in a position where I had to send an email to 1500+ Splunk users during a summer period regarding a change that we were going to perform and received 400+ out of office replies in my personal inbox. The intention is to reach every Splunk user that was using Splunk at that time. However, as we only had a list of registered Splunkers available, we had to contact everyone as we did not know who was actually using Splunk that week. This banner feature can now support us Splunk admins in reaching out to our Splunk users. Great work Splunk!

Workload management, the management of workloads on a Splunk platform has already been introduced before. However, in this release Splunk now also added admission rules. These rules support in the management of workloads depending on business needs. For instance, very often in practice, Splunk users, which have discovered the wildcard trick, define index=* coupled with some search terms in their query in order to find their data. 

It could be that they do not know the name of their index or some are simply to lazy to investigate what the index is and, therefore, decide to use “index=*”. As a consequence, this could have a very negative impact on the performance of the Splunk platform when running a query with this search term over a longer period of time. You could compare this to going to a library where you need to go through every single book out there as you do not know in which category the info you are looking for resides. You are simply telling Splunk to look through every single index over a certain time period, which takes processing power, and so impacts other users that want to perform search queries as well. With workload user management rules, you can now instruct Splunk to ignore wildcard search, which reduces the unexpected workloads on your platform. Besides wildcard searches, it is also possible to filter on “all time” time range searches or disallow searches in peak hours. So, this is a great feature to support admins in controlling their platform and reducing the chance of unexpected workloads.

These are five of the new features that the new release of Splunk 8.1 offers, which I believe, based on my own experiences, are great for Splunk users and admins. Further information regarding other features that common with this release, can be found at the following page: 

https://www.splunk.com/en_us/blog/conf-splunklive/what-s-new-with-splunk-enterprise-8-1.html

In this blog we talk about 5 new features in Splunk 8.1 and how they work.

5 new features in Splunk 8.1

Starters op de woningmarkt, een onderwerp dat regelmatig in het nieuws voorbij komt. Al een aantal jaar is de vraag naar woningen groter dan het aanbod, waardoor de prijzen flink zijn gestegen. Dit maakt dat het voor starters lastig is om zich in te kopen op de markt. Overbieden is tegenwoordig eerder de norm dan een uitzondering op de regel. Daarnaast zijn woning vaak al verkocht voordat je ze online hebt kunnen spotten, wat een aardige uitdaging is naast een 40urige werkweek. Kortom, voor een starter is het een hele uitdaging om de woningmarkt nauwlettend in de gaten te houden en er bovenop te zitten naast een fulltimebaan.

Als consultant op het gebied van datamonitoring en als nieuwkomer op de woningmarkt zag ik hier een kans voor een cool persoonlijk Splunk project. Mijn huizenjacht focuste zich op de woningmarkt in Rotterdam. Ondanks dat verschillende makelaars met ieder hun eigen aanbod en Funda al redelijk veel ondersteuning bieden, zat ik toch met verschillende vragen.

Wanneer komen nou de meeste huizen online? Welke huizen zijn vandaag online gekomen en in welke buurt? Ok, en voor deze buurt, wat is de gemiddelde vraagprijs? Is de vraagprijs voor deze woning aan de hoge kant? Wat is de m2 prijs?

Uiteindelijk heb ik mijn eigen monitoring dashboards gemaakt in Splunk, die mij net meer diepgang en inzicht kunnen geven in de Rotterdamse woningmarkt. Het is een ongoing project en graag presenteer ik in dit blog wat eerste resultaten. Daarna zal ik op bepaalde technische aspecten wat dieper ingaan. Qua data is alleen een geselecteerd aantal buurten en prijsklasse opgenomen die ik mogelijk interessant vond.

1.panel-kaart.png

Dit dashboard geeft net zoals Funda in één oogopslag welke huizen er waar te koop zijn in Rotterdam. De single values tonen respectievelijk het totale aantal koopwoning (in mijn index), het aantal nieuwe koopwoningen vandaag, het aantal nieuwe koopwoningen gisteren, deze week, vorige week, twee weken geleden, drie weken geleden en ouder dan een maand. Verder kan er linksboven ook op specifieke buurten in de stad gefilterd worden, voor wanneer er alleen interesse is voor een bepaalde buurt. Op het eerste gezicht een heel eenvoudig dashboard. Maar door wat drilldown magic toe te passen kun je hier veel meer informatie uit halen.

3.kaart-streetview.png

2.tabel.png

Wanneer je bijvoorbeeld op de single value “vandaag” klikt, verandert het aantal pijlen en zie je waar welke woningen vandaag online zijn gekomen. Daarnaast verschijnt er onderaan ook een tabel met meer gegevens over deze nieuwe koopwoningen. Zo zie je naast het adres, de vraagprijs, prijs per m2, buurt/wijk en de publicatiedatum & tijdstip. Wanneer je liever op de kaart speurt, kun je ook op een pijl klikken en die geeft ook meer details van de koopwoning. Zie je een interessante woning en ben je nieuwsgierig naar de buurt, dan kun je nog verder ‘drillen’ naar een panel die gelijk de woning op Google Streetview laat zien. Zo zie je gelijk of de straat of woning je aanspreekt.

5.statistieken1.png

6.statistieken2.png

Dashboard 2: Woningmarkt Rotterdam statistieken

Dit dashboard presenteert statistieken van de Rotterdamse woningmarkt. Ideaal voor een nieuwkomer die nog niet bekend is met de huidige woningmarkt in zijn/haar stad. Het dashboard is momenteel nog vrij basic en bestaat uit vijf panels. In de toekomst gaat deze nog verder uitgebreid worden en krijgt deze een visuele upgrade.

Het eerste panel geeft antwoord op de vraag wanneer de meeste woningen online komen en in dit specifieke geval op Funda. Voor Rotterdam komen de meeste woningen blijkbaar ’s nachts rond 0:00 online. 

Hoe ik tijdens mijn huizenjacht met behulp van Splunk de Rotterdamse woningmarkt in kaart heb gebracht.

Onze laatste blogs over Data