Certificaten, cruciaal om je server verkeer te beveiligen. Maar ze staan bij veel mensen ook bekend als probleem-veroorzakers. Eén van de problemen die we bij onze klanten meemaken is dat de certificaten niet tijdig worden vervangen. Met Splunk hebben we een krachtige tool in handen, die we ook voor dit probleem kunnen inzetten.

Een Splunk installatie heeft een aantal standaard componenten. Zo komt Splunk standaard met zijn eigen Python versie, maar ook OpenSSL is een van deze componenten. Met OpenSSL kunnen we certificaten uitlezen en dat maakt het mogelijk om monitoring in te richten.

Het volgende commando kan de start- en einddatum van een certificaat tonen:

splunk cmd openssl x509 -inform pem -noout -startdate -enddate

Om dit te kunnen doen hebben we eerst het certificaat nodig. Indien je certificaten die op de server staan zou willen monitoren, kan je die waarschijnlijk nog wel vinden. Maar deze oplossing is juist zo krachtig omdat je de geldigheid van certificaten kunt monitoren waar jij zelf gebruik van maakt. Om certificaten te tonen van andere servers of applicaties kunnen we het volgende commando gebruiken:

splunk cmd openssl s_client -showcerts -connect cinqict.nl:443

In dit voorbeeld maakt OpenSSL een verbinding met de website van CINQ over poort 443. Op deze manier kunnen allerlei applicaties op verschillende poorten benaderd worden. Combineer deze commando’s, filter wat op de output en je hebt bijvoorbeeld dit commando:

splunk cmd openssl s_client -showcerts -servername cinqict.nl -connect cinqict.nl:443  2>/dev/null | splunk cmd openssl x509 -inform pem -noout -startdate -enddate

notAfter=Apr 11 07:13:54 2022 GMT
notBefore=Jan 11 07:13:55 2022 GMT

De volgende stap die we nu moeten doen, is zorgen dat we hiervan een scripted input maken in Splunk.

Het commando dat we gemaakt hebben zetten we om in een Linux shell script. We zetten de hostname en de poort om in parameter. Het scriptje noemen we: sslcheck.sh. 

echo hostname=$1 port=$2
echo | splunk cmd openssl s_client -showcerts -servername $1 -connect $1:$2 2>/dev/null | splunk cmd openssl x509 -inform pem -noout -startdate -enddate

Vergeet niet het scriptje executable te maken (chmod +x) en probeer het uit:

De output van dit scriptje ziet er als volgt uit:

hostname=cinqict.nl port=443
notBefore=Jan 11 07:13:55 2022 GMT
notAfter=Apr 11 07:13:54 2022 GMT

Als we de output van dit script in Splunk indexeren, kunnen we proactief gaan monitoren! Daar hebben we een zogeheten scripted input voor nodig. Maak in je Splunk home directory in etc/apps een nieuwe app aan: TA_CertificateMonitoring en maak twee subdirectories: bin en local. In de bin directory plaats je het sslcheck.sh script en in de local directory maak je een inputs.conf aan.

[script:///$SPLUNK_HOME/etc/apps/TA_SSLCertificateCheck/bin/sslcheck.sh {hostname} {port}]
index = {indexname}
sourcetype = sslcheck
disabled = false
interval = 43200

Als laatste moeten we de Sourcetype nog definiëren, alle data in Splunk bevat een tijdswaarde. In de output van het script zit alleen de start- en einddatum van het certificaat, niet het tijdstip van monitoren. Daarom voegen we in de Sourcetype definitie toe dat de huidige systeem-tijd hiervoor gebruikt moet worden. In de local directory van de TA maak je een props.conf aan die er alsvolgt uitziet:

[sslcheck]
DATETIME_CONFIG = CURRENT
SHOULD_LINEMERGE = true
NO_BINARY_CHECK = true
BREAK_ONLY_BEFORE = hostname

Zodra we de scripted input hebben aangemaakt en Splunk herstart hebben, is de input actief. Zoek in de index die je in de inputs.conf hebt opgegeven naar de data:


Er zijn meerdere manieren om de einddatum juist in een veld te krijgen. Je kunt hiervoor bijvoorbeeld gebruik maken van een field extraction of een calculated field, waarbij je een EVAL functie kunt gebruiken. In dit voorbeeld lossen we het voor het gemak even op met een reguliere expressie. Vervolgens zetten we het veld om naar een epoch timestamp zodat we dit kunnen vergelijken met de huidige datum tijd.

index=_internal sourcetype=sslcheck hostname=cinqict.nl
| rex "notAfter=(?<enddate>[^\n]+)"
| eval enddate = strptime(enddate, "%b %d %H:%M:%S %Y %Z”)

Nu kunnen we een alert gaan maken die ons twee maanden van te voren informeert, zodat we tijdig het certificaat kunnen verlengen of vervangen.

index=_internal sourcetype=sslcheck hostname=cinqict.nl
| rex "notAfter=(?<enddate>[^\n]+)"
| eval enddate = strptime(enddate, "%b %d %H:%M:%S %Y %Z")
| where enddate < relative_time(now(), "+2m")

Sla deze search op als alert, laat deze dagelijks draaien en mail bijvoorbeeld naar het gehele team. Misschien is er op jouw Splunk omgeving wel een custom alert action gemaakt, waardoor je hier meteen een actie van kunt maken op je sprint planning!

Mocht je na het lezen van deze blogpost vragen hebben over het monitoren van certificaten, neem dan gerust contact met ons op. We denken graag met je mee!

Meer weten over certificaten monitoren en vervangen?

Luister naar onze podcast-aflevering over het geautomatiseerd vervangen van TLS certificaten. 

Lees de blogpost over het geautomatiseerd vervangen van certificaten met Hashicorp Vault en cert-manager.

Splunk kan ingezet worden om de geldigheid van certificaten op je servers te monitoren. Hoe je dit opzet lees je in dit blog.

Certificaten monitoren met Splunk

Splunk® IT Service Intelligence (ITSI); De oplossing voor monitoring en analyse, welke aangedreven door machine learning en kunstmatige intelligentie inzicht biedt in de gezondheid van kritieke IT- en zakelijke diensten en hun infrastructuur. 

Een uitleg als bovenstaande, gevolgd door de verschillende usecases die Splunk ITSI vervult is wat ik vooral terugvind op het internet. Wat ik nog weinig zie zijn de ervaringen uit de praktijk of technische how-to’s. Zonde, want na een korte kennismaking met ITSI is vaak de reactie: ‘ziet er super gaaf uit’ – kort gevolgd door – ‘maar wat is er nodig voor de inrichting? Hoe werkt het en/of waar moet ik beginnen?’  

In dit artikel geef ik antwoord op deze vragen en neem ik jullie graag mee naar het startpunt van ITSI, namelijk het aansluiten van een databron. Ik ga wat meer in op de techniek achter de oplossing en laat aan de hand van een praktijkvoorbeeld zien hoe je de metrieken van Applicatie Performance Monitoring op Splunk ITSI aansluit met daarbij een integratie naar ServiceNow. 

High Level Design  - APM integratie Splunk ITSI & ServiceNow

Applicatie Performance Monitoring integratie naar Splunk

Als uitgangspunt nemen wij een bestaande databron, de APM-monitoring in een organisatie, links in het HLD als cloud oplossing weergegeven. Dat is de monitoring die door middel van metingen inzicht biedt in de beschikbaarheid- en performance van een applicatie, dienst of een omgeving. Uit de APM-monitoring komen inzichten. Dit zijn de ruwe meetresultaten maar ook al verrijkte data zoals beschikbaarheid- of performance alerts. 

Laten we kort stilstaan bij het versturen van de data naar Splunk. Veelal wordt hiervoor gebruik gemaakt van een webhook. Splunk biedt hiervoor zelf de HTTP Event Collector (HEC) aan. Middels HEC wordt de data op een veilige manier naar de Splunk omgeving verstuurd waarnaar het direct in de juiste index wordt opgeslagen. In het HLD noemen wij deze index de APM_Name_Private_index. 

Met de alert-data in Splunk is de vervolgstap deze gereed te maken voor Splunk ITSI. Hiervoor is het nodig om de structuur van de data aan te passen naar een structuur die geschikt is voor ITSI. Dit aanpassen van de data naar een geschikt formaat wordt normaliseren genoemd en licht ik graag even toe.

Normaliseren is nodig zodat Splunk ITSI begrijpt wat voor data het binnen krijgt en wat het vervolgens met een event moet doen. Normaliseren lijkt in het begin wat omslachtig, de data zit immers al in Splunk. Het is daarom waarschijnlijk al eerder genormaliseerd tijdens het indexeren, dus waarom moet je het nog een keer aanpassen?

Zie het als volgt; wanneer je meerdere databronnen aansluit op Splunk, dan is de data los van elkaar goed te begrijpen en ook toepasbaar voor ieders doeleinde. Het is echter moeilijk om de data voor hetzelfde doeleinde te gebruiken. Wanneer de data genormaliseerd wordt naar een eenduidig bestandsformaat met daarbij een eenduidige key-value indeling is het voor Splunk ITSI mogelijk wat met de events te kunnen doen. 

Belangrijk hierbij is dus dat de key-value indeling door normalisatie hetzelfde wordt. Als voorbeeld: waar in de APM Name Private index links in de afbeelding weergegeven, een veld als responstijd wordt aangeduid met de key-value combinatie performance=value, zal in index 2 dat veld bijvoorbeeld timer=value zijn en in index 3 responsetime=value. Door normalisatie kan dat voor alle drie de databronnen eenduidig aangepast worden naar itsi_duration=value. 

Voor het normaliseren van data naar ITSI-events zijn regels en richtlijnen opgesteld, welke door Splunk zijn opgenomen in het Common Interface Model (CIM). Hierin staat beschreven welk veld(key) welk doeleinde(value) heeft en worden er voorbeelden gegeven voor hoe deze toegepast kunnen worden. Los van het CIM zijn er ook Cheat Sheets en Templates beschikbaar gesteld voor veel gebruikte integraties.

Data Normalisatie middels een scheduled search

Het normaliseren – oftewel het hernoemen van velden – gaat in de praktijk middels een Scheduled Search. Zoals de naam al zegt is een Scheduled Search een zoekopdracht in Splunk die je herhaald kan laten uitvoeren. Voor dit doeleinde kijkt de zoekopdracht iedere minuut of er in de APM_Name_Private_index nieuwe events binnen zijn gekomen. Indien dit het geval is worden de velden uit de events middels meerdere eval commando’s aangepast naar ITSI-velden en middels een collect commando weggeschreven naar een aparte summary index, in het HLD genaamd apmname_alerts_itsi_public. 

Onderstaand een stuk voorbeeld code SPL waarbij de eval commando’s voor de belangrijkste ITSI-velden worden toegelicht. In de praktijk dient deze code aangepast te worden op de eigen situatie. 

```Voorbeeld event*```
Service=Main_Web_App
Type=Availability
DataSource=Login_App
EventId=123456789_1234567890
Business_Service=IOL_GROUP

```Voorbeeld Eval Commando’s```
| eval itsi_entity=Service. "-". Type. "-".DataSource
| eval itsi_correlation_key=itsi_entity
| eval itsi_urgency=Medium, itsi_impact=Low
| eval itsi_event_key=if(isnull(existing_itsi_event_key) OR existing_itsi_event_key=="", itsi_entity. "~".EventId, existing_itsi_event_key)
| eval  itsi_tag=mvappend("ITSI", "SNOW")
| eval itsi_business_service=business_service

Itsi_entity
Een entity kan gezien worden als de titel van de melding. 


itsi_correlation_key
De correlation_key - in dit geval gelijk aan de entity - zal events in ITSI groeperen en zal vervolgens proberen te kijken of er correlaties mogelijk zijn binnen de entitiy en tussen de entities. Tip: maak een entiteit en dus een correlation_key niet te algemeen, maar ook niet te specifiek. Bij te algemeen krijg je te veel events in 1 entiteit en bij te specifiek, heb je weer te veel entiteiten en dus te weinig events per entiteit. Een belangrijke afweging hierin is dat je wat moet kunnen met de informatie van meerdere events in 1 groep. Voor APM is in dit geval de entiteit dus Service-TypeAlert-Stapnaam, bijvoorbeeld bedrijfsapplicatie-beschikbaarheid-inloggen.


Itsi_urgency en itsi_impact
Hiermee wordt de urgentie alsmede de impact aangegeven voor het event. Een melding wordt afgesloten (positieve alert) door beide als status low mee te geven.


itsi_event_key 
Om nieuwe events aan te maken, maar ook om op een bestaand event door te schrijven wordt gebruik gemaakt van een event_key. Ieder nieuw event heeft een unieke eventID. Tijdens de normalisatie wordt middels een correlatie zoekopdracht gekeken of er nog een openstaand probleem is. Bijvoorbeeld een performance melding met als impact Warning. Als bij een nieuw event de impact/urgentie wijzigt, bijvoorbeeld naar een Critical status, wordt op dat event doorgeschreven. In dat geval wordt dan de existing_itsi_event_key gebruikt.


itsi_tag
eval  itsi_tag=mvappend("ITSI", "SLACK","SNOW") 
Middels een tag wordt aangegeven welke integratie opgepakt moet worden. In dit voorbeeld wordt het event opgenomen door ITSI en wordt ook de integratie Service Now Now-IT gestart. Er zijn echter meerdere standaard integraties mogelijk, zoals naar Slack of Teams, maar ook een custom integratie zoals naar TopDesk.


Itsi_business_service
| eval itsi_business_service=business_service
Een business service komt in dit geval overeen met de business service in Service Now en zal er dus voor zorgen dat dit evenement op juiste manier gekoppeld wordt aan SNOW. Tijdens het normaliseren is het dus mogelijk om custom velden als deze toe te voegen.

Overige velden kunnen nog zijn: itsi_instruction, itsi_summary, itsi_message.  Dit zijn velden met aanvullende informatie, een oplos instructie, samenvatting, en uitgebreidere uitleg van de melding kunnen hier worden opgegeven.

Tijdens de normalisatie is het event middels het collect commando verstuurd naar de apmname_alerts_itsi_public summary index. Vanuit deze public index wordt door een correlation search de events opgenomen door Splunk ITSI. Dit is een standaard functionaliteit binnen Splunk ITSI en kan gezien worden als een macro die een index scant op nieuwe events en de integratie naar Splunk ITSI start. Eenmaal in Splunk ITSI komen de events binnen als “notable event”. Een notable event kan gezien worden als een losstaand alert. Wanneer een alert weer een positieve status heeft, bijvoorbeeld inloggen applicatie was onbeschikbaar en nu weer beschikbaar, wordt het event afgesloten en toegevoegd als Episode. Op zowel de losstaande notable events als de episodes worden correlatie zoekopdrachten gedaan en kunnen incidenten gestart worden. Deze correlaties binnen een databron als tussen databronnen toont de kracht van ITSI.

Voorbeeld: uit een notable event wordt een incident aangemaakt, bijvoorbeeld applicatie 1 is traag bij opstarten (performance), of inloggen werkt niet (beschikbaarheid). Uit episodes kunnen middels deep-dives alerts komen als, de afgelopen 4 maandag ochtenden was het inloggen traag tussen 08:00 en 10:00 of inloggen werkt iedere dinsdag tussen 07:00-08:00 niet. Ook kunnen correlaties gelegd worden tussen databronnen, een incident als, deze servers hadden een hoog CPU, gelijktijdig was de applicatie traag.

Het incident wordt dus aangemaakt binnen ITSI. Een overzicht van de openstaande en/of gesloten events is terug te vinden in de Episode Review:

Voor de integratie naar ServiceNow wordt een standaardoplossing binnen ITSI aangeboden, zie hiervoor de Splunk Docs - ITSI SNOW. In ons voorbeeld is in 1 van de besproken velden, de itsi_tag aangegeven om de integratie naar ServiceNow te starten. Vanuit Splunk ITSI wordt middels een XML/SOAP call een incident in ServiceNow aangemaakt en/of voorzien van een nieuwe status. De integratie tussen Splunk en ServiceNow werkt bidirectioneel. Indien in ServiceNow dus een update wordt doorgevoerd, wordt deze ook naar Splunk verzonden en vice versa.

Event in ServiceNow – aangemaakt door Splunk ITSI

In dit artikel heb ik jullie een inkijkje gegeven over het aansluiten van data op Splunk ITSI. Wij hebben gebruikmakend van HEC, alert data van een APM-product gestuurd naar een Splunk omgeving. Middels een saved search hebben wij vervolgens de event data genormaliseerd naar een Splunk ITSI event. Tijdens het normaliseren is middels eval commando’s aangegeven wat voor event (entiteit) het betreft en wat de status (urgentie/impact) is. Ook is aangegeven onder welke groep (correlation_key) het nieuwe notable event valt en of het gaat om een nieuwe gebeurtenis (event_key) of een vervolg (existing_event_key) op een bestaande gebeurtenis betreft. Doordat in de Tag is aangegeven, ook de koppeling naar ServiceNow Now-IT te starten, zal vanuit ITSI ook direct het evenement hiernaartoe doorgestuurd worden en gekoppeld worden aan de business_service, met daarin mogelijk een instructie, samenvatting en aanvullend bericht.

Persoonlijk vind ik Splunk ITSI een gave oplossing, na al dan niet wat handmatig instellen in het begin, kan vervolgens veel waarde gehaald worden uit de automatische correlaties en berichtgeving die eruit volgt.

Splunk consultant Tom de Bruijn  legt in 5 stappen uit uit hoe je Applicatie Performance Monitoring kan aansluiten op Splunk IT Service Intelligence.

Applicatie Performance Monitoring aansluiten op Splunk IT Service Intelligence

Een product als Splunk, komt vaak op een gefaseerde manier de organisatie binnen. Beginnend met wellicht een Proof of Concept met een enkele server begint men met Splunken. De waarde wordt al snel duidelijk, meer collega’s worden enthousiast en zo langzaam aan worden er steeds meer dashboards, alerts, rapportages en andere knowledge objecten gemaakt. Die ene Splunk server groeit uit naar een eerste cluster, Splunk groeit in de organisatie van 1 tot misschien wel honderden unieke gebruikers per dag. 

Dit is een realistisch scenario dat we bij veel klanten tegenkomen, in de tussentijd zijn er veel collega’s gekomen en gegaan. Daardoor is de kans dat alle knowledge objecten nog relevant zijn kleiner geworden. Uit angst om bestaande functionaliteiten te slopen, wordt er dan vaak besloten om de objecten te behouden “want je weet maar nooit…”. Maar dit kan ten koste gaan van de performance van de Splunk omgeving. 

Waarom is het zo belangrijk om je Splunk omgeving “schoon” te houden? 

Alle tags worden bij elke search geraadpleegd. Dit gaat ten koste van je search performance. Als de tags actief gebruikt worden, weegt het gebruikersgemak wellicht wel op tegen de degradatie van de search performance. Maar gebruik je tags niet meer? Dan is het uiteraard zonde om daar search performance aan kwijt te zijn. 

Wat dacht je van saved searches? Een saved search draait op de achtergrond volgens zijn cron schedule, misschien zelfs wel elke minuut! Als een SAML user verwijderd wordt uit de Active Directory, betekend dit niet automatisch dat hij ook verwijderd wordt uit Splunk. Zo kan het dus zijn dat de objecten van een ex-collega die al maanden geleden het bedrijf heeft verlaten, nog steeds impact hebben op jouw dashboards! Wil jij de performance van je Splunk omgeving verbeteren, maar is uitbreiden geen optie? Dan is het tijd voor Splunk Housekeeping, met ons nieuwe dashboard!

Bij CINQ hebben we een nieuw dashboard geïntroduceerd bij onze klanten die inzichtelijk maakt wat de relaties zijn tussen de knowledge objecten in Splunk. Tags kunnen gebruikt worden in dashboards, search macro’s en saved searches. Saved searches kunnen op hun beurt gebruikt worden in dashboards, search macro’s en zelfs in andere saved searches. Lookups kunnen gebruikt worden in dashboards, saved searches en search macro’s. Nogal wat complexe relaties dus! Standaard zijn die relaties in Splunk niet direct zichtbaar, maar met ons nieuwe dashboard wel!

Met het app overview dashboard wordt structuur gecreëerd in de chaos van knowledge objecten. De naam zegt het al, per app wordt er een mooi overzicht gemaakt van de knowledge objecten die bestaan in de app. Er wordt gecontroleerd wat de relaties zijn, of het gebruikt wordt en of het op een juiste manier gedeeld wordt met andere gebruikers. Het dashboard hoeft ook niet geconfigureerd te worden, zodat deze werkt op jouw Splunk omgeving, hij werkt out of the box!

Per knowledge object wordt in kaart gebracht of deze relaties heeft met andere objecten en zo ja, welke dan. Op die manier hoef je nooit meer bang te zijn dat je een object verwijderd die stiekem toch nog ergens gebruikt werd. Maar je hoeft ook zeker geen objecten te laten staan omdat men niet meer weet of deze nog gebruikt worden. Met behulp van dit dashboard, kun je precies zien wat je wel en niet kunt verwijderen.  Als je ongebruikte searches, lookups en andere objecten verwijderd, verbeter je de performance van de Splunk omgeving - en houd je de boel lekker schoon!

Ben jij nieuwsgierig geworden naar de mogelijkheden voor jouw Splunk omgeving? Neem dan gerust even contact met ons op, we geven graag een demo. 

Verbeter de performance van je Splunk omgeving met het CINQ housekeeping dashboard. Bekijk de mogelijkheden en neem contact op voor een demo op maat.

Verbeter de performance van je Splunk omgeving met het CINQ housekeeping dashboard

Up until Splunk 8.2 Splunk has been lacking in the visualization department, as it relied on simple XML to create its dashboards. Although dark mode was a welcome addition in Splunk 7.2, you are still bound by a grid layout and limited options to customize the dashboard. If you wanted to add an image to your dashboard as a user you had to ask your Splunk team to add the image to the Splunk app so that you as a user could use it. 

Here's a look at an example of a traditional Splunk dashboard:

Starting with Splunk 8.2 there is now a new prompt when you want to create a dashboard: 

You can now choose between Classic Dashboards (simpleXML) or Dashboard studio(JSON)

When you choose Dashboard Studio you also get to choose the layout mode Absolute or Grid.
In this example we are using Absolute to see what we can do. You get a blank canvas where you can set a background color or image. At the top left there are the buttons to add the following:

-        Visualizations 
-        Inputs 
-        Icons 
-        Shapes 
-        Images
-        Text 

To start I added a picture and a few simple singles to the dashboard. 

Then I tried to move the picture around change the background color and added a table. It is awesome to see that you can just drag and drop each element to where you want them. 

It is also pretty easy to change the background color of each element or even to make it transparent.

The one thing to realize is that Splunk no longer uses xml as the backend for the dashboard but JSON. So if you do decide to change something you will see something like the following:

For long time Splunk users, this might take a while to get used to. 
You can use this article in the Splunk docs to see what options you could add in the JSON file for your visualizations. Splunk also provides an example hub which shows visualizations and even complete dashboards as examples to get an idea of what you could do with dashboard studio.

If you already have dashboard that you made in older versions of Splunk you can open it in Splunk and select the 3 dots in the top right corner.  This will give you the option to select Clone in Dashboard Studio.

The layout might not be a 100% match but at the very least you get all of the searches and visualizations that you had on your old dashboard.  

All in all the new dashboard studio is a welcome change for Splunk users as it finally gives users more options and flexibility in how they want to present their data. For Splunk admins: if you are planning to upgrade to 8.2 make sure you inform your users and be prepared to get questions about the usage of Dashboard Studio.

In this blog, we will show you some examples of the new Dashboard Studio features in Splunk 8.2.

Create more complex dashboards with Splunk 8.2 Dashboard Studio

This blog gives you five exam tips for the Splunk Phantom Certified Admin exam. This is based on my experience following the courses and passing the exam earlier this year. I hope this will help you prepare and pass the exam yourself! 

To become a Splunk Phantom Certified Admin there are three courses that you can follow:

The courses are not required but I highly recommend you do them, they give great insights in how to use Splunk Phantom. More detailed information about the Splunk Phantom certification track can be found on the Splunk website.

During the courses you are provided with virtual instances for the practical labs. If you finished the lab you can use the remaining time to check out what Splunk Phantom has to offer. And here is the good thing: Between the training days the instances stay up so if you have an hour to spare log in and retake the steps from some of the more complex labs to make sure you are familiar with the interface.

There are several apps on Splunk Base that have Phantom in the name:

In the Advanced Phantom Implementation course most of these apps are discussed and implemented. It is good to know what each of the apps is used for. So give them a try and know what they are about for the exam. 

If you did not have the time to experiment on the instances provided during the labs, you can easily set up a virtual machine at home using the provided OVA. An OVA is an Open Virtualization Format which you can use to install a virtual instance of Phantom. 

To install it you can follow the steps provided by the documentation: https://docs.splunk.com/Documentation/Phantom/4.10.6/Install/InstallOVA

If you also want to use Splunk you could install it yourself or use the containerised version with Docker: https://docs.splunk.com/Documentation/Splunk/8.2.1/Installation/Chooseyourplatform 

4.    Know the steps to develop a playbook

In the Developing Playbooks course they share some of the best practices to develop a playbook, try and think of a real world scenario and follow the steps in the I2A2 process. This will help you with questions in the exam and will help you prepare for your first playbook. 

In the Developing Playbooks and Advanced Phantom Implementation Splunk provides Playbooks for some of the labs. Make sure you import these examples and study these, they might have used different steps than what you did during the labs. They are also handy as reference material if you need to format data before it can be used in an email for example. 

By following these courses and trying Phantom out you should have enough knowledge to pass the exam. You should also be able to create a Proof of Concept to see if Phantom is the right solution for your company. 
You should know that Splunk is currently actively working towards cloud driven solutions and that is why they announced Splunk SOAR, which essentially is Splunk Phantom in the cloud.

In this article we give you 5 tips to help you pass the Splunp Phantom Certified Admin exam.

5 Tips to pass the Splunk Phantom Certified Admin exam (2021)

5 tips to pass the Splunk Phantom Certified Admin exam

In mei is Splunk 8.2 gelanceerd en in deze blogpost licht ik een aantal van de nieuwe functionaliteiten toe. Vooral Federated Search en Dashboard Studio zijn de moeite waard om je een paar uur in te verdiepen. 

Eindelijk daar is 'ie dan: Federated search! Met federated search kunnen search heads (clusters) zoeken in verschillende Splunk omgevingen. Er kan bijvoorbeeld een mix gemaakt worden van on-premise en cloud Splunk instances. Voor klanten met grote omgeving waarbij meerdere cloud providers gecombineerd worden met een deel on-premise is dit een hele handige functie. Zo kan data binnen de omgeving blijven waar deze al is maar kan wel in 1 Splunk omgeving (search head) doorzocht worden. In de afbeelding hieronder is schematisch weergegeven hoe dit werkt. De search head maakt verbinding met de federated provider 1 en kan hiermee via de search head in dat cluster de data in de indexers doorzoeken. Ook is het mogelijk remote datasets te kunnen gebruiken. Die datasets zijn erg interessant want hiermee is het ook mogelijk om lokale lookup files uit te kunnen lezen in een ander cluster. Erg handig wanneer er bij 1 klant meerdere search head clusters zijn (vaak het geval wanneer de klant 1 of meerdere enterprise apps draait zoals Enterprise Security of ITSI).

Meer informatie over hoe dit technisch in elkaar steekt staat hier.

Iedereen die wel eens met Splunk werkt weet dat het dashboard maken best prima werkt zolang je een standaard dashboard maakt. Maar als je iets buiten de gebaande kaders wil dan moet je aan de gang met zelf geschreven CSS en JavaScript. Werkt redelijk maar echt top werkt het niet. Daar is Splunk zelf inmiddels ook achter en daarom hebben ze dashboard studio gelanceerd. In dashboard studio kun je met een makkelijke interface gave dashboards zoals hierbeneden maken. Top om binnenkort op een regenachtige vrijdag middag eens even mee te spelen!

Backup & restore KVstore; niet nieuw maar wel fors verbeterd.


Durable search; waarmee kan worden geforceerd dat scheduled reports/alerts opnieuw uitgevoerd worden als de results incompleet zijn.


Improved handling of JSON; de functies json_array_to_mv, mv_to_json_array, json_append function en json_extend zijn toegevoegd. 

Voor het complete overzicht van alle nieuwe features in Splunk 8.2, bekijk de  Splunk Docs.

Splunk 8.2 is nog niet productie ready (ik zou dan nog even wachten tot 8.2.1) maar voor de testomgeving is dit zeker al aan te raden!

Maak gebruik van de Python Update Readiness app om te bepalen of je omgeving klaar is voor het uitfaseren van Python 2.7.

In mei 2021 is Splunk 8.2 gelanceerd en in deze blog bespreken we twee mooie nieuwe features: Federated Search en Dashboard Studio.

Federated Search in Splunk 8.2

Federated search nu beschikbaar in Splunk 8.2

A year after Splunk’s big release of version 8, the company now released Splunk 8.1 during their legendary (and virtual) Conf2020. As each release has many new features, in this article I would like to highlight some of these and discuss why they are interesting for users and admins based on my own practical experience. 

The new features that I would like to touch upon are:

Imagine you have the task of developing a new monitoring dashboard for your team and each of the panels have somewhat similar searches. In developing each panel, you probably perform multiple searches before getting to the ultimate search query. In previous versions of Splunk, each new search query was overwritten by the other in the search query bar. If you wanted to use a previous search query you specifically had to go to a search history panel to find your earlier search queries unless you had saved it on your clipboard. In other words, for your search history you had to look at different locations or perform multiple clicks, which felt like spending more time in finding previous searches and made searching sometimes less comfortable. This little issue is now solved in the new release of Splunk 8.1 

Splunk now added a new shortcut feature that allows you to quickly snip to previous search queries you performed. The shortcuts that can be used are Alt/Ctrl P (for previous) and Alt/ Ctrl N (for next) depending your operating system. Personally, I am very enthusiastic about this feature as it helps in actually spending time on performing searches instead of finding previous queries.

Another little feature that improves the experience of building searches and dashboards is the ability of adding comments in search queries. Similar to writing scripts, this way, you can make your search clear for others or leave a reminder for yourself when you continue the other day. This can be really helpful for Splunk users as well as admins. 

For instance, your comment could state what you are trying to do with this search or highlight the reason for a certain argument in your search query. In terms of troubleshooting, you can also specifically indicate with which argument you are struggling. 

From my admin experience, I once found this terrible search with 21 sub-searches of a certain user, which he had copied to multiple dashboards at his department. He probably was very proud of getting this big search to work. However, for me as a Splunk admin who wants to keep his platform running smooth and efficiently I wanted to help him out in improving his search. But looking at his query without the purpose or his ideas behind this big search makes it challenging to support. In this case, comments would definitely help in making a long search more readable as these could state why certain decisions or reasons for an argument were made. The possibility of adding comments can also help admins in supporting their Splunk users.

You can add a comment by adding three backticks ( ``` ) before and after your comments.

1.comments.png

For those Splunk users, who are unfamiliar with writing Splunk queries or who are new to Splunk, there is now a new feature called “Table views”. This feature allows you to easily create a table by clicking through the UI. This feature has been added to the datasets tab. As can be seen in the displayed figure, you can simply specify, which index, source, host you want to search and how you want your table exposed. In the background Splunk automatically writes the query for you, which you can easily export to a dashboard. Personally, I believe this is a great feature, especially for novices. I have seen in multiple companies that the adoption of Splunk is sometimes somewhat challenging for teams as they have to start writing queries, which is not common for each and every person. I believe this feature could remove some of the challenges when starting with Splunk.

Imagine that you as a Splunk admin, are going to implement a big change (like updating to Splunk 8.1) on your Splunk platform and you need to inform all your Splunk users, when this is going to happen and where they can find more information about this. Or imagine that you need to perform a restart of the search head during daytime, which impacts the users. How can we ensure that we reach all our Splunk users? A question that I have seen a couple of times in these kind of cases before. The new banner feature provides the possibility to communicate to all current Splunk users by displaying a bar on top of the Splunk page. This bar can be presented in multiple colors and may contain a message or link to a certain page. Personally, I am very enthusiastic about this feature. I have been in a position where I had to send an email to 1500+ Splunk users during a summer period regarding a change that we were going to perform and received 400+ out of office replies in my personal inbox. The intention is to reach every Splunk user that was using Splunk at that time. However, as we only had a list of registered Splunkers available, we had to contact everyone as we did not know who was actually using Splunk that week. This banner feature can now support us Splunk admins in reaching out to our Splunk users. Great work Splunk!

Workload management, the management of workloads on a Splunk platform has already been introduced before. However, in this release Splunk now also added admission rules. These rules support in the management of workloads depending on business needs. For instance, very often in practice, Splunk users, which have discovered the wildcard trick, define index=* coupled with some search terms in their query in order to find their data. 

It could be that they do not know the name of their index or some are simply to lazy to investigate what the index is and, therefore, decide to use “index=*”. As a consequence, this could have a very negative impact on the performance of the Splunk platform when running a query with this search term over a longer period of time. You could compare this to going to a library where you need to go through every single book out there as you do not know in which category the info you are looking for resides. You are simply telling Splunk to look through every single index over a certain time period, which takes processing power, and so impacts other users that want to perform search queries as well. With workload user management rules, you can now instruct Splunk to ignore wildcard search, which reduces the unexpected workloads on your platform. Besides wildcard searches, it is also possible to filter on “all time” time range searches or disallow searches in peak hours. So, this is a great feature to support admins in controlling their platform and reducing the chance of unexpected workloads.

These are five of the new features that the new release of Splunk 8.1 offers, which I believe, based on my own experiences, are great for Splunk users and admins. Further information regarding other features that common with this release, can be found at the following page: 

https://www.splunk.com/en_us/blog/conf-splunklive/what-s-new-with-splunk-enterprise-8-1.html

In this blog we talk about 5 new features in Splunk 8.1 and how they work.

5 new features in Splunk 8.1

Starters op de woningmarkt, een onderwerp dat regelmatig in het nieuws voorbij komt. Al een aantal jaar is de vraag naar woningen groter dan het aanbod, waardoor de prijzen flink zijn gestegen. Dit maakt dat het voor starters lastig is om zich in te kopen op de markt. Overbieden is tegenwoordig eerder de norm dan een uitzondering op de regel. Daarnaast zijn woning vaak al verkocht voordat je ze online hebt kunnen spotten, wat een aardige uitdaging is naast een 40urige werkweek. Kortom, voor een starter is het een hele uitdaging om de woningmarkt nauwlettend in de gaten te houden en er bovenop te zitten naast een fulltimebaan.

Als consultant op het gebied van datamonitoring en als nieuwkomer op de woningmarkt zag ik hier een kans voor een cool persoonlijk Splunk project. Mijn huizenjacht focuste zich op de woningmarkt in Rotterdam. Ondanks dat verschillende makelaars met ieder hun eigen aanbod en Funda al redelijk veel ondersteuning bieden, zat ik toch met verschillende vragen.

Wanneer komen nou de meeste huizen online? Welke huizen zijn vandaag online gekomen en in welke buurt? Ok, en voor deze buurt, wat is de gemiddelde vraagprijs? Is de vraagprijs voor deze woning aan de hoge kant? Wat is de m2 prijs?

Uiteindelijk heb ik mijn eigen monitoring dashboards gemaakt in Splunk, die mij net meer diepgang en inzicht kunnen geven in de Rotterdamse woningmarkt. Het is een ongoing project en graag presenteer ik in dit blog wat eerste resultaten. Daarna zal ik op bepaalde technische aspecten wat dieper ingaan. Qua data is alleen een geselecteerd aantal buurten en prijsklasse opgenomen die ik mogelijk interessant vond.

1.panel-kaart.png

Dit dashboard geeft net zoals Funda in één oogopslag welke huizen er waar te koop zijn in Rotterdam. De single values tonen respectievelijk het totale aantal koopwoning (in mijn index), het aantal nieuwe koopwoningen vandaag, het aantal nieuwe koopwoningen gisteren, deze week, vorige week, twee weken geleden, drie weken geleden en ouder dan een maand. Verder kan er linksboven ook op specifieke buurten in de stad gefilterd worden, voor wanneer er alleen interesse is voor een bepaalde buurt. Op het eerste gezicht een heel eenvoudig dashboard. Maar door wat drilldown magic toe te passen kun je hier veel meer informatie uit halen.

3.kaart-streetview.png

2.tabel.png

Wanneer je bijvoorbeeld op de single value “vandaag” klikt, verandert het aantal pijlen en zie je waar welke woningen vandaag online zijn gekomen. Daarnaast verschijnt er onderaan ook een tabel met meer gegevens over deze nieuwe koopwoningen. Zo zie je naast het adres, de vraagprijs, prijs per m2, buurt/wijk en de publicatiedatum & tijdstip. Wanneer je liever op de kaart speurt, kun je ook op een pijl klikken en die geeft ook meer details van de koopwoning. Zie je een interessante woning en ben je nieuwsgierig naar de buurt, dan kun je nog verder ‘drillen’ naar een panel die gelijk de woning op Google Streetview laat zien. Zo zie je gelijk of de straat of woning je aanspreekt.

5.statistieken1.png

6.statistieken2.png

Dashboard 2: Woningmarkt Rotterdam statistieken

Dit dashboard presenteert statistieken van de Rotterdamse woningmarkt. Ideaal voor een nieuwkomer die nog niet bekend is met de huidige woningmarkt in zijn/haar stad. Het dashboard is momenteel nog vrij basic en bestaat uit vijf panels. In de toekomst gaat deze nog verder uitgebreid worden en krijgt deze een visuele upgrade.

Het eerste panel geeft antwoord op de vraag wanneer de meeste woningen online komen en in dit specifieke geval op Funda. Voor Rotterdam komen de meeste woningen blijkbaar ’s nachts rond 0:00 online. 

Het tweede panel presenteert hoeveel woningen er per wijk te koop zijn (geweest). Zo kun je zien in welke wijk de meeste woningen te koop komen. Op langer termijn kan dit nog uitgezet worden tegen de tijd, wat je bijvoorbeeld een indicatie kan geven wanneer in welke wijk de meeste woningen online komen. Of een trendlijn die kan laten zien of het aantal toe/afneemt.

De gemiddelde vraagprijs voor een woning per buurt verschilt en dit wordt weergegeven in het derde panel. Deze wordt berekend door de vraagprijs gedeeld door het aantal woningen per buurt. Deze zal over tijd nauwkeuriger worden wanneer er meer woningen in de index zitten. Hetzelfde geldt voor het panel daarna, waarin je per buurt kunt zien wat de gemiddelde m2 prijs is. Zo weet je dus in welke buurt de woningen relatief gezien het duurste zijn.

In het laatste panel is te zien welke hoeveelheid m2 woning het meeste aangeboden is tot nu toe in de index in dit project. Zo weet een nieuwkomer vrij snel wat de grootte van de meeste woningen zijn die in de verkoop komen.

De data voor dit project komt uit verschillende bronnen. Allereerst voor de gegevens omtrent de woningen die in de verkoop komen, wordt er gebruik gemaakt van de RSS feed van Funda. De RSS feed bevat de volgende gegevens: straatnaam, huisnummer, vraagprijs, oppervlakte en het aantal kamers. De feed kan precies met een aantal filters getweakt worden, zodat je alleen de woningen krijgt die jij interessant vindt. In dit geval heb ik gefilterd op een aantal buurten, stad en een prijsklasse.

Voor zowel Google Streetview en coördinaten is er een connectie gemaakt met twee API’s van Google Cloud, namelijk Geocoding API en Maps API. Dit kost nog geen halve euro per maand. In het eerste jaar kun je hier overigens gratis gebruik van maken. Echter om de juiste coördinaten op te vragen is er een straat, huisnummer en postcode nodig. De straat en huisnummer kan uit de RSS feed van Funda gehaald worden. 

Voor de gegevens omtrent postcode, buurt en gemeente, is er gebruik gemaakt van een aantal CSV’s van het CBS. Destijds was alleen de dataset uit 2019 beschikbaar. Het CBS biedt datasets aan met informatie over gemeenten, buurten, wijken en postcode van heel Nederland. Voor dit project zijn er 4 CSV’s samengevoegd tot een lookup tabel en gefilterd op de gemeente Rotterdam. Gezien sommige datasheets meer dan een miljoen regels bevatten (wat excel niet aan kan) is dit een ideale klus voor Splunk. In de volgend afbeelding is te zien wat de verschillende CSV’s waren en hoe deze zijn samengevoegd. 

Om uiteindelijk de data te kunnen gebruiken in Splunk is er gebruik gemaakt van de volgende Splunk apps: “Google Geocode app” en “Maps+ for Splunk”. Deze apps zijn beiden beschikbaar in Splunkbase. 

De Google Geocode App helpt je in het vertalen van een adres (straatnaam, huisnummer en postcode) naar Latitude en Longitude coördinaten. Aan de achterkant wordt de Geocoding API aangesproken in Google Cloud. De opgehaalde coördinaten worden samen met het adres, de oppervlakte, het aantal kamers, de vraagprijs, buurt, wijk en gemeenten opgeslagen in een summary index. 

Deze summary index wordt vervolgens gebruikt in de Maps+ for Splunk app. Hoewel er ook andere apps/add-ons zijn voor Google is er voor deze app gekozen gezien deze op stad/straat niveau de kaart kan weergeven. Daarnaast biedt deze app ook de functionaliteit om een Google Streetview panel te maken. Wat zoals eerder beschreven op een dashboard is geïmplementeerd. Dit panel maakt op de achtergrond een verbinding met de Maps API in Google Cloud. Deze geeft op basis van de coördinaten vervolgens op streetview een visualisatie weer.

Het is een ongoing project waar nog veel meer uitgehaald kan worden. Ik zie steeds weer andere mogelijkheden en heb verschillende ideeën. Qua dashboard, ben ik bezig met de Splunk Dashboard Beta app om Rotterdam nog beter te kunnen visualiseren en het dashboard naar een hoger niveau te tillen. Verder gezien ik op langer termijn meer data heb wil ik trendlines gaan toevoegen en mogelijk biedt machine learning nog bepaalde voorspellende mogelijkheden. Verder ben ik aan het onderzoeken of ik ook de actuele verkoopprijzen kan verkrijgen zodat je kunt gaan zien hoeveel er gemiddeld overboden wordt. De vraag is echter of deze data vrij te verkrijgen is. Er zullen vast nog andere toffe ideeën zijn. Mocht jij er een hebben, let me know! 

Hoe ik tijdens mijn huizenjacht met behulp van Splunk de Rotterdamse woningmarkt in kaart heb gebracht.

De Rotterdamse woningmarkt in kaart met behulp van Splunk

Splunk is vooral bekend van haar kracht om inzicht in applicaties te geven, maar wordt vaak ook vanuit security oogpunt gebruikt. Als Splunk consultant kom je daardoor vaak in aanraking met security gerelateerde use-cases. Doordat ik zelf weinig ervaring had met cybersecurity ben ik op zoek gegaan naar mogelijkheden om hier meer ervaring mee op te doen. In dit blog lees je een aantal voorbeelden waarmee ik zelf aan de slag ben gegaan. 

Een van de eerste oefeningen die ik tegenkwam was de website van Over the Wire.
Op de website staan verschillende “war games” waarmee je kunt oefenen met verschillende security concepten. Zo kan je beginnen met de Bandit wargame, deze is volledig gericht op beginners. Tijdens de verschillende levels leer je welke commando’s er in Linux zijn en moet je het wachtwoord voor het volgende level zien te achterhalen. Al snel ben je bezig met base64, openssl, nmap of zelfs een script om een pincode middels brute force te kraken.  

Als je alle Bandit levels hebt afgerond kan je nog 11 andere wargames op de site proberen waarbij het elke keer net een beetje moeilijker wordt. Met deze games leer je een hoop basis skills van security.

Na de oefeningen van Over the Wire, was ik op zoek naar een cursus waar ik theorie en praktijk samen kon brengen. Na verschillende opties die of heel veel geld kostten, of veel ervaring verwachtten, kwam ik uit bij TheCyberMentor.
Na verschillende YouTube videos van hem bekeken te hebben zag ik dat hij ook een Ethical Hacking cursus via Udemy aanbiedt. In de cursus komen veel verschillende onderwerpen aan bod zoals:

En er zit ook een onderdeel in om op de website Hack the Box 10 machines te kraken. De cursus is vooral gericht om informatie meteen toe te passen waardoor je het gelijk in de praktijk brengt. Dit is voor mij de meest prettige vorm van leren en zo blijf ik tijdens de cursus het meest gemotiveerd om door te gaan. Een aanrader!

Na de Ethical Hacking cursus wilde ik ook binnen Splunk verder kijken naar security.
Vanuit Splunk wordt er regelmatig een Boss of the SOC (BOTS) georganiseerd waarbij verschillende teams het tegen elkaar opnemen om binnen Splunk security vragen te beantwoorden door de data te analyseren. Door op deze manier leer je veel over de security mogelijkheden in Splunk.

Een aantal voorbeeldvragen zie je hieronder:

Het voordeel is dat je hier vrij eenvoudig ook zelf mee aan de slag kan gaan. Als je een Linux VM hebt dan kan je de dataset downloaden en de stappen die bij de scoring app staan volgen om je eigen BOTS machine in te richten. 

Hierna kan je op je eigen tempo de verschillende vragen proberen te beantwoorden. Enkele maanden terug hebben wij dit bij CINQ met de v2 dataset gedaan. In 2 teams gingen we aan de slag om te kijken wie de meeste punten kon halen, hierdoor leer je van elkaar. Dit is ontzettend leerzaam én gezellig om te doen met je Splunk team. We hopen dan ook dat we binnenkort een volgende Boss of the SOC sessie met de nieuwe dataset kunnen organiseren.

Naast BOTS is er nog een app die die je op weg kan helpen binnen Splunk en dat is Splunk Security Essentials. Deze app laat zien welke data security gerelateerd is, hoe je dit kan aansluiten en welke use-cases je vervolgens zou kunnen gebruiken. Het voordeel hiervan is dat de use-case wordt uitgelegd, er wordt aangegeven welke data je ervoor nodig hebt, en hoe de search binnen Splunk eruitziet.  Daarnaast zit er ook een MITRE ATT&CK framework in waarmee je kan zien welke use-cases door welke ATT&CK techniek gebruikt kunnen worden en of hiervoor de benodigde data al is aangesloten.

Het voordeel van de app is dat je op een simpele manier kan zien welke use-cases interessant zijn voor je eigen omgeving. Bij mijn opdrachtgever zijn we nu aan het kijken of we de koppeling naar Splunk Enterprise Security voor de MITRE ATT&CK informatie kunnen maken zodat we in Enterprise Security nog meer relevante informatie kunnen zien. 

Deze app heeft ook een demo omgeving die hier te vinden is.  Meer informatie over deze app is te vinden via splunksecurityessentials.com.

Aan de slag met security in Splunk

Sinds gisteravond (27 februari 2020) is het eerste Coronavirus geval in Nederland bekend. Het was een kwestie van tijd tot het virus ook in Nederland zou opdoemen. Vandaag (28 februari 2020) is ook meteen het tweede geval bekend gemaakt. Daarom dacht ik, tijd om eens in de data achter de outbreak van dit virus te gaan duiken om te zien waarom er zoveel ophef is over het Corona virus.

De eerste horde was het verkrijgen van de data. Het startpunt hier was de World Health Organisation, want deze hebben een hele nette website en publiceren elke dag een mooi rapport met daarin op zich goede data[1]. Echter wanneer je deze data moet gaan kopiëren en plakken, dan moet er een hoop in formatting aangepast worden. En 1 keer is dat prima maar ik wil een update-baar dashboard maken dus dat hield op.

Gelukkig ben ik niet de enige die denkt dat het handig is om deze data beschikbaar te hebben in een open format en zo kwam ik bij Isaac Lin van de University of HongKong terecht. Hij post updates van de data op Github[2] en daar kan ik met Splunk heel makkelijk en dankbaar gebruik van maken. Helaas gaat het hier over alleen Chinese data. Superhandig als ik zou willen zien hoe het zich in China verhoudt maar ik mis de rest van de wereld. Dus de zoektocht gaat door…

Uiteindelijk kwam ik uit bij HDX, zij stellen allerlei verschillende data ter beschikking en hebben iedere dag een update van de dataset voor het Coronavirus. In CSV, de hele wereld en met time series data waardoor ook heel goed te analyseren is wat er over tijd gebeurd met het virus. Eindelijk heb ik dus de data. En die kun jij ook gebruiken als je zelf aan de slag wilt [3]. Er zijn 3 databronnen: Confirmed, Deaths en Recovered.

Daarna het analyseren van de data in Splunk. Als eerste de data toegevoegd als lookup tables in Splunk. Het grote voordeel nu is dat wanneer ik nieuwe data toevoeg (en de data is te vinden op Github dus dat kan geautomatiseerd) dit automatisch ook in Splunk beschikbaar is. Daarna ben ik begonnen aan het maken van het overzicht.

Data per region was heel simpel, ik heb de 3 datasets allemaal in de search geladen en gefilterd op alleen data van de laatste dag (2/27/20). Daarna met het geostats commando de inzichten verspreid over de kaart (lat en long data velden waren beschikbaar in de data).

Corona outbreak over time was wat minder makkelijk. In de data is per column weergegeven op welke dag dit gebeurd is. Dit is niet hoe Splunk werkt, want die gaat er van uit dat de datum in de rijen zit en daarom moest dit worden getransformeerd. Gelukkig is hier het commando | transpose voor. Verder nog wat databewerkingen gedaan om te zorgen dat alles er netjes bij staat en met timechart het netjes uitgesmeerd over tijd.

Als laatste heb ik de single values die boven aan staan in het dashboard gemaakt. Het totaal aantal geregistreerde gevallen, de hoeveelheid doden en de recovered waren makkelijke panels om te maken, de death ratio was iets lastiger maar met 2 datasets bij elkaar en dan het percentage berekenen was dat ook prima te doen. De laatste panel geeft netjes inzicht in wanneer de data voor het laatst is geüpdate om dat voor iedereen helder te hebben.

In de glazen bol kijken kan natuurlijk maar gestaafd door de data wordt het natuurlijk pas echt interessant. Hieronder in basis dezelfde grafiek als de Corona outbreak over time in het dashboard, alleen word hier gekeken naar de totalen en niet de landen zelf. Als er dan gekeken word naar de groei in deze grafiek en dit doorgetrokken word dan is goed zichtbaar dat we de komende tijd waarschijnlijk nog niet van Corona af zijn. Volgens dit model passeren we op 5 maart de 100.000 infecties.

De outbreak van Corona gaat hard en loopt naar mate meer mensen geïnfecteerd raken alleen maar sneller op. Dit is natuurlijk een logisch gevolg want hoe meer mensen er besmet zijn hoe meer mensen ermee in aanraking kunnen komen. Het effect lijkt nog behoorlijk mee te vallen, een stijgende lijn is er zeker maar het is geen exponentiële stijging. In de data hebben we gezien dat de death rate van Corona op 3,4% ligt en dit is dan ook waarom er zoveel over Corona gezegd en geschreven wordt. Gewone griep ligt ongeveer op 0,5%[4] en dat maakt Corona een stuk gevaarlijker.

Het RIVM geeft een aantal tips om het Corona virus te voorkomen op de website [5]:

Hoest en nies in de binnenkant van je elleboog

Gebruik papieren zakdoekjes en gooi deze meteen na gebruik weg

Bronnen
[1] https://www.who.int/emergencies/diseases/novel-coronavirus-2019
[2] https://github.com/BlankerL/DXY-COVID-19-Data
[3] https://data.humdata.org/dataset/novel-coronavirus-2019-ncov-cases
[4] https://www.livescience.com/new-coronavirus-compare-with-flu.html
[5] https://www.rivm.nl/coronavirus/covid-19

Corona-virus: een data analyse met Splunk

Op kerstavond werd de Universiteit Maastricht getroffen door een ransomware aanval. Er werden 267 servers, waaronder een backup server en 2 werkstations, gecompromitteerd. De universiteit heeft uiteindelijk €197.000 losgeld betaald om de omgeving te herstellen. Op woensdag 5 februari gaf de universiteit een symposium waarin de leerpunten gedeeld werden met het publiek. Het symposium zelf was alleen voor genodigden, maar voor de geïnteresseerden werd een een livestream opgezet via Youtube.

Er zijn in de periode voorafgaand aan de ransomware aanval een aantal activiteiten geweest waar Universiteit Maastricht een lering uit heeft getrokken en deelt met het publiek. In deze blogpost lees je hoe met behulp van Splunk de ransomware aanval mogelijk eerder had kunnen worden gedetecteerd, en mogelijk zelfs voorkomen.

Hoe had Splunk kunnen helpen bij het tijdig detecteren van de aanval?

Splunk heeft een aparte app: “Enterprise Security” welke volledig gericht is op het Security Operations Center (SOC) binnen een organisatie. Niet elke organisatie heeft een SOC of de budgetten voor Enterprise Security. Het goede nieuws is, zonder Enterprise Security maar enkel met Splunk Enterprise kan Splunk al helpen om aanvallen zoals die van 23 december bij Universiteit Maastricht eerder te detecteren en daarmee zelfs te voorkomen.

De tijdslijn van de aanval op de universiteit

In de video van de Universiteit laten zij de tijdslijn van de aanval zien. Dit geeft een mooi inzicht in hoe de aanval is uitgevoerd en hieronder lees je per punt hoe Splunk daar bij had kunnen helpen.

Zoals in bovenstaande tijdslijn te zien is begon de aanval met de “initial compromise”, wat bij een ransomware aanval vaak via een phishing mail gaat. Op 15 en 16 oktober heeft de aanvaller meerdere mails met hetzelfde onderwerp verstuurd met daarin een link.
In SMTP logging is altijd de afzender, ontvanger en onderwerp van een e-mail zichtbaar, indien er geen end to end encryption gebruikt wordt is ook de inhoud zelf te monitoren. De inhoud zelf is niet per definitie nodig om dit middels Anomaly Detection inzichtelijk te maken. Anomaly Detection is een optie in Splunk Enterprise en kan gebruikt worden om afwijkend gedrag waar te nemen. Hiermee kan bijvoorbeeld herkend worden wanneer meerdere gebruikers een mail van buitenaf ontvangen met hetzelfde of een vergelijkbaar onderwerp. De phishing mail waarmee deze aanval werd opgestart had daarmee al gevonden kunnen worden.

Full control: Not updated Operating System

Op 21 november verkreeg de aanvaller vervolgens volledige controle over twee servers binnen het netwerk, deze waren niet voorzien van de laatste beveiligingsupdates.
Splunk biedt een aantal Technical Add-Ons (TA’s), waaronder één voor Windows en één voor Unix en Linux. Beide TA’s bieden monitoring voor updates aan, installeer deze TA’s op de systemen in het netwerk om inzicht te verkrijgen. Met deze TA’s kun je in één overzicht de benodigde updates voor de diverse operating systems monitoren.

Lateral movement is het (geautomatiseerd) verspreiden van gegevens binnen het netwerk, in dit geval de ransomware. Dit kan gebeuren door reguliere applicaties voor de verkeerde doeleinden in te zetten en is daardoor lastig(er) te detecteren. Beheerders gebruiken dezelfde applicaties voor dagelijkse werkzaamheden, maar wat onderscheidt de aanvaller van de beheerder?
Derek King schreef hier in 2018 al een blog over in de serie “Hunting With Splunk: The Basics”, met de titel: Spottings the Sings of Lateral Movement. In zijn blog gaat neemt hij de lezer stap voor stap mee om op basis van Windows Event Logging, welke via de genoemde TA in Splunk geladen is, te analyseren en gebruikelijk verkeer van ongebruikelijk verkeer te onderscheiden.

In het geval van Universiteit Maastricht was de aanvaller afhankelijk van bepaalde software om het uitrollen van de ransomware mogelijk te maken. Het anti virus programma detecteerde dit en blokkeerde de software. Echter, doordat de aanvaller volledige controle had over de servers kon de anti virus worden uitgeschakeld om alsnog de ransomware uit te rollen. De eerder genoemde TA’s van Splunk zijn ook in staat om het draaien van services en processen in kaart te brengen. Wordt er een service, zoals de anti-virus, (onverwacht) gestopt, brengt Splunk je hiervan op de hoogte en kunnen (geautomatiseerd) de benodigde vervolgstappen genomen worden. Hiermee had dus eerder gedetecteerd kunnen worden dat de anti-virus werd uitgeschakeld.

Menselijke awareness minstens zo belangrijk

Onze laatste blogs over Data