In mei is Splunk 8.2 gelanceerd en in deze blogpost licht ik een aantal van de nieuwe functionaliteiten toe. Vooral Federated Search en Dashboard Studio zijn de moeite waard om je een paar uur in te verdiepen. 

Eindelijk daar is 'ie dan: Federated search! Met federated search kunnen search heads (clusters) zoeken in verschillende Splunk omgevingen. Er kan bijvoorbeeld een mix gemaakt worden van on-premise en cloud Splunk instances. Voor klanten met grote omgeving waarbij meerdere cloud providers gecombineerd worden met een deel on-premise is dit een hele handige functie. Zo kan data binnen de omgeving blijven waar deze al is maar kan wel in 1 Splunk omgeving (search head) doorzocht worden. In de afbeelding hieronder is schematisch weergegeven hoe dit werkt. De search head maakt verbinding met de federated provider 1 en kan hiermee via de search head in dat cluster de data in de indexers doorzoeken. Ook is het mogelijk remote datasets te kunnen gebruiken. Die datasets zijn erg interessant want hiermee is het ook mogelijk om lokale lookup files uit te kunnen lezen in een ander cluster. Erg handig wanneer er bij 1 klant meerdere search head clusters zijn (vaak het geval wanneer de klant 1 of meerdere enterprise apps draait zoals Enterprise Security of ITSI).

Meer informatie over hoe dit technisch in elkaar steekt staat hier.

Iedereen die wel eens met Splunk werkt weet dat het dashboard maken best prima werkt zolang je een standaard dashboard maakt. Maar als je iets buiten de gebaande kaders wil dan moet je aan de gang met zelf geschreven CSS en JavaScript. Werkt redelijk maar echt top werkt het niet. Daar is Splunk zelf inmiddels ook achter en daarom hebben ze dashboard studio gelanceerd. In dashboard studio kun je met een makkelijke interface gave dashboards zoals hierbeneden maken. Top om binnenkort op een regenachtige vrijdag middag eens even mee te spelen!

Backup & restore KVstore; niet nieuw maar wel fors verbeterd.


Durable search; waarmee kan worden geforceerd dat scheduled reports/alerts opnieuw uitgevoerd worden als de results incompleet zijn.


Improved handling of JSON; de functies json_array_to_mv, mv_to_json_array, json_append function en json_extend zijn toegevoegd. 

Voor het complete overzicht van alle nieuwe features in Splunk 8.2, bekijk de  Splunk Docs.

Splunk 8.2 is nog niet productie ready (ik zou dan nog even wachten tot 8.2.1) maar voor de testomgeving is dit zeker al aan te raden!

Maak gebruik van de Python Update Readiness app om te bepalen of je omgeving klaar is voor het uitfaseren van Python 2.7.

In mei 2021 is Splunk 8.2 gelanceerd en in deze blog bespreken we twee mooie nieuwe features: Federated Search en Dashboard Studio.

Federated Search in Splunk 8.2

Federated search nu beschikbaar in Splunk 8.2

A year after Splunk’s big release of version 8, the company now released Splunk 8.1 during their legendary (and virtual) Conf2020. As each release has many new features, in this article I would like to highlight some of these and discuss why they are interesting for users and admins based on my own practical experience. 

The new features that I would like to touch upon are:

Imagine you have the task of developing a new monitoring dashboard for your team and each of the panels have somewhat similar searches. In developing each panel, you probably perform multiple searches before getting to the ultimate search query. In previous versions of Splunk, each new search query was overwritten by the other in the search query bar. If you wanted to use a previous search query you specifically had to go to a search history panel to find your earlier search queries unless you had saved it on your clipboard. In other words, for your search history you had to look at different locations or perform multiple clicks, which felt like spending more time in finding previous searches and made searching sometimes less comfortable. This little issue is now solved in the new release of Splunk 8.1 

Splunk now added a new shortcut feature that allows you to quickly snip to previous search queries you performed. The shortcuts that can be used are Alt/Ctrl P (for previous) and Alt/ Ctrl N (for next) depending your operating system. Personally, I am very enthusiastic about this feature as it helps in actually spending time on performing searches instead of finding previous queries.

Another little feature that improves the experience of building searches and dashboards is the ability of adding comments in search queries. Similar to writing scripts, this way, you can make your search clear for others or leave a reminder for yourself when you continue the other day. This can be really helpful for Splunk users as well as admins. 

For instance, your comment could state what you are trying to do with this search or highlight the reason for a certain argument in your search query. In terms of troubleshooting, you can also specifically indicate with which argument you are struggling. 

From my admin experience, I once found this terrible search with 21 sub-searches of a certain user, which he had copied to multiple dashboards at his department. He probably was very proud of getting this big search to work. However, for me as a Splunk admin who wants to keep his platform running smooth and efficiently I wanted to help him out in improving his search. But looking at his query without the purpose or his ideas behind this big search makes it challenging to support. In this case, comments would definitely help in making a long search more readable as these could state why certain decisions or reasons for an argument were made. The possibility of adding comments can also help admins in supporting their Splunk users.

You can add a comment by adding three backticks ( ``` ) before and after your comments.

1.comments.png

For those Splunk users, who are unfamiliar with writing Splunk queries or who are new to Splunk, there is now a new feature called “Table views”. This feature allows you to easily create a table by clicking through the UI. This feature has been added to the datasets tab. As can be seen in the displayed figure, you can simply specify, which index, source, host you want to search and how you want your table exposed. In the background Splunk automatically writes the query for you, which you can easily export to a dashboard. Personally, I believe this is a great feature, especially for novices. I have seen in multiple companies that the adoption of Splunk is sometimes somewhat challenging for teams as they have to start writing queries, which is not common for each and every person. I believe this feature could remove some of the challenges when starting with Splunk.

Imagine that you as a Splunk admin, are going to implement a big change (like updating to Splunk 8.1) on your Splunk platform and you need to inform all your Splunk users, when this is going to happen and where they can find more information about this. Or imagine that you need to perform a restart of the search head during daytime, which impacts the users. How can we ensure that we reach all our Splunk users? A question that I have seen a couple of times in these kind of cases before. The new banner feature provides the possibility to communicate to all current Splunk users by displaying a bar on top of the Splunk page. This bar can be presented in multiple colors and may contain a message or link to a certain page. Personally, I am very enthusiastic about this feature. I have been in a position where I had to send an email to 1500+ Splunk users during a summer period regarding a change that we were going to perform and received 400+ out of office replies in my personal inbox. The intention is to reach every Splunk user that was using Splunk at that time. However, as we only had a list of registered Splunkers available, we had to contact everyone as we did not know who was actually using Splunk that week. This banner feature can now support us Splunk admins in reaching out to our Splunk users. Great work Splunk!

Workload management, the management of workloads on a Splunk platform has already been introduced before. However, in this release Splunk now also added admission rules. These rules support in the management of workloads depending on business needs. For instance, very often in practice, Splunk users, which have discovered the wildcard trick, define index=* coupled with some search terms in their query in order to find their data. 

It could be that they do not know the name of their index or some are simply to lazy to investigate what the index is and, therefore, decide to use “index=*”. As a consequence, this could have a very negative impact on the performance of the Splunk platform when running a query with this search term over a longer period of time. You could compare this to going to a library where you need to go through every single book out there as you do not know in which category the info you are looking for resides. You are simply telling Splunk to look through every single index over a certain time period, which takes processing power, and so impacts other users that want to perform search queries as well. With workload user management rules, you can now instruct Splunk to ignore wildcard search, which reduces the unexpected workloads on your platform. Besides wildcard searches, it is also possible to filter on “all time” time range searches or disallow searches in peak hours. So, this is a great feature to support admins in controlling their platform and reducing the chance of unexpected workloads.

These are five of the new features that the new release of Splunk 8.1 offers, which I believe, based on my own experiences, are great for Splunk users and admins. Further information regarding other features that common with this release, can be found at the following page: 

https://www.splunk.com/en_us/blog/conf-splunklive/what-s-new-with-splunk-enterprise-8-1.html

In this blog we talk about 5 new features in Splunk 8.1 and how they work.

5 new features in Splunk 8.1

Starters op de woningmarkt, een onderwerp dat regelmatig in het nieuws voorbij komt. Al een aantal jaar is de vraag naar woningen groter dan het aanbod, waardoor de prijzen flink zijn gestegen. Dit maakt dat het voor starters lastig is om zich in te kopen op de markt. Overbieden is tegenwoordig eerder de norm dan een uitzondering op de regel. Daarnaast zijn woning vaak al verkocht voordat je ze online hebt kunnen spotten, wat een aardige uitdaging is naast een 40urige werkweek. Kortom, voor een starter is het een hele uitdaging om de woningmarkt nauwlettend in de gaten te houden en er bovenop te zitten naast een fulltimebaan.

Als consultant op het gebied van datamonitoring en als nieuwkomer op de woningmarkt zag ik hier een kans voor een cool persoonlijk Splunk project. Mijn huizenjacht focuste zich op de woningmarkt in Rotterdam. Ondanks dat verschillende makelaars met ieder hun eigen aanbod en Funda al redelijk veel ondersteuning bieden, zat ik toch met verschillende vragen.

Wanneer komen nou de meeste huizen online? Welke huizen zijn vandaag online gekomen en in welke buurt? Ok, en voor deze buurt, wat is de gemiddelde vraagprijs? Is de vraagprijs voor deze woning aan de hoge kant? Wat is de m2 prijs?

Uiteindelijk heb ik mijn eigen monitoring dashboards gemaakt in Splunk, die mij net meer diepgang en inzicht kunnen geven in de Rotterdamse woningmarkt. Het is een ongoing project en graag presenteer ik in dit blog wat eerste resultaten. Daarna zal ik op bepaalde technische aspecten wat dieper ingaan. Qua data is alleen een geselecteerd aantal buurten en prijsklasse opgenomen die ik mogelijk interessant vond.

1.panel-kaart.png

Dit dashboard geeft net zoals Funda in één oogopslag welke huizen er waar te koop zijn in Rotterdam. De single values tonen respectievelijk het totale aantal koopwoning (in mijn index), het aantal nieuwe koopwoningen vandaag, het aantal nieuwe koopwoningen gisteren, deze week, vorige week, twee weken geleden, drie weken geleden en ouder dan een maand. Verder kan er linksboven ook op specifieke buurten in de stad gefilterd worden, voor wanneer er alleen interesse is voor een bepaalde buurt. Op het eerste gezicht een heel eenvoudig dashboard. Maar door wat drilldown magic toe te passen kun je hier veel meer informatie uit halen.

3.kaart-streetview.png

2.tabel.png

Wanneer je bijvoorbeeld op de single value “vandaag” klikt, verandert het aantal pijlen en zie je waar welke woningen vandaag online zijn gekomen. Daarnaast verschijnt er onderaan ook een tabel met meer gegevens over deze nieuwe koopwoningen. Zo zie je naast het adres, de vraagprijs, prijs per m2, buurt/wijk en de publicatiedatum & tijdstip. Wanneer je liever op de kaart speurt, kun je ook op een pijl klikken en die geeft ook meer details van de koopwoning. Zie je een interessante woning en ben je nieuwsgierig naar de buurt, dan kun je nog verder ‘drillen’ naar een panel die gelijk de woning op Google Streetview laat zien. Zo zie je gelijk of de straat of woning je aanspreekt.

5.statistieken1.png

6.statistieken2.png

Dashboard 2: Woningmarkt Rotterdam statistieken

Dit dashboard presenteert statistieken van de Rotterdamse woningmarkt. Ideaal voor een nieuwkomer die nog niet bekend is met de huidige woningmarkt in zijn/haar stad. Het dashboard is momenteel nog vrij basic en bestaat uit vijf panels. In de toekomst gaat deze nog verder uitgebreid worden en krijgt deze een visuele upgrade.

Het eerste panel geeft antwoord op de vraag wanneer de meeste woningen online komen en in dit specifieke geval op Funda. Voor Rotterdam komen de meeste woningen blijkbaar ’s nachts rond 0:00 online. 

Het tweede panel presenteert hoeveel woningen er per wijk te koop zijn (geweest). Zo kun je zien in welke wijk de meeste woningen te koop komen. Op langer termijn kan dit nog uitgezet worden tegen de tijd, wat je bijvoorbeeld een indicatie kan geven wanneer in welke wijk de meeste woningen online komen. Of een trendlijn die kan laten zien of het aantal toe/afneemt.

De gemiddelde vraagprijs voor een woning per buurt verschilt en dit wordt weergegeven in het derde panel. Deze wordt berekend door de vraagprijs gedeeld door het aantal woningen per buurt. Deze zal over tijd nauwkeuriger worden wanneer er meer woningen in de index zitten. Hetzelfde geldt voor het panel daarna, waarin je per buurt kunt zien wat de gemiddelde m2 prijs is. Zo weet je dus in welke buurt de woningen relatief gezien het duurste zijn.

In het laatste panel is te zien welke hoeveelheid m2 woning het meeste aangeboden is tot nu toe in de index in dit project. Zo weet een nieuwkomer vrij snel wat de grootte van de meeste woningen zijn die in de verkoop komen.

De data voor dit project komt uit verschillende bronnen. Allereerst voor de gegevens omtrent de woningen die in de verkoop komen, wordt er gebruik gemaakt van de RSS feed van Funda. De RSS feed bevat de volgende gegevens: straatnaam, huisnummer, vraagprijs, oppervlakte en het aantal kamers. De feed kan precies met een aantal filters getweakt worden, zodat je alleen de woningen krijgt die jij interessant vindt. In dit geval heb ik gefilterd op een aantal buurten, stad en een prijsklasse.

Voor zowel Google Streetview en coördinaten is er een connectie gemaakt met twee API’s van Google Cloud, namelijk Geocoding API en Maps API. Dit kost nog geen halve euro per maand. In het eerste jaar kun je hier overigens gratis gebruik van maken. Echter om de juiste coördinaten op te vragen is er een straat, huisnummer en postcode nodig. De straat en huisnummer kan uit de RSS feed van Funda gehaald worden. 

Voor de gegevens omtrent postcode, buurt en gemeente, is er gebruik gemaakt van een aantal CSV’s van het CBS. Destijds was alleen de dataset uit 2019 beschikbaar. Het CBS biedt datasets aan met informatie over gemeenten, buurten, wijken en postcode van heel Nederland. Voor dit project zijn er 4 CSV’s samengevoegd tot een lookup tabel en gefilterd op de gemeente Rotterdam. Gezien sommige datasheets meer dan een miljoen regels bevatten (wat excel niet aan kan) is dit een ideale klus voor Splunk. In de volgend afbeelding is te zien wat de verschillende CSV’s waren en hoe deze zijn samengevoegd. 

Om uiteindelijk de data te kunnen gebruiken in Splunk is er gebruik gemaakt van de volgende Splunk apps: “Google Geocode app” en “Maps+ for Splunk”. Deze apps zijn beiden beschikbaar in Splunkbase. 

De Google Geocode App helpt je in het vertalen van een adres (straatnaam, huisnummer en postcode) naar Latitude en Longitude coördinaten. Aan de achterkant wordt de Geocoding API aangesproken in Google Cloud. De opgehaalde coördinaten worden samen met het adres, de oppervlakte, het aantal kamers, de vraagprijs, buurt, wijk en gemeenten opgeslagen in een summary index. 

Deze summary index wordt vervolgens gebruikt in de Maps+ for Splunk app. Hoewel er ook andere apps/add-ons zijn voor Google is er voor deze app gekozen gezien deze op stad/straat niveau de kaart kan weergeven. Daarnaast biedt deze app ook de functionaliteit om een Google Streetview panel te maken. Wat zoals eerder beschreven op een dashboard is geïmplementeerd. Dit panel maakt op de achtergrond een verbinding met de Maps API in Google Cloud. Deze geeft op basis van de coördinaten vervolgens op streetview een visualisatie weer.

Het is een ongoing project waar nog veel meer uitgehaald kan worden. Ik zie steeds weer andere mogelijkheden en heb verschillende ideeën. Qua dashboard, ben ik bezig met de Splunk Dashboard Beta app om Rotterdam nog beter te kunnen visualiseren en het dashboard naar een hoger niveau te tillen. Verder gezien ik op langer termijn meer data heb wil ik trendlines gaan toevoegen en mogelijk biedt machine learning nog bepaalde voorspellende mogelijkheden. Verder ben ik aan het onderzoeken of ik ook de actuele verkoopprijzen kan verkrijgen zodat je kunt gaan zien hoeveel er gemiddeld overboden wordt. De vraag is echter of deze data vrij te verkrijgen is. Er zullen vast nog andere toffe ideeën zijn. Mocht jij er een hebben, let me know! 

Hoe ik tijdens mijn huizenjacht met behulp van Splunk de Rotterdamse woningmarkt in kaart heb gebracht.

De Rotterdamse woningmarkt in kaart met behulp van Splunk

Splunk is vooral bekend van haar kracht om inzicht in applicaties te geven, maar wordt vaak ook vanuit security oogpunt gebruikt. Als Splunk consultant kom je daardoor vaak in aanraking met security gerelateerde use-cases. Doordat ik zelf weinig ervaring had met cybersecurity ben ik op zoek gegaan naar mogelijkheden om hier meer ervaring mee op te doen. In dit blog lees je een aantal voorbeelden waarmee ik zelf aan de slag ben gegaan. 

Een van de eerste oefeningen die ik tegenkwam was de website van Over the Wire.
Op de website staan verschillende “war games” waarmee je kunt oefenen met verschillende security concepten. Zo kan je beginnen met de Bandit wargame, deze is volledig gericht op beginners. Tijdens de verschillende levels leer je welke commando’s er in Linux zijn en moet je het wachtwoord voor het volgende level zien te achterhalen. Al snel ben je bezig met base64, openssl, nmap of zelfs een script om een pincode middels brute force te kraken.  

Als je alle Bandit levels hebt afgerond kan je nog 11 andere wargames op de site proberen waarbij het elke keer net een beetje moeilijker wordt. Met deze games leer je een hoop basis skills van security.

Na de oefeningen van Over the Wire, was ik op zoek naar een cursus waar ik theorie en praktijk samen kon brengen. Na verschillende opties die of heel veel geld kostten, of veel ervaring verwachtten, kwam ik uit bij TheCyberMentor.
Na verschillende YouTube videos van hem bekeken te hebben zag ik dat hij ook een Ethical Hacking cursus via Udemy aanbiedt. In de cursus komen veel verschillende onderwerpen aan bod zoals:

En er zit ook een onderdeel in om op de website Hack the Box 10 machines te kraken. De cursus is vooral gericht om informatie meteen toe te passen waardoor je het gelijk in de praktijk brengt. Dit is voor mij de meest prettige vorm van leren en zo blijf ik tijdens de cursus het meest gemotiveerd om door te gaan. Een aanrader!

Na de Ethical Hacking cursus wilde ik ook binnen Splunk verder kijken naar security.
Vanuit Splunk wordt er regelmatig een Boss of the SOC (BOTS) georganiseerd waarbij verschillende teams het tegen elkaar opnemen om binnen Splunk security vragen te beantwoorden door de data te analyseren. Door op deze manier leer je veel over de security mogelijkheden in Splunk.

Een aantal voorbeeldvragen zie je hieronder:

Het voordeel is dat je hier vrij eenvoudig ook zelf mee aan de slag kan gaan. Als je een Linux VM hebt dan kan je de dataset downloaden en de stappen die bij de scoring app staan volgen om je eigen BOTS machine in te richten. 

Hierna kan je op je eigen tempo de verschillende vragen proberen te beantwoorden. Enkele maanden terug hebben wij dit bij CINQ met de v2 dataset gedaan. In 2 teams gingen we aan de slag om te kijken wie de meeste punten kon halen, hierdoor leer je van elkaar. Dit is ontzettend leerzaam én gezellig om te doen met je Splunk team. We hopen dan ook dat we binnenkort een volgende Boss of the SOC sessie met de nieuwe dataset kunnen organiseren.

Naast BOTS is er nog een app die die je op weg kan helpen binnen Splunk en dat is Splunk Security Essentials. Deze app laat zien welke data security gerelateerd is, hoe je dit kan aansluiten en welke use-cases je vervolgens zou kunnen gebruiken. Het voordeel hiervan is dat de use-case wordt uitgelegd, er wordt aangegeven welke data je ervoor nodig hebt, en hoe de search binnen Splunk eruitziet.  Daarnaast zit er ook een MITRE ATT&CK framework in waarmee je kan zien welke use-cases door welke ATT&CK techniek gebruikt kunnen worden en of hiervoor de benodigde data al is aangesloten.

Het voordeel van de app is dat je op een simpele manier kan zien welke use-cases interessant zijn voor je eigen omgeving. Bij mijn opdrachtgever zijn we nu aan het kijken of we de koppeling naar Splunk Enterprise Security voor de MITRE ATT&CK informatie kunnen maken zodat we in Enterprise Security nog meer relevante informatie kunnen zien. 

Deze app heeft ook een demo omgeving die hier te vinden is.  Meer informatie over deze app is te vinden via splunksecurityessentials.com.

Aan de slag met security in Splunk

Sinds gisteravond (27 februari 2020) is het eerste Coronavirus geval in Nederland bekend. Het was een kwestie van tijd tot het virus ook in Nederland zou opdoemen. Vandaag (28 februari 2020) is ook meteen het tweede geval bekend gemaakt. Daarom dacht ik, tijd om eens in de data achter de outbreak van dit virus te gaan duiken om te zien waarom er zoveel ophef is over het Corona virus.

De eerste horde was het verkrijgen van de data. Het startpunt hier was de World Health Organisation, want deze hebben een hele nette website en publiceren elke dag een mooi rapport met daarin op zich goede data[1]. Echter wanneer je deze data moet gaan kopiëren en plakken, dan moet er een hoop in formatting aangepast worden. En 1 keer is dat prima maar ik wil een update-baar dashboard maken dus dat hield op.

Gelukkig ben ik niet de enige die denkt dat het handig is om deze data beschikbaar te hebben in een open format en zo kwam ik bij Isaac Lin van de University of HongKong terecht. Hij post updates van de data op Github[2] en daar kan ik met Splunk heel makkelijk en dankbaar gebruik van maken. Helaas gaat het hier over alleen Chinese data. Superhandig als ik zou willen zien hoe het zich in China verhoudt maar ik mis de rest van de wereld. Dus de zoektocht gaat door…

Uiteindelijk kwam ik uit bij HDX, zij stellen allerlei verschillende data ter beschikking en hebben iedere dag een update van de dataset voor het Coronavirus. In CSV, de hele wereld en met time series data waardoor ook heel goed te analyseren is wat er over tijd gebeurd met het virus. Eindelijk heb ik dus de data. En die kun jij ook gebruiken als je zelf aan de slag wilt [3]. Er zijn 3 databronnen: Confirmed, Deaths en Recovered.

Daarna het analyseren van de data in Splunk. Als eerste de data toegevoegd als lookup tables in Splunk. Het grote voordeel nu is dat wanneer ik nieuwe data toevoeg (en de data is te vinden op Github dus dat kan geautomatiseerd) dit automatisch ook in Splunk beschikbaar is. Daarna ben ik begonnen aan het maken van het overzicht.

Data per region was heel simpel, ik heb de 3 datasets allemaal in de search geladen en gefilterd op alleen data van de laatste dag (2/27/20). Daarna met het geostats commando de inzichten verspreid over de kaart (lat en long data velden waren beschikbaar in de data).

Corona outbreak over time was wat minder makkelijk. In de data is per column weergegeven op welke dag dit gebeurd is. Dit is niet hoe Splunk werkt, want die gaat er van uit dat de datum in de rijen zit en daarom moest dit worden getransformeerd. Gelukkig is hier het commando | transpose voor. Verder nog wat databewerkingen gedaan om te zorgen dat alles er netjes bij staat en met timechart het netjes uitgesmeerd over tijd.

Als laatste heb ik de single values die boven aan staan in het dashboard gemaakt. Het totaal aantal geregistreerde gevallen, de hoeveelheid doden en de recovered waren makkelijke panels om te maken, de death ratio was iets lastiger maar met 2 datasets bij elkaar en dan het percentage berekenen was dat ook prima te doen. De laatste panel geeft netjes inzicht in wanneer de data voor het laatst is geüpdate om dat voor iedereen helder te hebben.

In de glazen bol kijken kan natuurlijk maar gestaafd door de data wordt het natuurlijk pas echt interessant. Hieronder in basis dezelfde grafiek als de Corona outbreak over time in het dashboard, alleen word hier gekeken naar de totalen en niet de landen zelf. Als er dan gekeken word naar de groei in deze grafiek en dit doorgetrokken word dan is goed zichtbaar dat we de komende tijd waarschijnlijk nog niet van Corona af zijn. Volgens dit model passeren we op 5 maart de 100.000 infecties.

De outbreak van Corona gaat hard en loopt naar mate meer mensen geïnfecteerd raken alleen maar sneller op. Dit is natuurlijk een logisch gevolg want hoe meer mensen er besmet zijn hoe meer mensen ermee in aanraking kunnen komen. Het effect lijkt nog behoorlijk mee te vallen, een stijgende lijn is er zeker maar het is geen exponentiële stijging. In de data hebben we gezien dat de death rate van Corona op 3,4% ligt en dit is dan ook waarom er zoveel over Corona gezegd en geschreven wordt. Gewone griep ligt ongeveer op 0,5%[4] en dat maakt Corona een stuk gevaarlijker.

Het RIVM geeft een aantal tips om het Corona virus te voorkomen op de website [5]:

Hoest en nies in de binnenkant van je elleboog

Gebruik papieren zakdoekjes en gooi deze meteen na gebruik weg

Bronnen
[1] https://www.who.int/emergencies/diseases/novel-coronavirus-2019
[2] https://github.com/BlankerL/DXY-COVID-19-Data
[3] https://data.humdata.org/dataset/novel-coronavirus-2019-ncov-cases
[4] https://www.livescience.com/new-coronavirus-compare-with-flu.html
[5] https://www.rivm.nl/coronavirus/covid-19

Corona-virus: een data analyse met Splunk

Op kerstavond werd de Universiteit Maastricht getroffen door een ransomware aanval. Er werden 267 servers, waaronder een backup server en 2 werkstations, gecompromitteerd. De universiteit heeft uiteindelijk €197.000 losgeld betaald om de omgeving te herstellen. Op woensdag 5 februari gaf de universiteit een symposium waarin de leerpunten gedeeld werden met het publiek. Het symposium zelf was alleen voor genodigden, maar voor de geïnteresseerden werd een een livestream opgezet via Youtube.

Er zijn in de periode voorafgaand aan de ransomware aanval een aantal activiteiten geweest waar Universiteit Maastricht een lering uit heeft getrokken en deelt met het publiek. In deze blogpost lees je hoe met behulp van Splunk de ransomware aanval mogelijk eerder had kunnen worden gedetecteerd, en mogelijk zelfs voorkomen.

Hoe had Splunk kunnen helpen bij het tijdig detecteren van de aanval?

Splunk heeft een aparte app: “Enterprise Security” welke volledig gericht is op het Security Operations Center (SOC) binnen een organisatie. Niet elke organisatie heeft een SOC of de budgetten voor Enterprise Security. Het goede nieuws is, zonder Enterprise Security maar enkel met Splunk Enterprise kan Splunk al helpen om aanvallen zoals die van 23 december bij Universiteit Maastricht eerder te detecteren en daarmee zelfs te voorkomen.

De tijdslijn van de aanval op de universiteit

In de video van de Universiteit laten zij de tijdslijn van de aanval zien. Dit geeft een mooi inzicht in hoe de aanval is uitgevoerd en hieronder lees je per punt hoe Splunk daar bij had kunnen helpen.

Zoals in bovenstaande tijdslijn te zien is begon de aanval met de “initial compromise”, wat bij een ransomware aanval vaak via een phishing mail gaat. Op 15 en 16 oktober heeft de aanvaller meerdere mails met hetzelfde onderwerp verstuurd met daarin een link.
In SMTP logging is altijd de afzender, ontvanger en onderwerp van een e-mail zichtbaar, indien er geen end to end encryption gebruikt wordt is ook de inhoud zelf te monitoren. De inhoud zelf is niet per definitie nodig om dit middels Anomaly Detection inzichtelijk te maken. Anomaly Detection is een optie in Splunk Enterprise en kan gebruikt worden om afwijkend gedrag waar te nemen. Hiermee kan bijvoorbeeld herkend worden wanneer meerdere gebruikers een mail van buitenaf ontvangen met hetzelfde of een vergelijkbaar onderwerp. De phishing mail waarmee deze aanval werd opgestart had daarmee al gevonden kunnen worden.

Full control: Not updated Operating System

Op 21 november verkreeg de aanvaller vervolgens volledige controle over twee servers binnen het netwerk, deze waren niet voorzien van de laatste beveiligingsupdates.
Splunk biedt een aantal Technical Add-Ons (TA’s), waaronder één voor Windows en één voor Unix en Linux. Beide TA’s bieden monitoring voor updates aan, installeer deze TA’s op de systemen in het netwerk om inzicht te verkrijgen. Met deze TA’s kun je in één overzicht de benodigde updates voor de diverse operating systems monitoren.

Lateral movement is het (geautomatiseerd) verspreiden van gegevens binnen het netwerk, in dit geval de ransomware. Dit kan gebeuren door reguliere applicaties voor de verkeerde doeleinden in te zetten en is daardoor lastig(er) te detecteren. Beheerders gebruiken dezelfde applicaties voor dagelijkse werkzaamheden, maar wat onderscheidt de aanvaller van de beheerder?
Derek King schreef hier in 2018 al een blog over in de serie “Hunting With Splunk: The Basics”, met de titel: Spottings the Sings of Lateral Movement. In zijn blog gaat neemt hij de lezer stap voor stap mee om op basis van Windows Event Logging, welke via de genoemde TA in Splunk geladen is, te analyseren en gebruikelijk verkeer van ongebruikelijk verkeer te onderscheiden.

In het geval van Universiteit Maastricht was de aanvaller afhankelijk van bepaalde software om het uitrollen van de ransomware mogelijk te maken. Het anti virus programma detecteerde dit en blokkeerde de software. Echter, doordat de aanvaller volledige controle had over de servers kon de anti virus worden uitgeschakeld om alsnog de ransomware uit te rollen. De eerder genoemde TA’s van Splunk zijn ook in staat om het draaien van services en processen in kaart te brengen. Wordt er een service, zoals de anti-virus, (onverwacht) gestopt, brengt Splunk je hiervan op de hoogte en kunnen (geautomatiseerd) de benodigde vervolgstappen genomen worden. Hiermee had dus eerder gedetecteerd kunnen worden dat de anti-virus werd uitgeschakeld.

Menselijke awareness minstens zo belangrijk

De universiteit geeft te kennen dat de menselijke factor, awareness, het belangrijkst is. Of de medewerkers phishings mails herkennen is lastig in kaart te brengen middels een tool als Splunk, maar wel een belangrijke stop om je netwerk te beschermen tegen aanvallen van buitenaf. Ook het beleid op netwerkscheiding, updates, backups en de rechten op de servers worden genoemd als de belangrijkste geleerde lessen.

Splunk is een tool waarin je verschillende databronnen kunt laten samenkomen, van ongestructureerde logging, tot relationele databases en alles daar tussen in. Splunk biedt de middelen om deze data te correleren en te vertalen naar informatie. Met de verschillende add-ons en standaard functionaliteit van splunk, kun je met deze informatie je organisatie beschermen tegen dit soort ransomware aanvallen.

Bronnen:
https://www.security.nl/posting/642452/Universiteit+Maastricht+werd+besmet+via+phishingmail+en+verouderde+software
https://www.splunk.com/en_us/blog/security/spotting-the-signs-of-lateral-movement.html
Splunkbase: Windows Technical Add-on
Splunkbase: Unix en Linux Technical Add-on

Kijk hier de volledige livestream van de Universiteit Maastricht terug

Lessons learnt cyberattack UM

Hoe Splunk de Universiteit Maastricht had kunnen helpen

Op 19 oktober 2019 heeft Splunk tijdens .conf Splunk 8.0 aangekondigd. Terwijl in Las Vegas een grote zaal Splunk Ninja’s de opening van dit meerdaagse event meemaakte kwam de release van Splunk 8.0 online.

De afgelopen week hebben we bij CINQ al even met de nieuwe release gespeeld en hebben wat leuke dingen gevonden:

Met de Splunk Dashboards App (Beta) kun je op een veel flexibelere manier dashboards maken dan dat we van Splunk gewend zijn.
Dit betekent dat het eindelijk gemakkelijk is om de breedte van een paneel te bepalen door te slepen en te doen. Wat heel fijn is is dat er ook op de pixel bepaald kan worden hoe groot dit moet zijn, voor de mensen die graag perfecte dashboards willen!

Met de analytics tab kan snel en makkelijk een grafiek bij elkaar geklikt worden. Splunk maakt voor haar eigen metrics nu ook gebruik van de metrics store. Dit zorgt ervoor dat dit in de metrics store gebruikt kan worden en dat de performance vele malen beter is dan voorheen.

Toegang kan nu ook gezet worden op het niveau van geïndexeerde velden. Dit betekent dat er naast toegang alleen maar op de index, er nu bijvoorbeeld ook toegang gezet kan worden op source, sourcetype en nog veel meer geïndexeerde velden. Vooral met GDPR in het achterhoofd is dit een zeer welkome functie.

Verder zitten er in deze release verbeteringen in performance van bundle pushes naar search heads vanaf de deployer, van de bundle naar de search peer performance en Splunk tokens for REST api’s.

Hoewel het af te raden is om versie 8.0 in productie te gebruiken is het zeker aan te raden op de testomgeving vast bekend te worden met deze release en in productie te gaan wanneer de 8-versie stabiel is.

Wil je meer weten over Splunk 8.0? Neem contact met ons op!

3 nieuwe features in Splunk 8.0

In een wereld die sneller verandert dan ooit, is er één vaste waarde waarin alles terug te vinden is en samenkomt: big data. Terecht een hot topic en niet alleen voor IT bedrijven. Elke bedrijfstak onderkent inmiddels de meerwaarde van inzicht in data.

Wij helpen organisaties het verschil te maken met die data. Ons doel is om data veilig en snel, overal beschikbaar en concreet toepasbaar te krijgen. Om met vernieuwende insights alle processen en structuren te optimaliseren. Zo helpen wij andere organisaties nú het verschil te maken voor de wereld van morgen.

Om onze klanten verder te helpen met hun data, werken we graag met Splunk: een operational data-intelligencetool die snel en adequaat data verzamelt uit iedere (ongestructureerde) databron. Van logistieke data tot webserver-data. Oftewel: een custom, realtime vindmachine voor de hele IT-omgeving.

Omdat we zo enthousiast zijn over Splunk, willen we onze kennis en ervaring op dit gebied graag delen. En komen we graag met andere Splunk enthousiastelingen in contact om andere ervaringen en verhalen te horen.

Daarom hebben we de Splunk NL community opgericht, op het platform van Meetup.com.

Het doel van deze community is het bijeen brengen van Splunk gebruikers, admins, architecten en andere enthousiastelingen die graag hun ervaringen en ideeën willen uitwisselen. We willen eens per kwartaal een meetup organiseren, waarbij technische demo’s en klantcases centraal staan. Als je lid wordt van de community, wordt je automatisch op de hoogte gehouden van alle meetups die we organiseren.

De eerste Splunk meetup staat gepland op woensdag 19 juni. We zorgen voor een hapje en een drankje, en we zorgen er voor dat er twee interessante Splunk cases de revu passeren. Het precieze programma wordt later bekend gemaakt en vanaf drie weken van te voren kun je je inschrijven zodat je er bij kunt zijn!

Zien we je daar? Je kunt hier lid worden van de Splunk NL community!

Wordt lid van onze Splunk community!

Wanneer je Splunk installeert op een Linux systeem is het in bijna alle gevallen aan te raden om specifieke settings op Linux aan te passen voor een betere performance van Splunk.

In deze post noemen we twee van deze settings, die belangrijk zijn om aan te passen op een Linux systeem: THP en Ulimit.

“THP has been associated with degradation of Splunk Enterprise performance in at least some Linux kernel versions (for example, the 2.6.32 kernel used in Red Hat Enterprise Linux 6). When enabled, THP can significantly degrade overall system performance on systems that run Splunk Enterprise because of several issues:”

Deze quote uit de Splunk documentatie zegt genoeg. Voor een betere performance zullen we THP dus moeten disablen.
Meer over Transparent Huge Pages vind je via de volgende link: THP

Volg onderstaande stappen om de settings voor THP persistent te maken:

Ga naar /etc/rc.d op het Linux file systeem

Pas de file rc.local aan met de onderstaande settings

rc.local
touch /var/lock/subsys/local
if test -f /sys/kernel/mm/transparent_hugepage/enabled;
then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag;
then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

Vergeet niet om het bestand rc.local executable te maken →
chmod ug+x rc.local

Na een reboot van het Linux systeem staan deze waardes nu goed voor Splunk.
Mochten de waardes (nog) niet goed staan, dan kun je deze dynamisch aanpassen. Je hoeft Splunk dus niet te herstarten.

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

rc.localtouch /var/lock/subsys/localif test -f /sys/kernel/mm/transparent_hugepage/enabled;thenecho never > /sys/kernel/mm/transparent_hugepage/enabledfiif test -f /sys/kernel/mm/transparent_hugepage/defrag;thenecho never > /sys/kernel/mm/transparent_hugepage/defragfi

echo never > /sys/kernel/mm/transparent_hugepage/enabledecho never > /sys/kernel/mm/transparent_hugepage/defrag

Controle doe je door het uitvoeren van een cat op de files:

[root@machineXYZ rc.d]# cat /sys/kernel/mm/transparent_hugepage/enabled
always madvise [never]
[root@machineXYZ rc.d]# cat /sys/kernel/mm/transparent_hugepage/defrag
always madvise [never]

De setting tussen de [ ] geeft de huidige waarde aan en deze is per direct actief.

Daarnaast is het van belang om er voor te zorgen dat je de ulimits van Linux juist instelt voor betere performance van je Splunk omgeving.
Voor meer info over ulimits uit de Splunk documentatie: klik hier

Om hier persistent de juiste waarde voor je systemen aan toe te kennen voer je de volgende acties uit:

Run een Health Check vanuit de Monitoring Console op de Master Node en bekijk het rapport

Bij een andere uitkomst dan success volg je de hieronder beschreven actie

Maak een file aan in de directory /etc/security/limits.d/ met de naam 99-splunk.conf (of een andere naam) met de volgende inhoud:

99-splunk.conf
splunk hard core 0
splunk hard maxlogins 10
splunk soft nofile 65535
splunk hard nofile 65535
splunk soft nproc 20480
splunk hard nproc 20480
splunk soft fsize unlimited
splunk hard fsize unlimited

Let op, wanneer je een andere user gebruikt dan Splunk, dan moet je uiteraard de naam van deze user hier invullen! Believe me it happens…
Je maakt deze file aan in limits.d in plaats van het aanpassen van de limits.conf in /etc/security, dit in verband met eventuele automatisering van het bestand. De waardes zijn aanbevolen waardes vanuit Splunk Professional Services.

Een bekend probleem is dat deze settings niet altijd worden overgenomen.
Zoals ik al zei je komt een heel eind met Google 😉
Om dit werkend te krijgen is een aanpassing nodig in het start script voor Splunk in de init.d directory.

/etc/init.d/splunk aanpassen met de volgende waardes:

splunk start script
 
#!/bin/sh
#
# /etc/init.d/splunk
# init script for Splunk.
# generated by 'splunk enable boot-start'.
#
# chkconfig: 2345 90 60
# description: Splunk indexer service
#
RETVAL=0
 
. /etc/init.d/functions
 
splunk_start() {
  echo Starting Splunk...
  ulimit -Hn 65535
  ulimit -Sn 65535
  "/opt/splunk/bin/splunk" start --no-prompt --answer-yes
  RETVAL=$?
  [ $RETVAL -eq 0 ] && touch /var/lock/subsys/splunk
}
splunk_stop() {
  echo Stopping Splunk...
  "/opt/splunk/bin/splunk" stop
  RETVAL=$?
  [ $RETVAL -eq 0 ] && rm -f /var/lock/subsys/splunk
}
splunk_restart() {
  echo Restarting Splunk...
  "/opt/splunk/bin/splunk" restart
  RETVAL=$?
  [ $RETVAL -eq 0 ] && touch /var/lock/subsys/splunk
}
splunk_status() {
  echo Splunk status:
  "/opt/splunk/bin/splunk" status
  RETVAL=$?
}
case "$1" in
  start)
    splunk_start
    ;;
  stop)
    splunk_stop
    ;;
  restart)
    splunk_restart
    ;;
  status)
    splunk_status
    ;;
  *)
    echo "Usage: $0 {start|stop|restart|status}"
    exit 1
    ;;
esac
 
exit $RETVAL

In bovenstaand script is het volgende aangepast:

echo Starting Splunk...
 ulimit -Hn 65535
 ulimit -Sn 65535

Door bovenstaande wijziging staan de ulimits bij een restart van Splunk goed voor Splunk. Let op!! Je moet eerst de betreffende Splunk instantie stoppen en daarna starten. Splunk restart werkt niet. De overige settings uit limits.d worden alleen actief bij een reboot, dit kun je plannen.

We hopen dat we je Splunk omgeving hiermee weer een beetje beter en sneller hebben gemaakt. Je kunt de toegepaste settings opnieuw controleren in de health check op de master, deze zouden nu allemaal een positief resultaat laten zien.

Wil je hier meer over weten of kom je er niet helemaal uit? Laat een reactie achter in de comments of stuur een berichtje naar Bob of Matthias!

Splunk best practice: THP en Ulimit

De meeste IT performance verstoringen worden veroorzaakt door eigen aanpassingen op de IT omgeving.

Wij denken dat dit vaak waar is.
Of het nu een nieuwe release of deployment betreft: een fout zit in een klein hoekje. Automatisch testen ten spijt, is het helaas moeilijk dit volledig te voorkomen. Behalve het voorkomen, is de oplostijd ook een factor. Ieder uur dat verstrijkt in het vinden van de oorzaak brengt serviceverlies met zich mee.

CINQ heeft hier iets op gevonden: wij brengen de performance met behulp van Splunk op functioneel niveau in kaart, en zetten deze af tegen infra releases en applicatie deployments. Het dashboard ziet er als volgt uit:

Transparant inzicht in de staat van de infrastructuur én applicaties

Met dit dashboard is direct zichtbaar welke release of deployment de verstorende factor is en is lang zoeken naar de oorzaak verleden tijd. Er kan direct worden begonnen met oplossen of zelfs tijdelijk terug worden gegaan naar een vorige goed werkende versie.

Onderstaande grafiek geeft bijvoorbeeld duidelijk aan dat er na een release verhoogde latency optreedt. Hiervoor wordt gebruik gemaakt van verschillende informatie bronnen, die door Splunk worden geaggregeerd waardoor de relatie tussen release en verstoring duidelijk wordt.

Omdat Splunk de logs van hardware, data, middleware en applicaties kan lezen en samen brengen in dit dashboard, is er makkelijk inzicht in staat van de omgeving op ieder moment. Daardoor zijn verstoringen op de IT-dienstverlening sneller te lokaliseren en te verhelpen.

De voordelen van deze oplossing nog een keer op een rijtje:

Monitor beschikbaarheid, performance in één dashboard

Impact van deployment en release direct zichtbaar

Vind problemen voordat deze impact hebben op de applicatie

Verkort oplostijden door snelle lokalisatie van verstoringen

Werk proactief aan een betrouwbare en wendbare omgeving 

Stel slimme alerting in en maak functionele rapportages 

Wij maken graag een demo!
Laat een bericht achter in de comments of neem direct contact op met Stefan Koppelaar.

Release vs performance met Splunk

Vakmensen, dat zijn we. En wat we doen op het gebied van informatie- en communicatietechnologie helpt organisaties slim verder. Effectief en meetbaar bovendien. Aangenaam, CINQ. Specialisten in Data, DevOps en Development. Wij geloven in specialisten, vandaar de driedeling Data, DevOps en Development binnen ons bedrijf. Zo zorgen we dat jij excelleert, want je werkt het best waar je je het meest thuis voelt. Logisch, toch?

cinq_logo.png

cinq_logo_square.png

CINQ ICT

We delen graag onze kennis over Data, DevOps en Development met je. Op ons blog lees je tips en tricks over bijvoorbeeld Splunk, Docker, Kubernetes en Java.

Onze laatste blogs over Data