Het aantal rondgaande phishing e-mails blijft stijgen (1,2) en deze kunnen desastreuze gevolgen hebben. Het is de mens die op een linkje in een e-mail klikt, dus organisaties doen er van alles aan om de mensen alert te houden. Veel organisaties voeren daarom phishing simulaties uit. Het doel is om de medewerkers weer wakker te schudden, ze te helpen om phishing te herkennen en om uit te leggen wat ze moeten doen als ze per ongeluk toch geklikt hebben. Maar is er eigenlijk wel wetenschappelijk bewijs dat het simuleren van phishing e-mails een effectieve aanpak is tegen ongewenst klikgedrag?

Ethiek en empathie

Toen ik nog als ISO werkte heb ik me altijd ongemakkelijk gevoeld bij het idee van phishing simulaties. Ik vond het niet prettig om vanuit een IT-afdeling te beslissen dat we onze eigen collega’s in een richting gingen duwen die wij veilig -en dus goed- vonden. Bovendien werd er niet lang nagedacht over de mogelijke impact op het vertrouwen, de al lastige relatie tussen informatiebeveiligers en ‘de business’ (wij spraken nooit over onze menselijke collega’s maar over ‘de business’ ofwel ‘de anderen’), en de mogelijke impact op de productiviteit van die collega’s. Het behandelen van collega’s als de vijand zint me gewoon niet en ik kon niet worden overtuigd van het nut en de noodzaak van phishing simulaties als training.

Mijn persoonlijke twijfel aan de effectiviteit van phishing simulaties werd in 2015 versterkt door professor Sasse van University College London. Zij sprak zich zeer stellig uit dat we moeten stoppen met het op deze manier pesten van onze collega’s om informatiebeveiliging te verbeteren (3) en dat het wel eens averechts kon werken. Twee jaar later leek ze hierin gelijk te krijgen toen er commotie ontstond rondom een phishing simulatie bij een Nederlandse financiële instelling die de landelijke pers haalde. De inhoud van de betreffende e-mail raakte bij enkele medewerkers een gevoelige snaar. Zij voelden zich al niet goed gewaardeerd, en door de inhoud van de betreffende campagne voelden ze zich extra bekritiseerd. Phishing simulaties worden met de beste bedoelingen gehouden maar vaak binnen een gebrekkig empathisch en ethisch kader. Dit roept de vraag op of er eigenlijk wel aangetoonde effecten zijn (en hoe lang die standhouden) die deze simulaties billijken.

Uit onderzoek blijkt dat….

Ik ben op zoek gegaan naar wetenschappelijke publicaties over dit onderwerp. Tijdens het zoeken bleek dat ik niet de enige ben met deze interesse. Zwitserse onderzoekers publiceerden in 2020 een paper waarvoor ze 104 publicaties over anti-phishing training hebben bestudeerd (4). Zij zochten niet specifiek naar simulaties, maar wel naar wetenschappelijk studies die iets zeggen over hoe goede anti-phishing training eruit moet zien, wat de impact is, en hoelang kennis blijft hangen. Het blijkt dat een groep publicaties concludeert dat na een algemene training (waar simulaties onderdeel van kunnen zijn) de kans kleiner is dat mensen in een phishing e-mail trappen. Echter, er is ook een groep publicaties met wisselende resultaten. Twee groepen mensen blijken helemaal niet te beïnvloeden door training: de groep die altijd klikt en de groep die nooit klikt. Over hoelang kennis blijft hangen bestaat geen academische consensus. De veronderstelde retentie na algemene anti-phishing training (waar simulaties onderdeel van kunnen zijn) varieert van 7 dagen tot 5 maanden. Er zijn echter weinig studies die retentie meten.

Veel onderzoek combineert dus e-mail phishing simulatie met andere vormen van interventies, zoals training, voorlichting, self assessments van kennis, of serious games. Vaak worden de deelnemers vooraf gevraagd om aan dergelijke onderzoeken mee te doen en weten ze dat ze worden getraind. Specifiek onderzoek naar het effect van phishing simulaties alleen zijn zeldzaam. Hieronder bespreek ik een paar onderzoeken die iets zeggen over het effect van simulaties met of zonder andere interventies gecombineerd.

Een van de eerste grootschalige studies vond plaats in de Verenigde Arabische Emiraten (5). Bijna 11.000 studenten, alumni en medewerkers ontvingen twee keer een phishing simulatie waarin zij werden gevraagd om naar een website te gaan daar gegevens in te vullen voor een ‘survey’. Tijdens de tweede ronde met een iets andere opzet werd minder doorgeklikt naar een externe website, maar het aantal doorklikkers was nog steeds hoog en er werden persoonsgegevens en wachtwoorden ingevuld, ondanks een aankondiging dat er een phishing scam rondging. Naast de waarschuwing waren er geen andere interventies.

De University of Maryland (6) stuurde in 2018 drie verschillende phishing e-mails naar 450 random studenten op drie verschillende dagen (in totaal 1350 studenten). Deze studenten waren vooraf niet op de hoogte van de campagne. De studenten die op de link hadden geklikt ontvingen een survey waarin onder andere werd gevraagd hoe goed ze zelf vonden dat ze phishing konden herkennen. Ongeveer 60% van de studenten klikten op de link van een phishing e-mail in tenminste één van de drie experimenten. Uit de survey bleek een omgekeerd verband tussen phishing awareness en weerbaarheid. Van de studenten die van zichzelf vonden dat ze goed op de hoogte waren van phishing klikte 80% toch op de link. Van de groep studenten die enige kennis hadden klikte 42% en van studenten die hun kennis laag inschatten klikte 28%. De onderzoekers konden dit resultaat niet verklaren. Het zou kunnen dat de vraagstelling in de survey niet goed werd geïnterpreteerd en dat de studenten enkel hun net nieuw verworven awareness inschatten (dus na de simulaties) in plaats van hun niveau van voor de campagne. Ook kan het zijn dat de deelnemers hun eigen kennis overschatten. Een andere verklaring kan ook worden gezocht in cognitieve dissonantie. Vaak weten mensen wel dat iets niet goed is, maar ze doen het toch. Zo bleek in Zuid Afrika tijdens een studie onder studenten dat zij vertrouwen hadden in hun security vaardigheden en zich bewust waren van risico’s, maar hun gedrag toonde iets anders aan (7). Zij vertrouwden direct phishing e-mails uit naam van hun vrienden, zelfs als zij van tevoren zelf aangaven goed te zijn in het herkennen van phishing en wisten dat ze er niet in moesten trappen.

Dichter bij huis, bij het Ministerie van Economische Zaken en Klimaat, werden in 2015 ruim 10.000 medewerkers betrokken bij een test naar de vatbaarheid voor phishing en het overhandigen van persoonsgegevens (8). Bij dit onderzoek werd de simulatie ook weer gecombineerd met andere interventies. Er werd een groep gemaakt die vooraf informatie ontving over de procedures rondom phishing en hoe je het kunt herkennen. Een tweede groep ontving een simulatie e-mail, gevolgd door de debriefing. Een derde groep ontving beide: de informatie vooraf en vervolgens de gesimuleerde phishing mail met daarna een debriefing. Een vierde groep ontving vooraf niets. Daarna kregen alle vier de groepen een gesimuleerde phishing e-mail. Van de vierde, ongeïnformeerde, groep klikte éénderde van de ontvangers op de link en 68% daarvan vulde daar hun wachtwoord in. Bij de groep die alleen informatie had ontvangen lagen die percentages maar een heel klein stukje lager. Bij de twee groepen die wel een eerste simulatie e-mail hadden gekregen (en dit dus de tweede e-mail was) lag dat met 7 tot 9 procentpunten lager. Dit doet de onderzoekers twijfelen aan de effectiviteit van extra informatievoorziening bovenop de simulatie. In organisaties waar medewerkers al veel e-mails ontvangen en veel informatie moeten verwerken, kan het volgens de onderzoekers effectiever zijn om alleen simulaties uit te voeren. Een studie in een Amerikaans academisch medisch centrum komt tot een vergelijkbare conclusie (9). De onderzoekers hebben het effect gemeten van 20 simulaties over een periode van drie jaar bij 5.416 medewerkers. Een deel van de medewerkers volgde na de 15e ronde verplichte anti-phishing trainingen. Over de tijd gemeten ging het aantal doorklikkers wel omlaag, maar er was geen extra effect meetbaar bij de groep die de trainingen had gevolgd.

In contrast zijn er ook onderzoekers die vonden dat extra training wel het effect van simulaties versterkt. Bij een bedrijf in Portugal werden medewerkers in drie groepen van 100 personen verdeeld (10). Een groep ontving geen training, een andere groep kreeg een algemene training en groep drie werd gericht getraind in het herkennen van spear phishing. De onderzoekers vonden dat de getrainde groepen beter waren in het herkennen van phishing dan de ongetrainde groep, maar dat er geen verschil in kennisniveau zat tussen de groep met algemene training en de groep met spear phishing training.

Zou het kunnen zijn dat de kwaliteit en vorm van de training invloed heeft op het weerstaan en herkennen van phishing e-mails? Het effect van verschillende soorten training is onderzocht in Thailand. De onderzoekers gebruikten verschillende trainingsvormen om deelnemende studenten voor te bereiden op een phishing simulatie (11). Voor de training ontvingen de deelnemers verschillende gesimuleerde phishing e-mails. Daarna werden er combinaties van videotraining, gaming, tekstuele trainingen, trainingen in de klas met een instructeur aangeboden. Na de training werd er weer een simulatie rondgestuurd, en er werd minder geklikt. Echter, de tweede ronde werd direct na de training gestuurd, en daarmee toont het geen lange termijneffect aan. De afname in klikaantallen verschilde niet per type training die de deelnemer had gevolgd, dus er was niet één training effectiever dan de andere.

Een interessante discussie is ook hoe je effectiviteit het beste kunt meten. In een onderzoek werden bijna twintigduizend medewerkers van een organisatie gedurende acht maanden met meerdere rondes van test phishing mails en trainingen bestookt (12). De pure klik-cijfers schommelden tussen de 0% en 40% per e-mail en namen niet zichtbaar af na de herhalingen. De onderzoekers stellen dat de overtuiging van medewerkers om te klikken afhangt van de inhoud en kwaliteit van de phishing e-mail. Hierdoor schommelen de resultaten per simulatie ronde, en is er geen dalende lijn van het aantal doorklikkers te zien. Dit komt omdat het ontwerp van de e-mail per simulatieronde anders was. Sommige waren meer overtuigend en lastiger te herkennen dan andere. Voor het evalueren van een 8 maanden durende campagne moet je dus niet alleen naar aantallen doorklikkers kijken. Een phishing e-mail moet ook een soort moeilijksheidsscore krijgen om de doorklik aantallen te normaliseren. Puur kijken naar aantallen of percentages doorklikkers geeft dus een totaal verkeerde indruk. Stel dat je in jouw simulatie-campagne begint met een moeilijk herkenbare phishing e-mail en ze over tijd steeds makkelijker te herkennen maakt. Dan is de kans groot dat de aantallen doorklikkers steeds lager wordt. Dan zou je zomaar kunnen denken dat je campagne een succes is geweest.

Discussie

De kwaliteit en de resultaten van wetenschappelijke onderzoeken naar anti-phishing trainingen zijn wisselend. Ten eerste is er het punt dat het veelal studenten zijn die worden onderzocht. Dit is begrijpelijk omdat het lastig kan zijn om bedrijven te vinden die willen deelnemen aan onderzoek en studenten zijn vaak een makkelijk toegankelijke doelgroep voor onderzoekers. Toch vormen zij geen complete afspiegeling van de totale beroepsbevolking. Ten tweede betreft het vaak een meting op een beperkt aantal momenten in tijd en worden de meeste simulaties niet herhaald over langere tijd. Veelal wordt alleen gemeten welke inhoud van een phishing mail leidt tot doorklikken en niet hoe het effect op de langere termijn is of wat het effect van herhalingen is. Bovendien blijkt dat alleen het tellen van het aantal doorklikkers geen betrouwbare indicatie is van hoe goed of slecht het ervoor staat met de awareness. Sommige mensen klikken expres door om onzin in te vullen. Ook zou het kunnen dat het device waarop iemand de e-mail bekijkt invloed heeft op hoe iemand een e-mail gepresenteerd ziet, en dat phishing moeilijker te herkennen wordt op een klein scherm. Een derde punt is dat enkele onderzoekers opmerken dat medewerkers het onderzoek beïnvloeden door elkaar te waarschuwen voor het rondgaan van nep-phishing e-mails. Het effect van dit informele circuit in organisaties kan wellicht juist als positief gedrag worden benoemd. Ik denk dat we nog veel kennis moeten opdoen over de bijdrage van informele communicatie en ‘influencers’ op veilig gedrag in organisaties. Als vierde wil ik nog benoemen dat er een mogelijk verband is tussen werkdruk en vatbaarheid voor phishing. Als je onder grote druk staat om je overvolle mailbox door te werken, gaat je aandacht voor detail wellicht omlaag. In phishing trappen kan ook een symptoom zijn van overbelasting in plaats van lage awareness. Tenslotte is er nog de ethische discussie. Wetenschappelijk onderzoekers hebben in hun instelling vaak een ethische commissie die zich over onderzoeksvoorstellen buigt en de belangen van de onderzochte mensen behartigt. Dit is vooral gewoonte bij sociale wetenschappen. Bij computerwetenschappen of in bedrijven is zo’n commissie meestal niet gebruikelijk. Dat ethische overwegingen niet voldoende worden aangeleerd in technische studies, leidt ertoe dat in de praktijk een IT-afdeling zelfstandig aan de slag gaat met phishing simulaties. In het meest gunstige geval worden deze simulaties achteraf geëvalueerd, maar in hoeverre de lessen uit wetenschappelijk onderzoek en het welzijn van de medewerkers daarin wordt meegenomen is nog een vraag.

Conclusie

Onderzoek lijkt wel enig korte termijneffect aan te tonen wanneer phishing simulaties worden gecombineerd met training of voorlichting, maar we hebben veel meer bewijs nodig voordat we kunnen concluderen dat effectiviteit van phishing simulaties überhaupt meetbaar is en dat het in verhouding staat tot de inspanning en de ethische overwegingen. Ook de toegevoegde waarde van simulaties in het grotere geheel van awareness en training programma’s kan nog verder worden onderzocht. De relatie tussen informatiebeveiliging, didaktiek en ethiek staat nog in de kinderschoenen en als meer organisaties zich open stellen voor longitudinale onderzoeken door wetenschappers kan dat niet alleen helpen om de kwaliteit van awareness campagnes te verbeteren, maar ook om meer te leren over de ethische en empathische overwegingen.

Bronnen:

  1. Autoriteit Persoonsgegevens. Meldplicht datalekken: facts & figures Overzicht feiten en cijfers 2020 [Internet]. 2021 maart. Available from: https://autoriteitpersoonsgegevens.nl/nl/nieuws/ap-luidt-noodklok-explosieve-toename-hacks-en-datadiefstal
  2. Warburton D. 2020 Phishing and fraud report. Phishing during a pandemic. [Internet]. Seattle: F5 Labs; 2020. Available from: https://www.f5.com/content/dam/f5-labs-v2/article/articles/threats/22–2020-oct-dec/20201110_2020_phishing_report/F5Labs-2020-Phishing-and-Fraud-Report.pdf
  3. Sasse A. Scaring and bullying people into security won’t work. Lesk M, MacKie-Mason J, editors. IEEE Security & Privacy. 2015;13(3):80–3.
  4. Jampen D, Gür G, Sutter T, Tellenbach B. Don’t click: towards an effective anti-phishing training. A comparative literature review. Human-centric Computing and Information Sciences. 2020 Aug 9;10(1):33.
  5. J. G. Mohebzada, A. E. Zarka, A. H. Bhojani, A. Darwish. Phishing in a university community: Two large scale phishing experiments. In: 2012 International Conference on Innovations in Information Technology (IIT). 2012. p. 249–54.
  6. Diaz A, Sherman AT, Joshi A.   Cryptologica. 2020;44(1):53–67.
  7. Chandarman R, Van Niekerk B. Students’ cybersecurity awareness at a private tertiary educational institution. The African Journal of Information and Communication. 2017 Dec;20(20):133–55.
  8. Baillon A, de Bruin J, Emirmahmutoglu A, van de Veer E, van Dijk B. Informing, simulating experience, or both: A field experiment on phishing risks. PloS ONE. 2019 Dec 18;14(12):e0224216.
  9. Gordon WJ, Wright A, Glynn RJ, Kadakia J, Mazzone C, Leinbach E, et al. Evaluation of a mandatory phishing training program for high-risk employees at a US healthcare system. Journal of the American Medical Informatics Association. 2019 Mar 12;26(6):547–52.
  10. P. Kumaraguru, S. Sheng, A. Acquisti, L. F. Cranor, J. Hong. Lessons from a real world evaluation of anti-phishing training. In: 2008 eCrime Researchers Summit. 2008. p. 1–12.
  11. Tschakert KF, Ngamsuriyaroj S. Effectiveness of and user preferences for security awareness training methodologies. Heliyon. 2019 Jun 1;5(6):e02010.
  12. Siadati H, Palka S, Siegel A, McCoy D. Measuring the Effectiveness of Embedded Phishing Exercises. In: Proceedings of the 10th USENIX Conference on Cyber Security Experimentation and Test. USA: USENIX Association; 2017. p. 1. (CSET’17).

Dit artikel is geschreven door Dr. Nicole van Deursen en verscheen eerder op https://www.linkedin.com/pulse/phishing-e-mail-simulaties-dat-zinnig-dr-nicole-van-deursen/ en in IB editie 3 2021.