Säkerhetskultur: varför människor gör fel när det gäller
Jag har flugit Viggen i 15 år. Under dessa 15 år har jag hunnit med mycket. Två av händelserna minns jag speciellt, för att hjärnan hanterade dem på motsatt sätt.
Vid ett elbortfall över Östersjön gjorde jag rätt, snabbt, utan att egentligen tänka. Efter ett fågelanslag i fenan gjorde jag något som kunde kostat flygplanet, och jag visste bättre.
Skillnaden var inte kompetens. Det är den här artikelns hela poäng: när något går fel i en kris är kompetens sällan variabeln. Konstruktionen är det.
Nedan fem mekanismer, och vad man bygger i stället för att hoppas på gott omdöme.
1. När kanalen mättas slutar varningarna vara information
Vid elbortfallet fick jag inte en felkod som sa generatorfel. Jag fick ett klonk och fem samtidiga varningar: ELFEL, TANKPUMP, HÅLL-FUNK, RHM FEL, NAV-SYST. Fem indikeringar nedströms om en och samma orsak, och ingen som pekade ut den.
I flygvapnet fanns ett namn för när det tände upp ordentligt: rena julgransbelysningen.
Det är ett skämt om ett allvarligt problem. När indikeringarna blir tillräckligt många slutar de vara information. Panelen säger att något är mycket fel och ingenting mer. Diagnosvärdet kollapsar precis när det behövs som mest, och det går fort: fem varningar går att mönsterigenkänna, tjugo gör det inte.
Antalet samtidiga indikeringar är därför i sig en konstruktionsparameter. En varningspanel som tänds överallt har upphört att vara ett instrument och blivit en larmklocka.
Fenomenet är inte flygets. Processindustrin har egna standarder för larmhantering, ISA-18.2 och IEC 62682, av precis det skälet. Three Mile Island är skolboksfallet: ett hundratal larm under de första minuterna, utan prioritering, för operatörer som skulle avgöra vad som hände.
I en cyberincident heter det alert fatigue, larmtrötthet. Hundratals larm, och det som betyder något ligger i högen. Samma fenomen, samma felmekanism. Säkerhetsbranschen har upptäckt det om och om igen i tjugo år utan att märka att processindustrin namngav och standardiserade det långt tidigare.
Frågan är inte om ni har övervakning. Den är: hur många larm får en människa se samtidigt innan de slutar hjälpa, och har någon räknat på det?
2. Kunskapen kan finnas utan att vara påkopplad
Vid det andra tillfället fick jag en fågel i fenan i 1150 km/h. Efteråt kontrollerade jag att sidrodret fungerade.
När jag såg skadan efter landningen förstod jag vad det kunde ha kostat. Fenan låg uppfläkt, och att lägga ut sidrodret lastar fenan. Kontrollen av den säkerhetskritiska funktionen var i det läget det farligaste jag kunde göra.
Och nu kommer det som inte är den förväntade slutsatsen. Jag visste bättre. Jag visste att ett fågelanslag i fenan kan betyda strukturskada, och att man inte lastar en struktur man misstänker är skadad. Ingenting i utbildningen fattades.
Jag tog beslutet med system 1, snabbt och automatiskt, utan att stanna. Och drivkraften var nyfikenhet.
Det är Daniel Kahnemans två system från boken Tänka, snabbt och långsamt. System 2 visste. System 1 trampade.
Ställ det mot elbortfallet:
| Elbortfallet över Östersjön | Fågeln i fenan | |
|---|---|---|
| Hur beslutet togs | Snabbt, med system 1 | Snabbt, med system 1 |
| Vad som styrde | En inövad prioritetsordning | Nyfikenhet |
| Fanns kunskapen? | Ja, och den var påkopplad | Ja, men den var inte påkopplad |
| Beslutet | Rätt | Fel |
Samma mekanism, motsatta beslut. Och system 1 märker inte självt skillnaden, det känns lika självklart i båda fallen. Därför går det inte att lita på en känsla av att man vet vad man gör.
3. System 1 följer den rangordning det har fått
Varför steg jag vid elbortfallet? För att byta fart mot säker höjd. Att radiokontakten med stridsledningen blev hygglig på vägen upp kom i tredje hand.
Det är aviate, navigate, communicate. Och det är inte en checklista, det är en rangordning. Den säger vad man offrar först när man inte kan göra allt.
Lägg märke till vad som hände. Jag räknade inte på reservgeneratorns arbetsområde. Jag utförde en inövad prioritetsordning, och den råkade omfatta precis det som nödinstruktionen krävde.
En genomarbetad rangordning ger rätt handling i situationer som ingen har räknat upp. Det är hela dess värde. En checklista hanterar de fall någon tänkte på i förväg. En rangordning hanterar de andra, eftersom den inte specificerar handlingar utan vad som väger tyngst.
Men en rangordning är inte en kö att beta av uppifrån. I en NASA-studie från 1996 fick piloter i simulator hantera ett fel som ingen procedur täckte. Bäst klarade sig de som styrde arbetet efter hur allvarligt läget var, och använde aviate, navigate, communicate som en kontroll de hela tiden återkom till. Flyger vi fortfarande? Vet vi var vi är? Vet de som ska veta? Rangordningen är ett raster att stämma av mot, inte en arbetslista.
Efter fenskadan fanns ingen rangordning. Ingenting sa strukturell integritet före nyfikenhet. Så system 1 använde det motiv som var starkast.
System 1 följer den rangordning det har fått. Har det inte fått någon följer det det högsta ropet.
Det högsta ropet är nyfikenhet, lusten att få igång tjänsten igen, eller tidspressen från någon som frågar när det är klart. Aldrig säkerheten, för säkerheten ropar inte.
Vilken är er rangordning?
De flesta incidentrutiner listar steg. Få säger vad som väger tyngst när allt inte går att göra samtidigt, och det är just då den behövs.
För en samhällsviktig tjänst borde ordningen vara något i stil med: håll funktionen igång, förstå vad som händer, berätta för dem som ska veta.
Där finns en konflikt värd att ta ställning till i förväg. Cybersäkerhetslagen kräver en tidig varning inom 24 timmar efter att en betydande incident har upptäckts. Rapportering är communicate, tredje prioritet i flygets ordning men första enligt kraven på incidenthantering. Har ingen bestämt hur de två förhåller sig till varandra, avgörs frågan klockan tre på natten av den som råkar sitta där.
Det är ett ledningsbeslut, inte ett driftbeslut. Och det går att fatta i förväg.
Konflikten löses enklast med en rollfördelning. Sedan 1 juli 2026 går rapporterna till Nationellt cybersäkerhetscenter, och den tidiga varningen kräver ingen färdig orsaksanalys, bara en första bedömning. Den kan alltså skötas av någon annan än den som håller driften vid liv. Utse den personen i förväg, så behöver teknikern aldrig välja mellan att rädda tjänsten och att rapportera.
4. Det gick bra är den farligaste meningen i säkerhetsarbete
Sidrodret fungerade utmärkt. Nyfikenheten var stillad.
Det är den obehagliga delen: provet gav ett lugnande svar. Ingenting i utfallet berättade att jag hade gjort något farligt. Det fick jag veta först efter landning.
En farlig handling som råkar fungera lär dig att den var säker. System 1 blir belönat, och nästa gång sitter reflexen snabbare och med mer självförtroende. Sociologen Diane Vaughan kallade det normalisering av avvikelse när hon studerade Challenger-olyckan: varje gång det riskabla går bra flyttas gränsen för vad som räknas som normalt, och frånvaron av en olycka läses som bevis på säkerhet.
Robin Dillon och Catherine Tinsley har visat samma sak i experiment. Den som tolkar ett tillbud som att systemet höll tar större risker nästa gång. Den som tolkar samma tillbud som att det var nära ögat blir försiktigare. Skillnaden ligger inte i händelsen utan i hur den berättas. Mitt roderprov berättade sig självt på det första sättet, ända tills jag såg fenan.
Lägg nu de två händelserna intill varandra en sista gång. Båda gick bra.
Från stolen såg de identiska ut. Det ena vilade på något som fungerar igen, det andra på ingenting.
Det är hela skälet till att säkerhet kräver analys och inte statistik över hur det har gått hittills. Ett utfall är inget bevis för att handlingen var rätt. Det är bara ett utfall.
I en cyberincident: driftteknikern startar om den komprometterade servern och den kommer upp. Ingenting händer synligt. Forensiken är borta, men det syns inte, det syns aldrig. Nästa gång startar han om direkt, och snabbare.
Det som försvann var det som bara fanns i arbetsminnet: skadlig kod som aldrig skrevs till disk, öppna förbindelser till angriparen, pågående inloggningar. Spår försvinner i en bestämd ordning, från det flyktigaste till det beständigaste, och en omstart tar de flyktigaste först.
Reflexen har ett namn. Josiah Dykstra vid amerikanska NSA och hans medförfattare kallar den handlingsbias: impulsen att göra något för att få en känsla av kontroll. Den förstärks uppifrån. Ledningens ”aldrig mer” är enligt dem de två farligaste orden i cybersäkerhet, eftersom de driver fram snabba åtgärder i stället för genomtänkta.
Från stolen såg de identiska ut. Det ena vilade på något som fungerar igen, det andra på ingenting.
Det är hela skälet till att säkerhet kräver analys och inte statistik över hur det gått hittills. Ett utfall är inget bevis för att handlingen var rätt. Det är bara ett utfall.
I en cyberincident: driftteknikern startar om den komprometterade servern och den kommer upp. Ingenting händer synligt. Forensiken är borta, men det syns inte — det syns aldrig. Nästa gång startar han om direkt, och snabbare.
5. Gör de första åtgärderna billiga att prova
Och här kommer svaret, för det finns ett.
Vid elbortfallet slog jag till generatorn igen för att se om den kopplade in. Jag visste inte om villkoren var uppfyllda. Vid fenskadan lade jag ut sidrodret utan att veta hur fenan såg ut. Båda var gissningar under osäkerhet.
Skillnaden är vad ett misslyckande hade kostat. Slår man till generatorn och villkoren inte är uppfyllda händer ingenting. Man har förlorat en sekund och vet en sak mer. Lägger man ut sidrodret på en uppfläkt fena kan man förlora flygplanet.
Där ligger konstruktörens verkliga uppgift. Operatören kommer att handla under osäkerhet. Det går inte att konstruera bort, och man ska inte försöka, för det är ofta den handlingen som räddar situationen. Frågan är om de handlingar han först sträcker sig efter är billiga att prova.
Är återställningen billig och reversibel behöver ingen veta i förväg om den fungerar. Är den dyr och oåterkallelig hjälper ingen rutin i världen, för han kommer att prova ändå.
Så den praktiska frågan om er incidenthantering är inte om personalen vet bättre. Den är: vilka av de första åtgärderna går att ångra?
Om svaret är ingen har ni byggt en roderkontroll.
Och man ska känna om det tog
En sak till om den där generatorknappen, för det är den finaste konstruktionsdetaljen i hela historien.
Den var magnetisk. Man tryckte, och kontaktorn antingen drog och höll, man kände att knappen fastnade, eller så gjorde den inte det. Svaret fanns i fingertoppen, omedelbart och utan tolkning.
Jag minns fortfarande känslan.
Tänk nu på var den återkopplingen kom, och vad som pågick samtidigt. Varningspanelen lyste som rena julgransbelysningen. Den visuella kanalen var full. Men fingertoppen var ledig, och det var där svaret kom.
Tre egenskaper i en enda knapp:
- billig att prova: misslyckas den har man förlorat en sekund
- omedelbar återkoppling: ingenting att vänta på, ingenstans att gå och kontrollera
- i en kanal som inte var mättad: när ögat var överbelastat svarade handen.
Den tredje konstrueras sällan medvetet, och det är den som avgör om bekräftelsen når fram just när det gäller.
I IT går nästan all återkoppling genom en enda kanal: skärmen. Och i en incident är skärmen det mest överbelastade i rummet. Bekräftelsen på att en åtgärd tog blir ytterligare en rad i ett flöde som redan är oläsbart.
Programvara kan inte ge en fingertopp. Men den kan ge otvetydig och omedelbar bekräftelse i stället för en rad till i strömmen, och den kan låta bli att kräva att man går någon annanstans för att se efter. I OT-miljöer finns dessutom fysiska manöverdon kvar, och det här är ett argument för att behålla några.
Och en sista sak om vad som faktiskt fastnar hos en människa: jag minns känslan i fingret. Jag minns inte vad displayerna visade.
Men generatorn spelade inte emot
Här slutar liknelsen med flyget, och det är viktigt att säga var. Generatorn brydde sig inte om att jag tryckte på knappen. En angripare gör det.
I en cyberincident kan en åtgärd som är billig och går att ångra ändå bli dyr. Isolerar ni en enda dator innan ni vet hur långt angriparen har kommit kan ni varna honom, och då kan han hinna kryptera, sopa igen spåren eller gräva ner sig någon annanstans. Därför kartlägger erfarna incidenthanterare ofta först och slår sedan till överallt samtidigt.
Principen gäller fortfarande, men den behöver en fråga till. Det räcker inte att fråga om åtgärden går att ångra. Man måste också fråga vad den berättar för motparten. En fågel lär sig ingenting av ert försvar. Det gör en angripare.
Vad 925 km/h inte täckte
En parentes om risktagande, för fågeln i fenan har en läxa till.
Frontrutan var garanterad mot fågelkollision upp till 925 km/h. Krigsmässigt anfall på tjugo meters höjd flögs i 1150.
Det ser ut som att man offrade säkerhet för uppgiften. Det är fel läsning, men inte heller riktigt så enkelt som motsatsen.
1150 km/h på tjugo meters höjd var hög risk ur många perspektiv. Marginalerna är små, felen blir dyra, och fågeln är bara en av farorna. Ingen inbillade sig att det var ett tryggt flygsätt.
Men det var riskminimering ändå, för alternativet var värre. Exponeringstiden mot luftvärn krymper med farten, och den totala risken blir lägre trots att flera delrisker går upp. Det är ALARP i praktiken: inte att minimera varje delrisk, utan att välja det alternativ som ger lägst risk sammantaget, och veta att man betalar för det i andra valutor.
Det är också den vanligaste felkällan i riskarbete överallt. En organisation minimerar den risk den kan se och mäta, och lämnar den större orörd, för den syns inte i samma analys, ligger hos någon annan eller går inte att sätta en siffra på.
Och sedan kom fågeln. Den kom inte i rutan. Den kom i fenan, och fenan låg uppfläkt.
Talet 925 handlade om frontrutan, alltså om det förlopp där en fågel dödar föraren. Händelsen prövade ett annat förlopp, och konsekvensen hamnade i en annan klass: dyr reparation, inte en död förare.
Det säger inte att bedömningen var fel. Den hade rätt i allvarlighetsgraden, och man analyserar där det dödar. Men det säger något som gäller varje riskbeslut:
Ett accepterat risktagande uttryckt som en gräns för en komponent är ingen gräns för faran. Det är en gräns för ett konsekvensförlopp.
De andra förloppen finns kvar, och när ni inte har nämnt dem har ni inte accepterat dem. Ni har bara inte tittat på dem. Skriv därför ner vilken konsekvens ni accepterade. Annars upptäcker ni de andra empiriskt.
Vem konstruerar de fel ni övar på?
Det mest intressanta med julgransbelysningen är var den kom ifrån. Den byggdes av övningsledaren.
Han utgick från verkliga händelser. Ett brott på PTO-axeln, till exempel, axeln som driver hjälpaggregaten. Går den av stannar allt den driver samtidigt: generator, hydraulik och konstantvarvtalsväxellådan. Ett enda stycke metall, ett dussin varningar.
Och det är därför jag kunde känna igen fem varningar som en och samma orsak. Någon hade visat mig hur en orsak ser ut när den presenterar sig som många.
Axeln är också skolexemplet på det som IEC 61508 kallar gemensamt orsaksfel: generator, hydraulik och växellåda ser oberoende ut i funktionsschemat, men delar en axel.
Den tekniska sidan av det är en granskningsfråga. Den mänskliga är den här: någon måste ha byggt scenariot, annars möter du ett dussin varningar utan att ha sett det förut.
Lägg märke till kedjan: en verklig händelse inträffar, någon bedömer att den är värd att öva, någon bygger scenariot, och sedan möter alla det. Fyra steg, och varje steg är ett beslut som någon måste äga. Det är den kedjan som förvandlar en incidentrapport till en förmåga, och den bryts oftast vid steg två.
Militären har ett språk för skillnaden. En lärdom som är analyserad och nedskriven är lessons identified. Först när den har ändrat hur man övar och arbetar är den lessons learned. De flesta organisationer har gott om det första. Sociologen Lee Clarke har ett namn för planer som mest finns för att visa att man har en plan: fantasidokument.
Det förklarar också skillnaden mellan mina två händelser bättre än att "den ena var inövad". Någon hade valt vilka fel som skulle övas, och det valet avgjorde vilka av mina instinkter som var säkra. Elbortfallet var byggt. En skadad fena och ett behov av att veta om rodret fungerade var inte byggt.
Frågan till er är därför konkret, och det är inte frågan om personalen är kompetent:
Vem hos er konstruerar de fel ni övar på? Inte vem som skriver riskanalysen, den finns nästan alltid. Vem tar den, bygger scenariot och ser till att alla möter det? Och vem avgör vilka av era verkliga incidenter som är värda att göra om till en övning?
Har ni ingen sådan roll har ni en lista, inte en förmåga.
Och vi övade inte i fredsläge
Det fanns inget mjukare risktak för fred. Bortsett från fientlig vapenverkan flög vi som om det var krig, för det var de förhållandena som skulle övas.
Det är ett dyrt beslut, och det finns ett lätt argument emot det: varje flygning blir farligare än den behöver vara just den dagen. Men alternativet är sämre. Övar man i ett läge som är mildare än det verkliga bygger man in system 1-svar som är kalibrerade mot förhållanden som inte kommer att råda, och de svaren märks inte som fel förrän det gäller.
Den som sänker kraven i övningen har inte sänkt risken. Den har flyttat den till det tillfälle då ingen övar.
Det gäller varje detalj i hur övningen sätts upp. Ett scenario som körs en tisdagsförmiddag med hela teamet på plats, alla system uppe och leverantören i telefon, övar något annat än det som faktiskt inträffar. Frågan är inte om ni övar incidenten. Frågan är om ni övar den i det läge den kommer i.
Halv tre på natten, med två personer i tjänst, en av dem ny, och en leverantör vars jour svarar om fyrtio minuter.
Den redundans ingen konstruerade
En sista händelse, för den säger något om kulturens plats.
En fågel tog först vid vänsterfoten, i alfagivaren, och gick sedan in i motorn. Ett anslag, två system ur funktion.
Det är ett gemensamt orsaksfel i sin renaste form. Alfagivaren och motorn är oberoende på varje sätt en standard kan räkna upp: olika funktion, olika teknologi, inga delade komponenter. På papperet uppfyller de kriterierna med marginal. De delade en sak som inte fanns på papperet, en fysisk bana genom luften.
Frågan att ställa i varje granskning är därför inte om systemen är olika, utan: finns det något, en kabelkanal, ett rum, en strömförsörjning, en leverantör, en molnregion, som båda ligger i?
Och en not om allvarlighetsgrad: fågeln tog vid vänsterfoten. Några decimeter annorlunda och samma händelse hade tillhört en annan konsekvensklass.
Det blev nödlandning i Visby. Beslutet om landningsordning låg hos flygledaren, som tänkte släppa in en SAS-maskin först.
Det som rättade till det var SAS-kaptenen. Han gick in på frekvensen, styrde upp flygledaren och konstaterade att Viggen skulle gå in först. Förmodligen en gammal flygvapenpilot, någon som visste vad en fågel i motorn betyder.
Det fungerade. Och det är inte samma sak som att det var säkert.
Säkerhetsfunktionen var i det ögonblicket fördelad på flygledaren. Det som återställde den var en aktör som inte fanns i någon fördelning. Ett säkerhetsargument som vilar på att någon råkar lyssna och råkar förstå är inget säkerhetsargument.
Det är tredje gången samma mönster återkommer. Generatorn kom tillbaka för att en inövad rangordning råkade omfatta det som krävdes. Banan blev fri för att en kapten grep in. Rodret höll trots att det inte borde ha prövats.
Slutsatsen är inte att omdöme är oviktigt. Den är motsatsen:
Omdöme och kultur är det som räddar dig när specifikationen har ett hål. Det är inte ett skäl att låta hålet vara kvar.
Omdömet i stunden är sista linjen, inte första. Bygger du på det som första linje har du gjort det till en enskild felkälla med en människas tillförlitlighet.
En lärande kultur gör något annat och större: den ser till att hålet inte finns kvar nästa gång. Det var den som gjorde ett brott på PTO-axeln till julgransbelysningen i simulatorn. Hur en sådan kultur förs vidare, och varför den inte går att köpa, skriver jag om i Den lärande organisationen.
Och det som passagerarna fick se
Jag rullade av banan i Visby och stannade direkt, på den civila plattan. Två krav stod mot varandra: lämna banan fri, och flytta inte ett skadat flygplan längre än nödvändigt. Minsta möjliga av båda.
Följden var att SAS-maskinens passagerare, som just hade fått ta en liten omväg inför landningen, fick se en Viggen stå där med motorn full av fågel.
Där finns en poäng värd en rad i vilken ledningsgrupp som helst. En säkerhetsåtgärd som kostar människor något, utan att de ser varför, blir kringgången. De passagerarna kommer aldrig att klaga på den omvägen. De flesta säkerhetsbeslut får aldrig den förmånen: kostnaden syns, skälet gör det inte. Då måste skälet berättas, annars vittrar åtgärden bort.
Sju frågor att ta med till ledningsgruppen
- Hur många larm får en människa se samtidigt innan de slutar hjälpa?
- Vilken är vår rangordning när allt inte går att göra samtidigt, och var står den skriven?
- Vilka av våra första åtgärder i en incident går att ångra, och vad berättar de för angriparen?
- Hur får den som agerar veta att åtgärden tog, utan att leta i det som redan är överbelastat?
- Vem konstruerar de fel vi övar på?
- När vi accepterade en risk, vilken konsekvens var det vi accepterade, och skrev vi ner den?
- Vilka av våra säkerhetsåtgärder kostar människor något utan att de ser varför?
Ingen av dem handlar om personalens kompetens. Alla sju går att besvara i förväg.
Om standarden bakom resonemanget: funktionell säkerhet enligt IEC 61508. Hur ledningen bygger säkerhetskulturen i stort beskrivs i ledarskap och säkerhetskultur.
Läs vidare
- Daniel Kahneman: Tänka, snabbt och långsamt. Volante, 2012.
- Daniel Kahneman och Gary Klein: ”Conditions for intuitive expertise: A failure to disagree”. American Psychologist 64(6), 2009.
- Paul C. Schutte och Anna C. Trujillo: ”Flight crew task management in non-normal situations”. Proceedings of the Human Factors and Ergonomics Society Annual Meeting 40(4), 1996.
- Diane Vaughan: The Challenger Launch Decision. University of Chicago Press, 1996.
- Robin L. Dillon och Catherine H. Tinsley: ”How near-misses influence decision making under risk: A missed opportunity for learning”. Management Science 54(8), 2008.
- Catherine H. Tinsley, Robin L. Dillon och Matthew A. Cronin: ”How near-miss events amplify or attenuate risky decision making”. Management Science 58(9), 2012.
- Josiah Dykstra m.fl.: ”Action bias and the two most dangerous words in cybersecurity incident response”. IEEE Security & Privacy 20(3), 2022.
- Bushra A. Alahmadi, Louise Axon och Ivan Martinovic: ”99% false positives: A qualitative study of SOC analysts’ perspectives on security alarms”. USENIX Security, 2022.
- ANSI/ISA-18.2 och IEC 62682: standarder för larmhantering i processindustrin.
- Report of the President’s Commission on the Accident at Three Mile Island (Kemeny-rapporten), 1979.
- Dominique Brezinski och Tom Killalea: RFC 3227, Guidelines for Evidence Collection and Archiving, 2002.
- Lee Clarke: Mission Improbable: Using Fantasy Documents to Tame Disaster. University of Chicago Press, 1999.
