În teoria managementului riscurilor există înrădăcinată şi transmisă prin mijloace de informare academice şi nu numai, credinţa conform căreia, cunoscând modul în care s-au desfăşurat lucrurile în trecut se poate prognoza un eveniment viitor.
Sunt un cotestatar al modelelor matematice aplicate fără prea mult discernământ în managementul riscurilor. Am şi un argument: aceste modele sunt un mijloc prin care ne susţinem idei pe care le avem deja formate despre subiectul analizat!
Din toată literatura studiată în ultimii ani nu am identificat nici o probă, nici un studiu care să demonstreze succesul unui model în practica evaluării riscurilor în IT. Chiar dacă datele despre trecut ar fi 100% corecte, despre dependenţa şi corelaţiile dintre evenimentele viitoare nu ştim aproape nimic. Este aproape imposibil să dovedeşti independenţa dintre variabilele sistemului în care trăim! De exemplu, metoda Monte Carlo poate simula anumite corelaţii, dar acestea pornesc de la o ipoteză dată! Un model matematic este bun doar dacă foloseşte variabile 100% independente! Din această cauză cred că, folosirea incorectă a unui model este mult mai dăunătoare decît să nu faci nimic.
Probabil ştiţi că în literatură se pune semnul egal între “likelihood” şi “probability” spunându-se că se înţelege “probabilitate”. ISO 31010, ISO 27005 spun exact acelaşi lucru:
“First, in risk management terminology, the word “likelihood” is used to refer to the chance of something happening, whether defined, measured or determined objectively or subjectively, qualitatively or quantitatively, and described using general terms or mathematically (such as a probability or a frequency over a given time period).
Second, the English term “likelihood” does not have a direct equivalent in some languages; instead, the equivalent of the term “probability” is often used. Therefore, in risk management terminology, “likelihood” is used with the intent that it should have the same broad interpretation as the term “probability” has in many languages other than English.”
Din punct de vedere statistic însă, există o distincţie clară între “likelihood” şi “probability”. În cazul “probability”, parametrii sunt cunosuţi şi datele nu sunt observate, în timp ce în cazul “likelihood” datele sunt observate şi valorile parametrilor nu sunt cunoscute!
Mai aduc în discuţie un ultim aspect, fără a intra în detalii. Credinţa subiectivă a unei persoane despre un anumit lucru/enunţ depinde în mod direct de cunoaşterea cu care este înzestrată acea persoană (probabilitate Bayesiană). Să ne uităm acum la modelele cantitative şi să vedem cum sunt asociate probabilităţile în formule? Subiectiv…..
La ce sunt bune atunci probabilităţile dacă ai identificat consecinţa unui eveniment? Ce funcţionează în cazul asigurărilor de exemplu, nu este sigur că va funcţiona şi în cazul IT…..
ADRIAN B. MUNTEANU 
Foarte pertinent articolul!
Sa ne imaginam insa o serie de evenimente (A, B, C, …, X, Y, Z) petrecute pana acum, ce ne furnizeaza un model matematic de probabilitati. Aduceti ca argument faptul ca orice eveniment depinde de un sir de incidente independente. Deci, daca suntem la momentul actual dupa evenimentul Z, este eronat sa ne elaboram o predictie asupra evenimentului urmator
Cu toate acestea, daca ne pozitionam in trecut, inainte de aparitia lui Z, exact aceleasi argumente le puteati aduce. Dar… evenimentul Z se va intampla, ba mai mult, va corecta modelul matematic
ApreciazăApreciază
Să stabilim de la bun început situaţia în care discutăm: din punct de vedere matematic sunt aproape o tufă de Veneţia în acest subiect. Cu toate acestea, nevoit fiind de aplicabilitatea practică a subiectului, am citit mult şi am încercat să înţeleg.
Am ajuns la concluzia că, există situaţii în care modelul matematic este aplicabil şi oferă un răspuns corect, o predicţie bună (să luăm exemplul clasic cu urna cu bile colorate). Pe de altă parte, sunt foarte multe alte domenii, în care acelaşi model matematic nu face altceva decât să valideze o ipoteză şi să eşueze în practică.
Sunt de cord cu exemplul dat. Doar că, şi aici, cred că este vorba de un exemplu, de o ipoteză. Sunt în momentul apariţiei lui Y. Atunci în trecut, aveam o certitudine despre apariţia evenimentului Z? De unde ştiam că o să apară? Evenimentul Y implică omul? Dacă este un evenimnet natural, modelul matematic va prognoza aproape corect.
Pe de altă parte, noi vedem 3D dar gândim 4D: dimensiunea temporală este în mintea noastră, nu în exteriorul său. Acelaşi eveniment, îl putem percepe diferit, în conexte diferite. În final, ca modelul să fie corect, evenimentele ar trebui să fie pur aleatoare. Folosesc valori punctuale ale evenimentelor sau distribuţii?
Mulţumesc mult pentru dialog.
ApreciazăApreciază
Orice divagatii am face pe tema imperfectiunii modelelor matematice (mai ales cand acestea sunt influentate de actiunea umana), singura metoda de evaluare ramane probabilitatea matematica… Si – asta este doar o parere – sunt mai numeroase cazurile in care modelul este aplicabil decat cazul invers.
Este de argumentat si ca trebuie inclusa in orice analiza de risc probabilitatea ca probabilitatea estimata sa fie corecta sau nu 🙂
Asta pana cand gasim alte modele, si ramane de vazut cat de perfecte vor fi acelea
Multumesc pentru articole, le citesc cu mare placere, chiar daca interactionez mai rar prin comentarii
Adrian
ApreciazăApreciază
Multumesc si eu inca o dara pentru dialog.
Daca am in vedere anumite evenimente naturale sau aplicabilitatea in zone in care nu am prea multe dependente, modelul matematic da roade. In cazul riscurilor in IT eu nu am gasit probe ca modelul functioneaza. (doar zona asta o am in vedere cind scriu). Sunt o multime de „modele” sau „exemple” sau chiar analisti care preiau teorii si care omit de exemplu ca, pentru un interval de recurenta de 10 ani, un eveniment care apare o data la 10 ani nu exclude posibilitatea ca acel eveniment sa apara o data/an…
Dar sa trec la lucruri concrete. Pot calcula probabilitatea unui atac de tip DDOS in reteaua firmei? Pot calcula probabilitatea ca o explozie solara sa imi afecteze POS wireless?
Am asigurare facultativa la masina, desi nu am calculat probabilitatea de a suferi daune. Statistic daca privesc acest subiect, chiar stau foarte bine. Nici nu ar fi fost necesar sa fac, in baza calculelor statistice. Cu toate astea, am constientizat ca exista niste riscuri si trebuie sa le diminuez. In primul rind ca nu mai am 25 de ani…..
IT ul unei companii sufera enorm la capitolul date actuariale. De fapt cred ca la asta se rezuma mai simplu ce am vrut sa spun: datele folosite sunt scoase din burta! Ca probabilitatea sa fie una pur statistica evenimentele trebuie sa fie aleatoare. Ori acest lucru nu se stie.
ApreciazăApreciază
Cat se poate de acord, in special daca iesim din teorie si intram in practica IT… probabilitatile sunt cel mult ghicite (pe baza experientei, a estimarii controalelor deja implementate, pregatirii personalului, etc).
De aceea ma apuca zambetul cand vad probabilitati de 65,5% de exemplu pentru atacuri DDoS
Si ma apuca apoi intristarea cand trebuie sa evaluez EU asemenea probabilitati 🙂
Cand se evalueaza insa probabilitatile de dezastre (cutremure majore, inundatii catastrofale, etc), acestea pot fi apreciate mai corect pe baza istoriei
Adrian
ApreciazăApreciază
Exact asta sustin si eu: pentru amenintari de natura evenimentelor naturale, modelul matematic este aplicabil. Pentru restul, nu inteleg ce rost mai are probabilitatea (stabilita subiectiv si nu matematic) atit timp cit am constietizat impactul. Pentru ca, nu doar in IT, un eveniment care se intimpla rar nu inseamna ca nu se intimpla niciodata.
Se cer insa astfel de calcule pentru ca dorim sa repartizam niste cheltuieli pe baze anuale :). Citeodata, lucrurile se complica inutil si ajungem la „fals-pozitiv”, sa sustinem prin „cifre” lucruri ce nu au legatura cu realiateat.
ApreciazăApreciază
Propuneti asadar un model de calcul ar riscului (cel putin pentru domeniul IT) care sa se bazeze doar pe aprecierea impactului pe care l-ar avea o amenintare, aceasta exploatand o vulnerabilitate… iar impactul ar putea valori pe scara mai largita decat de obicei, tocmai pentru o mai fina apreciere a masurilor necesare de reducere a acestui impact…
Parerea mea este ca o apreciere (absolut deloc exacta, ba chiar pe un paliere macro de estimare) a probabilitatii de aparitie a incidentului este cateodata necesara
Sa ma explic: impactul atacurilor informatice finalizate cu scurgerea de informatii poate fi similiar cu plecarea unui angajat nemultumit de conditiile de salariu (impreuna cu cd-urile firmei). Managementul poate sa aloce resurse pentru maxim 1 problema… pe care o alege: instaleaza un firewall/IPS sau concepe o schema de salarizare mai atractiva? Se pune astfel problema prioritizarii, si anume prin introducerea inca unui factor in ecuatie: cat de des se pot intampla atacuri de acest gen (incredibil de dificil de estimat) si cat de des poate pleca o persoana cu informatiile la sub-brat (iarasi, incredibil de dificil de estimat)
De aceea eu as propune o estimare fooarte laxa a probabilitatii de aparitie a unui incident cu impact asupra securitatii informatiei: niste paliere, de ex:
[0%-20%)
[20%-40%)
[40%-60%)
[60%-80%)
[80%-100%]
ApreciazăApreciază
(Nu știu după ce reguli unele comentarii ajung în Spam….Scuze pentru întîrziere)
Aș vrea să propun, dar încă nu am curaj. Mai studiez :D. Mă întreb, deocamdată.
S-au dezvoltat modele cantitative tocmai pentru a elimina subiectivismul estimărior calitative. Constat însă că, analiza se bazează în fapt pe numere alocate unor elemente calitative. S-au introdus probabilitățile pentru a fi cât mai exacți. Dar probabilitățile folosite nu sunt matematice ci sunt niște estimări subiective, netestate!
(Uite un articol cae nu are legătură directă cu IT-ul dar care explică ce pot face studile statistice: http://pss.sagepub.com/content/22/11/1359.full.pdf.)
În exemplul propus, lucrurile sunt foarte complicate. Cele două evenimente se pot produce simultan? Nu cred că se poate exclude această posibilitate. Apoi, cele două evenimente sunt întîmplătoare, astfel încît să le pot analiza pur statistic? Ar trebui să cunosc numărul cazurilor posibile ale fiecărui eveniment din totalul evenimentelor posibile. Ori acest lucru nu îl știm. Și atunci? Ar trebui să putem face experimente. Dar nici acest lucru nu este posibil în cea mai mare parte a evenimentelor ce au loc în universul IT. Nu pot să testez durata de viață a unui hard disk, dar iau de bun MTBF-ul calculat de producător, care și ăsta este un indicator calculat pe baza HDD stricate dintr-un lot dat. De astă dată însă matematica este exactă, căci în acest caz probabilitatea statistică funcţionează strict după legităţile sale.
Foarte multe necunoscute și limite cu care ne confruntăm, nu? În exemplul tău consider că nu avem de a face cu probabilități pure ci cu ipoteze. Altfel spus trebuie să ne testăm „cunoaşterea”. Care cunoaştere diferă de la individ la individ…
Revin iarăşi la exemplul tău şi întreb: la ce folosesc acele intervale? Fără instrument matematic, ci pe bază de „fler”-„cunoaştere”, stabilesc că pentru evenimentul „omul cu Cd-uri” mă duc în plaja 0-20, iar pentru firewall în plaja 60-80. Acestea vor fi decizii subiective. Cum teoria este teorie şi practica-practică, se întîmplă însă ca evenimentul „omul cu CD-uri” să se manifeste înaintea celuilalt. La ce a folosit calculul?
Nu aveam bani să rezolv ambele probleme? Acest lucru îl ştiu de la început, nu? Faptul că folosesc nişte numere alese subiectiv, îmi dă un fals sentiment de siguranţă. Îmi „orbesc” judecata, efect de halo.
Închei cu un exemplu celebru: care era riscul calculat al unei catastrofe în cazul navetei Challenger? 1 la 100.000, calculat oficial de „proiectanţii” NASA. Cu toate acestea a explodat în timpul celei de a 10 misiuni…! Deşi, cam cîte experimente de tip „lansare în spaţiu” ar fi trebuit efectuate pentru a se înfăptui probabilitatea?
ApreciazăApreciază