Pred više od trideset godina P. Tetlock je počeo organizirati natjecanja u predviđanjima ekonomskih i političkih zbivanja. Zanimalo ga je što političke i ekonomske analitičare koji su uspješniji u svojim prognozama razlikuje od onih koji su manje uspješni. Zanimalo ga je i temeljnije pitanje: jesu li prognoze političkih i ekonomskih analitičara uopće bolje od slučajno odabranih prognoza?

Zaključci nisu bili ohrabrujući (objavljeni su 2005. u Expert Political Judgment: How good is it? How can we know?).

Kada prognoziraju što će se zbiti za više od godinu dana, analitičari nisu bitno uspješniji od slučajnog pogađanja. Čak i za kraća razdoblja, kada tvrde da su u nešto 90% sigurni pokazuje se da su u pravu samo u 60% slučajeva (pukim slučajnim pogađanjem možete postići 50%).

Posebno su neuspješni „ekstremni pesimisti“ i „ekstremni optimisti“. Ekstremni optimisti u procjenama budućih ekonomskih promjena (npr. onih vezanih uz Dow Jones) i svjetske politike (npr. onih vezanih uz mir na Bliskom Istoku) predviđali su ružičaste scenarije u 65% slučajeva, iako su se oni realizirali tek u 15% slučajeva. Crni scenariji ekstremnih pesimista, koje su oni predviđali u 70% slučajeva, realizirali su se u samo 12% slučajeva.

Osim što se pokazalo da su analitičari pretjerano samouvjereni, pokazalo se i da nerado priznaju vlastite greške. Najčešće ih pokušavaju opravdati sa „da, ja sam predvidio da će SSSR preživjeti i to bi se i desilo da su pučisti protiv Gorbačova bili bolje organizirani“, „da, ja sam predvidio da će Dow Jones pasti 10% do 2000. i to će se sigurno i desiti, samo nešto kasnije“  i sl.

Dakle, tri su glavna zaključka: analitičari su pretjerano sigurni u svoje prognoze, prognoze im nisu bitno bolje od slučajnih i teško revidiraju svoje mišljenje čak i kada ga činjenice opovrgnu. To nije naročito laskava slika političkih i ekonomskih analitičara.

Česta reakcija na ovaj tip istraživanja jest da je ono politički naivno, jer pretpostavlja da se analitičari bave predviđanjima dok je njihov pravi posao podilaženje predrasudama svoje publike (političarima, čitateljima, gledateljima itd.). Zato su u svojim prognozama najčešće neodređeni. Nikada neće reći „s vjerojatnošću 0.75 predviđam veći teroristički napad na Washington u sljedeće tri godine“ ili „do kraja 2015. Hrvatska će sigurno i dalje biti u recesiji“ i sl.

Njihov je glavni kvalifikator „moguće je“, a on je izuzetno rastezljiv. Moguće je da neki asteroid udari u Zemlju tijekom sljedeće godine (vjerojatnost te „mogućnosti“  je tipa 0.0000001), a moguće je i da Real iz Madrida pobjedi Atletica iz Bilbaa (vjerojatnost te „mogućnosti“  je tipa 0.7).

Taj prigovor gubi snagu kada je riječ o prognozama na kojima se temelje realne političke odluke. Obavještajne zajednice širom svijeta ne mogu si priuštiti pitijske prognoze i svoje greške najčešće plaćaju gubitkom posla. No, prije nego nastavim o toj temi ubacio bih jednu važnu napomenu.

Često zaključujemo da su političke i ekonomske odluke bile pogrešne ako su rezultirale ekonomskom krizom ili kakvom drugom neželjenom posljedicom (rezultirale u smislu „da nije bilo te odluke, ne bi bilo ni te krize“). Međutim, to je pogrešno rezoniranje.

Da bismo vidjeli u čemu je greška problem je dobro (kao i inače u životu) formulirati nešto apstraktnije. Pretpostavite da se morate odlučiti između dvije političko ekonomske odluke, A i B, te da se kockom odlučuje što će biti posljedice vaše odluke. Ako padne 1,2,3,4 ili 5 i vi ste odabrali A, odnosno  ako padne 6 i vi ste odabrali B, sve će biti u redu. No, ako se desi suprotno (padne 6 a vi ste odabrali A ili padne 1,2,3,4 ili 5 a vi ste odabrali B) onda će nastupiti teška ekonomska kriza. Što biste trebali učiniti? Ako malo razmislite jasno je da trebate odabrati A (jer će tada vjerojatnost krize biti pet puta manja nego ako odaberete B).

Naravno, padne li na kraju 6 vaša će odluka rezultirati krizom. No, to ne znači da je vaša odluka bila pogrešna. Da ponovo trebate birati, opet biste trebali odabrati A.

Kada smo god suočeni s rizikom (u našem slučaju s bacanjem kocke) dobra odluka ne znači nužno i dobar ishod. Rizik ne čini složenijim samo donošenje odluka nego čak i naknadnu evaluaciju tih odluka.

No, vratimo se Tetlockovim istraživanjima. Njihova možda najzanimljivija posljedica je da je obavještajna zajednica počela ozbiljno razmišljati o stvaranju neke objektivne mjere točnosti političko ekonomskih predviđanja. Američka IARPA (Intelligence Advanced Research Project Activities) odlučila je financirati sljedeći Tetlockov projekt u tom smjeru. Projekt je krenuo 2011. i trajat će do 2015. Uključuje tisuće prognozera koji daju svoje odgovore na stotine pitanja i čija se točnost sistematski prati.

Krajni je cilj razumjeti možemo li i kako učiti od povijesti. Kako postići optimum u kojem više ne možemo smanjiti broj lažno pozitivnih prognoza bez da povećamo broj lažno negativnih i obratno.

(Tipična nepromišljena reakcija na lažno pozitivne prognoze jest pokušaj da se one ubuduće pod svaku cijenu izbjegnu, što će pak rezulirati rastom broja lažno negativnih. „Pobrinut ćemo se da nam se opet ne desi lažno pozitivna procjena pa makar tako i podcijenili Iranski nuklearni program.“ Isto vrijedi i za panični bijeg od lažno negativnih procjena: „Pobrinut ćemo se da nam se opet ne desi lažno negativna procjena pa makar tako nastavili maltretiranje nevinih građana grubim antiterorističkim mjerama sljedećih 30 godina.“)

Više o projektu možete naći na stranici http://goodjudgmentproject.com/ .

Posebno je zanimljivo da projekt može destabilizirati mnoge statuse. Moguće je da se prognoze T. Friedmanna o budućnosti Bliskoga Istoka pokažu lošijima od prognoza nekog anonimnog studenta s Harvarda (sada kada se napokon počnu mjeriti). Moguća je i destabilizacija odnosa snaga u raznim vladinim agencijama. Viši položaj u njima implicitno pretpostavlja višu razinu ekspertize, koja se egzaktnijim mjerennjem može dovesti u pitanje.

Sve je to dobro za unapređenje javne rasprave. Uvođenjem egzaktnijih mjerila sudionici će sigurno biti oprezniji i odgovorniji. Velike vijesti neće biti samo ekstremne prognoze slavnih „pundita“ nego možda i mizerna uspješnost tih njihovih prognoza.

7 responses »

  1. Kapitalac kaže:

    Ovom temom ste zapravo dodirnuli problematiku analitičkog paradoksa.
    Mislim da je budućnost ekonomskih i inih društvenih modela vezana za SNA i općenito mrežnu analizu.

  2. zsikic kaže:

    shvatio,
    social network analysis

  3. Simun kaže:

    U tom duhu, možda jedno od najvažnijih predviđanja je ono o kretanju BDP-a u narednoj godini. Donošenje budžeta vlast zasniva na predviđanju rasta ili pada… samo malo, jesu li ikad iz vlasti prognozirali pad sljedeće godine?🙂

    Dakle zasnivaju budžet na predviđanju rasta BDP-a. Bilo bi iznimno korisno kada bi to predviđanje mogli izvesti preciznije.

    Mislim da moramo opravdano sumnjati da političari namjerno izmišljaju previsoke cifre rasta BDP-a, kako bi proračun bio donesen a oni dobili na vremenu. Odnosno da oni procjene doslovno, oprostite na izrazu, vade iz dupeta. Ako ministar objavi metodologiju kojom je procijenio rast BDP-a od 1,8% sljedeće godine, ispričati ću se. Ne kažem da je takav rast nezamisliv, nego imam dojam da je izveden metodom pi puta oko, više prema željama nego gospodarskim indikatorima.

  4. Simun kaže:

    Inače, usporedba sa bacanjem novčića funkcionira samo ako postave binarne rezultate, npr. na pitanje “hoće li Izrael sljedeće godine napasti avionima Iran” može se odgovoriti sa DA i NE. Ali pitanje “što će Izrael sljedeće godine poduzeti u vezi Irana” je puno kompleksnije i iako možemo donekle izmjeriti je li neki analitičar pogodio ili pogriješio, teško mi je zamisliti objektivno mjerilo za usporedbu dva ili više analitičara.

  5. vedran2006 kaže:

    “Sve je to dobro za unapređenje javne rasprave. Uvođenjem egzaktnijih mjerila sudionici će sigurno biti oprezniji i odgovorniji. Velike vijesti neće biti samo ekstremne prognoze slavnih „pundita“ nego možda i mizerna uspješnost tih njihovih prognoza.”

    A zamislite sve to se da puno efikasnije riješiti, jednostavno zahtjevate od svakoga da stavi svoj novac na odluku.
    Vidite nije problem što su analitičari beskorisni u prognoziranju, već je problem tko plaća te analitičare.
    Ako privatna tvrtka troši svoj novac na analitičare koji joj ničemu ne koriste, nemam ništa protiv. Ali ako država s novcem poreznih obveznika plaća čitavu vojsku prognozera i onda na kraju još plaća i skupa istraživanja njihove neefikasnosti.

    Vidite dobro ste rekli, istraživanja hoće dovesti do promjene snaga u administraciji ali neće dovesti do ukidanja beskorisne državne potrošnje samo do njezine preraspodjele.

    Dakle opet porezni obveznik nema ništa od tih pustih istraživanja.

Odgovori

Please log in using one of these methods to post your comment:

WordPress.com Logo

Ovaj komentar pišete koristeći vaš WordPress.com račun. Odjava / Izmijeni )

Twitter picture

Ovaj komentar pišete koristeći vaš Twitter račun. Odjava / Izmijeni )

Facebook slika

Ovaj komentar pišete koristeći vaš Facebook račun. Odjava / Izmijeni )

Google+ photo

Ovaj komentar pišete koristeći vaš Google+ račun. Odjava / Izmijeni )

Spajanje na %s