Det är mågna som påstått att det faktum att bettingmarknaderna bedömde det som osannolikt att Trump skulle vinna presidentvalet och att resultatet av folkomröstningen i Storbrittanien skulle bli ett brexit visar att bettingmarknaderna hade fel. Det är möjligt att de hade fel, det går dock inte att avgöra utifrån ett eller två enskilda fall.

Bettingmarknader gör förutsägelser för hur stor sannolikhet det är att en viss händelse inträffar, och såvida bettingmarknaden inte ger en sannolikhet på 0% för en händelse som inträffar eller 100% för en händelse som inte inträffar så är det inte tillräckligt för att bedöma exaktheten hos förutsägelserna. För att avgöra hur väl en bettingmarknad fungerar för att ta fram information behöver man observera statistik över många händelser och över många tidsperioder.

Om jag påstår att sannolikheten att du slår en sexa när du kastar en tärning är en på sex (~17%) så skulle det faktum att när du slår tärningen och en sexa kommer upp inte betyda att mitt påstående var fel. Du skulle behöva göra om testet flera gånger för att kunna avgöra om det är något skumt med tärningen eller inte.

Det är såklart möjligt att bettingmarknaderna hade fel angående brexit och Trump, det vet jag inte. Hur det kommer sig att så många inte förstår vad som menas med sannolikhet vet jag inte heller.

För att låna ett exempel från Eliezer Yudkowsky. Ibland säger karaktären Spock i Star Strek något i stil med att ”Captain, if you steer the Enterprise directly into a black hole, our probability of survival is only 2.837%.” Ändå så lyckas de nio av tio gånger. Spock är helt enkelt värdelös på att uppskatta sannolikheter. Serieförfattarna tror att 2.837% uttrycker utmaningen i att styra rymdskeppet genom ett svart hål, ungefär som fem stjärnor på ett tv-spel.

Så om en bettingmarknad bedömer sannolikheten som 51% för tio oberoende händelser så bör vi vänta oss att hälften av händelserna infaller, varken fler eller färre. Om istället nio av händelserna infaller så kan vi dra slutsatsen att bettingmarknaden ifråga är bristfällig i sina förutsägelser.