Fő tanulságok
1. Minden mérhető, még az immateriális dolgok is
Ha bármilyen módon megfigyelhető, akkor valamilyen mérési módszerrel mérhető is.
A mérés a bizonytalanság csökkentése. Ellentétben a közhiedelemmel, a mérés nem igényel tökéletes pontosságot vagy bizonyosságot. Egyszerűen annyit jelent, hogy csökkentjük az adott mennyiségre vonatkozó bizonytalanságot. Ez igaz a kézzelfogható tárgyakra, mint a fizikai objektumok, és az immateriális fogalmakra is, például a vevői elégedettségre vagy a projekt kockázatára.
Megfigyelhető következmények. Minden fontos immateriális dolognak kell, hogy legyen megfigyelhető hatása. Például, ha azt állítjuk, hogy a dolgozói morál befolyásolja a termelékenységet, akkor kell lennie valamilyen módnak, amivel a morál változását a termelékenységi mutatók alapján észlelni lehet. Ezeknek a megfigyelhető hatásoknak a feltárásával közvetve mérhetjük az immateriális tényezőket.
Gyakorlati módszerek léteznek. Sok látszólag mérhetetlen dolgot már valaki megmért, gyakran meglepően egyszerű módszerekkel. Példák:
- Halpopuláció becslése tavakban anélkül, hogy leeresztenénk őket
- A márkakárok gazdasági hatásának mérése
- Egy emberi élet értékének számszerűsítése politikai döntésekhez
2. A mérés csökkenti a bizonytalanságot a jobb döntések érdekében
A mérés azért fontos, mert valamilyen elképzelhető hatása kell legyen a döntésekre és a viselkedésre.
Döntésvezérelt mérés. A mérés célja, hogy információt szolgáltasson a döntésekhez. Mielőtt mérnénk, világosan határozzuk meg a döntést és azt, hogy az új információ hogyan befolyásolná azt. Ez segít priorizálni, mit és milyen pontossággal mérjünk.
Bizonytalanság és kockázat. A döntések mindig bizonytalansággal járnak, ami kockázatot jelent. A mérés csökkenti a bizonytalanságot, ezáltal mérsékli a kockázatot. Fontos fogalmak:
- Bizonytalanság: a teljes bizonyosság hiánya; több lehetséges kimenetel létezése
- Kockázat: olyan bizonytalanság, ahol egyes lehetőségek veszteséget vagy nem kívánt eredményt hordoznak
Az információ értéke. Nem minden mérés egyformán értékes. Számítsuk ki a Tökéletes Információ Várható Értékét (EVPI), hogy megtudjuk, mennyit ér egy mérés:
- Határozzuk meg a döntést és a lehetséges kimeneteleket
- Becsléssel állapítsuk meg az egyes kimenetelek valószínűségét és következményeit
- Számítsuk ki a várható értéket tökéletes információ nélkül és tökéletes információval
- A kettő különbsége az EVPI, vagyis a mérés maximális értéke
3. Kalibráld a becsléseidet a pontosság javítása érdekében
A siker a kitartás, az elszántság és az a hajlandóság függvénye, hogy húsz percen át keményen dolgozzunk valamin, amit a legtöbben harminc másodperc után feladnának.
A túlzott magabiztosság gyakori. Az emberek többsége túlzottan magabiztos a becsléseiben, túl szűk intervallumokat ad meg. Ez irreális elvárásokhoz és rossz döntésekhez vezet.
Kalibrációs tréning. Gyakorlással és visszacsatolással megtanulhatjuk, hogyan adjunk pontosabb valószínűségi becsléseket. Módszerek:
- Egyenértékű fogadás teszt: Hasonlítsd össze a becslésed egy ismert oddsú fogadással
- Gondolj az ellenkezőjére: Tudatosan keresd azokat az okokat, amiért tévedhetsz
- Használj referenciaosztályokat: Hasonlítsd össze hasonló, ismert mennyiségekkel
- Gyakorolj visszacsatolással: Vegyél részt kalibrációs teszteken és elemezd az eredményeket
A kalibráció előnyei. A jól kalibrált becslők:
- Megbízhatóbb adatokat szolgáltatnak döntési modellekhez
- Nyitottabbak az új információkra és a véleményük megváltoztatására
- Jobb előrejelzéseket adnak különböző területeken
4. Használd az Ötös Szabályt a gyors populációs betekintéshez
93,75% az esélye annak, hogy egy populáció mediánja egy véletlenszerűen kiválasztott öt elem legkisebb és legnagyobb értéke között van.
Egyszerű, mégis hatékony. Az Ötös Szabály lehetővé teszi, hogy minimális adatból gyors becslést adjunk a populáció jellemzőiről. Bármilyen populációra alkalmazható, legyen az zselés cukorka súlya vagy vevői elégedettségi pontszám.
Hogyan alkalmazd:
- Vegyél egy véletlenszerű mintát öt elemből a populációból
- Jegyezd fel a minta legkisebb és legnagyobb értékét
- 93,75%-os biztonsággal állíthatod, hogy a populáció mediánja ezek között az értékek között van
Korlátok és kiterjesztések:
- Csak a mediánra ad információt, nem az átlagra
- Pontosabb becsléshez növeld a minta méretét (lásd a könyv „matematikamentes” táblázatát)
- Kombináld más módszerekkel átfogóbb elemzéshez
5. Bontsd le a bonyolult problémákat mérhető összetevőkre
Ha nem tudod, mit mérj, mérj akkor is. Megtanulod, mit kell mérni.
Darabold fel. Ha egy látszólag mérhetetlen problémával állsz szemben, bontsd kisebb, kezelhetőbb részekre. Ez gyakran feltár olyan aspektusokat, amiket könnyebb mérni vagy becsülni.
Fermi-problémák. Enrico Fermi fizikus után elnevezve, ez a megközelítés durva becsléseket készít nehezen mérhető mennyiségekről azáltal, hogy azokat könnyebben becsülhető tényezőkre bontja. Példa:
A chicagói zongorahangolók számának becslése:
- Becslés Chicagó lakosságára
- Becslés a zongorával rendelkező háztartások arányára
- Becslés, milyen gyakran kell hangolni a zongorákat
- Becslés, hány zongorát tud egy hangoló naponta kiszolgálni
- Ezeket összegezve kapjuk a végső választ
A bontás előnyei:
- Csökkenti az összesített becslési hibát
- Megmutatja, mely összetevők járulnak hozzá leginkább a bizonytalansághoz
- Kijelöli azokat a területeket, ahol a további adatok a legértékesebbek
6. Alkalmazd a Bayes-i gondolkodást az új adatokkal való hitelfrissítéshez
Ha meg tudod mérni, amiről beszélsz, és számokban ki tudod fejezni, akkor tudsz valamit róla; ha nem tudod számokban kifejezni, a tudásod szegényes és elégtelen.
Előzetes és utólagos valószínűségek. A Bayes-i elemzés keretet ad a hiedelmek frissítésére új bizonyítékok alapján:
- Kezdd egy előzetes valószínűséggel (kezdeti hit)
- Gyűjts új adatokat
- Számítsd ki az adatok valószínűségét különböző hipotézisek mellett
- Frissítsd az előzetest utólagos valószínűségre Bayes-tétel segítségével
A Bayes-i megközelítés előnyei:
- Beépíti a meglévő tudást
- Lehetővé teszi a fokozatos frissítést új információk érkezésekor
- Természetes módon fejezi ki a bizonytalanságot
Gyakorlati alkalmazások:
- Orvosi diagnózis: a betegség valószínűségének frissítése teszteredmények alapján
- Minőségellenőrzés: a hibaarány becslésének finomítása ellenőrzési adatokkal
- Projektmenedzsment: ütemtervek és költségvetések módosítása a munka előrehaladtával
7. Kis minták is értékes információt adhatnak
Ha szinte semmit sem tudsz, szinte bármi mond neked valamit.
Az első adatok értéke. Nagy bizonytalanság esetén már a kis minták is jelentős betekintést nyújtanak. Az első néhány megfigyelés gyakran a legnagyobb információtartalommal bír egy-egy adatpont tekintetében.
Csökkenő hozadék. Ahogy nő a minta mérete, az egyes további megfigyelések hozzáadott értéke általában csökken. Ez az elv segít hatékony adatgyűjtést irányítani:
- Kezdd kis mintákkal a gyors betekintésért
- Fokozatosan növeld a mintát az információ értékének megfelelően
- Állj meg, amikor a további adatok költsége meghaladja az előnyöket
Kis minták módszerei:
- Student-féle t-eloszlás: populációs paraméterek becslése már 2 elemű mintából
- Nemparaméteres módszerek: technikák, melyek nem feltételeznek konkrét eloszlást
- Bayes-i frissítés: a meglévő tudás beépítése a kevés adat maximális kihasználásához
8. Számold ki a további információ értékét
Az epifánia egyenlete: hogyan változtat meg mindent az információ értéke.
Az információ várható értéke (EVI). Számold ki, mennyit ér egy információs darab, mielőtt begyűjtenéd:
- Modellezd a döntést és a lehetséges kimeneteleket
- Becsléssel állapítsd meg a jelenlegi valószínűségeket és kifizetéseket
- Számítsd ki a várható értéket a jelenlegi információval
- Számítsd ki a várható értéket tökéletes információval
- A kettő különbsége a Tökéletes Információ Várható Értéke (EVPI)
- Becslés, hogy a mérés mennyi bizonytalanságot csökkentene
- Szorozd meg az EVPI-t a csökkentett bizonytalanság arányával, így kapod az EVI-t
Mérés inverziója. Gyakran a legértékesebb mérések azok, amiket ritkán vesznek figyelembe, míg a rutinszerűen mért adatok kevés döntési értéket hordoznak. Ennek okai:
- Ismeretségi torzítás: azt mérjük, ami könnyű vagy hagyományos
- Túlzott magabiztosság jól ismert területeken
- Magas hatású, nagy bizonytalanságú tényezők figyelmen kívül hagyása
Iteratív megközelítés. Kezdd durva becslésekkel, majd finomíts az információ értéke alapján:
- Azonosítsd a döntés kulcsfontosságú bizonytalanságait
- Becslés az információ értékére mindegyik bizonytalanságnál
- Mérd meg a legértékesebb tényezőt
- Frissítsd a modellt és ismételd
9. Tervezd meg a kísérleteket az oksági összefüggések elkülönítésére
Emily bebizonyította, hogy a hasznos megfigyelések nem feltétlenül bonyolultak, drágák vagy – ahogy néha állítják – a felső vezetés számára érthetetlenek, még az olyan múló fogalmak esetén is, mint a tapintásos terápia.
Kontrolláld a zavaró tényezőket. Ahhoz, hogy megállapítsd, A okozza-e B-t, tervezz olyan kísérleteket, amelyek izolálják A hatását, miközben kontrollálják a többi változót. Módszerek:
- Véletlenszerűen kontrollált vizsgálatok: a résztvevőket véletlenszerűen osztják be kezelési és kontroll csoportba
- Természetes kísérletek: kihasználják a változó természetes ingadozásait
- Különbség-különbség módszer: összehasonlítja az érintett és nem érintett csoportok időbeli változásait
Statisztikai szignifikancia vs. gyakorlati jelentőség. A statisztikai tesztek segítenek kizárni a véletlen eredményeket, de a döntéshozatalnál az effektus nagyságára és a becslés pontosságára koncentráljunk. Fontos szempontok:
- Az effektus mértéke
- A becslés pontossága
- A döntés gyakorlati következményei
Tanulj az egyszerű kísérletekből is. Már az alapvető tesztek is értékes felismeréseket hozhatnak:
- A/B tesztelés marketingben
- Pilot programok a teljes körű bevezetés előtt
- Megfigyeléses vizsgálatok, ha kísérletek nem kivitelezhetők
10. Mérd fel a preferenciákat és a kockázattűrést a jobb döntésekhez
Ha a vezetők nem tudnak azonosítani olyan döntést, amelyet egy javasolt mérés befolyásolhatna, illetve hogy az hogyan változtatná meg a döntéseket, akkor a mérésnek egyszerűen nincs értéke.
Kinyilvánított vs. valós preferenciák. Az emberek cselekedetei gyakran eltérnek a kimondott preferenciáiktól. Az igazi preferenciák méréséhez:
- Figyeld meg a tényleges választásokat (kinyilvánított preferenciák)
- Használj gondosan megtervezett kérdőíveket (kimondott preferenciák)
- Kombináld a módszereket a teljesebb kép érdekében
A kockázattűrés számszerűsítése:
- Mutass be hipotetikus helyzeteket különböző kockázat-nyereség arányokkal
- Határozd meg azt a pontot, ahol a döntéshozó egyik opcióval sem preferál jobban
- Ábrázold ezeket a pontokat, hogy kialakuljon a kockázattűrés görbéje
Alkalmazási területek:
- Befektetési döntések: a potenciális hozam és elfogadható kockázat egyensúlya
- Termékfejlesztés: funkciók prioritása a vásárlói preferenciák alapján
- Közpolitika: egészségügyi, biztonsági és környezetvédelmi szabályozások kompromisszumainak értékelése
Etikai megfontolások. Bár egyesek ellenzik bizonyos értékek számszerűsítését (például az emberi életét), ennek elmulas
Vélemények összefoglalója
A How to Measure Anything vegyes fogadtatásban részesült. Sokan dicsérik azokat az felismeréseket, amelyek az immateriális dolgok számszerűsítéséről és a döntéshozatal bizonytalanságának csökkentéséről szólnak. Az olvasók értékelik a gyakorlati eszközöket, a statisztikai fogalmakat és a történelmi példákat, amelyeket a könyv bemutat. Ugyanakkor akadnak, akik túlzsúfoltnak, ismétlődőnek és túlzottan matematikára fókuszálónak találják a művet. A kritikusok szerint a szerző leegyszerűsíti a bonyolult kérdéseket, és túlzottan gúnyolja a vezetőket. Míg egyesek üzleti döntéshozók számára kötelező olvasmánynak tartják, mások unalmasnak és mélységében hiányosnak ítélik. Összességében a könyv egyedi mérési szemléletét értékelik, ám a stílusát és a bemutatását gyakran bírálják.
Mások ezt is olvasták
GYIK
What's How to Measure Anything about?
- Measuring Intangibles: The book by Douglas W. Hubbard focuses on the idea that anything, including intangibles like employee morale or the value of information, can be measured.
- Decision-Oriented Framework: It presents a universal approach to measurement that emphasizes the importance of measurements in informing decisions.
- Practical Applications: Hubbard shares real-world examples from various fields to illustrate how measurement can lead to better decision-making.
Why should I read How to Measure Anything?
- Overcoming Measurement Myths: The book is essential for anyone who believes that certain aspects of their business or life cannot be quantified.
- Improving Decision-Making: By learning the methods outlined, readers can enhance their decision-making processes.
- Accessible to All: Hubbard's writing is designed to be accessible to non-experts, making complex statistical concepts understandable.
What are the key takeaways of How to Measure Anything?
- Measurement is Possible: Hubbard emphasizes that even the most elusive intangibles can be quantified with the right approach.
- Applied Information Economics (AIE): Introduces a structured approach to measurement focusing on defining decisions and assessing uncertainty.
- Calibration of Estimates: Discusses the importance of calibrating estimates to improve accuracy in decision-making.
What are the best quotes from How to Measure Anything and what do they mean?
- “Anything can be measured.”: Encourages readers to rethink their assumptions about what can and cannot be quantified.
- “It’s better to be approximately right than to be precisely wrong.”: Highlights the importance of making informed estimates rather than waiting for perfect data.
- “If you understand it, you can model it.”: Emphasizes the connection between understanding a concept and the ability to measure it.
What is the Applied Information Economics (AIE) method in How to Measure Anything?
- Structured Measurement Approach: AIE is a systematic method for measuring uncertainties and making decisions based on those measurements.
- Five-Step Process: Consists of defining the decision, determining current knowledge, computing the value of additional information, applying relevant measurement instruments, and making a decision.
- Focus on Uncertainty Reduction: Treats measurement as a way to reduce uncertainty, allowing for more informed choices.
How does Douglas W. Hubbard define measurement in How to Measure Anything?
- Reduction of Uncertainty: Measurement is defined as "a quantitatively expressed reduction of uncertainty based on one or more observations."
- Probabilistic Nature: Acknowledges that measurements do not need to eliminate uncertainty entirely; they simply need to reduce it.
- Observable Consequences: Tied to observable outcomes, meaning that if something can be detected in any way, it can be measured.
What is the Monte Carlo method mentioned in How to Measure Anything?
- Simulation Technique: A statistical technique that uses random sampling to estimate the probability of different outcomes in a process that cannot easily be predicted.
- Application in Risk Analysis: Allows decision-makers to model uncertainty and assess risks by simulating thousands of scenarios based on varying inputs.
- Historical Context: Named after the Monte Carlo Casino due to its reliance on random sampling, similar to games of chance.
What is the Expected Value of Information (EVI) in How to Measure Anything?
- Definition of EVI: The reduction in expected opportunity loss (EOL) that results from obtaining additional information before making a decision.
- Importance in Decision-Making: Helps prioritize measurement efforts by quantifying the potential benefits of reducing uncertainty.
- Calculation: Calculated as the difference between the EOL before and after obtaining new information.
How does How to Measure Anything address biases in decision-making?
- Human Biases: Discusses common human biases, such as overconfidence and selection bias, that can affect decision-making.
- Calibration Techniques: Introduces calibration techniques to help individuals better assess their own uncertainty and improve their estimates.
- Importance of Training: Emphasizes the need for training to mitigate biases and enhance the accuracy of decision-making processes.
What is the significance of Bayesian analysis in How to Measure Anything?
- Updating Beliefs: Allows decision-makers to update their beliefs based on new evidence, integrating prior knowledge with new information.
- Practical Applications: Provides examples of how Bayesian methods can be applied to real-world problems, enhancing the understanding of uncertainty.
- Comparison to Traditional Methods: Contrasts Bayesian methods with traditional statistical approaches, highlighting their flexibility and applicability in uncertain situations.
How does Hubbard define the value of information in How to Measure Anything?
- Expected Value of Perfect Information (EVPI): Defined as the maximum amount a decision-maker should be willing to pay for information that would eliminate uncertainty.
- Cost-Benefit Analysis: Assessed through a cost-benefit lens, weighing the potential benefits of reducing uncertainty against the costs of obtaining that information.
- Real-World Examples: Provides case studies where the value of information was calculated, demonstrating its practical significance.
How can I apply the concepts from How to Measure Anything in my work?
- Identify Key Decisions: Start by clearly defining the decisions you need to make and the uncertainties involved.
- Use Bayesian Methods: Implement Bayesian analysis to refine your estimates as new data becomes available.
- Measure Incrementally: Apply the principle of incremental measurement by starting with small, manageable data collection efforts.
