Przesadna obietnica tak zwanego bezstronnego wydobywania danych


Laureat Nagrody Nobla, Richard Feynman, poprosił swoich studentów Caltecha, aby obliczyli prawdopodobieństwo, że jeśli wyjdzie poza salę lekcyjną, pierwszy samochód na parkingu będzie posiadał specjalną tablicę rejestracyjną, np. 6ZNA74. Zakładając, że każda liczba i litera są równie prawdopodobne i określone niezależnie, uczniowie oszacowali prawdopodobieństwo, że będzie mniejsze niż 1 na 17 milionów. Kiedy uczniowie zakończyli obliczenia, Feynman ujawnił, że prawdopo- dobne prawdopodobieństwo wynosi 1: Widział tę tablicę rejestracyjną w drodze do klasy. Coś wyjątkowo mało prawdopodobnego wcale nie jest mało prawdopodobne, jeśli już się stało.

Pułapka Feynmana – wertująca dane dla wzorców bez uprzedniego wyobrażenia o tym, czego się szuka – to pięta achillesowa badań opartych na eksploracji danych. Znalezienie czegoś niezwykłego lub zaskakującego po tym, jak już nastąpiło, nie jest ani niezwykłe, ani zaskakujące. Wzory na pewno zostaną znalezione i prawdopodobnie będą mylące, absurdalne lub gorsze.

W bestsellerowej książce z 2001 roku Dobry do WielkiegoJim Collins porównał 11 przedsiębiorstw, które osiągnęły wyniki lepsze niż ogólny rynek akcji w ciągu ostatnich 40 lat, do 11 firm, które nie osiągnęły takiego wyniku. Zidentyfikował pięć wyróżniających cech wspólnych firm, które odniosły sukces. "Nie rozpoczynaliśmy tego projektu od teorii do sprawdzenia lub udowodnienia", chwalił się Collins. "Staraliśmy się zbudować teorię od podstaw, wyprowadzoną bezpośrednio z dowodów".

Wszedł do pułapki Feynmana. Kiedy patrzymy wstecz w każdej grupie firm, najlepszych lub najgorszych, zawsze możemy znaleźć pewne wspólne cechy, więc znalezienie ich niczego nie dowodzi. Po publikacji Dobry do Wielkiego, wydajność 11 wspaniałych zapasów Collinsa była wyraźnie przeciętna: pięć akcji spisało się lepiej niż cały rynek akcji, a sześć zrobiło się gorzej.

W 2011 roku Google utworzył program sztucznej inteligencji o nazwie Google Flu, który wykorzystywał wyszukiwane hasła do przewidywania epidemii grypy. Program Google do eksploracji danych przeanalizował 50 milionów zapytań i zidentyfikował 45, które były najbardziej skorelowane z częstością występowania grypy. Jest to kolejny przykład pułapki do eksploracji danych: ważne badanie z wyprzedzeniem określi słowa kluczowe. Po wydaniu raportu firma Google Flu zawyżyła liczbę przypadków grypy przez 100 z następnych 108 tygodni, średnio o prawie 100 procent. Google Flu nie tworzy już prognoz dotyczących grypy.

Marketer internetowy sądził, że może zwiększyć swoje przychody, zmieniając swój tradycyjny niebieski kolor strony na inny kolor. Po kilku tygodniach testów firma uzyskała statystycznie istotny wynik: podobno Anglia uwielbia teal. Patrząc na kilka alternatywnych kolorów dla setek krajów, zagwarantowali oni, że w pewnym kraju odnotują wzrost przychodów w przypadku niektórych kolorów, ale nie mieli pojęcia z góry, czy teal sprzeda więcej w Anglii. Jak się okazało, kiedy kolor strony internetowej Anglii został zmieniony na zielony, przychody spadły.

Standardowy eksperyment z neuronauką polega na pokazaniu wolontariuszowi w maszynie MRI różnych obrazów i zadawaniu pytań na temat obrazów. Pomiary są głośne, zbierają sygnały magnetyczne ze środowiska i zmieniają gęstość tkanki tłuszczowej w różnych częściach mózgu. Czasem brakuje im aktywności mózgu; czasami sugerują aktywność tam, gdzie jej nie ma.

Uczeń z Dartmouth użył aparatu MRI do badania aktywności mózgu łososia, ponieważ pokazano mu zdjęcia i zadawano pytania. Najciekawsze w tym badaniu nie było to, że badano łososia, ale łosoś nie żył. Tak, martwy łosoś zakupiony na lokalnym rynku został umieszczony w maszynie MRI, a niektóre wzory zostały odkryte. Istniały nieuchronnie wzory – i zawsze były bez znaczenia.

W 2018 roku profesor ekonomii Yale i absolwent wyliczył korelacje między codziennymi zmianami cen Bitcoin a setkami innych zmiennych finansowych. Stwierdzili oni, że ceny bitcoinów były pozytywnie skorelowane ze zwrotami z akcji w sektorze dóbr konsumpcyjnych i opieki zdrowotnej, oraz że były one ujemnie skorelowane ze zwrotami z zapasów w sfabrykowanych produktach i przemyśle wydobywczym metali. "Nie udzielamy wyjaśnień – powiedział profesor – właśnie dokumentujemy to zachowanie". Innymi słowy, równie dobrze mogliby przyjrzeć się korelacjom cen Bitcoin z setkami list numerów telefonicznych i zgłosili najwyższe korelacje.

Dyrektor Food and Brand Lab Cornell University jest autorem (lub współautorem) ponad 200 recenzowanych artykułów i napisał dwie popularne książki, przetłumaczone na ponad 25 języków.

W blogu z 2016 r. Zatytułowanym "Uczeń grad, który nigdy nie mówił", napisał o doktorantu, który otrzymał dane zebrane podczas bufetu włoskiego "wszystko, co możesz zjeść".

Pojawiła się korespondencja e-mailowa, w której profesor poradził absolwentowi, aby oddzielił gości od "mężczyzn, kobiet, osób, które jedzą obiad, osób jedzących obiad, osób siedzących samotnie, osób spożywających posiłki w grupach po 2 osoby, osób spożywających posiłki w grupach 2+, osób zamawiających alkohol , ludzie, którzy zamawiają napoje bezalkoholowe, ludzie, którzy siedzą w pobliżu bufetu, ludzie, którzy siedzą daleko, i tak dalej … "Wtedy mogła przyjrzeć się różnym sposobom, w jaki te podgrupy mogą się różnić:" # kawałki pizzy, # podróże, poziom wypełnienia z talerza, czy dostali deser, czy zamówili drinka, i tak dalej … "

Doszedł do wniosku, że powinna "ciężko pracować, wycisnąć trochę krwi z tej skały". Nie mówiąc nigdy, student dostał cztery papiery (obecnie znane jako "papiery do pizzy") opublikowane wspólnie z profesorem Cornell jako współautorem. Najsłynniejsza gazeta donosi, że mężczyźni jedzą o 93 procent więcej pizzy, kiedy jedzą z kobietami. To się nie skończyło dobrze. We wrześniu 2018 r. Komitet wydziału w Cornell doszedł do wniosku, że "popełnił wykroczenie akademickie w swoich badaniach." Podał się do dymisji, ze skutkiem na czerwiec.

Dobre badania zaczynają się od jasnego pojęcia, czego się szuka i czego oczekuje. Eksploracja danych po prostu szuka wzorców i nieuchronnie znajduje niektóre.

Problem stał się obecnie powszechny, ponieważ potężne komputery są tak dobre w plądrowaniu Big Data. Górnicy danych znaleźli korelacje między słowami na Twitterze a wyszukiwanymi hasłami Google, przestępczością, atakami serca, cenami akcji, wynikami wyborów, cenami Bitcoin i meczami piłki nożnej. Możesz pomyśleć, że robię te przykłady. Nie jestem.

Są nawet silniejsze korelacje z czysto losowymi liczbami. Big Data Hubris uważa, że ​​korelacje danych muszą być znaczące. Znalezienie nietypowego wzorca w Big Data nie jest bardziej przekonujące (ani użyteczne) niż znalezienie nietypowej tablicy rejestracyjnej poza klasą Feynmana.

WIRED Opinion publikuje utwory napisane przez zewnętrznych autorów i reprezentuje szeroki zakres punktów widzenia. Czytaj więcej opinii tutaj. Prześlij opinię na adres opinion@wired.com


Więcej wspaniałych opowiadań WIRED