Nim powołam się na jakieś badania naukowe, często sprawdzam ich metodologię, czyli opisy tego, jak zostały przeprowadzone. Ma to ogromne znaczenie, ponieważ nawet najbardziej krzepiące czy obiecujące wnioski mogą nadawać się tylko do śmietnika, jeżeli wynikają z błędnych, niepełnych, źle zinterpretowanych czy fałszywie zanalizowanych danych. W dzisiejszym tekście opisuję kilka podstawowych rzeczy, na które warto zwrócić w tym kontekście uwagę.
Artykuł napisałem dzięki wsparciu moich Patronów i Patronek. Jeżeli chcesz dołączyć do ich grona, możesz to zrobić na moim profilu w serwisie Patronite, wpłacając co miesiąc 5, 10 czy 25 zł na rzecz „To Tylko Teorii”.
Próba badawcza
Bywa, że liczba badanych osób, zwierząt, roślin czy próbek nie ma aż tak dużego znaczenia – zależy bowiem co dokładnie jest badane i w jakim celu. Jednakże zwłaszcza w pracach epidemiologicznych czy medycznych ma to ważność. Trudno jest wyciągać wnioski i ekstrapolować je na ogół mężczyzn czy kobiet, lub ludzi ogółem, jeśli mamy tylko np. 10 osób badanych.
Co innego, gdy posiadamy kilka badań, z czego niektóre obejmują około 10 osób, ale pozostałe kilkadziesiąt, kilkaset lub kilka tysięcy. Wówczas sytuacja jest jaśniejsza. Niemniej gdy mamy tylko jedno czy dwa badania na paru osobach, trzeba wziąć pod uwagę, że np. skutki uboczne badanego leku mogły nie ujawnić się w eksperymencie nie dlatego, że ich nie ma, lecz ponieważ zbadaliśmy zbyt mało ludzi, aby miały one szansę wystąpić.
Choć pewne braki liczbowe można nadgonić dzięki odpowiednim przeliczeniom statystycznym, to zasadniczo dobrze jest, żeby w badaniu udział brało co najmniej kilkadziesiąt osób. Badania kliniczne wymagają jeszcze większych prób, idących w setki i tysiące. Przykład manipulacji badawczej to publikacja Andrew Wakefielda na temat rzekomego autyzmu poszczepiennego. Wśród licznych wad tej pracy również mała grupa badanych przemawiała na jej niekorzyść.
Losowość próby i adekwatność demograficzna
Jeżeli nie mamy do czynienia ze specyficznymi, wąskimi badaniami, w których losowość nie jest istotna, powinniśmy zwrócić uwagę na to, czy testy były randomizowane. Oznacza to, że do grup badanych i kontrolnych uczestnicy powinni trafić na drodze losowania. Są jednak eksperymenty, w których spełnienie tego czynnika jest trudne bądź nieetyczne, np. gdy mamy osoby z zaawansowaną chorobą i powinny jak najszybciej otrzymać eksperymentalny lek, bez możliwości trafienia do grupy placebo.
Gdy zajmujemy się jakimś ekstremalnie rzadkim zjawiskiem, np. zaburzeniami genetycznymi występującymi raz na kilkadziesiąt tysięcy urodzeń, dochowanie losowości i wielkości próby może być niemożliwe. Wówczas nie powinno się blokować badań, tylko robić je na tym, co dostępne, ze świadomością ograniczeń metodologicznych.
Ważna jest jeszcze reprezentatywność demograficzna. Ma to znaczenie szczególnie w badaniach psychologicznych i socjologicznych, chociaż jest to też ważne w testach medycznych. Powinny one obejmować zarówno kobiety, jak i mężczyzn oraz adekwatne grupy wiekowe. Znaczenie mają czynniki biologiczne, mogące wpływać na wyniki. Przykładem „badania” pełnego błędów – w tym skrajnej niereprezentatywności demograficznej – był niedawny raport KPH, stworzony we współpracy z „Centrum Badań nad Uprzedzeniami” UW. Został on ostro skrytykowany na łamach czasopisma naukowego „Biuletyn Kryminologiczny”, wydawanego przez Polską Akademię Nauk.
Okres trwania badania i liczba pomiarów
W przypadku wielu chorób czy zjawisk rozwojowych czas ma ogromne znaczenie. Dlatego też eksperymenty obejmują nie kilka czy kilkanaście miesięcy, lecz kilkadziesiąt bądź kilkaset. Efekty poszczególnych terapii mogą ujawniać się po dekadach, więc dane zebrane kilka lat po rozpoczęciu leczenia są niepełne. Problem ten występuje np. w badaniach dr Jacka Turbana, naukowca-aktywisty dowodzącego, że tranzycja płciowa pomaga. Jednak bierze on pod uwagę bardzo krótkie okresy, w ramach których nie da się tego zweryfikować, wobec czego prezentowane przez niego wyniki, że większość osób jest zadowolona ze zmiany płci, są do kosza. Po kilku latach może i są, ale po kilku kolejnych, gdy dorosną, zwykle zmieniają zdanie.
Ja sam, jako 13-14 latek zostałem zmanipulowany przez dorosłego transseksualistę i nakłoniony do zmiany płci. Tuż przed 18-stką specjaliści polecani przez organizację transaktywistów wystawili mi zaświadczenia do zmiany płci, fabrykując diagnozę transseksualizmu. Dopiero po mniej więcej 8 latach cofnąłem zmianę płci. 5 lat po jej rozpoczęciu – a taki czas uwzględniają badania o rzekomych korzyściach z tranzycji – również deklarowałem, że mi ona pomogła. Przypadków takich jak mój jest znacznie więcej, a liczba osób dokonujących cofnięcia zmiany płci, czyli detranzycji, z dnia na dzień rośnie.
Ogromne znaczenie ma też liczba pomiarów poszczególnych parametrów i ich podłużność. Czy uczestników eksperymentu lub obserwacji epidemiologicznej zbadano tylko raz? Czy jednak kilka lub kilkanaście razy przez jakiś okres? Pomiary punktowe, jednorazowe, mogą być pomocne w poszukiwaniu odpowiedzi na naukowe pytania, ale znacznie istotniejsze są wyniki badań longitudinalnych, kiedy to naukowcy dokonują weryfikacji mierzonych parametrów kilkakrotnie lub częściej. Gdyby badacze od „korzystnej zmiany płci 5 lat po jej rozpoczęciu” wrócili do swoich pacjentów 10 lat później i 15 lat później, z pewnością uzyskaliby znacznie mniej optymistyczny wynik.
Mierzone parametry
Gdy pisałem o badaniach na temat poczucia szczęścia z rodzicielstwa, dotarło do mnie, że szczęście jest czymś bardzo ulotnym, niemożliwym do obiektywnego, ścisłego zdefiniowania i zbadania. Bo o ile są rzeczy, które można zmierzyć obiektywnie – np. długość kończyn miarką, aktywność skupisk neuronów funkcjonalnym rezonansem magnetycznym, czy mutacje genetyczne sekwencjonowaniem DNA – tak też jest niemal niezliczenie dużo zmiennych, których nie da się empirycznie sprawdzić. Właśnie jedną z nich jest odczuwane szczęście.
Dlatego też należy bardzo uważać na badania ankietowe, gdzie ludzie subiektywnie deklarują pewne stany czy wspomnienia, ale badacze nie mają szansy ich zweryfikować: czy są prawdziwe, a jeśli tak, to na ile. Stąd też do wyników testów ankietowych – nawet jeśli są publikowane w najbardziej prestiżowych czasopismach naukowych – podchodzi się z dużym dystansem. Tym większym, im mniej naukowe jest badanie, o czym boleśnie przekonała się ostatnio Martyna Wojciechowska z raportem „Młode głowy”.
Autorzy i konflikty interesów
Plagą współczesnej nauki jest przyjmowanie przez naukowców roli aktywistów. Dotyczy to zwłaszcza dziedzin społecznych i humanistycznych, ale w mniejszym stopniu również tych ścisłych i przyrodniczych. Doprowadza to do sytuacji, w której badacz znajduje się w konflikcie interesów: chociaż rzetelność naukowa nakazuje mu być obiektywnym, to dążenia aktywistyczne skłaniają go ku przeprowadzeniu badania tak, aby otrzymać wyniki wspierające światopoglądowy cel. Z tego powodu wiele badań ostatnich paru dekad jest nic niewartych. Bo co z tego, że mamy „piękny” wynik, idealnie pasujący pod tezę tej grupie aktywistów, czy innej grupie polityków, jeżeli jest on odklejony od rzeczywistych danych?
O ile w przypadku namacalnego konfliktu interesów, czyli finansowania badań naukowych przez jakiś podmiot, istnieje obowiązek zaznaczenia tej informacji (np. gdy duża firma technologiczna sponsoruje badanie o tym, jak smartfony wpływają na zdrowie psychiczne młodzieży, ponieważ pole do nadużyć jest wówczas olbrzymie: np. aby ukazać smartfony jako mniej szkodliwe, niż są w rzeczywistości), tak gdy ktoś jest aktywistą, nie musi o tym informować. Pojawiają się mocne i dobrze uargumentowane głosy, że to powinno się zmienić.
Aktualnie cały nurt „badań” postmodernistycznych (np. gender studies, disability studies, fat studies, neurodiversity studies, transgender studies) bazuje właśnie na podejściu aktywistycznym, które z empiryczną nauką ma niewiele wspólnego. W przeszłości podobnie wyglądały „badania” teologiczne (według których, np., Ziemia miała mieć kilka tysięcy lat). Były one w rzeczywistości filozoficzno-ideologicznymi i religijnymi dociekaniami. Ludzie mają prawo do jednych i drugich, ale nie należy nazywać ich nauką, bo to zasadniczy błąd logiczny i metodologiczny.
Jeżeli podoba Ci się mój artykuł, jak i szerzej moja działalność pronaukowa, zapraszam do dołączenia do grona moich Patronów. Dzięki ich wsparciu mogę utrzymywać i rozwijać tego bloga.
„Aktualnie cały nurt „badań” postmodernistycznych (np. gender studies, disability studies, fat studies, neurodiversity studies, transgender studies) bazuje właśnie na podejściu aktywistycznym, które z empiryczną nauką ma niewiele wspólnego.”
Jeśli zahaczamy o kwestie zdrowia psychicznego, to jak to jest z tą „empiryczną nauką” w specjalizacji medycznej zwanej psychiatrią? Z czym tak naprawdę zostaniemy, jeśli odrzucimy „cały” nurt badań postmodernistycznych, którego wpływ przejawia się chociażby w zmianie podejścia do osoby z problemami natury psychicznej, która przestaje być „klientem” (wg mnie nawet bardziej pasuje określenie „towar”) dopasowanym do kategorii nozologicznej, mających dyskusyjną wartość naukową klasyfikacji ICD/DSM?
Spora część psychiatrii nie ma związku z ideologią postmodernistyczną, a już na pewno nie tak silnych, jak psychologia, czy niektóre nurty psychoterapii.
Dobry artykuł ale jednak zacząłbym od tego, że najgorsze są „badania” z założonym z góry wynikiem. Wprawdzie podpada pod to kilka cech, które wymieniłeś ale warto byłoby sformułować ten grzech pierworodny wprost. O tym, że dotyczy on tzw. nauk społecznych nie warto mówić (chyba prawie każdy słyszał o „Grievance Studies Affair”, przy którym blednie okrutny żart Sokala sprzed lat) ale niestety nauki posługujące się aparatem matematycznym też toczy trąd. Poprzez odpowiedni dobór zmiennych do modelu, zmianę jego postaci funkcyjnej czy, co gorsza, ukrycie niektórych wyników można „udowodnić” prawie wszystko. Można też utrudnić dostęp do mediów czy nawet zawodu autorom niesłusznych ideologicznie badań, tak jak to było w przypadku skutków wirusa SARS-CoV-2. Kiedyś polityczna poprawność polegała na tym, że nie można mówić Murzyn tylko Afro-Amerykanin (choć „katol” czy „klecha” jak najbardziej). I pół biedy, że obecnie powiedzenie o tenisistce, że serwuje prawie jak mężczyzna to podobna zbrodnia. Gorzej, że ta polityczna poprawność tak ewoluowała aż opanowała również np. medycynę (wspomniana „pandemia”) i klimatologię. W tym drugim przypadku wprawdzie jeszcze nie traci się pracy za niesłuszne wyniki ale granty już tak. Ma się też kłopoty z publikowaniem, bo recenzenci wiedzą skąd wiatry wieją („policmajster powinność służby swej rozumiał”).
I jest jeszcze jeden fenomen, który niezmiennie budzi moją ciekawość. Przypomniałem sobie o nim przy okazji uwagi, że szczęścia nie można zmierzyć. Otóż od kilku lat światowymi liderami w rankingu najbardziej szczęśliwych nacji są Finowie. Kto był w Finlandii to wie jak dobrze to szczęście ukrywają, zwłaszcza kiedy piją w weekendy. Ale może rzeczywiście przykładam do nich polską miarę i ulegam stereotypowi roześmianych południowców (Włosi są nisko w tym rankingu, nawet za Polakami, za to inni mieszkańcy północnej Europy wysoko). Moja hipoteza jest następująca: ponieważ totalitarne reżimy w Europie skoncentrowały się w Skandynawii, to tamtejsi mieszkańcy boją się przyznać, że nie są szczęśliwi. I to jest materiał na badanie, a nie jakaś zimna fuzja jądrowa czy lekarstwo na raka. Za pomysł można mi wysłać dobry koniak.
To samo badanie (na temat najszczęśliwszych narodów) przyszło i mnie do głowy w kwestii ankiet na temat subiektywnych odczuć. Raporty te są głośne, ale czy rzeczywiście posiadają trafne wyniki?
Mylisz się. To nie jest pseudonauka. To jest religia.
Ma to pewne elementy religii, niewątpliwie.
Ja im częściej patrzę na to, co się dzieje w tych dziedzinach, to coraz częściej przychodzi mi na myśl powstawanie nowej religii społecznej. Zwłaszcza to „albo z nami, albo przeciwko nam”, bez dopuszczania polemiki w temacie.
Trochę przestarzała, ale społeczna teoria instytucji religii tu ładnie pasuje.
Trochę zabawne, że nauki społeczne w publikacjach sprzed 30 lat opisują dobrze, co obecnie dzieje się w naukach społecznych i ogólnie w społeczeństwie.
Wpis nie odwołuje się do żadnej publikacji naukowej poświęconej samej nauce. Tymczasem badania i analizy na ten temat prowadzone są regularnie mniej więcej od stu lat, a w ostatnich dekadach są systematycznie obecne w globalnym obiegu czasopism naukowych (że o polskich pracach nie wspomnę). Każdy może się o tym przekonać, samodzielnie wyszukując takie określenia, jak „science and technology studies” czy „higher education studies”. Dla zainteresowanej osoby nie będzie problemem znalezienie prestiżowych profesjonalnych czasopism zajmujących się tymi zagadnieniami, takich jak choćby „Higher Education”.
Gdyby Autor wpisu odwołał się do już istniejącej wiedzy fachowej, wziąłby pod uwagę fakt, że tylko niektóre z definicji nauki (w uproszczeniu: te utożsamiające ją z angielskim słowem „science”, w przeciwieństwie choćby do niemieckiego „Wissenschaft”) zawężają ją do obszaru deklaratywnie bezstronnych metod ilościowych. Zamiast tego Autor wypowiada bardzo zdecydowane sądy, pomijając publicznie dostępną wiedzę naukową na poruszany temat. W efekcie np. nie zwraca uwagi na całą wielką tradycję badań jakościowych, opartych na obserwacji, wywiadach pogłębionych i podobnych metodach, a nie na – oczywiście też potrzebnych – rachunkach statystycznych.
Ani ukończenie studiów biologicznych, ani lektura artykułów opisujących badania z dziedziny psychologii czy nauk przyrodniczych nie sprawiają, że ktoś automatycznie staje się ekspertem od tego, jak działa sama nauka. Nie uprawniają do ignorowania profesjonalnej wiedzy w obszarach, na temat których wypowiada się osoba prowadząca „blog naukowy” lub określająca się jako „popularyzator nauki”.
Badania nad astrologią też prowadzono od wielu lat i też były obecne na uniwersytetach, a jednak astrologia nauką nie jest. Charakter tych czasopism „naukowych” ma, w najlepszym razie, ten sam wymiar co naukowe czasopisma z teologii. Są to dywagacje i „badania” z bardzo stronniczej perspektywy i z silnym nastawieniem ideologicznym/religijnym. Daleko im nawet do socjologii czy psychologii społecznej.
„…często sprawdzam ich metodologię” – tylko „często”?
Proponuję sprawdzać ZAWSZE
Jak nie ma solidnej metodologii, to po co tracić czas na resztę materiału?
Uczony X od kilkunastu lat usiłuje otrzymać liczbę 200 000. Najpierw ekstrapolował wyniki z jednego powiatu, Potem rzekomo cytował uczonego Y, następnie córka Y napisała, że ojciec był zastraszony i rzeczywiście myślał to, czego nie napisał, a nawet bardziej. Na podstawie badań uczonego X dla 9 powiatów wychodzi raczej 40 000 niż 200 000. Uczony X wydał realne pieniądze podatników, w tym moje.