Chcąc sprawdzić, jak rzetelnie, w oparciu o jakie źródła i z jakim zaangażowaniem polskojęzyczne media pisały o koronawirusie SARS-CoV-2 i pandemii, przeprowadziłem – wraz z Arkiem Doboszem z Jagiellońskiego Centrum Innowacji oraz z metodologicznym wsparciem Michała Misiaka z Instytutu Psychologii Uniwersytetu Wrocławskiego – badanie opisane szczegółowo w raporcie (wykonanym graficznie przez Katarzynę Gęborek, współautorkę gry karcianej Antyszczepionkowcy.biz), do którego link znajduje się poniżej. Chcieliśmy w ten sposób ocenić jakość polskich mediów i przekazywanych przez nie informacji na temat COVID-19.
W badanie włączyliśmy 29 polskojęzycznych portali medialnych (wymienionych w załączonym niżej pliku oraz widocznych na wykresie z wynikami), wybranych głównie w oparciu o raporty Instytutu Monitorowania Mediów za rok 2020. Artykuły (35 na dane medium, z wyjątkiem jednego – z przyczyn metodologicznych) objęte naszą analizą pochodziły z okresu od 27 stycznia 2020 do 27 września 2020, czyli z 35 tygodni. Na każdy tydzień wylosowaliśmy dzień, dla którego szukaliśmy artykułów do analizy bazując na słowach „koronawirus”, „SARS”, „COVID”.
Podczas czytania, analizy i weryfikacji artykułów zbieraliśmy dane dotyczące tego czy i na jakie źródła (wymienione w raporcie) się w nich powoływano, ile fałszywych informacji (zdefiniowanych w raporcie) dotyczących biologii i medycyny w nich wykryliśmy oraz jak rozbudowane były, z jakim „zaangażowaniem” (zdefiniowanym w raporcie) zostały napisane. Te trzy dane posłużyły nam do uzyskania wskaźników i stworzenia rankingów pod kątem: liczby cytowań, liczby fałszywych informacji, zaangażowania oraz głównego rankingu uwzględniającego wszystkie trzy zmienne. Szczegółowe metody, sposób analizy oraz wyniki znajdują się w raporcie w formacie PDF (łącze do raportu znajduje się na końcu artykułu) – w niniejszym artykule zamieszczam jedynie pierwszy, główny wynik-ranking oraz trzy odrębnie pokazujące każdą badaną zmienną.
Główny ranking rzetelności mediów w informowaniu o COVID-19 i pandemii
Pierwszy wykres ukazuje główny ranking badanych mediów i uwzględnia wszystkie trzy zmienne (cytowania łącznie, fałszywe informacje oraz zaangażowanie). Uzyskany został przez wyciągnięcie średniej z pozycji wyników dla każdej zmiennej (ukazanych na kolejnych wykresach i w raporcie). Taki sam numer dla różnych mediów oznacza równe miejsce w rankingu. Tym lepsze medium im „wyżej” i bardziej „na lewo” na wykresie jest ono umiejscowione.
Ranking mediów w powoływaniu się na źródła informacji
Drugi wykres ukazuje ranking wszystkich mediów tylko w powoływaniu się na źródła – liczbie cytowań w przeliczeniu na jeden artykuł danego medium. Szczegółowe wyniki dla każdego medium, z wyszczególnieniem udziału konkretnych rodzajów źródeł, znajdują się w raporcie podlinkowanym pod koniec tego artykułu.
Ranking mediów pod kątem angażującej treści
Trzeci wykres ukazuje ranking wszystkich mediów pod kątem zaangażowania – rozbudowania, analityczności i oryginalności (w opozycji do tekstów krótkich, kopiujących komunikaty agencji prasowych) – publikowanych artykułów. Wynikiem jest tutaj średnie zaangażowanie, w przeliczeniu na artykuł.
Ranking mediów pod względem liczby fałszywych informacji
Czwarty wykres ukazuje ranking wszystkich mediów pod kątem publikowania fałszywych informacji dotyczących biologii i medycyny, średnio na jeden artykuł. Szczegółowe, sumaryczne liczby fałszywych informacji dla każdego medium znajdują się w raporcie podlinkowanym w dalszej części tekstu.
Udział rodzajów cytowanych źródeł
Piąty wykres ukazuje udział wszystkich rodzajów cytowanych źródeł, łącznie we wszystkich badanych mediach, liczonych jako cytowanie co najmniej jeden raz na artykuł. W szczegółowym raporcie znajdują się wyniki pokazujące ten udział odrębnie dla każdego medium.
Wyniki przeprowadzonego przez nas badania pozwalają wyciągnąć kilka istotnych wniosków. Główny jest taki, że znaczna część polskojęzycznych mediów odznaczyła się niewielką liczbą fałszywych informacji. Z drugiej strony sporo mediów okazało się mieć niskie zaangażowanie treści – były to często krótkie artykuły z informacjami skopiowanymi od agencji prasowych. Media, które osiągnęły dobry wynik przy fałszywych informacjach i zły przy zaangażowaniu w znacznym stopniu przekazywały notki od agencji prasowych bez większego wkładu własnego. Również posiadanie wielu cytowań i niskiego zaangażowania niejednokrotnie wskazywało na krótkie artykuły przywołujące liczne źródła za treściami pochodzącymi z agencji. W przypadku niektórych badanych tekstów z dużą liczbą fałszywych informacji i względnie wysokim zaangażowaniem można było odnotować rozbudowane treści o charakterze teorii spiskowych.
Cały raport ze szczegółowym opisem metod, pozostałymi (nie przedstawionymi w artykule) wynikami oraz wnioskami, jak również ograniczeniami, odniesieniem się do konfliktu interesów i podziękowaniami, dostępny jest tutaj: Pandemia COVID-19 w polskich mediach. Totylkoteoria.pl Raport.
na poczatku powinny byc podstawowe wnioski jak w publikacjach naukowych by nie trzeba bylo czytac calego tego elaboratu
pozdrawiam
Telesfor
10 małych akapitów, od 4 (!) do 12 linijek tekstu to „elaborat”? Obyś się nie zmęczył.
Fajna analiza, ale w tym przedziale czasowym sama WP wygenerowała > 5 tyś. tekstów o tematyce covidowej a medyczne/biologiczne teksty stanowiły mniejszość zbioru. Troszeczkę innymi miarami w sierpniu 2020 porównywaliśmy rzetelność (inaczej definiowaną) mediów lokalnych (dolnośląskich) vs krajowe i korzyścią na media lokalne. „Monitorowanie percepcji ryzyka Covid-19 na Dolnym Śląsku za pomocą analizy śladu cyfrowego w internecie” 10.5281/zenodo.3985567.
Łukaszu robisz bardzo dobrą robotę, tak trzymaj!
Ja nie jestem wyznawcą religii covidiańskiej, a te rankingi to żenada. Lewicowe najrzetelniejsze, a prawicowe wręcz przeciwnie.
Po prostu tak jest. Prawicowe gazety są skierowane do obiorców, którzy np. nie wierzą w globalne ocieplenie. Co w tym dziwnego? Oczywiście lewica też ma swojeg antynaukowe grzechy, np. na lewicy jest wielu antyszczepionkowców. Ale generalnie częściej antynaukowy jest światopogląd prawicowy.
Tak, tak. A ludzi wyrzucają z pracy za stwierdzenie, że są dwie płcie. I jeszcze nagonkę robią, żeby ich zniszczyć, tacy to naukofffcy.
No co poradzić, że szuria prawicowa ma tyle związanego z rzetelnością, co PiS z wolnym rynkiem, a konfederacja z troską o bliźniego? Antyszczepy, denialiści klimatyczni i płaskoziemcy to w znakomitej większości skrajniejsza prawica. Nie dziwi podium „do rzeczy” czy 'nczas’. W końcu celują w mniej inteligentny i bardziej podatny na manipulacje elektorat.
Cóż, cała polska prawica to żenada, więc wszystko się zgadza 🙂
Czy w badaniu były brane pod uwagę informacje o których dane medium nie mówi? Mówienie prawdy o tym co się opisuje to jedno a nie poruszanie ważnych informacji to też rodzaj oszukiwania. Ciekaw jestem wyników takiego badania.
Ale masz jakieś konkretne zastrzeżenia do tego rankingu?
Może trochę odejdę od tematu, ale co się stało z artykułami z kwietnia, maja i czerwca? Zdawało mi się, że były tam chyba 2-4 artykuły, ale teraz nigdzie ich nie ma (między innymi ten o zagrożeniu związanym z robotyzacją)
Są w trakcie przenosin ze starej strony.
Takie to trochę stronnicze po mojemu…
angażująca treść, czasami mam wrażenie że przekopiowanie oryginalnego tekstu jest bardziej wiarygodne, niż jego redagowanie przez pseudo ekspertów i podawanie ludziom gotowych opinii.
Najbardziej wiarygodnym „medium” powinno być to które publikuje artykuły i wypowiedzi „po obu stronach barykady” i pozwala ludziom na samodzielne myślenie w oparciu o opublikowane teksty i dane a nie gotowe opinie. Tyle na temat
Wiarygodność to z definicji zasługujący na zaufanie. W żadnej dziedzinie wiedzy (chyba?) nie będzie określony mianem wiarygodnego, artykuł który powołuje się na nieprawdziwe informacje z tzw. drugiej strony barykady. Samodzielne myślenie, to takie słowo klucz które jakby chce udowodnić, że człowiek który w każdej nawet najbardziej skomplikowanej materii posłuży się myśleniem samodzielnym, dojdzie do prawidłowych wniosków – to ogromny błąd. Już sama statystyka „zna” wiele błędów które popełniamy nieświadomie, a neurobiologia mówi dlaczego tak się dzieje z chemicznego punktu widzenia. Ot jesteśmy niedoskonali, dlatego tak złożone zagadnienia muszą być udostępniane w formie „skróconej opinii”, a nie suchych danych – gwarantuje Ci, że społeczeństwo takimi by się nie zainteresowało.
A czemu nie uwzględnilisćie CrazyNauka i KopalniaWiedzy. To jedne z najlepszych mediow naukowych w Polsce
Hmmmmm…
Panie Łukaszu…
Jak obaj wiemy, do weryfikowania rzetelności publikowanych treści trzeba posiadać rzetelne dane – źródło…
Czasem rzetelność jest wątpliwej jakości, bo np. ilość ,,wklepanych” pozytywnych wyników na obecność wirusa nie jest wyznacznikiem zachorowalności…
Ktoś umarł bo spadł z drabiny, ale wklepali mu kowid…
Więc proszę powiedzieć, skąd czerpał Pan rzetelne dane, podkreślę, do badań…?
Chciałbym też wiedzieć czy jest Pan za używaniem tych eksperymentalnych zastrzyków…?
Bo obawiam się, że to może jedynie Pana politpoprawna narracja…
Pozdrawiam,
Anieobecny
Ciekawe kto sprawdza rzetelność „rzetelnych informacji”? Niech zgadnę…sponsor 🙂
Na pewno nie nauka bo któż ma własne pieniądze aby weryfikować co ten lub tamten instytut badawczy ogłasza? A mogą ogłaszać co sobie zechcą. Któż zaryzykuje karierą, a nawet życiem aby wyrazić sprzeciw? Nauka polega na weryfikacji i falsyfikacji, w dzisiejszych czasach jest to niemożliwe, wszystkie uczelnie i instytuty są sponsorowane przez korporacje i rządy i nikt nie ma pieniędzy ani zgody na weryfikowanie tego co ogłaszają.
Tak o to na naszych oczach powstaje kolejna Biblia dla owiec, tzw „nauka”.
Informacja jest tylko informacją, nie może być nierzetelna, może mieć poparcie w innej informacji i faktach lub nie ale i tak pozostaje tylko informacją. Liczą się wnioski a wnioskowanie wyłania się z dyskusji… której nikt w kluczowych dla człowieka sprawach dziś nie toczy, bo oczywiście każdy wie o swoich racjach i rozmawia tylko ze swoim gronem.