Czy program wellbeingowy działa? Porównanie korzystających z resztą zespołu prawie zawsze przesadza

W badaniu z losowaniem, które objęło 32 974 pracowników ze 160 zakładów amerykańskiej sieci hurtowni, program wellbeingowy po 18 miesiącach nie zmienił ani absencji, ani stażu pracy, ani ocen wydajności (Song i Baicker, 2019). Poprawiły się tylko deklaracje: więcej osób mówiło, że regularnie ćwiczy. Po trzech latach obraz był taki sam.

„Mamy twarde dane. Ci, którzy korzystali z programu, mieli o jedną trzecią mniej dni zwolnień niż reszta firmy.” Tak dyrektorka personalna średniej firmy logistycznej zaczynała prezentację dla zarządu (postać złożona z kilku podobnych historii, zmieniona tak, by nikt nie był rozpoznawalny). Liczba była prawdziwa. Wniosek, że to zasługa programu, prawie na pewno nie. Ten tekst jest o tym, dlaczego, i o tym, jak HR może pokazać efekt w sposób, który obroni się przed dyrektorem finansowym.

Tekst należy do serii dla osób decydujących o zdrowiu psychicznym w firmach. Wnioski dla HR i zarządu znajdziesz w osobnej sekcji.

Dlaczego porównanie korzystających z niekorzystającymi przesadza efekt

Bo z programów zdrowotnych częściej korzystają ludzie, którzy już wcześniej byli zdrowsi, mniej chorowali i bardziej dbali o siebie. Różnica istnieje przed programem, a potem zostaje mu przypisana.

W badaniu na Uniwersytecie Illinois (Jones, Molitor i Reif, 2019) wyraźnie to widać. Osoby, które zgłosiły się do programu, jeszcze przed jego startem miały niższe wydatki na leczenie i częściej chodziły na siłownię niż te, które się nie zgłosiły. Gdyby badacze po prostu porównali obie grupy po roku, wyszedłby im wyraźny „efekt programu”. Ponieważ jednak o tym, kto dostanie zaproszenie, decydowało losowanie, mogli porównać całe grupy zaproszonych i niezaproszonych. Efekt zniknął.

Ten sam mechanizm działa w polskiej firmie. Pracownik, który przychodzi na warsztat o śnie albo umawia się na konsultację, to często ktoś, kto ma na to siłę, czas i zaufanie do pracodawcy. Osoba w najcięższym stanie częściej nie przychodzi wcale. Dlatego zdanie „najmocniej spadła absencja tam, gdzie z programu korzystano najczęściej” brzmi jak dowód, a bywa opisem tego, kto się zgłosił.

Jest jeszcze drugi kłopot: regresja do średniej. Programy rusza się zwykle wtedy, gdy absencja jest wyjątkowo wysoka. A rzeczy wyjątkowo wysokie w kolejnym roku częściej spadają niż rosną, z programem czy bez. Spadek po rekordowym sezonie infekcyjnym nie jest jeszcze sukcesem wdrożenia.

Co pokazały badania z losowaniem

Pokazały, że duże programy zdrowotne poprawiają deklarowane zachowania, ale w ciągu dwóch, trzech lat nie zmieniają mierzalnych wyników: absencji, wydajności ani kosztów leczenia.

• Hurtownie, 160 zakładów (Song i Baicker, 2019 i 2021). Po 18 miesiącach regularną aktywność fizyczną deklarowało 69,8% pracowników w zakładach z programem i 61,9% w zakładach kontrolnych. Na 29 deklarowanych zachowań zmieniły się dwa. Z 10 wskaźników klinicznych, 38 wskaźników kosztów i trzech wskaźników pracowniczych (absencja, staż, ocena pracy) nie zmienił się żaden. Po trzech latach wynik był podobny.
• Uniwersytet Illinois, 4834 osoby (Reif i wsp., 2020). Po dwóch latach program nie zmienił wyników badań, liczby rozpoznań ani korzystania z opieki medycznej. Więcej osób miało za to swojego lekarza pierwszego kontaktu (92,2% wobec 86,1%).

Warto to zestawić z wcześniejszym przeglądem badań obserwacyjnych, w którym każdy dolar wydany na program miał zwracać 3,27 dolara na kosztach leczenia i 2,73 dolara na absencji (Baicker, Cutler i Song, 2010). Badania, w których o udziale decydowało losowanie, tych zwrotów nie potwierdziły. Różnica między obiema grupami badań to w dużej mierze właśnie efekt tego, kto się do programu zgłasza.

Czy to znaczy, że programy zdrowia psychicznego w pracy nie działają

Nie. Znaczy, że ogólne programy wellbeingowe mają słabe dowody, a działania skierowane do konkretnej przyczyny, zwłaszcza do menedżerów, wypadają lepiej.

Opisane wyżej badania dotyczyły przede wszystkim zdrowia fizycznego: diety, ruchu, badań przesiewowych. Dla zdrowia psychicznego dobrych badań z losowaniem jest mniej, ale jedno warto znać. W australijskiej straży pożarnej losowo wybrani przełożeni przeszli czterogodzinne szkolenie z rozmowy z pracownikiem w kryzysie. W ich zespołach absencja związana z pracą spadła w ciągu pół roku o 6,45 godziny na osobę, a autorzy policzyli zwrot na około 10 funtów z każdego wydanego funta (Milligan-Saville i wsp., 2017). To jedno badanie, a różnica była na granicy istotności statystycznej, ale kierunek zgadza się z resztą literatury: zmiana zachowania przełożonego dociera do ludzi, którzy sami po pomoc nie przyjdą. Szerzej piszę o tym w tekście o menedżerze jako pierwszej linii zdrowia psychicznego.

Z kolei w analizie ponad 46 tysięcy brytyjskich pracowników udział w indywidualnych programach typu aplikacja, webinar czy trening odporności nie wiązał się z lepszym samopoczuciem (Fleming, 2024). Rozwijam ten wątek w tekście o benefitach psychologicznych, które mają sens.

Jak HR może sprawdzić, czy program działa, bez zatrudniania naukowców

Wystarczy zaplanować porównanie przed startem, a nie po fakcie. Pięć decyzji robi większość roboty:

1. Zmierz punkt wyjścia z kilku lat, nie z jednego. Jeśli absencja przez trzy lata wynosiła 4–5%, a w ostatnim roku 6%, spadek do 5% może być powrotem do normy, nie efektem programu.
2. Wprowadzaj program etapami i ustal kolejność losowo. Jeśli i tak nie da się ruszyć wszędzie naraz, wylosuj, które zespoły lub lokalizacje zaczynają w pierwszym kwartale, a które w trzecim. Przez pół roku masz naturalną grupę porównawczą, a nikt nie zostaje bez programu.
3. Licz efekt na wszystkich objętych programem, nie tylko na korzystających. Pytanie dla zarządu brzmi: co się zmieniło w zespołach, które dostały program. Odpowiedź „co się zmieniło u tych, którzy z niego skorzystali” zawsze wypadnie lepiej i zawsze będzie mniej prawdziwa.
4. Policz próg rentowności zamiast obiecywać zwrot. Jeśli program kosztuje 240 tys. zł rocznie, a dzień nieobecności kosztuje firmę 685 zł, program zwraca się przy około 350 dniach absencji mniej. To konkretna, sprawdzalna liczba, a nie prognoza.
5. Zapisz z góry, co będzie znaczyło porażkę. Ustal przed startem, przy jakim wyniku po roku program zostanie zmieniony albo zakończony. Bez tego każdy wynik da się później opisać jako sukces.

Uczciwy raport po roku będzie brzmiał skromniej niż prezentacja dostawcy. Będzie też jedynym, który przetrwa pytania dyrektora finansowego. Jak liczyć sam koszt problemu, opisałem w tekście o kosztach wypalenia zawodowego.

Czego z tych danych nie wolno wyciągać

Nie wolno z nich wyciągać wniosku, że inwestowanie w zdrowie pracowników nie ma sensu ani że wszystkie programy są stratą pieniędzy.

• Brak efektu w badaniu to nie dowód, że efektu nie ma. Badania obejmowały 18–36 miesięcy. Część zmian zdrowotnych może ujawniać się później.
• To dane amerykańskie i dotyczą głównie zdrowia fizycznego. W USA koszty leczenia ponosi w dużej części pracodawca, więc rachunek wygląda inaczej niż w Polsce. Badań z losowaniem nad programami zdrowia psychicznego w polskich firmach praktycznie nie ma.
• Udział był niski. W badaniu hurtowni pracownicy ukończyli średnio 1,3 modułu programu. Słaby efekt może wynikać z tego, że program do ludzi nie dotarł, a nie z tego, że jego treść nie działa.
• Badanie strażaków to jedna organizacja i 44 przełożonych w analizie. To obiecujący sygnał, a nie pewność, że szkolenie menedżerów zadziała w każdej branży.
• Część danych, które krążą w materiałach dla HR, pochodzi od dostawców programów. Raport sprzedawcy usług zdrowotnych może być rzetelny, ale bez grupy porównawczej nie odróżni efektu programu od tego, kto z niego korzysta.

Kompas TSR: pytania, które HR może zadać przed wyborem programu

Terapia skoncentrowana na rozwiązaniach zaczyna od tego, co już działa. W firmie ta logika sprawdza się zaskakująco dobrze.

• Wyjątek. Który zespół ma od lat niską absencję i niską rotację mimo podobnej pracy? Co tam jest inaczej: przełożony, grafik, sposób rozmawiania o błędach? To często tańsza i lepiej uzasadniona interwencja niż kupowanie nowego benefitu.
• Preferowana przyszłość. Po czym, konkretnie, zarząd za rok poznałby, że problem się zmniejszył? Jeśli odpowiedź brzmi „pracownicy będą zadowoleni z programu”, to cel nie jest jeszcze nazwany.
• Skala. Na ile, od 0 do 10, jesteś pewna, że wybrany program odpowiada na przyczynę problemu, a nie na jego objaw? Co musiałoby się stać, żeby to było o jeden punkt więcej?
• Mały krok. Zanim kupisz program dla całej firmy, jaki test na dwóch zespołach dałby ci odpowiedź w pół roku?

Wnioski dla zarządu i HR

• Pytaj o porównanie: „w porównaniu z czym?”. Porównanie korzystających z niekorzystającymi nie jest dowodem skuteczności.
• Planuj ewaluację przed zakupem. Etapowe wdrożenie w losowej kolejności kosztuje niewiele, a daje grupę porównawczą.
• Lepiej mieć jeden program dopasowany do przyczyny niż pakiet świadczeń. Najmocniejsze dane dotyczą działań zmieniających warunki pracy i zachowanie przełożonych.
• Raportuj próg rentowności i trzy scenariusze, a wykorzystanie programu traktuj jako wskaźnik pośredni, nie jako efekt.

Jeśli przygotowujesz w firmie program zdrowia psychicznego i chcesz go zaprojektować tak, żeby dało się sprawdzić jego efekt, zajrzyj na stronę dla biznesu.

Jeden mały krok

Weź ostatni raport z programu zdrowotnego w swojej firmie i przy każdej liczbie dopisz ołówkiem: „w porównaniu z czym?”. Tam, gdzie nie da się odpowiedzieć, masz gotową listę rzeczy do zmierzenia w kolejnym roku.

A jeśli to ty jesteś osobą, która w firmie od miesięcy broni sensu takich działań i sama zaczyna płacić za to snem albo nastrojem, możesz porozmawiać o tym z kimś spoza organizacji. Prowadzę terapię online, termin zarezerwujesz przez stronę kontakt.

Najczęstsze pytania

Czy programy wellbeingowe w firmach działają?
Duże badania z losowaniem pokazały, że ogólne programy zdrowotne poprawiają deklarowane zachowania, ale w ciągu 2–3 lat nie zmieniają absencji ani wydajności. Lepsze dane mają działania skierowane do konkretnej przyczyny, na przykład szkolenie przełożonych z rozmowy z pracownikiem w kryzysie.

Jak zmierzyć skuteczność programu wellbeingowego?
Ustal punkt wyjścia z kilku lat, wprowadzaj program etapami w losowej kolejności i porównuj całe zespoły objęte programem z zespołami, które jeszcze go nie mają. Nie porównuj korzystających z niekorzystającymi.

Czym jest efekt selekcji w programach zdrowotnych?
To sytuacja, w której z programu częściej korzystają osoby zdrowsze i lepiej funkcjonujące. Ich lepsze wyniki istniały przed programem, ale po fakcie wyglądają jak jego efekt.

Jak policzyć próg rentowności programu zdrowotnego?
Podziel roczny koszt programu przez koszt jednego dnia absencji (albo jednego odejścia). Wynik mówi, ile dni nieobecności mniej (albo ile odejść mniej) potrzeba, żeby program się zwrócił.

W tej samej serii piszę o tym, czy pracodawca dowie się o terapii, i o tym, dlaczego wypalenie w HR łatwo przeoczyć.

Źródła

• Song, Z., Baicker, K. (2019). Effect of a workplace wellness program on employee health and economic outcomes: A randomized clinical trial. JAMA, 321(15), 1491–1501. doi:10.1001/jama.2019.3307
• Song, Z., Baicker, K. (2021). Health and economic outcomes up to three years after a workplace wellness program: A randomized controlled trial. Health Affairs, 40(6), 951–960. doi:10.1377/hlthaff.2020.01808
• Jones, D., Molitor, D., Reif, J. (2019). What do workplace wellness programs do? Evidence from the Illinois Workplace Wellness Study. Quarterly Journal of Economics, 134(4), 1747–1791. doi:10.1093/qje/qjz023
• Reif, J., Chan, D., Jones, D., Payne, L., Molitor, D. (2020). Effects of a workplace wellness program on employee health, health beliefs, and medical use: A randomized clinical trial. JAMA Internal Medicine, 180(7), 952–960. doi:10.1001/jamainternmed.2020.1321
• Baicker, K., Cutler, D., Song, Z. (2010). Workplace wellness programs can generate savings. Health Affairs, 29(2), 304–311. doi:10.1377/hlthaff.2009.0626
• Milligan-Saville, J. S. i wsp. (2017). Workplace mental health training for managers and its effect on sick leave in employees: A cluster randomised controlled trial. Lancet Psychiatry, 4(11), 850–858. doi:10.1016/S2215-0366(17)30372-3
• Fleming, W. J. (2024). Employee well-being outcomes from individual-level mental health interventions: Cross-sectional evidence from the United Kingdom. Industrial Relations Journal. doi:10.1111/irj.12418