Ewaluacja działań profilaktycznych

Ewaluacja to sprawdzanie i ocenianie, czy zaplanowane i wdrożone działania osiągnęły zamierzony cel. Nie należy utożsamiać jej z „kontrolą”, bo inny jest jej cel – ma dostarczyć informacji, które pozwolą podsumować zrealizowane działania i posłużą do ich usprawnienia i udoskonalenia.

W ewaluacji można wyróżnić 2 etapy związane z różnymi fazami realizowanego projektu. W czasie jego realizacji będziemy chcieli uzyskiwać informacje o jego przebiegu i ten proces nazywamy ewaluacją procesu.

Natomiast po zakończeniu programu będą nas interesowały jego efekty i odpowiedź na pytanie czy osiągnęliśmy zamierzone cele – pozwoli nam na to ewaluacja wyników.

Ewaluację należy zaplanować przed rozpoczęciem realizacji programu. Musimy się zastanowić, jakie informacje będą nam potrzebne, kiedy i gdzie możemy je uzyskać i zadbać o to, aby je zgromadzić.

Ewaluacja procesu powinna dać odpowiedź na następujące pytania:

• Czy program został wdrożony? Czy stało się to w zaplanowanym terminie?
• Czy zmierzamy do osiągnięcia zamierzonego celu?
• Czy zadania realizowane są zgodnie z harmonogramem? Jeśli nie, to dlaczego? Co zawiodło?
• Czy program dociera do odbiorców? Jeśli nie, to dlaczego?
• Co sądzą o programie jego odbiorcy?
• Jakie są trudności w realizacji?
• Co zawodzi? Co wymaga korekty?

Informacje te zbieramy czasie całego procesu realizacji programu.

Ewaluacja wyników ustali stopień osiągnięcia zamierzonych celów i da informacje o skuteczności i jakości
naszego działania. Powinniśmy się z niej dowiedzieć:

• Jakie są efekty realizacji programu?
• Czy osiągnęliśmy cel w stosunku do przyjętego kryterium sukcesu?
• Czy program powinien być kontynuowany?
• Co należy zmodyfikować?

Ewaluacja wyników jest przeprowadzana po zakończeniu kolejnych etapów programu oraz po całkowitym
jego zakończeniu.

Informacje zebrane w procesie ewaluacji służą:

• zespołowi realizującemu program – pozwalają pokazać jego efekty, zmodyfikować i udoskonalić program, są przesłanką do jego kontynuacji,
• społeczności lokalnej, szczególnie adresatom programu; wyniki mogą zachęcić innych do udziału w programie,
• sponsorowi programu – pokazują, że zainwestowane środki zostały wykorzystane zgodnie z przeznaczeniem,a działania przyniosły zamierzone efekty,
• władzom lokalnym – potwierdzają słuszność podejmowanych działań i ich pozytywny wpływ na mieszkańców danego terenu,
• innym społecznościom lokalnym – dają argumenty i motywują do podjęcia podobnych działań.

Ewaluacja może być prowadzona przez realizatorów programu – mówimy wtedy o samoewaluacji – lub przez ewaluatorów zewnętrznych. Oba rozwiązania mają plusy i minusy. Zewnętrzni ewaluatorzy mają większy dystans do programu, świeże spojrzenie i mają merytoryczne przygotowanie w zakresie metod ewaluacji.

Podstawową wadą takiego rozwiązania jest cena – zewnętrzni eksperci sporo kosztują a koszty te często nie są uwzględniane w budżecie programu na etapie jego planowania. Samoewaluacja programu może wydawać się mniej obiektywna, ale jeśli potraktujemy ją jako zadanie dla większego zespołu, może skutecznie pomóc w zidentyfikowaniu barier i rozpoznaniu potrzeb.

 

Etapy ewaluacji

A. Planowanie

Na tym etapie musimy zdecydować:

• jakie są kryteria sukcesu dla osiągnięcia głównego celu programu oraz jego poszczególnych elementów?
• jakie wskaźniki będziemy stosować?
• jak będziemy zbierać informacje?
• kto będzie zajmował się ewaluacją?

Na etapie planowania musimy ustalić pytania ewaluacyjne dotyczące 3 aspektów funkcjonowania naszego
programu:

• nakładów
• skuteczności
• efektywności

Zmierzenie nakładów wymaga udokumentowania czasu pracy i środków włożonych w oddziaływania oraz zarejestrowania świadczonych usług. Przykłady pytań o nakłady:

• ile spotkań edukacyjnych zorganizowaliśmy?
• ile osób przeszkoliliśmy?
• ile godzin szkolenia zorganizowaliśmy?
• do ilu osób dotarły nasze materiały edukacyjne?
• jaki był koszt przygotowania (opracowania i druku) materiałów edukacyjnych?

Pytanie o skuteczność ma nam dać informacje, jakie zmiany zaszły w osobach czy warunkach, na które oddziaływano poprzez realizację programu. Trudność w oszacowaniu tych zmian wynika z faktu, że w działaniach
profilaktycznych efektów często nie obserwuje się tuż po zakończeniu programu. Pytania, jakie należy zadać, mogą dotyczyć tzw. wyników pośrednich, np.:

• czy uczestnicy szkolenia przyswoili sobie przekazywaną wiedzę?
• czy program wpłynął na postawy uczniów wobec używania substancji uzależniających?
• czy realizacja programu spowodowała większą zgłaszalność na badania profilaktyczne?

Efektywność to stosunek pomiędzy nakładami a obserwowanym skutkiem. Nakłady określone są przez wydane pieniądze, liczbę przepracowanych godzin, wartość zużytych materiałów, itp. Musimy określić wartość tych wszystkich składników. Pytania o efektywność pozwalają ocenić: czy ekonomicznie wykorzystano zasoby? czy działania są efektywne w wywoływaniu wyników pośrednich? czy osiągnięte wyniki pośrednie efektywnie służą oczekiwanym wynikom odroczonym? Pytania o efektywność pozwalają porównać różne sposoby osiągania danego celu. Przykładowe pytania:

• czy bardziej efektywne jest wykorzystanie nauczycieli do edukacji zdrowotnej uczniów czy studentów uczelni medycznej?
• czy przy ograniczonych funduszach efektywniej jest realizować program we wszystkich szkołach, ale nie we wszystkich klasach, czy mniejszej liczbie szkół, ale w każdej klasie?

B. Zbieranie danych

Zbieranie danych powinno się odbywać w czasie realizacji programu (ewaluacja procesu) i po jego zakończeniu
(ewaluacja wyników).

• Należy zbierać tylko te dane, które są niezbędne i które będziemy wykorzystywać.
• Zbierane dane powinny być wiarygodne i rzetelne.
• Sposób zbierania danych powinien być jak najprostszy, nie powodować nadmiernej pracy i nie obciążać dodatkowo odbiorców programu.

 

C. Analiza danych

Zebrane dane należy uporządkować i opracować tak, aby pozwoliły one na przygotowanie raportu. Będzie to końcowy dokument podsumowujący cały program. Powinien on zawierać następujące informacje:

• Krótki opis przebiegu programu z informacją o zgodności realizacji z planami.
• Wyjaśnienie różnic pomiędzy planami a rzeczywistą realizacją.
• Informacja o wprowadzonych w programie zmianach w stosunku do planów w trakcie realizacji programu (w wyniku ewaluacji procesu).
• Informacja o odbiorcach programu – jakie grupy, ile osób, jak docierano do odbiorców.
• Opinie odbiorców o programie.
• Informacje o realizatorach – kto (jakie instytucje, organizacje, itp.) zarządzał programem?, ile osób uczestniczyło w jego realizacji?
• Informacje o środkach na realizację programu – finanse, zasoby ludzkie, wsparcie „w naturze” poprzez sponsorowanie pewnych elementów programu – kto? ile? czy były to wystarczające środki?
• Korzyści dla odbiorców.
•  Korzyści dla realizatorów.
• Stopień osiągnięcia sukcesu – wg zaplanowanego kryterium – w stosunku do celu i zadań.

• Wnioski: mocne i słabe strony programu, szanse i zagrożenia na przyszłość (analiza SWOT).
•   Zalecenia dotyczące modyfikacji programu.

D. Upowszechnianie wyników

Raport z ewaluacji powinien trafić do wszystkich zainteresowanych i zostać szeroko upowszechniony. Dla realizatorów jest to podsumowanie ich pracy i zadania, jakie wykonali. Nawet jeśli nie było ono doskonale, to z pewnością zasługuje na uwagę – ich dotychczasowe doświadczenia posłużą do modyfikacji programu w przyszłości a innym pozwolą uniknąć popełnionych błędów. Zakończenie realizacji programu jest osiągnięciem i warto powiedzieć „dziękuję” osobom, dzięki którym przedsięwzięcie miało szanse zaistnieć.

Partnerzy: