PROM K3 TM 6.7 . Evaluasi PK3

  

EVALUASI PKP

  DR. ROBIANA MODJO, MKES

EVALUASI PROGRAM

• Tujuan: memperbaiki pro
• Evaluasi: “

  pemeriksaan sistematik dan penilaian tentang keutamaan suatu

inisiatif dan pengaruhnya , agar menghasilkan

  informasi yang dapat digunakan oleh mereka yang berminat dalam hal perbaikan atau

  efektivitasnya”

  MANFAAT

• Mempengaruhi pembuat keputusan dan penyumbang dana, agar program dapat berlanjut (sustainable)
• Membangun kapasitas kelompok masyarakat dan melibatkannya
• Memberitahu apa yang dapat bekerja dan yang

  tak dapat bekerja, dibanding dengan kelompok-

  kelompok masyarakat yang lain

  ENAM LANGKAH EVALUASI PROGRAM

  1. Melibatkan stakeholders

  2. Menggambarkan atau merencanakan program (3 komponen gambaran program:

stadium program, pernyataan masalah, model

logic).

  3. Fokus pada evaluasi

  4. Kumpulkan bukti yang dapat dipercaya (credible evidence)

  5. Memberikan alasan bagi kesimpulan- kesimpulan

  PERBEDAAN EVALUASI PROGRAM DARI EVALUASI RISET DASAR Evaluasi riset dasar Evaluasi program

  1.Evaluasi lebih oleh peneliti

  1.Evaluasi dikendalikan oleh

  sesuasi design

  stakeholders

  2.Standar termasuk kegunaan,

  2.Lebih menekankan

  feasibilitas,akurasi, kewajaran

  validitas external dan

  (fairness)

  internal

  3.Menilai kegunaan dan

  3.Lebih menekankan

  kepentingan

  asosiasi

  4.Holistik dan fleksibel, dapat

  4.Lebih terkendali ketat

  dirubah

  5.Dibatasi oleh timeframe

  5.Evaluasi tentang apa yang

  yang spesifikLebih sempit

  sedang berjalan Jangkauan (scope) luas agar integratif

  6.Lebih bebas nilai

  6.Pertimbangan tergantung nilai –

  7.Lebih untuk penambahan

  nilai yang dinyatakan oleh

  pengetahuan

  stakeholders

  EVALUASI DALAM PROMOSI KESEHATAN DI TEMPAT KERJA

  MENILAI “OBJECT INTEREST” (PROGRAM) terhadap PENCAPAIAN NILAI STANDAR

• Object Interest misalnya :
• Meningkatkan PENGETAHUAN
• Perubahan perilaku
• Penurunan ri>Nilai Standar misalnya
• 25% pekerja stop rokok
• 80% penderita taat program penurunan tensi
• 10% tiap bulan peserta fi>Isu penting>PKP meningkatkan kesehatan pekerja
• Cost efektif

TUJUAN EVALUASI

  1. Bisnis: Dana Program PKP efisien & Efektif?

  2. Accountability: Tujuan PKP tercapai?

  3. Ilmu & Aplikasi:

• Informasi bagi pengusaha & pekerja dalam menentukan kebijakan (mis perubahan gaya hidup & pemeliharaan kesehatan)

  EVALUASI EVALUASI Berdasarkan level/tingkat (tradisional)

  1. Evaluasi proses/formatif Fokus :- cara melaksanakan program Cara menilai kualitas & kelayakan praktis, mis:

  Jumlah brosur yang didistribusi

  Kualitas informasi mis. Tentang program fitness Level instruktur dan atau cara mengajar

• Evaluasi pencapaian/output 2.

  Fokus : menilai efek kegiatan program, Mis

• Perubahan pengetahuan, sikap, perilaku Profil faktor risiko
• penurunan morbiditas & mortalitas muda

  …LANJUT

TINGKAT EVALUASI

  Berdasarkan basis pengukuran

• Efek jangka pendek
• Jumlah kursus yang diminta
• Jumlah sesi yang diikuti

• • Peningkatan pengetahuan factor risiko PJK

• Peningkatan keyakinan atas pencegahan penyakit kronik
• Peningkatan disiplin pengendalian tensi
• Peningkatan peserta senam aerobik
• Penurunan pencegahan rokok
• Penurunan konsumsi lemak

  Efek jangka panjang (tidak langsung)

  …LANJUT

TINGKAT EVALUASI

• Produktifitas
• Absenteisme (Absence Rate)
• Claim biaya asuransi
• Incidence Rate & Severity Rate
• Morbiditas & Mortalitas PJK

  CONTOH STANDAR PENGUKURAN DARI BUREAU

OF LABOR STATISTICS (BLS)

  1. Incidence Rate

Measures the number of absences per 100

employees during a given time period

  2. Absence Rate Measures the percent of time lost due to absenteisme per 100 employees

  3. Severity Rate Measures of the average time that an absent employee loses during a given periode

INCIDENCE RATE

  Number of workers absent

• X 100

  Total employees

• Hitunglah, suatu perusahaan mempunyai jumlah karyawan 250 orang, jika dalam satu minggu ada 15 karyawan yg tidak masuk (absent) berapakah Incidence rate-nya?

  Incidence rate: 15 x 100 = 6% 250

  Intepretasi: Setiap 100 karyawan pada perusahaan ini, dalam seminggu ada 6 orang yang absent

ABSENCE RATE: ABSENCE RATE:

  Number of hours absent

• X 100 Number of hours usually worked Jika ke 250 karyawan pada perusahaan tsb. Bekerja selama 40 jam setiap minggunya, sementara ke15 karyawan

  masing2 tidak masuk selama 3 hari,

  hitunglah berapa absence rate perusahaan tsb!

  15 (3 x 8 jam) Absence rate = ----------------------- X 100 240 x 40 jam

  = 3,6%

  INTEPRETASI

  Menjelaskan; ada sekitar 3,6% dari jam kerja hilang karena karyawan absen/tdk masuk

SEVERITY RATE:

  

Average number of hours lost by absent employee

• -------------------------------------------------------------------- X

  100 Average number of hours usually worked

  Jika 3 karyawan di atas sakit selama 8 jam, maka berapa severity rate-nya?

SEVERITY RATE:

  3 x 8 24

• X 100 = -------- X 100 = 20% 3 x 40 120

  INTEPRETASI

  20% of the scheduled time was lost!

  STANDAR OF ACCEPTABILITY Standar Normatif • Pencapaian pengalaman industri lain.

• Misalnya : tiap 6 bulan peserta fitness meningkat 10% (setelah program PKP)

  Standar Historical

• Pencapaian intern periode lalu
• Misalnya : Tahun lalu perokok menurun10%

  STANDAR OF ACCEPTABILITY LANJUTAN…

  Standar teoritis

• Pencapaian penelitian dengan intrervensi di lab/klinis
• Misalnya : di UI di LKKK strategi

  pendidikan untuk meningkatkan program

  fitness partisipasi fitness mahasiswa 40 %

  Standar pembanding : 40 %

  STANDAR OF ACCEPTABILITY Standar Absolut

  LANJUTAN…

• Level tertinggi yang dapat dicapai
• Tidak realistis. Misalnya perokok menurun 100%

  Standar Kompromi

• Pertimbangan atas kombinasi nilai standar lain
• Misalnya : standar kompromi penurunan jumlah perokok : 35%
• Atas dasar : - Standar normative 30%
• Standar historical 20%
• Standar teoritis 40%

DISAIN EVALUASI

  Keterbatasan disain PKP yang ada :

• Disain penelitian: logis /akurat (kerangka konsep)
• Populasi kontrol / pembanding sulit didapat
• Gagal menilai perubahan perilaku (hanya pengetahuan/sikap)
• Jangka pendek  sulit mendapatkan jawaban pasti
• Lain-lain : praktis/aplikasi,etika, dana
• Misaln>sulit mendapatkan populasi secara random/acak karena isu informed consent & atas dasar sukarela
• hampir tidak ada kelompok kontrol yang ideal

  LANJUTAN…

DISAIN EVALUASI

  Kompromi pemilihan disain:

• Pertimbangkan keterbatasan disain
• Pertimbangkan keterbatasan organisasi (ekonomis)
• Sesuaikan level penilaian dengan tujuan program,

  S.D yang ada

• Memilih dari bab contoh disain
• Relasi perusahaan & pekerja
• Benefit pekerja
• Pajak (potongan)
• Investasi kesehatan Pekerja

  _{INTERVENTION EVALUATION} Historical Record-keeping Approach Inventory Approach _{Comparative Approach}

  Quasi-experimental Approach Controlled Experimental Approach

  Types of Evaluation Design in Workers’ Health Promotion Program . ^V v ^v

HEALTH RISK ASSESSMENT

  THE HISTORICAL, RECORD KEEPING APPROACH

• Membuat prosedur pencatatan data akumulatif
• Data dalam tabel / grafik kumulatif
• Memperlihatkan program pelaksanaan program

THE INVENTORY APPROACH

  Tentukan : - Waktu penilaian berkala

• Target pencapaian
• Cara survai / Observasi

  Contoh 1

  Program Kontrol Hipertensi di Gimbels & Bloomingdale, tahun 1973 3000 pekerja hipertensi , 2220 diikutkan dalam program

  Tim a perawat, protocol penanganan, biaya konsultasi, lab, obat  beban perusahaan

   data ekonomis : Biaya pengobatan & perawatan, absenteisme menurun tiap tahun data medis :

• status tensi menurun tiap bulan
• kasus rawat inap menurun tiap trahun
• mortalitas 5 tahun menurun tiap 5 tahun

THE INVENTORY APPROACH

  Contoh 2

• Program penurunan BB di perusahaan minyak Texas Pendidikan 8 sesi @ 1 jam/mg oleh ahli gizi yang ahli prilaku  kuesioner data awal
• Diet & prilaku
• BB, TB, trisep skin fold Contoh 3

  Program stop rokok the Campbell soup company dengan Kelas

  stop rokok oleh P.T. 

  Data periodic 1.5, 3, 6,12 bulan dicatat oleh S.D.M internal

   evaluasi oleh Perusahaan

  F.U. 6 bulan  25% masih patuh

COMPARATIVE APPROACH

• Menggunakan data & format eks sebagai pembanding/standar evaluasi.
• Dari perusahaan lain.
• Misalnya : Bell System menggunakan AT & T program stop rokok Evaluasi - pada bulan ke 3-6. 12.
• Standar Nasional • Standar Regional • Standar Internasional

  THE CONTROLLED COMPARISON (QUASI-EXPERIMENTAL APPROACH)

• Membandingkan kelompok intervensi dengan kelompok pembanding

• K. pembanding dari perusahaan lain yang mirip settingnya

• Kelompok

  1. diberi pendidikan elemen PKP yang intensif, all out

2. Tidak diberi pendidikan ttg PKP

• masing-masing kelompok dibagi subkelompok berdasarkan karakteristik tertentu :

  Umur, sex, pendidikan, dll

• Contoh. Untuk hipertensi

  Kelompok

  1. Deteksi & dirujuk untuk terapi di luar 2. penanganan di tempat kerja dengan obat

  High nutrients _{balanced calories} Dynamic Physical _Move

  Fresh air without _smoke ^{LDL Cholesterol & Triglyceride reduction ; HDL Cholesterol increase Hypertension reduction Diabetes Mellitus reduction Obesity reduction Atherosclerosis reduction Cardiovascular events reduction (and other chronic degenerative diseases) -}

  1.Combined risk reduction

  2. Work Capacity increase

  3. Health status increase STRUCTURAL MODEL Other risk factors _{(minor) reduction, except age,sex, genetic}

  

Logical Model for Evaluation of Implementation Stage

of Workplace Health Promotion

INPUT ACTIVITY OUTPUT1 OUTPUT2

  _{EDUCATION • Curriculum development} Increase proportion of workers who

• _{• Group training} Curriculum

  believe that the _{• Questionnaire with feedback} available _{• Social marketing Contest • Appreciative consultation} threat of CVD is serious; that it can

  Number of happen to them workers who with probability _ORGANIZATION attend the depends on their

  Resources:

• _{• Advisory Committee for} group training position in

  Staffs _{Leadership & partnership} (% total) _{since planning stage} combined risk

  Money _{• Local policy & regulation} category; that the

  Materials _{• Social support Standards} recommended Policy &

  Time _selection actions are regulation effective available _ENVIRONMENT to avert the danger, that they are

• _{• Smoke free zone/segregated} Exercise capable to perform _{ventilation planning}

  facilities’ the recommended

• _{• Supply of heart healthy} adding and actions including _{nutrition (high nutrition).}

  the access to _{caterer is easier than • New catering contract &} those facilities overcoming barriers _{• Exercise facilities & access} (e.g time, cost, etc) before INPUT ACTIVITY OUTPUT INITIAL OUTCOME ^{Increase p roportion of workers whose biological indices (indirect indicators)}

^{are normal:}

^{1. Body Mass Index: 18.5 – 22.9} _{2. Physical Work Capacity: Male > 9.75 METs Female > 8.63 METs 3. LDL Chol. <130 mg/dl} HDL Chol. >45 mg/dl _{Triglyceride < 200 mg/dl 4. Blood pressure < 120/80}

mg/dl

_{5. Blood glucose 70 - 110}

_mg/dl

_{6. Waist circumference:} Male < 90 cm; female <80

• _{*Increase proportion of green cm card holders (low combined risk category) among}
• _{*Increase proportion of} workers _{workers with adequate PWC}

  Reduction of morbidity and _mortality

• ^{- Reduce morbidity & mortality due to CVD and other chronic diseases - Reduce sickness absenteeism (LWDC) - Reduce medical cost Increase proportion of workers who practice recommen ded actions as routine life style: 1. Eat high nutrient pyramid}
^{1.1. Vegetables 4 - 5 X/d 1.2. Fruits 4 - 5 X/d 1.3. Whole grains 3 - 4 X/d 1.4. Beans, tahu, tempe 1 - 3 X/d 1.5. Fish, poultry,eggs, 1 - 2 X/d 1.6. Red meat sparingly (1 - 2 X/w) 1.7. Plant oils, e.g. canola, soy corn, olive, sunflower (1 - 2 X/d 1.8 Calories according to body weight in BMI 18.5 – 22.9 1.9. Drink water/liquid approx. 8 glasses /d 2. Relax by Dynamic Body Move 2.1. Cardio - fitness move: at least 30 min ea.( 3000 steps) ; 3 X/w 2.2. Muscular streng th move: 20 - 30 min ea; 2X/w 2. 3. Flexibility move (warm up & cool down): 10 min before and after 2.1. and 2.2. 3. Breathe in fresh air without smoke (Increase proportion of workers who do not smoke) Healthy workers in healthy company . Increase dynamism, innovation, creativity, togetherness, accomplishment, work performance, productivity, competitiveness, survival , well fare GOAL Advisory Co mmittee leads implementation of local policy and regulations, social support, and acceptable standards Supply of high nutrient pyramid is implemented. Exercise facilities and accessibility are available.} _{Segregated ventilation for smokers and smoke free zone for all are}

  _{ASSESSMENT 1} ^{INTERVENTION HEALTH RISK ASSESSMENT} _{2; 3; etc} ^PARTICIPANTS

HEALTH RISK

  _{ASSESSMENT 1 HEALTH RISK ASSESSMENT 2} ^{NON-PARTICIPANTS} Evaluation design of Quasi-experimental approach

HEALTH RISK

  THE CONTROLLED EXPERIMENTAL APPROACH

  Prosedur seperti uji klinik

  Seleksi acak : kelompok intervensi/tidak Masing-masing ada subkelompok

• Contoh : 4 Sub kelompok diberi pendidikan anti ca.
• payudara dengan metoda pendidikan yang berbeda 2 sub kelompok tanpa intervensi (pendidikan
• setelah program selesai)

  THE FULL BLOWN EVALUATIVE RESEARCH PROJECT

• Kelompok tidak layak pada kebanyakan program PKP

• Model Evaluasi dikombinasi elemen program

  campuran
• Misalnya Kelompok 1 : rokok 2 : rokok & fitnes 3 : fitnes

  4 : intervensi / program -

  5 : rokok, fitness, cholesterol, tensi Masing-masing kelompok ada sub kelompok berdasarkan umur, sex, etnis dll.