ارزيابي برنامه جمع آوري اطلاعات به صـــورت دقيق درباره يك برنامه يا برخي جنبه هاي يك برنامه به منظور تصميم سازي لازم در زمينه برنامه است. در يك برنامه 35 نوع ارزيابي وجود دارد كه برخي از آنها عبارتند از: نيازسنجــي، اعتبارسنجي، تجزيه و تحليل هزينه / فايده، اثربخشي، و كارايي مبتني بر هدف، فرايند، نتايج و از اين قبيل. نوع ارزيابي مورداستفاده براي بهبود برنامه بستگي به آن دارد كه خواهان درك چه چيزي درمورد برنامه باشيم. مهم آن است كه به چه اطلاعاتي در تصميم گيري نيـــــاز داريم و اينكه چگونه مي توان اطلاعات مزبور را جمع آوري كرد.
مزاياي ارزيابي
1 - درك و بازبيني ميزان بهبود تاثير محصول يا خدمات بر مشتريان يا ارباب رجوع؛
2 - بهبودساز و كارهاي ارائه به طور كارآمد و با حداقل هزينه؛
3 - تحقيق درمورد آنچه كه واقعاً انجام مي شود به جـــــاي آن چيزي كه فكر مي كنيم انجام مي شود؛
4 - بررسي خط مشي كلي برنامه، اهداف، چگونگي دستيابي به اهداف و وضعيت تحقق اهداف؛
5 - ارائه اطلاعات به منظور اطلاع رساني در زمينه چگونگي انجام فعاليتها به عموم يا اعضاي اتحاديه ها؛
6 - انجام مقايسه معتبر بين برنامه ها براي تصميم گيري درمورد اولويتهاي آينده؛
7 - كسب تجربه به منظور مشخص ساختن برنامه هاي قابل تكرار.
روشهاي ارزيابي برنامه
ارزيابي مبتني بر هدف: ارزيابي ميزان دستيابي برنامه به اهداف از پيش تعيين شده است؛
ارزيابي مبتني بر فرايند: ارزيابي به منظور درك چگونگي اجراي برنامه و نقاط ضعف و قوت آن؛
ارزيابي مبتني بر پيامد: تعيين منافع حاصله براي ارباب رجوع، كاركنان، و ديگر ذينفعان.
هدف عمده در انتخاب روش ارزيابي، دسترسي بــــــه اطلاعات سودمند براي تصميم گيرندگان كليدي به صورتي ارزشمند و واقع گرايانه است. در اين زمينه سوالات زير قابل توجه است:
1 - چه اطلاعاتي براي تصميم گيري درمورد يك محصول يا برنامه موردنياز است؟
2 - چگونه مي توان اطلاعات مزبور را با هزينه پايين و به طور عملي ازطرقي همچون پرسشنامه ها، مميزي و چك ليست جمع آوري كرد؟
3 - چگونه مي توان دقت و صحت اطلاعات را تشخيص داد؟
4 - آيا روش تمامي اطلاعات لازم را دراختيار مي گذارد؟
5 - درصورت نياز به اطلاعات بيشتر، چه روشهاي ديگري را بايد و مي توان به روش مزبور افزود؟
6 - آيا اطلاعــــــات پديدار شده براي تصميم گيرندگان، سرمايه گذاران و مديران عالي رتبه موثق است؟
7 - آيا ويژگي مخاطبان در گزينش روش موثر است؟
8 - چه كسي توانايي نظارت بر روش را داراست؟
9 - تجزيه و تحليل اطلاعات چگونه صورت مي گيرد؟
سطوح چهارگانه ارزيابي
چهار سطح ارزيابي اطلاعات حاصله از ارباب رجوع وجود دارد كه عبارتند از:
واكنش و احساس ارباب رجوع درقبال برنامه؛ يادگيري (بهبود گرايش، آگاهي يا دانش)؛
تغيير در مهارتها (عملي ساختن يادگيري براي بهبود رفتار)؛
اثربخشي (بهبود عملكرد بخاطر بهبود رفتار).
متاسفانه جمع آوري اطلاعات قابل استناد درباره اثربخشي با دشواري همراه است. در اين زمينه اطلاعات مربوط به يادگيري و تغييرايجاد شده در مهارتها بسيار سودمند است.
الگوي منطقي
الگوي منطقي (LOGIC MODEL) عبارت است از نمايش جريان مواد و فرايندهاي لازم براي دستيابــي به نتايج مطلوب سازمان يا برنامه هاي اجرايي مربوط به آن. براين اساس، اين الگو عبــارت است از نمايش ترتيبي از طرح ريزي برنامه، اجرا و ارزيابي كه در آن، تمامي عناصري كه بر افراد و اتحاديه تاثير مثبت مي گذارند موردشناسايي قرار مي گيرند. اين الگو داراي فوايد بسياري براي سازمانها به منظور سازماندهي طرح ريزي و تحليل سازمان و برنامه هاي اجرايي مربوط به آن است. همچنين، در شرايطي كه ارزيابي مبتني بر پيامدها يا اثرات برنامه ها مدنظر باشد، مي توان از اين الگو استفاده كرد. همچنين، از اين الگو مي توان براي توجيه برنامه هاي اجرايي و تشريح مزايا و فوايد آن سود جست.
درهنگام استفاده از الگوي مزبور بايد به اهم موارد موجود در سازمان يا برنامه توجه داشت و از تاكيد بر موارد حاشيه اي يا ويژه اجتناب كرد به عنوان مثال، نبايد ازاين الگو فقط در زماني ويژه يا براي بخشي از برنامه هاي سازماني استفاده كرد. درهر صورت، مي توان با استفاده از الگوهاي منطقي فعاليتهايي را كه در برنامه يا سازمان اتفاق مي افتند تحليل و تشريح كرد و نتايج موردانتظار اربــاب رجوع يا اتحاديه هاي صنفي و ديگر ذينفعان سازمان را به تصوير كشيد.
الگوي منطقي بايد بتواند تمايز و تفكيك لازم را بين برنامه هاي مختلف ايجاد كند. در بهترين شرايط، يك الگوي منطقي داراي جزئياتي به ميزان يك صفحه يا حداكثر دو صفحه معمولي است. سطح جزييات بايد فهم و درك كافي را براي خواننده ايجاد كند و بتواند موارد اصلي موثر را بر سازمان و برنامه هاي آن مشخص سازد. همچنين، الگوي مزبور بايد بتواند اتفاقات موجود در وروديها، خروجيهاي متفاوت مربوط به نتايج برنامه و منافع يا اثراتي را كه گروهها از آن بهره مند مي شوند مشخص كند. محتواي الگوهاي منطقي برنامه در اغلب موارد صريحتر از الگوهاي مربوط به سازمان است.
تعريف اصطلاحات اساسي: به طور ويژه الگوهاي منطقي بر وروديها، فرايندها، خروجيها و پيامدهاي مربوط به يك سازمان و برنامه هاي آن تاكيد مي ورزد. درك درست مفهوم اين واژه ها از اهميت ويژه اي برخوردار است.
وروديها: شامل موادي است كه سازمان يا برنامه در فرايندهاي خود براي ايجاد نتايج مطلوب سازمان مورداستفاده قرار مي دهد. از انواع مختلف وروديها مي توان به مواردي همچون: نيروي انساني، پول، تجهيزات، تسهيلات و تاسيسات، تداركات، ايده هاي افراد، زمان نيروي انساني اشاره كرد. همچنين، وروديها را مي توان به عنوان مهمترين نيروهاي موثر بر سازمان يا برنامه هاي آن به حساب آورد.
فرايندها: به منظور دستكاري يا تبديل و تنظيم اقلام در راستاي توليد نتايج مطلوب توسط سازمان يا برنامـــه هاي آن مورداستفاده قرار مي گيرند. فرايندها در محدوده اي بين گذاشتن كاغذ بر روي ميز براي طراحي شاتل تا برخاستن آن را دربرمي گيرد.
خروجيها: به طور معمول، خروجيها نتايج مشهود فرايندهاي اساســـي در سازمان يا برنامه هاي آن هستند. در اغلب موارد، خروجيها با تعداد همراه هستند كه به عنوان مثال مي توان به مواردي همچون: تعداد افرادي كه در يك آزمون پذيرفته يا مردود شده اند، تعداد دوره هاي برگزار شده آزمونهاي برگزار شده و تعداد استادان به كار گرفته شده در برنامه اشاره كرد.
پيامدها: پيامدها اثرات (از روي اميدواري مثبت) مربوط به افرادي است كه سازمان به دنبال سود رساندن به آنان از طريق اجراي برنامه ها است. درهريك از مراحل يك الگوي منطقي موارد مندرج در جدول شماره يك موردتوجه قرار گرفته است.
مفروضات و پنداشته ها عبارتند از باورهايي كه ما درباره برنامه، افراد، محيط داريم و دربرگيرنده نحوه تفكر و رويكردهاي ما در زمينه برنامه است. عوامل خارجي نيز محيطي است كه در آن، برنامه هاي مزبور مجموعه اي از عوامل خارجي مرتبط با فعاليتهاي برنامه را شامل مي شوند.
جدول شماره 2، به دنبال به تصوير كشيدن بهتر ماهيت وروديها، فرايندها، خروجيها و پيامدهاي يك برنامه است. اين الگوي منطقي براي سازماني با عنوان «مركز خودآموزي» طراحي شده است. الگوهاي منطقي مربوط به برنامه ها در اغلب موارد بسيار جزيي نگرانه است. بايد توجه داشت كه يك الگوي منطقي بايد جامع و توصيفي باشد.
اجراي گام به گام الگوي منطقي
گام اول:
تعيين برنامه اي كه بايد موردارزيابي قرار گيرد؛
تبيين مقاصد اجراي برنامه ارزيابي و چگونگي استفاده از نتايج؛
تبيين اهداف غايي يا پيامدهاي موردانتظار؛
تعيين شاخصها و نمايانگرهايـــــي براي اندازه گيري و سنجش مهارتهاي اساسي.
گام دوم:
تشريح اهداف غايي و پيامدهاي برنامه.
گام سوم:
مشروعيت بخشيدن به ارزيابي برنامه ازطريق هماهنگي با ارباب رجوع، مديران و كاركنان؛
ايجاد آگاهي در زمينه برنامه موردنظر؛
انگيزه بخشيدن به افراد براي همكاري در برنامه.
گام چهارم:
تعيين داده هاي موجود؛
تعيين داده هاي موردنياز؛
انتخاب معيارهاي موردتوجه در فرمهاي ارزيابي؛
ايجاد فرم ارزيابي؛
بررسي روايي فرم ازطريق انجام ارزيابي آزمايشي؛
تاييد يا اصلاح فرم.
گام پنجم:
تكثير و شماره گذاري فرمهاي ارزيابي؛
توزيع؛
ورود داده ها توسط ارزيابها.
گام ششم:
جمع آوري فرمهاي تكميل شده؛
ورود داده هاي مربوط به هر فرم؛
دسته بندي داده ها براساس فرد، تاريخ؛
تحليل و تفسير داده ها؛
استنتاج كلي.
گام هفتم:
تنظيم گزارش به صورت زير:
1 - تشريح برنامه (اطلاعات مربوط به ورودي)
نام و عنوان برنامه؛
محل و زمان انجام برنامه؛
مسئول اجراي برنامه؛
منابع مورداستفاده در برنامه:
تعداد كاركنان و داوطلبان درگير در برنامه؛
نوع تجهيزات مورداستفاده در اجراي برنامه؛
هزينه هاي اجرايي برنامه.
اهداف غايي برنامه. به عنوان نمونه دراين مثال:
مهارتهاي اساسي قابل دستيابي؛
محتواي موردنظر براي يادگيري؛
علل گزينش مهارتهاي اساسي و محتوا
2 - گزارش گيري عددي و شماتيك از مهارتهاي اساسي به دست آمده
3 - مشخص كردن تعداد پاسخگويان و نرخ پاسخگويي، زمان اجراي برنامه و تعداد جلسات پيگيري
4 - ارائه خلاصه اي از تغييرات ايجاد شده در مهارتهاي اساسي به صورت زير:
توجه به نتايج و پاسخگويي به برخي پرسشها در زمينه اهداف غايي و پيامدهاي برنامه ها. به عنوان نمونه در مثال مزبور:
تعيين آن دسته از مهارتهاي كليدي كه با بهبود چشمگيري همراه بوده اند.
تعيين آن دسته از مهارتهاي كليدي كه تغيير چنداني نداشته اند.
تعيين ميزان همبستگي بين مهارتهاي كليدي
5 - ارائه نتايج برنامه با توجه به موارد زير:
+ مخاطبان گزارش نيازهاي مخاطبان
چگونگي ارائه گزارش به سمع يا نظر مخاطبان.
6 - توجه به نكات كليدي زير در تنظيم و ارائه گزارش:
اجتنــــاب از استعمال واژه هاي فني و دست و پاگير؛
استفاده از سبك محاوره اي؛
اجتناب از عبارات طولاني؛
محدودكردن عبارات انفعالي؛
رعايت دستورات گرامري؛
همكاري گروهي در گزارش نويسي؛
درنظر گرفتن زمان مناسب براي تكميل گزارش؛
استفاده از نمودارها، جداول و جملات مختصر و مفيد.
گام هشتم:
پاسخگويي به پرسشهاي كليدي زير:
آيا برنامه ديگري براي دستيابي به اهداف موردنظر لازم است؟
آيا تمامي منابع مورداستفاده در وروديها ضروري بودند؟
آيــــا براي دستيابي به پيامدها و اثرات برنامه هاي آينده به خروجيهاي متفاوتي نياز داريم؟
آيا در برنامه هاي آينده به پيامدها و اثرات ديگري نيازمنديم؟
منابع:
1 - CARTER MCNAMARA, BASIC GUIDE TO PROGRAM EVALUATION, MBA, FEB 16, 1998.
2 -MARY E. ARNOLD, BE “LOGICAL” ABOUT PROGRAM EVALUATION: BEGIN WITH LEARNING ASSESSMENT, OREGON STATE UNIVERSITY, JOURNAL OF EXTENSION, JUNE 2002, VOLUME 4, NUMBER 3.
3 - GARY OSTROSKE, INVESTING IN RESULTS, PRESIDENT AND CPO, UNITED WAY FOR THE GREATER NEW ORLEANS AREA, NEW ORLEANS, UNITED WAY OF AMERICA’S EXECUTIVE NEWSLETTER, OCTOBER 6, 1997.
4 - LIFE SKILLS EVALUATION SYSTEM, MEASURING GROWTH IN LIFE SKILLS FOR YOUTH AND FAMILY PROGRAMS, OCTOBER 30, 2001.
5 - ELLEN TAYLOR-POWELL, LOGIC MODEL WORKSHOP, UNIVERSITY OF WISCONSIN-EXTENSION COOPERATIVE EXTENSIION PROGRAM DEVELOPMENT & EVALUATION, DECEMBER5, 2001.
6 - VAN LEPTHIEN, MODEL DRIVEN ARCHITECTURE (MDA) AND GENERATIVE PROGRAMMING.
يزدان محمدبيگي خورتابسرا: كارشناس ارشد برنامه ريزي سيستم هاي اقتصادي – اجتماعي