การประเมินผลโครงการ: ขั้นตอน กรอบ CIPP, Logic Model, เกณฑ์ OECD/DAC และตัวอย่าง

หลายหน่วยงานรายงานผลโครงการด้วยตัวเลขกิจกรรม เช่น จัดอบรมกี่รุ่น มีผู้เข้าร่วมกี่คน เบิกจ่ายงบไปเท่าไร ตัวเลขเหล่านี้บอกว่าโครงการได้ทำงานแล้ว แต่ยังไม่บอกว่าโครงการได้ผล บทความนี้อธิบายวิธีประเมินว่าโครงการได้ผลหรือไม่ ตั้งแต่ขั้นตอน กรอบที่ผู้ประเมินใช้ การเลือกตัวชี้วัด ไปจนถึงการวัดความคุ้มค่า

โครงการตัวอย่าง (สมมติ) โครงการฝึกอาชีพช่างเครื่องปรับอากาศสำหรับผู้ว่างงานในจังหวัดหนึ่ง งบ 4 ล้านบาท ระยะเวลา 1 ปี ตั้งเป้าอบรม 200 คน และให้ผู้ผ่านการอบรมอย่างน้อยร้อยละ 60 มีงานทำหรือรับงานช่างได้ภายใน 6 เดือน ตัวเลขทั้งหมดเป็นตัวเลขสมมติเพื่อการอธิบาย

การประเมินผลโครงการ คืออะไร

การประเมินผลโครงการ (project evaluation) หมายถึงการเก็บและวิเคราะห์หลักฐานอย่างเป็นระบบ เพื่อตัดสินคุณค่าของโครงการ ว่าทำได้ตามวัตถุประสงค์หรือไม่ เกิดผลอะไรกับใคร และคุ้มกับทรัพยากรที่ใช้หรือไม่ คู่มือของ UNDP (2009) นิยามการประเมินผลว่าเป็นการประเมินที่เข้มงวดและเป็นอิสระ ทั้งกับงานที่จบแล้วและที่กำลังดำเนินการ เพื่อดูว่าบรรลุวัตถุประสงค์แค่ไหนและใช้ประกอบการตัดสินใจ วิธีเดียวกันนี้ใช้กับแผนงาน แผนปฏิบัติการ และนโยบายได้ ซึ่ง OECD เรียกรวมกันว่า intervention

OECD (2019) ระบุว่าการประเมินผลมีสองหน้าที่ คือ ความรับผิดชอบ (accountability) ต่อผู้ให้งบและสาธารณะ และ การเรียนรู้ (learning) ของผู้ทำงาน ผลประเมินที่ใช้ได้จริงจึงต้องบอกผู้ให้งบได้ว่าเงินที่ใช้ได้อะไรกลับมา และบอกทีมงานได้ว่าควรปรับอะไร

การประเมินผลโครงการ ควรประเมินในเรื่องใดบ้าง

• —ความจำเป็นและการออกแบบ โครงการตอบความต้องการที่มีอยู่จริงหรือไม่ และออกแบบเหมาะกับปัญหาหรือไม่
• —การดำเนินงาน ทำกิจกรรมได้ตามแผน ตามเวลา และถึงกลุ่มเป้าหมายที่ตั้งใจหรือไม่
• —ผลที่เกิดขึ้น บรรลุวัตถุประสงค์หรือไม่ และผลนั้นเกิดจากโครงการจริงแค่ไหน
• —การใช้ทรัพยากร ใช้งบ เวลา และคนได้คุ้มเมื่อเทียบกับทางเลือกอื่นหรือไม่
• —ผลกระทบและความยั่งยืน เกิดการเปลี่ยนแปลงในวงกว้างหรือไม่ และผลจะคงอยู่หลังหมดงบหรือไม่

การติดตามผล (Monitoring) กับการประเมินผล (Evaluation) ต่างกันอย่างไร

ในงานภาครัฐไทยสองคำนี้มักมาคู่กันว่า การติดตามและประเมินผล หรือ M&E แต่ทำหน้าที่ต่างกัน UNDP (2009) นิยามการติดตามผลว่าเป็นกระบวนการต่อเนื่องที่ให้ข้อมูลป้อนกลับสม่ำเสมอว่างานคืบหน้าสู่เป้าหมายแค่ไหน ส่วน Gertler และคณะ (2016) ของธนาคารโลกอธิบายว่าการติดตามผลมักดูปัจจัยนำเข้า กิจกรรม และผลผลิต ขณะที่การประเมินผลทำเป็นช่วง ๆ เพื่อตอบคำถามเฉพาะเรื่องการออกแบบ การดำเนินงาน และผลที่เกิดขึ้น

Formative กับ Summative และจังหวะการประเมิน

การประเมินแบบ Formative ทำระหว่างดำเนินโครงการเพื่อปรับปรุงการทำงาน ส่วนแบบ Summative ทำเมื่อจบโครงการหรือจบระยะ เพื่อสรุปว่าได้ผลอะไรและคุ้มค่าเพียงใด UNDP (2009) แบ่งจังหวะการประเมินไว้สี่แบบ สองแบบกลางตรงกับคำใน TOR ว่า การประเมินผลระยะครึ่งแผน และระยะสิ้นสุดแผน

Logic Model และสายผลลัพธ์ (Results Chain) คืออะไร

Logic Model คือภาพที่แสดงความเชื่อมโยงระหว่างทรัพยากรของโครงการ กิจกรรมที่จะทำ และการเปลี่ยนแปลงที่หวังว่าจะเกิด ตามนิยามในคู่มือ Logic Model ของมูลนิธิ W.K. Kellogg (2004) ส่วน สายผลลัพธ์ (Results Chain) คือลำดับเดียวกันในรูปของเหตุและผล ธนาคารโลกอธิบายว่าเป็นลำดับของปัจจัยนำเข้า กิจกรรม และผลผลิต ที่คาดว่าจะนำไปสู่ผลลัพธ์ สองคำนี้ใช้แทนกันได้เกือบทั้งหมด

Logic Model มีองค์ประกอบหลักอะไรบ้าง

Kellogg แบ่ง Logic Model เป็นห้าองค์ประกอบ สองส่วนแรกคืองานที่วางแผนไว้ อีกสามส่วนคือผลที่ตั้งใจให้เกิด

• —ปัจจัยนำเข้า (Inputs) ทรัพยากรด้านคน เงิน องค์กร และชุมชน
• —กิจกรรม (Activities) สิ่งที่โครงการทำกับทรัพยากรเหล่านั้น เช่น อบรม จัดบริการ
• —ผลผลิต (Outputs) ผลโดยตรงของกิจกรรม มักนับเป็นจำนวน เช่น จำนวนรุ่นที่อบรม
• —ผลลัพธ์ (Outcomes) การเปลี่ยนแปลงด้านความรู้ ทักษะ พฤติกรรม หรือสถานะของกลุ่มเป้าหมาย
• —ผลกระทบ (Impact) การเปลี่ยนแปลงพื้นฐานในระดับองค์กร ชุมชน หรือระบบ ทั้งที่ตั้งใจและไม่ตั้งใจ

Kellogg คาดว่าผลลัพธ์ระยะสั้นจะเห็นใน 1 ถึง 3 ปี ระยะยาวใน 4 ถึง 6 ปี และผลกระทบในราว 7 ถึง 10 ปี โครงการที่ใช้งบรายปีจึงมักวัดได้เพียงผลลัพธ์ระยะสั้น และควรบอกให้ชัดว่าผลกระทบเป็นสิ่งที่คาดหวัง ยังไม่ใช่สิ่งที่วัดได้แล้ว

ตัวอย่าง Logic Model: โครงการฝึกอาชีพช่างเครื่องปรับอากาศ

อ่าน Logic Model จากซ้ายไปขวาเป็นประโยค ถ้า...แล้ว... ถ้ามีงบ ครู และที่ฝึกงาน แล้วจะจัดหลักสูตรได้ ถ้าผู้เรียนผ่านหลักสูตร แล้วจะมีช่างที่ผ่านการรับรองฝีมือ ถ้าได้รับการจับคู่กับนายจ้าง แล้วจะได้งาน ถ้าได้งานต่อเนื่อง แล้วรายได้ครัวเรือนจะมั่นคงขึ้น

ทุกลูกศรมีสมมติฐานซ่อนอยู่ เช่น ผู้ประกอบการในจังหวัดต้องการช่างเพิ่มจริง ถ้าสมมติฐานผิด โครงการอาจได้ผลผลิตครบแต่ไม่เกิดผลลัพธ์ การประเมินที่ดีจึงตรวจทั้งผลและสมมติฐาน

Theory of Change ต่างจาก Logic Model อย่างไร

Theory of Change (ทฤษฎีการเปลี่ยนแปลง) อธิบายว่าโครงการจะทำให้เกิดผลได้อย่างไรและเพราะอะไร Gertler และคณะ (2016) อธิบายว่าเป็นตรรกะเชิงเหตุผลของโครงการ ลำดับเหตุการณ์ที่นำไปสู่ผลลัพธ์ และเงื่อนไขกับสมมติฐานที่ต้องเป็นจริง

งานประเมินจำนวนมากใช้ทั้งสองอย่าง เริ่มจาก Theory of Change เพื่อคิดให้ครบว่าการเปลี่ยนแปลงจะเกิดอย่างไร แล้วย่อเป็น Logic Model เพื่อกำหนดตัวชี้วัดและติดตามผล แหล่งทุนบางแห่งขอเป็นตาราง Logical Framework (Logframe) ซึ่งเรียงสายผลลัพธ์เดียวกันลงตาราง พร้อมตัวชี้วัด แหล่งยืนยันข้อมูล และสมมติฐาน

CIPP Model คืออะไร: 4 องค์ประกอบของ Stufflebeam

CIPP Model (ในไทยมักอ่านว่า ซิปโมเดล) เป็นแนวคิดของ Daniel L. Stufflebeam รายการตรวจสอบ CIPP ฉบับปี 2007 ที่เขาเผยแพร่ผ่าน Evaluation Center มหาวิทยาลัย Western Michigan เล่าว่าโมเดลเริ่มจากงานเขียนปี 1966 และ 1967 และในปี 1972 เขาแสดงว่าใช้ได้ทั้งการประเมินแบบ formative และ summative

CIPP ย่อมาจาก Context, Input, Process และ Product ซึ่งถามว่า ต้องทำอะไร ควรทำอย่างไร กำลังทำตามนั้นหรือไม่ และสำเร็จหรือไม่ Stufflebeam สรุปแก่นของโมเดลว่า การประเมินมีไว้เพื่อปรับปรุง ไม่ใช่เพื่อพิสูจน์ (not to prove, but to improve)

Product ใน CIPP หมายถึงผลที่เกิดขึ้นทั้งหมด รวมถึงผลลัพธ์และผลกระทบ ไม่ใช่แค่ผลผลิต (outputs) แบบใน Logic Model ถ้าใช้สองกรอบร่วมกัน ควรนิยามคำให้ตรงกันในแผนการประเมิน

CIPP มีกี่ขั้นตอน

แกนหลักมีสี่ส่วน รายการตรวจสอบปี 2007 แยก Product ออกเป็น ผลกระทบ (impact) คือเข้าถึงกลุ่มเป้าหมายที่ถูกต้องหรือไม่ ประสิทธิผล (effectiveness) คือคุณภาพและความสำคัญของผลลัพธ์ ความยั่งยืน (sustainability) คือผลคงอยู่ต่อหรือไม่ และการถ่ายทอด (transportability) คือนำไปใช้ที่อื่นได้หรือไม่ รวมเป็นเจ็ดส่วน และเมื่อรวมข้อตกลงการประเมิน การประเมินงานประเมิน (metaevaluation) และรายงานฉบับสุดท้าย จะมีสิบองค์ประกอบ เลือกใช้บางส่วนหรือสลับลำดับได้ ข้อควรระวังคือ impact ในที่นี้หมายถึงการเข้าถึงกลุ่มเป้าหมาย แคบกว่าความหมายในเกณฑ์ OECD/DAC

เกณฑ์ OECD/DAC 6 ข้อ (ฉบับปรับปรุงปี 2019)

คณะกรรมการความช่วยเหลือเพื่อการพัฒนาของ OECD (DAC) วางเกณฑ์การประเมินห้าข้อไว้ตั้งแต่ปี 1991 แล้วปรับปรุงในเอกสาร Better Criteria for Better Evaluation ซึ่งรับรองเมื่อ 10 ธันวาคม 2019 (พ.ศ. 2562) และเพิ่มข้อที่หก คือ ความสอดคล้อง (coherence) แต่ละเกณฑ์เป็นมุมมองหนึ่งในการมองโครงการ

หลักการใช้ของ OECD คือ ใช้อย่างไตร่ตรองตามบริบท ให้คำถามการประเมินเป็นตัวกำหนดว่าจะตีความแต่ละเกณฑ์อย่างไร และไม่ใช้แบบกลไก ไม่จำเป็นต้องครบทั้งหกข้อในทุกงาน

ประสิทธิผลดูผลที่ใกล้และระบุได้ว่ามาจากโครงการ ส่วนผลกระทบดูผลในระดับที่สูงกว่าที่โครงการมีส่วนช่วยให้เกิด ในโครงการตัวอย่าง การได้งานคือประสิทธิผล ส่วนรายได้ครัวเรือนที่มั่นคงขึ้นคือผลกระทบ

ควรใช้ CIPP หรือเกณฑ์ OECD/DAC

CIPP แบ่งตามช่วงชีวิตของโครงการ จากบริบทถึงผล จึงเหมาะกับการประเมินที่เริ่มไปพร้อมโครงการ ส่วน OECD/DAC แบ่งตามมุมมองของคุณค่า จึงเหมาะกับการประเมินระยะครึ่งแผนและสิ้นสุดแผน เทียบคร่าว ๆ ได้ว่า Context ใกล้กับความเกี่ยวข้อง Input และ Process ใกล้กับการออกแบบและประสิทธิภาพ ส่วน Product ครอบคลุมประสิทธิผล ผลกระทบ และความยั่งยืน ใช้ตามที่ TOR กำหนด แต่ไม่ว่ากรอบใด ตัวชี้วัดควรตั้งบนสายผลลัพธ์

ประสิทธิภาพ กับ ประสิทธิผล ต่างกันอย่างไร

ประสิทธิผล (effectiveness) ถามว่าโครงการบรรลุวัตถุประสงค์หรือไม่ ประสิทธิภาพ (efficiency) ถามว่าเปลี่ยนทรัพยากรเป็นผลได้ประหยัดและทันเวลาแค่ไหน เมื่อเทียบกับทางเลือกที่ทำได้จริง ลองเทียบโครงการตัวอย่าง (โครงการ ก) กับโครงการสมมติอีกแบบ (โครงการ ข) ที่ตั้งเป้าเดียวกันคือมีงานทำร้อยละ 60

ถ้าดูต้นทุนต่อผู้ผ่านการอบรม โครงการ ข ดูมีประสิทธิภาพกว่าเกินสองเท่า แต่ต่อคนที่ได้งานจริง โครงการ ข แพงกว่า และยังไม่ถึงเป้า ประสิทธิภาพจึงควรวัดเทียบกับผลลัพธ์ ไม่ใช่แค่ผลผลิต ซึ่งนิยามของ OECD ก็เปิดให้ทำเช่นนั้น ในทางกลับกัน โครงการที่ถึงเป้าก็ยังขาดประสิทธิภาพได้ ถ้ามีวิธีอื่นที่ได้ผลเท่ากันด้วยงบน้อยกว่า การตอบเรื่องประสิทธิภาพจึงต้องมีตัวเทียบเสมอ

เลือกตัวชี้วัดอย่างไรให้วัดผลได้จริง

ตัวชี้วัด SMART

UNDP (2009) ให้ความหมาย SMART ว่า Specific (เจาะจง) Measurable (วัดได้) Achievable (ทำได้จริง) Relevant (เกี่ยวข้องกับเป้าหมาย) และ Time-bound (มีกรอบเวลา) ส่วน Kellogg ใช้ Action-oriented, Realistic และ Timed ในสามตัวหลัง หลักเดียวกันคือ คนสองคนที่วัดตัวชี้วัดเดียวกันควรได้ตัวเลขเดียวกัน ตัวชี้วัดว่า ผู้เข้าอบรมมีอาชีพที่ดีขึ้น ไม่ผ่านหลักนี้ ส่วน ร้อยละของผู้ผ่านการอบรมที่มีงานประจำหรือรับงานช่างอย่างน้อย 10 วันต่อเดือนภายใน 6 เดือน เป้าหมายร้อยละ 60 ผ่าน

ค่าฐาน เป้าหมาย และแหล่งข้อมูล

UNDP อธิบายว่า ค่าฐาน (baseline) คือจุดตั้งต้นสำหรับวัดการเปลี่ยนแปลง ควรเก็บตั้งแต่ตอนออกแบบโครงการ ถ้าไม่มีค่าฐานจะวัดการเปลี่ยนแปลงได้ยากมาก เมื่อมีค่าฐานแล้วจึงตั้ง เป้าหมาย ที่สมเหตุสมผลได้ และตัวชี้วัดจะวัดได้จริงก็ต่อเมื่อหาข้อมูลได้ด้วยต้นทุนที่รับได้ ตัวชี้วัดแต่ละตัวควรระบุ

• —นิยาม เช่น มีงานทำนับรวมงานรับจ้างรายวันด้วยหรือไม่
• —ค่าฐานและเป้าหมาย ค่าก่อนเริ่มโครงการ ค่าที่ต้องการ และวันที่ต้องถึง
• —แหล่งข้อมูลและวิธีเก็บ ข้อมูลจากระบบงาน แบบสอบถาม สัมภาษณ์ หรือข้อมูลของหน่วยงานอื่น
• —ความถี่และผู้รับผิดชอบ เก็บบ่อยแค่ไหน ใครเก็บ ใครตรวจ และใครใช้

ถ้าวัดผลที่ต้องการโดยตรงไม่ได้ UNDP แนะนำให้ใช้ ตัวชี้วัดแทน (proxy indicator) ที่วัดทางอ้อม โดยระบุข้อจำกัดให้ชัด

ก่อนและหลัง กลุ่มเปรียบเทียบ และวิธีแบบผสมผสาน

คำถามที่ยากคือ ผลที่เห็นเกิดจากโครงการจริงแค่ไหน คำตอบขึ้นกับ สถานการณ์สมมติ (counterfactual) คือสิ่งที่จะเกิดถ้าไม่มีโครงการ ซึ่งต้องประมาณจากกลุ่มเปรียบเทียบ Gertler และคณะ (2016) เตือนว่าการเทียบก่อนและหลังของกลุ่มเดียวเป็นการประมาณที่เสี่ยง เพราะสมมติว่าถ้าไม่มีโครงการ ทุกอย่างจะเหมือนเดิม

ในโครงการตัวอย่าง ผู้ผ่านการอบรมไม่มีงานก่อนเข้าโครงการ และ 6 เดือนหลังจบมีงานทำร้อยละ 60 ถ้าเทียบแค่ก่อนและหลัง จะสรุปว่าโครงการเพิ่มการมีงานทำ 60 จุด แต่ผู้สมัครที่คุณสมบัติเหมือนกันและรอรุ่นถัดไปก็มีงานทำร้อยละ 25 ในช่วงเดียวกัน ผลของโครงการจึงประมาณ 35 จุด หรือราว 63 คนจาก 180 คน ไม่ใช่ 108 คน

กลุ่มเปรียบเทียบที่ทำได้จริง เช่น ผู้สมัครที่รอรุ่นถัดไป พื้นที่ใกล้เคียงที่ยังไม่มีโครงการ หรือผู้มีคุณสมบัติใกล้เคียงในฐานข้อมูลของหน่วยงาน เมื่อมีข้อมูลก่อนและหลังของทั้งสองกลุ่ม ใช้วิธี ผลต่างของผลต่าง (difference-in-differences) เทียบการเปลี่ยนแปลงของสองกลุ่ม และถ้าผู้สมัครมากกว่าที่นั่ง การจับฉลากทั้งเป็นธรรมและให้กลุ่มเปรียบเทียบที่น่าเชื่อถือ

ตัวเลขบอกว่าเปลี่ยนไปเท่าไร แต่ไม่บอกว่าทำไม วิธีแบบผสมผสาน (mixed methods) ใช้ทั้งสองแบบ เช่น สำรวจผู้ผ่านการอบรมทุกคน แล้วสัมภาษณ์ผู้ออกกลางคันและนายจ้าง อ่านต่อได้ในบทความ Focus Group กับ Survey และบทความแบบสอบถามกี่ชุดถึงพอ ถ้าผลลัพธ์ของโครงการคือความพึงพอใจหรือการรับรู้ ดูคู่มือการประเมินความพึงพอใจ คู่มือการประเมินการรับรู้ และงานสำรวจความพึงพอใจผู้รับบริการ

ความคุ้มค่า: ต้นทุนต่อผลลัพธ์ CBA และ SROI

ธนาคารโลกนิยาม การวิเคราะห์ต้นทุนประสิทธิผล (cost-effectiveness) ว่าเป็นการเทียบต้นทุนของทางเลือกตั้งแต่สองทางในการได้ผลลัพธ์เดียวกัน และนิยาม การวิเคราะห์ต้นทุนผลประโยชน์ (CBA) ว่าเป็นการเทียบผลประโยชน์รวมกับต้นทุนรวมเป็นตัวเงิน

ในโครงการตัวอย่าง ต้นทุนต่อคนที่มีงานทำ คิดตรง ๆ คือ 4,000,000 หาร 108 เท่ากับ 37,037 บาท แต่ถ้านับเฉพาะ 63 คนที่ได้งานเพราะโครงการ จะเป็น 63,492 บาทต่อคน ตัวเลขหลังคือตัวที่ควรใช้เทียบกับทางเลือกอื่น

สำหรับ CBA สมมติว่ารายได้เฉลี่ยของผู้ผ่านการอบรมเพิ่มจาก 5,000 เป็น 9,000 บาทต่อเดือน ส่วนกลุ่มเปรียบเทียบเพิ่มจาก 5,000 เป็น 6,000 บาท รายได้ที่เพิ่มเพราะโครงการจึงราว 3,000 บาทต่อคนต่อเดือน ใน 12 เดือนเท่ากับ 180 คูณ 3,000 คูณ 12 คือ 6,480,000 บาท หรือราว 1.62 เท่าของต้นทุน ก่อนพิจารณาว่าผลจะอยู่ได้กี่ปีและคิดลดเป็นมูลค่าปัจจุบัน

SROI นับผลลัพธ์อื่นที่ผู้มีส่วนได้ส่วนเสียเห็นว่าสำคัญด้วย เช่น ความเครียดเรื่องหนี้ที่ลดลง หรือผู้ประกอบการที่หาช่างได้ แล้วหักส่วนที่จะเกิดอยู่แล้ว (deadweight) ส่วนที่เกิดจากผู้อื่น (attribution) และผลที่ลดลงตามเวลา (drop-off) ดูวิธีคิดได้ในบทความ SROI คืออะไร ลองคำนวณที่เครื่องคำนวณ SROI ทีละขั้น หรือดูหน้าการประเมิน SROI

งานประเมินผลที่หน่วยงานรัฐไทยจ้างบ่อย

งานประเมินผลภาครัฐมีฐานทางกฎหมาย พระราชกฤษฎีกาว่าด้วยหลักเกณฑ์และวิธีการบริหารกิจการบ้านเมืองที่ดี พ.ศ. 2546 มาตรา 22 ให้สำนักงานคณะกรรมการพัฒนาการเศรษฐกิจและสังคมแห่งชาติและสำนักงบประมาณร่วมกันจัดให้มีการประเมินความคุ้มค่าในการปฏิบัติภารกิจของรัฐ โดยความคุ้มค่ารวมถึงประโยชน์หรือผลเสียทางสังคมที่คำนวณเป็นเงินไม่ได้ ส่วนมาตรา 45 ให้ส่วนราชการจัดให้มีคณะผู้ประเมินอิสระ ประเมินผลสัมฤทธิ์ของภารกิจ คุณภาพการให้บริการ ความพึงพอใจของประชาชนผู้รับบริการ และความคุ้มค่าในภารกิจ ส่วนกฎหมายเองประเมินผลสัมฤทธิ์ตามพระราชบัญญัติหลักเกณฑ์การจัดทำร่างกฎหมายและการประเมินผลสัมฤทธิ์ของกฎหมาย พ.ศ. 2562

ไม่ว่า TOR จะกำหนดกรอบใด ควรวาดสายผลลัพธ์ก่อนเสมอ เรื่องตัวชี้วัดผลการดำเนินงาน ดูบทความ KPI Cascading และคู่มือการบริหารเชิงกลยุทธ์

ขั้นตอนการประเมินผลโครงการ 6 ขั้น

• —1. ตั้งคำถามการประเมิน ใครจะใช้ผล ใช้ตัดสินใจเรื่องอะไร ต้องใช้เมื่อไร แล้วเขียนคำถามไม่กี่ข้อที่ตอบได้จริง OECD ระบุว่าการประเมินความพร้อมในการประเมิน (evaluability assessment) ช่วยดูว่าข้อมูลที่มีตอบคำถามได้หรือไม่
• —2. วาดสายผลลัพธ์ ทำ Logic Model และถ้างานซับซ้อน ทำ Theory of Change พร้อมสมมติฐาน
• —3. เลือกเกณฑ์และตัวชี้วัด เลือกกรอบที่เหมาะ เช่น CIPP หรือ OECD/DAC แล้วตั้งตัวชี้วัด SMART พร้อมค่าฐานและเป้าหมาย
• —4. ออกแบบการวัด เลือกตัวเทียบ คำนวณกลุ่มตัวอย่าง เตรียมเครื่องมือเชิงปริมาณและเชิงคุณภาพ และขอความยินยอมจากผู้ให้ข้อมูล
• —5. วิเคราะห์และตัดสินคุณค่า วิเคราะห์ประสิทธิผล ประสิทธิภาพ และความคุ้มค่า เทียบหลักฐานหลายแหล่ง และทดสอบว่าข้อสรุปยังอยู่ไหมเมื่อสมมติฐานเปลี่ยน
• —6. รายงานและนำผลไปใช้ เสนอว่าควรขยาย ปรับ หรือหยุดอะไร ใครรับผิดชอบ และจะวัดซ้ำอย่างไร Stufflebeam แนะนำให้ส่งร่างรายงานให้ผู้ใช้ผลราว 10 วันก่อนประชุมรับฟังความเห็น

ตัวอย่างแผนการประเมินผลอย่างย่อ

แกนของแผนการประเมินคือตารางที่เชื่อมคำถามเข้ากับเกณฑ์ ตัวชี้วัด และแหล่งข้อมูล (evaluation matrix) ด้านล่างเป็นตัวอย่างของโครงการฝึกอาชีพ ใช้เป็นแม่แบบได้โดยเปลี่ยนเนื้อหาในแต่ละช่อง

นอกจากตารางนี้ แผนการประเมินควรมีวัตถุประสงค์และผู้ใช้ผล Logic Model การออกแบบการวัดและกลุ่มตัวอย่าง กำหนดเวลา ทีมและงบประมาณ และแผนการรายงานผล

ข้อผิดพลาดที่พบบ่อย

• —รายงานผลผลิตแล้วเรียกว่าผลสัมฤทธิ์ จำนวนคนที่อบรมเป็นผลผลิต ยังไม่ใช่ผลลัพธ์
• —ไม่มีค่าฐาน เริ่มเก็บข้อมูลตอนจบจึงต้องพึ่งการถามย้อนหลัง ควรวางแผนประเมินพร้อมออกแบบโครงการ
• —เทียบแค่ก่อนและหลัง นับการเปลี่ยนแปลงที่เกิดอยู่แล้วเป็นผลของโครงการ ดังที่ 108 คนลดเหลือราว 63 คนในตัวอย่าง
• —ใช้ทุกเกณฑ์กับทุกคำถาม รายงานยาวแต่ไม่ตอบสิ่งที่ผู้บริหารต้องใช้ OECD เองเตือนไม่ให้ใช้เกณฑ์แบบกลไก
• —วัดประสิทธิภาพที่ต้นทุนต่อผลผลิต ต้นทุนต่อหัวที่ต่ำอาจหมายถึงต้นทุนต่อคนที่ได้งานที่สูง
• —ใช้ความพึงพอใจแทนผลลัพธ์ ผู้เรียนพอใจไม่ได้แปลว่าได้งาน
• —รายงานไม่ถูกนำไปใช้ ข้อเสนอกว้างเกินไป ไม่มีผู้รับผิดชอบ หรือรายงานเสร็จหลังตัดสินใจงบไปแล้ว

เมื่อไหร่ควรใช้ผู้ประเมินภายนอก

หลายหน่วยงานติดตามผลเองได้ ส่วนการประเมินที่ต้องเป็นอิสระ ต้องมีกลุ่มเปรียบเทียบ หรือต้องตีมูลค่าผล มักใช้ผู้ประเมินภายนอก NXT Consulting Group ขึ้นทะเบียนเป็นที่ปรึกษานิติบุคคลกับศูนย์ข้อมูลที่ปรึกษา กระทรวงการคลัง ในสาขาการวิจัยและการประเมินผล (RE) ผลงานในนาม NXT ได้แก่ การประเมินผลการดำเนินงานและผลกระทบทางเศรษฐกิจของ ETDA และการประเมิน SROI ให้หน่วยงานภายใต้คณะวิศวกรรมศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย ดูขอบเขตงานได้ที่หน้าที่ปรึกษาประเมินผลโครงการ

ปรึกษาเรื่องการประเมินผลโครงการ

อ้างอิง

• —Gertler, P. J., Martinez, S., Premand, P., Rawlings, L. B., & Vermeersch, C. M. J. (2016). Impact Evaluation in Practice (2nd ed.). World Bank และ Inter-American Development Bank.
• —OECD DAC Network on Development Evaluation (2019). Better Criteria for Better Evaluation: Revised Evaluation Criteria Definitions and Principles for Use. OECD.
• —Stufflebeam, D. L. (2007). CIPP Evaluation Model Checklist (2nd ed.). The Evaluation Center, Western Michigan University.
• —UNDP (2009). Handbook on Planning, Monitoring and Evaluating for Development Results. United Nations Development Programme.
• —W.K. Kellogg Foundation (2004). Logic Model Development Guide. W.K. Kellogg Foundation.
• —พระราชกฤษฎีกาว่าด้วยหลักเกณฑ์และวิธีการบริหารกิจการบ้านเมืองที่ดี พ.ศ. 2546 (ราชกิจจานุเบกษา เล่ม 120 ตอนที่ 100 ก) มาตรา 22 และมาตรา 45