Google
 

2007-03-06

如何有效的评估培训效果

-利用Kirkpatrick模型进行培训效果评估

打造学习型组织,强化企业的学习能力越来越为企业所重视,因此企业投入大量的人力、物力和财力对员工进行培训,在经过培训的热潮之后,往往却没有获得预期的效果,从而又得出了一个结论:"培训并不能解决问题"。培训真的不能解决问题吗?如果答案是否定的,那培训效果不佳的真正原因在哪里呢?

"培训不是万能的,但没有培训是万万不能的!"期望依靠培训解决所有问题是不可能的,但有效的培训对提升员工能力、改善企业业绩的作用却是不可或缺的。企业培训效果不佳的原因可能出现在培训管理的每个环节:培训需求分析不准确;培训设计阶段未能充分引入各相关人员的参与;课程开发未能采用企业实际案例;培训的时间选择违背了JIT原则;培训效果的评估与跟进措施不得力,任何一个环节出了问题都会导致培训的失败。培训效果的评估与跟进如同企业中的质量检验一样,作为培训管理的最后一道关口尤为重要。哈佛大学行为学专家研究得出的数据是:一个人接受了培训的知识,若一个月内不应用,87%的知识会遗忘!因而,企业光注重如何实施培训开发还不行,必须要进行培训效果的评估,通过评估将所学转化为所用,通过所用提升和创造培训的价值。评估结果将直接作用于培训课程的改进和讲师调整等方面。

培训效果评估最常采用的方法是由D. L. Kirkpatrick所创立的四级评估体系,在他所著的《A Practical Guide to Supervisory Training and Development》中建议我们在培训的四个产出层面设定评估标准并进行效果检验:

1. 反应:这类评估主要是考核学员对培训方案的反应,学员对培训项目结构、培训讲师的看法,培训内容是否合适和方法的看法等;

2. 学习:学员在培训项目中的进步,该层关心的是学员通过培训是否将掌握的知识和技能应用到实际工作中,提高工作绩效;

3. 行为:培训项目使学员在工作行为和表现方面产生的变化;

4. 结果:上述变化对组织发展带来的可见的和积极的作用。这类评估的核心问题是通过培训是否对企业的经营结果产生影响。结果层的评估内容是一个企业组织培训的最终目的。

接下来,笔者将根据自己的实际经验对于如何有效运用Kirkpatrick模型进行培训效果评估与跟进进行一些简单的交流。


Kirkpatrick模型是如何具体运作的呢?

l 反应层次:

反应层次的评估是我们目前最常采用的方法,就是我们经常使用的课程评估表。在课程进行过程中或课程结束后运用调查问卷或者访谈立即对学员进行调查。反应层次的评估主要关心学员对培训项目或者课程的直接反应。反应层面需要评估以下几个方面:内容、讲师、方法、材料、设施、场地、报名程序等。对这个层次的评价,首先要有总体的评价,比如询问学员:你感觉这个课怎么样?你会向其他人推荐这个课吗?他们是否喜欢或者讨厌这个课程?正常情况下,学员应该对这些问题都给予正面积极的回答,否则学员将失去继续参加培训的信心。但是一定要记住:"喜欢"并不等于学习的效果产生了,只有学员的这种兴趣与组织的需要结合起来了才能真正达到效果。

反应层次的评估一般有课程评估表和小组座谈两种方法。

具体衡量的尺度,可以采取4分法(极好、好、一般、差)、5分法(极好、很好、好、一般、差),或者7分法(1到7分)、10分法(1到10分)。一般而言,5分法比较容易操作,但区分度不如7分法。笔者在实际运用过程中较喜欢采用5分法,在运用5分法的情况下,如果某个项目的评分低于4分就需要采取深入的分析并进行适当的调整了。

反应层面的评估易于进行,是最基本、最普遍的评估方式。但它的缺点显而易见,常常会发生以偏概全,主观性强,不够理智等问题。比如,因为对老师有好感而给课程全部高分;或者因为对某个因素不满而全盘否定课程。

以下解决办法值得尝试,比如:强调评价的目的,请求大家配合;鼓励大家写意见、建议;与历史数据或其他公司数据比较;对大公司来讲,在全面铺开某个课程之前先试讲;对于外部聘请的讲师要参考其历史评估数据;结合使用问卷、面谈、座谈等方式;不同主题的课一起开时,要及时反馈,马上填问卷;将课程的评价与讲师的评价分开;多个老师讲课的情况下要针对每个老师进行评价,另外还可适当加入学员自我的评估。

l 学习层次:

学习层面的评估,主要是学员掌握了多少知识和技能,比如学员吸收或者记住了多少课程内容?因此,通常通过考试、演示、讲演、讨论、角色扮演等方式进行。具体操作中,有如下的方法:

ü 在反应层级评估基础上,增加学习内容测试和问答题,要求运用所学的知识进行解答。可以分为基础知识点和情景模拟问答。

ü 在实际过程中,特别是OTJ内容,学习层面的评估是进行现场操作,在操作过程中主要关键知识点的掌握。

ü 一些专业性岗位的课程学习后,要求按照学习的内容和时间提出自己的改善方案,并交给直接上级负责监督执行。

由于成年人都有意识在学习过程中根据自己的经验和工作需要尽可能的吸收更多的内容,因此针对那些培训内容很宽泛的课程,我通常建议采用一个简单的测试:列出3项你认为最有价值或者让你印象最深刻的内容。这样可以更明确学员在培训过程中的收获。

学习层面的评估的优点有:对培训学员有压力,使他们更认真地学习;对培训讲师也是一种压力,使他们更负责、更精心地准备课程和讲课;学习是行为改善的第一步。但问题在于,压力是好事也可能是坏事,有可能使报名不太踊跃。再者,这些测试方法的可靠度和可信度有多大?测试方法的难度是否合适?对工作行为转变来说并非最直接的参考指标,学员学会了不一定使用。

应对这些问题的办法主要就是采用合适的评估方式。比如,对那些基于知识的培训(包括技能培训)采用考试的方式;对要认真对待结果的正式培训也应该考试,并展开讨论。如果采用演示、讲演、讨论、角色扮演等方式,应事先让学生知道规则、时间及考核者。

l 行为层次:

行为层面的评估是培训后的跟进过程:学员的在职表现是否提高?生产效率是否提高?废品率是否下降?缺勤率是否降低?士气是否提高?等等。行为层面的评估,主要有观察、主管的评价、客户的评价、同事的评价等方式。行为评估相对于反应与学习评估都更具有难度,但是我们可以通过记录产量、质量控制、成本和薪资并定期的进行回顾或者学员主管的汇报来进行评估。

行为层面的评估是一个需要时间的过程,通常此类评估通过前后对照、360度调查和绩效考核方式进行。 一般时间大约是3-6个月,甚至一年以后进行。为考虑公平性,行为层面评估需要其他人的介入,一般评估人员的组合是由学员、同事、下属和上司进行。操作的基本步骤是,在培训结束之时,要求学员制定一份有量化改进的实践计划,列明现在的情况和需要改进达到的方面。然后,制定为跟踪评估调查问卷,并约定在培训结束3-4个月左右的时间里,对学员进行跟踪调查。然后,培训师、学员与学员上司讨论实践详细计划,并由直接上级备份。当约定的评估时间内,培训师需要进一步与直接上级接触进行评估交流。约定的时间到后,学员本人和直接上级进行评估。有的时候,培训师也参加到评估中。培训后的行为评估要与培训前的需求调查进行综合比较。

这个层面的评估的好处是:培训的目的就是改变学员的行为,因此这个层面的评估可以直接反映课程的效果;可以使高层领导和直接主管看到培训的效果,使他们更支持培训。进行行为评估是讲师获得学员主管参与课程的一个良好机会。

但是,这个层面的评估要花很多时间、精力,人力资源部门可能忙不过来;问卷的设计非常重要却比较难做;因为要占用相关人员较多时间,大家可能不太配合;员工的表现多因多果,如何剔除其他因素的影响,也是一个问题。

一般可以考虑以下解决办法:

选择适合这样做和值得这样做的课程,如公司行为、时间管理等,记住不是所有的课程都可以进行行为评估。

注意选择合适的评价时间,即在培训结束多长时间后再来评价:间隔时间太短,学员可能还未熟练掌握,难以反映培训的长期效果;间隔时间太长,多因多果的影响增强,难以评测。

主管的配合很重要。要取得学员主管的配合,首先要让他了解,学员参加这样的培训有利于其更好地工作;其次深入地沟通评估的目的和方法,并在批准这个培训时就让他知道他在事后需要予以配合。在宝洁公司,讲师通常会发一个3个月的跟进信给学员的主管,询问学员在培训前后是否发生行为的转变。

充分利用咨询公司的力量。因为这个层面的评估比较复杂、专业,占用的时间和精力也很多,人力资源部门要充分借用咨询公司的经验和人力,有些事情可以外包出去。

l 结果层次:

结果层次的评估与行为层次的评估比较类似,但是会更侧重组织整体的绩效表现,而且也不需要把所有的课程都与组织表现直接挂钩。结果层面的评估是培训评估最大的难点。因为对企业经营结果产生影响的不仅仅是培训活动,还有许多其他因素都会影响企业的经营结果,培训只是提升组织绩效的众多工具之一。如果对培训进行过度的量化评估则会导致管理方向的失误。

这种评估方式的优点显而易见,因为企业及企业高层主管在培训上投资的根本目的,就是为了提高这些指标。如果能在这个层面上拿出翔实的、令人信服的调查数据,不但可以打消高层主管投资于培训的疑虑心理,而且可以指导培训课程计划,把有限的培训费用用到最可以为企业创造经济效益的课程上来。

但是,与其他事情一样,最令人向往的事往往最难做到。这个层面的评估首先需要时间,在短期内是很难有结果的;其次,对这个层面的评估,人们才刚刚开始尝试,缺乏必要的技术和经验;第三,必须取得管理层的合作,否则你就无法拿到相关的数字;最后,多因多果,简单的对比数字意义不大,你必须分辨哪些果与你要评估的课程有关系,在多大程度上有关系。


运用Kirkpatrick模型进行培训效果评估的注意事项:

1. 四个层面的评估是一个整体,缺一不可:我们在实际运用中通常会停留在反应与学习两个层面,简单的填写一份培训评估表就万事大吉,忽视了行为与结果的评估;

2. 分析的结果缺乏反馈:分析的结果只保留在培训主管的手中,未能将其反馈给讲师、学员与学员主管,因而不能进一步改进课程和提升学员的学习效果;

3. 企业负责人片面的看待评估结果:未能对培训结果的产生条件与结果本身联系起来,因而简单的得出培训有效或者无效的结论;

4. 评估进行的时间与时机选择不合适:只有在合适的时间与时机下进行的由合适的人进行的效果评估才能更充分体现培训的实际效果。

没有评论: