［摘要］随着工业4.0的到来，制造业的信息化建设已经成为国家战略的重要组成部分，各制造企业都在建设大量信息系统，但系统建设完成后实际应用情况如何，大部分制造企业无法作出合理的评价。文章以T公司生产执行系统（Manufacturing Execution System,MES）为例，结合实际情况建立系统应用后评价的指标，通过层次分析法和模糊综合评价法确定各个指标的权重和评价集，得出系统应用后的分值，判断出系统目前的应用情况，为制造业其他系统应用后评价提供借鉴。

　　［关键词］系统应用后评价,评价指标,层次分析法,模糊综合评价法

　　引言:随着工业4.0的到来，数字化转型得到了越来越多制造企业的重视和实践。企业数字化转型的过程中，离不开各种信息系统的建设和使用，越来越多的信息系统在企业经营管理和生产管控中发挥着重要的作用。随着大量信息系统在制造企业中建设和使用，信息系统建设完成后的应用给企业到底带来什么样的效果却很难进行评估和衡量，因为每个企业中系统应用后评价必须根据企业自身特点、实际运行情况、管理要求等进行综合评价，可以说，每个企业的评价指标、维度、方法等都不一样，没有成熟可借鉴的经验和方法。目前，企业普遍关注的是如何建立信息系统、信息系统项目过程管控的复盘和评价等，并没有对系统应用后的实际情况和系统是否给业务带来价值进行评估［1］。因此，如何准确了解信息系统给制造企业带来的各方面影响，如何评估信息系统应用后对企业目标和绩效的贡献程度和评估信息系统项目是否成功及成功的程度，成为各个制造企业信息系统应用后评价的难题。

　　T公司是一家大型复合材料制造企业，其生产是典型的离散制造模式，产品体积大，生产周期长，生产管控难度大，人员手工统计数据困难。因此，该企业为了提高生产管理水平，固化标准业务流程和管理要求，建设了“1+N”多工厂模式下的标准化MES系统。虽然T公司建设了很多信息系统，对企业生产运营产生了较大影响，但目前该企业只关注了如何建立信息系统，并没有对信息系统使用情况和产生的价值进行评价，尤其是信息系统上线后的应用评价［2-3］。因此，本文结合T公司管理和生产管控要求及MES信息系统实际应用情况，建立MES系统应用后评价的指标体系，采用层次分析法和模糊综合评价法，对该企业的MES系统应用进行后评价，为该企业其他信息系统的应用后评价提供借鉴。

　　1 MES系统应用后评价指标体系的建立

　　MES系统应用后评价指标体系的建立是进行MES系统应用后评价的关键步骤之一。一个科学合理的评价指标体系应该能够全面反映MES系统实施后的效果，同时具有可操作性和可量化性。本文根据企业的管理要求和MES系统应用情况，遵循全面性、科学性、可量化、可操作、重点突出等原则［4］，鉴于企业信息系统上线应用后无法直接或者准确计算出经济效益方面的指标，在制定该企业的MES系统应用后评价指标时，不考虑经济方面的指标，主要包含技术和管理两方面的指标。其中，管理指标主要包含生产效率、生产计划准确性、生产过程控制能力、决策支持能力；技术指标主要包含系统稳定性、系统易用性、界面友好性、功能完整性与系统可维护性，具体如图1所示。

　　2 MES系统应用后评价模型的构建

　　2.1构建系统应用后评价的判断矩阵

　　层次分析法是一种综合评价方法，具有简单易懂、易于操作、适用范围广等优点，被广泛应用于各个领域的多准则决策问题中［5］。在MES系统应用后评价中，层次分析法可以有效地处理多准则、多层次、模糊性和不确定性问题，得到更加客观、准确的评价结果。

　　层次分析法的基本矩阵主要是专家、用户等通过对每一层次指标的相对重要性进行两两对比后进行赋值，并将这些定量化的判断结果用判断矩阵A表示，则A=(aij)n×n，具体如表1所示。

　　根据不同阶数的判断矩阵查表得到评价随机一致性指标RI，具体见表2。

　　因只有通过检验判断的矩阵其数据才能使用，所以需要对判断矩阵进行一致性检验。平均随机一致性比例

　　计算公式为CR=，当CR=＜0.01时，则判断矩阵

　　具有一致性，否则要调整判断矩阵，使其具有一致性。

　　2.2构建系统应用后评价指标评价集

　　模糊综合评价法是一种基于模糊数学理论的评价方法，主要用于解决不确定性、多指标等问题，将该方法与层次分析法结合使用，得到最终的评价结论。

　　基于模糊综合评价法，结合T公司管理要求，本文将系统应用后的结果分为不合格、一般、较好、很好4个标准，将4个标准建成一个集合M，评价集M={M1（不合格），M2（一般），M3（较好），M4（很好）}，并根据德尔菲法对各个指标进行概率计算，得到各个指标相对评价等级的概率值。

　　2.3权重计算及层次总排序

　　通过层次分析法对权重和一致性比率进行计算，对专家判断进行一致性检验，直到通过一致性检验。通过一致性检验后，经过专家判断得到各个指标对应的评价等级概率值，再根据层次分析法合成权重的计算方式得到总排序，经过计算后得到系统应用后的结果。

　　3应用实例

　　3.1确定评价指标

　　MES系统应用后评价的目标是N=（A，B），其中A代表管理指标，A1、A2、A3、A4分别代表生产效率、生产计划准确性、生产过程管控能力、决策支持能力；B代表技术指标，用B1、B2、B3、B4分别代表系统稳定性、系统易用性、界面友好性、功能完整性、系统可维护性。

　　3.2建立评价集

　　根据模糊综合评价法和公司管理要求，对评价集M={M1（不合格），M2（一般），M3（较好），M4（很好）}进行赋值，评价集的分值范围见表3。

　　M1、M2、M3、M4取对应中间值，分别为30、70、85、95。对评价集M进行赋值，即M=（30，70，85，90）。
      3.3指标体系权重计算

　　根据重要性标度含义表，将每一个指标两两对比，得到判断矩阵，并对每一个判断矩阵计算各指标的权重和进行一致性检验，得到各指标的权重及一致性比率，具体见表4、表5。

　　最大特征根λax=4.215，特征向量=（0.727，0.55，1.515，1.208），CR=0.081＜0.1，通过一致性检验。

　　最大特征根λax=5.246，特征向量=（1.277，0.782，0.805，1.855，0.281），CR=0.066＜0.1，通过一次性检验。

　　通过计算，得到综合权重P=（A1,A2,A3,A4,B1,B2,B3,B4）=（0.09 0.07 0.19 0.15 0.13 0.08 0.08 0.18 0.03）3.4评价指标等级和判断矩阵R

　　根据德尔菲法，通过专家、信息系统工程师、最终用户等的打分，得出各个指标相对于MES系统应用后评价的值，具体如表6所示。

　　通过计算，可知该系统应用后评价综合得分为P*P*MT=78.79＜80。根据评价集可知，MES系统应用后评价结果为一般。通过上述指标的权重可以看出，生产效率提升和生产计划准确性效果不够明显，系统维护能力较弱，界面友好性和系统易用性较差，因此需要在这几方面加强管控，进一步挖掘系统应用价值和效果，改善系统界面和操作性，加强对信息技术人员的培养和技术水平的提升。

　　4结束语

　　信息系统应用后评价是制造型企业信息化建设的一个重要环节，对于提升信息系统的应用效果和企业的竞争力有着重要意义。通过信息系统应用后评价，企业可以评估信息系统实施后的效果和应用价值，发现信息系统在运行、维护、管理等各方面的不足和各种业务问题，尤其是业务标准化、流程标准化方面的问题，便于有针对性地制定有效措施来解决这些问题。企业应该重视信息系统应用后评价的工作，制定科学合理的评价指标和方法，及时进行评价并对评价后的问题制定解决措施。信息系统应用后评价要针对不同的阶段和企业要求，对系统应用的效果进行多次和多维度的评价，这样才能不断完善系统功能，促进业务不断改善，从而提升系统使用效果和用户满意度。同时，企业系统的应用后评价需要充分考虑制造行业的特点和各自的特色需求，确保评价结果符合实际情况，能反馈出真正的问题。

主要参考文献

　　［1］姚庆国,赵丽霞,张学睦.煤矿安全管理信息系统模糊综合评价模型［J］.矿业安全与环保,2017(6):120-124.

　　［2］尹天明,李慧娟.中煤集团ERP系统后评价指标体系研究［J］.煤炭经济研究,2012(12):57-60.

　　［3］杨程.企业信息系统后评价体系的建立［J］.数字石油和化工,2009(7):128-132.

　　［4］贾立双.信息系统实施后企业绩效评价研究［D］.南京:南京大学,2012.

　　［5］徐晓敏.层次分析法的运用［J］.统计与决策,2008(1):156-158.