设计可以量化的指标，對于难以量化的指标，评价者要有客观的描述和较为详细的分析说明，用于展现客观的真实情况。另外，要合理分配定性指标和定量指标之间的比例关系[5]49。
2.评价指标体系的构建过程及方法。首先，通过大量研读高校档案微信服务评价的相关文献，凝练以往研究中符合构建原则的指标，初步获得了22个二级指标。其次，根据层次分析法的基本原理，建立包括目标层、准则层和指标层的评价指标体系，初步确立了高校档案微信服务质量评价指标体系。再次，征求专家学者、一线工作人员的意见和建议，结合高校档案微信公众平台的实际情况，剔除不合理的指标（指没有太大意义或者基本没有影响的指标），将相互交叉的指标进行调整，将缺漏的指标进行补充。最后，对指标体系作进一步梳理，整合调整了4个冗余或者意义不大的二级指标，得到18个二级指标，并形成了包含4个一级指标、18个二级指标的评价指标体系（见图1）。
3.评价指标体系描述说明。高校档案微信服务质量评价指标体系准则层由信息质量、技术实现、服务支持和影响效果四个指标组成。
（1）信息质量。包括信息及时性、信息有用性、信息专业性、信息拓展性和信息多样性。信息及时性是指高校档案微信公众平台发布信息的时效性及新颖性;信息有用性是指高校档案微信公众平台发布的信息对用户的有用程度;信息专业性是指高校档案微信公众平台发布信息内容的专业程度;信息拓展性是指高校档案微信公众平台设置校史相关的宣传信息（如校史编研、校史平台、校史档案等）;信息多样性指高校档案微信公众平台发布多种载体形式的信息（音频、视频、图片、文字等）。
（2）技术实现。包括资源整合、分类检索、隐私保护、平台稳定和界面设计。资源整合是指高校档案微信平台与档案管理系统数据库、档案网站资源的整合程度;分类检索是指高校档案微信公众平台支持多种字段的分类检索，例如按文件题名、责任者、档案类别、日期等字段检索;隐私保护是指用户在线查档所登记的个人信息、浏览痕迹等隐私信息是否受到保护;平台稳定是指高校档案微信公众平台具有良好的容错性和较少的崩溃现象;界面设计指高校档案微信公众平台界面符合用户使用习惯，用户能够轻松识别、使用平台功能。
（3）服务支持。包括实时交互、在线办理、个性化定制和特色服务。实时交互是指用户在微信平台上得到及时反馈和交流的同步程度;在线办理是指高校档案微信公众平台是否支持在线完成毕业证等审核流程、在线办理业务等服务;个性化定制是指高校档案微信公众平台能否根据用户需求提供个性化定制服务（如对校友推送毕业照、校园老照片等;根据用户浏览习惯在特定时间推送信息等）;特色服务是指高校档案微信公众平台是否设有特色服务（例如预约查档、预约校史馆、关联小程序等）。
（4）影响效果。包括平台关注量、平均点赞量、平均阅读量和原创鼓励度。平台关注量是指高校档案微信公众平台的关注人数;平均点赞量是指平均每篇推送文章的点赞或者好看数量;平均阅读量是指平均每篇推送文章的阅读数量;原创鼓励度是指被认证为原创、得到经济“打赏”的多少。
二、高校档案微信服务质量评价指标体系的评价与检验
为了更好地提高评价指标体系的科学性，需要检验指标体系的有效性和稳定性程度。本文采用Delphi方法，选择了十位领域内专家，其中有教授五名，高校档案馆工作者三名，相关研究方向硕士研究生（代表用户）两名。按照各个指标对服务质量的重要程度从低到高依次划分为五个等级，并对应李克特量表，赋予对应的1—5分，1代表非常不重要，5代表非常重要，不同分数表示各位专家对某个指标影响力大小的认可程度。经过对专家评价结果进行统计，汇总得到十位专家对指标体系的评价结果（见表1）。
1.评价指标体系的有效性检验。
（1）指标体系的有效性评价方法。分析指标体系的有效性，是检验指标体系合理性的方法之一。不同专家由于专业背景、工作经验和主观评价上存在不同，加之用户在现实中对高校档案微信的使用体验各异，对同一个评价指标的评价结果也会不同。因此，如果多个评判者对同一个评价指标的评价结果差别较小，表明此评价指标能够充分表达评价对象的某一属性，反之则表明此评价指标不能充分表达评价对象的某一属性。指标体系的有效性，就是指评价者利用指标体系进行评价时该指标体系的有效程度，客观反映指标体系能否充分表达被评价的对象，能否体现被评价对象的特点和本质属性以及指标体系内在的冗余程度和灵敏程度。
定义1：设评价指标集为 ，其中n为评价指标的个数;参加指标评价的专家人数为m，所有专家对指标fi的评分集为 ，则可知为指标fi得分的平均值。利用统计学的思想，可以将xi视为指标fi的真實有效程度（真实值）。根据上述思想，定义指标fi有效性指数为ηi：
式中，ρi为指标fi的偏差系数，计算公式如下：
从而，指标体系F的有效性指数η可以定义为：
将灰色关联分析法和偏差分析法的思想相结合，定义一种有效性指数，即通过计算评价值和真实值之间的相似程度，来检验指标体系的有效性。有效性指数越高，代表评价值越接近真实值，即评价者对指标体系的评价越接近对评价对象的认识，那么就可以认为评价指标体系的有效性就越好。一般情况下，当η≥85%时，可认为该评价指标体系的有效性比较高[6]51。
（2）指标体系的有效性检验。根据上述有效性评价方法，并基于matlab进行计算，对所构建的高校档案微信服务质量评价指标体系进行有效性检验，具体计算过程分为四个步骤：①根据表1，计算出十位专家对指标fi的平均打分xi。②把xi分别代入定义1中的公式中，得到指标fi的偏差系数ρi。③将ρi分别代入定义1中的公式中，可以得到指标fi的有效性系数ηi。④对每个指标的有效性系数ηi进行算术平均求和，得到整个评价指标体系的有效性指数[7]65。结果如表2所示。
评价结果显示，在所有的指标中，信息多样、分类检索和平台稳定这三个指标获得了专家最高的认可度，而平均关注量这一指标的有效性系数较低，说明专家们对这一指标还存在争议。通过计算最终得到高校档案微信服务质量评价指标体系的有效性指数为：η=0.9291>0.85，表明所构建的评价指标体系有效性比较高，可以用于今后的实证研究。
2.评价指标体系的稳定性检验。
（1）指标体系的稳定性评价方法。为了全面检验指标体系的合理性，还需要进一步分析指标体系的稳定性。借鉴肯德尔和谐系数的思想，可以通过计算评价指标体系的肯德尔和谐系数，用于评价指标体系的稳定性。即通过分析多个等级变量之间线性关系的密切程度，验证各个变量之间的内在一致性（即稳定性），稳定性系数能够反映出专家对于指标评价结果的协调程度，从而评价指标体系的稳定性。
定义2：假设评价指标集为 ，参加指标评价的专家人数为m，指标个数为n，所有专家对指标fi的评分等级数据集为 ，定义指标体系F的稳定性系数为β，其计算过程如公式所示：
其中， ，表示指标fi的评价等级之和， ，表示所有指标之和的平均数[8][9]， ，这里mi为第i个评价者的评价中有相同等级的个数，nij为第i个评价者的评价中第j个相同等级的相同等级数[10]228。
（2）指标体系的稳定性检验。依照上述稳定性评价方法进行稳定性检验，具体计算过程分为三个步骤：①根据表2，将每一位专家对每个指标的评分进行等级转化，由于同一个专家对各个指标的评分中有相同的分数，在转化等级时就存在相同的等级，转化时所采用的方法是用其所占位次之和求平均，将表2的原始评分转化等级次序后数据如下表3所示。②根据表3，分别计算出Ri、Ri和Ti。③将Ri、Ri和Ti分别代入定义2公式中，可以得到整个指标体系的穩定性系数β。
基于以上公式步骤，进行matlab编程计算，最终得到β=0.6348。根据肯德尔和谐系数理论，和谐系数在0—1之间，系数越大，表示专家的协调程度越好[11]200。计算结果表明，各位专家利用评价指标体系的评价结果协调性较好，说明高校微信服务质量评价指标体系稳定性程度较好，可以用于今后的实证研究。
从高校档案微信平台的信息质量、技术实现、服务支持和影响效果四个方面，构建了操作性强的高校档案微信服务质量评价指标体系，解决了以往研究过程中指标量化难的问题。同时，借鉴了灰色关联分析思想，对指标体系进行了有效性检验;在肯德尔和谐系数理论的基础上，对指标体系进行了稳定性检验，解决了以往研究没有对指标体系科学性和合理性进行论证的问题。通过对评价指标体系进行有效性和稳定性检验，得出该评价指标体系的有效性和稳定性较好，可以为进一步开展高校档案微信服务质量评价的实证研究奠定基础。
参考文献
[1]杜玥.高校档案馆微信公众平台应用现状与策略研究[J].南京工程学院学报（社会科学版），2017，17（2）.
[2]张智慧，贺志慧，奉国和，李拥军.高校档案微信公众平台建设调查分析——以“211工程”高校为例[J].广东开放大学学报，2017，26（4）.
[3]陈伟斌.高校档案微信公众平台建设与应用研究[J].黑龙江档案，2017（2）.
[4]尚珊，侯毓涛.高校档案馆微信公众平台服务质量评价指标体系构建及实证研究——以“双一流”高校为例[J].浙江档案，2018（5）.
[5][6]李婵，张文德.著作权风险评估指标体系及其有效性研究——基于网络内容服务提供者的角度[J].情报理论与实践，2014，37（7）.
[7]陈伟斌，张文德.网络信息资源著作权资产评价指标体系研究[J].情报理论与实践，2014，37（12）.
[8]梁心怡.基于平衡计分卡视角的公立医院绩效管理研究——以D医院为例[D].河北大学，2016.
[9]Brian S. Everitt&David C. Howell.Encyclopedia of Statistics in Behavioral Science[M]. Wiley，2005
[10]Pierre Legendre.Species Associations： The Kendall Coefficient of Concordance Revisited[J].Journal of Agricultural Biological and Environmental Statistics，2005.
[11]吕亚兰，侯筱蓉，黄成，胡虹，赵文龙.泛在网络环境下公众网络健康信息可信度评价指标体系研究[J].情报杂志，2016，35（1）.