人文社会科学论文质量评估指标体系(宣传PPT)20110804 YHY V1.2 58页

'1人文社会科学论文质量评估指标体系与实施方案中国人民大学人文社会科学学术成果评价研究中心2011-8 2主要内容1评估的理论基础与前提3指标体系的基本构成4指标体系的操作实施5指标体系的应用与结果2指标体系的设计思路 31.1人文社科成果质量可评、可测吗？人文社科成果具有研究范式多样、真理性与价值性显现慢、成果转化过程模糊、大量运用思辨方法等特征。能否对人文社科成果质量进行较为准确地评估和测量？人文社会科学研究遵循科研规律和学术规范，必然存在可评估其成果的科学方法经验表明，虽然难以实现“精确评估”，但可较为准确地大致判断出人文社科成果的“质量等级”虽然现有人文社科成果评价存在的种种问题，但可通过深入研究和探索得到有效解决人文社科成果是可评、可测的 4“完美的”评估指标体系是不切实际的“空中楼阁”，必须在“理想完美性”与“现实可行性”之间做出优化选择。1.2人文社科论文质量评估需要什么样的指标体系？指标设置科学权重分配合理实施程序公正操作便捷可行……完备性与可行性的矛盾及时性与延迟性的矛盾精细化与高效率的矛盾评估标准、手段、方法、路径等方面的分歧……理想的指标体系现实的矛盾与困难 51.3各类人文社科论文评估指标优劣势类型代表性指标体系主要指标优势劣势同行评议主观指标卜卫等人构建的“社科成果评估指标体系”[i]；“国家社会科学基金项目成果评估指标体系（论文类）”科学性、价值性、难度、学术规范性、创新程度、论证完备程度等直接反映论文质量评估较为灵活、及时评委主观随意性难控制实施程序复杂、成本高易受人为因素影响客观指标唐德章等[ii]，沙似鹏等[iii]，叶蓬[iv]等学者构建的人文社科成果评估指标体系（主观指标与客观指标相结合）成果字数、课题来源、出版层次、获奖层次、会议入选、政府采纳情况等可操作性强受人为因素影响较小间接反映论文质量，不够确切数据来源不一，可比性差文献计量指标南京大学中国社会科学研究评价中心为评选“CSSCI来源刊”，中国社科院文献计量与科学评价研究中心、北京大学图书馆等机构为评选“核心期刊”设置的指标体系被引频次、被引半衰期、被引广度、影响因子、被下载率等可操作性强受人为因素影响较小间接反映论文质量，不够确切对引用数据和统计方法要求高评估不及时（至少发表3年后）“以刊评文”[i]卜卫，周海宏，刘晓红．社会科学成果价值评估[M]．社会科学文献出版社．1999．[ii]唐德章，夏元林．社会科学研究成果定量评估方法初探[J]．社会科学研究，1989（1）：78-87．[iii]沙似鹏，郑礼，郭才伯，张毅．人文—社会科学研究成果评价指标体系初探[J]．上海高教研究．1994（1）：74-78．[iv]叶蓬．人文社会科学研究成果评估指标体系分析[J]．探求．2001(1):P60-67．在坚持人文社科论文“有必要评估”、“可以评估”的基础上，我们将平衡“理想完美性”与“现实可行性”之间的矛盾，并针对现有指标体系的优势和劣势，完善“人文社科论文质量评估指标体系”，改进指标体系实施策略。 6主要内容1评估的理论基础与前提3指标体系的基本构成4指标体系的操作实施5指标体系的应用与结果2指标体系的设计思路 72.1指标体系的设计宗旨与目标汲取已有人文社会科学评估的理论成果精华和实践经验，立足当前实际应用，以“科学、谨慎、探索、实用”为原则，创新评估的理论方法，完善评估的指标体系，推动我国人文社会科学科研成果评估向科学化、规范化、应用化发展，促进学术研究的良性发展和科研管理水平的持续提升，推动我国人文社会科学事业的大繁荣、大发展。（1）设计宗旨构建一套相对科学可行的“人文社会科学学术论文质量评估指标体系”。针对当前评价现状与需求，考虑评估涉及的复杂因素变量，对现有指标体系进行剖析、改造、完善和创新。把“人文社会科学论文”作为直接的评估对象；以“同行评议为主、文献计量为补充”；通过较为科学可行的分类评估、同类比较，实现对论文质量较为准确地评估和测量。（2）设计目标 82.2指标体系的设计理念与原则面向服务质量导向引导创新（1）设计理念综合性原则指标体系平衡性原则（2）设计原则 92.3指标体系的相关要素评估方法：同行评议为主，文献计量为补充评估标准：以“真理标准”为主导，兼顾“社会价值标准”论文分类：区分差异、分类评估、同类比较评估实施：根据数据获取的时间差异，灵活组合评估指标评估要素评估对象：研究论文和综述文章的“内容质量”而非“形式载体”12345研究论文：是指研究者在探讨人文社会科学某一学科对象过程中形成的、记录并阐述研究的创新见解和知识、并按照特定范式撰写的书面文件，可用于学术会议上宣读、交流、讨论或在学术刊物上发表。综述文章：是指对人文社会科学某学科领域或专题在某段时期的研究状况进行系统地查阅、整理、总结和分析，并做出综合性描述或评议的文章。 10指标遴选指标体系论证最终指标体系问卷调查专家论证实证检验论文质量同行评议指标体系文献调研（1）同行评议指标体系设计方法2.4指标体系的设计方法文献调研推理分析（2）文献计量指标体系设计方法相对独立性有效性可操作性必要性指标遴选原则（3）指标遴选原则 11主要内容1评估的理论基础与前提3指标体系的基本构成4指标体系的操作实施5指标体系的应用与结果2指标体系的设计思路 12指标体系的总体结构同行评议指标体系（主体）文献计量指标体系（补充）人文社科学术论文质量评估指标体系主要指标辅助指标学术创新程度论证完备程度社会价值难易程度课题立项发表载体Web下载频次被他引频次被转载次数3指标体系的基本构成 133.1同行评议指标体系评估指标指标内涵评估内容1.学术创新程度衡量论文提供的新知识对学术发展的促进程度。以下内容对学术发展的促进程度：提出新的（或修正完善已有的）学说、理论、观点、问题、阐释等提出新的（或改进运用已有的）方法、视角等发现新的资料、史料、证据、数据等对已有成果做出新的概括、评析（仅指综述文章）3.1.1主要指标（4个） 14评估指标指标内涵评估内容2.论证完备程度衡量论文的研究规范程度和严谨程度。研究方法有效性：研究方法科学性研究方法适当性（对于研究问题）论据可靠性：资料占有全面性资料来源真实性资料引证规范性论证逻辑性：理论前提科学性概念使用准确性论证过程系统性逻辑推理严密性3.1同行评议指标体系 15评估指标指标内涵评估内容3.社会价值衡量论文对社会发展进步可能产生的推动作用的大小。对解决经济、政治、社会建设中问题的推动作用对思想道德文化建设的促进作用4.难易程度衡量论文研究投入劳动的多少。论题复杂度：理论难点的多少实证研究的难度资料难度：资料搜集难度资料处理难度3.1同行评议指标体系 163.1.2辅助指标（2个）评估指标指标内涵评估标准1.课题立项论文来源的课题立项的情况。国家级（21分）省部级（14分）其它立项（8分）无立项（1分）2.发表载体论文发表载体的学术影响力。核心报刊（21分）非核心报刊（11分）3.1同行评议指标体系 17为什么选择辅助指标？横向和商业项目的“课题立项”的级别判定规则？“发表载体”的级别判断规则：以下评估体系的“并集”北京大学《核心期刊要目总览》（2008）南京大学CSSCI来源期刊（2010-2011）中国社科院《中国人文社会科学核心期刊要览》（2008）《复印报刊资料》重要转载来源期刊（2009）3.1.3同行评议指标设置的补充说明3.1同行评议指标体系 18指标通用分类设置权重同类比较3.1.4同行评议指标体系的权重分配综述文章的权重分配方案学科A权重分配方案学科B权重分配方案学科C权重分配方案研究论文人文社会科学论文……3.1同行评议指标体系 19具体来讲，同行评议指标体系的权重分配方案包括如下三条：（1）同行评议主要指标与辅助指标的权重分配（适用于所有论文）类别权重主要指标85%辅助指标15%3.1同行评议指标体系 20（2）“综述文章”指标的权重分配类别指标综述文章主要指标（85%）学术创新程度29%论证完备程度29%社会价值27%难易程度15%辅助指标（15%）课题立项54%发表载体46%3.1同行评议指标体系 21（3）各学科研究论文的指标权重分配类别指标哲学理论经济学应用经济学法学政治学社会学民族学马克思主义理论教育学心理学体育学中国语言文学外国语言文学新闻传播学艺术学历史学地理学管理科学与工程工商管理农林经济管理公共管理图情档主要指标（85）学术创新程度38364132333636343739344141384634342929292939论证完备程度28272424242525212421252424232425252929292925社会价值18212226282323312129241818281826263030303025难易程度16161318151616141811171717111215151212121211辅助指标（15）课题立项33534040475353405040405353473350504747474747发表载体674760605347476050606047475367505053535353533.1同行评议指标体系注：以上为22个一级学科权重分配示例；指标权重根据问卷调查得出，评估后由系统自动计算。数字表示百分比% 223.2文献计量指标体系3.2.1文献计量指标设置（3个）1.论文Web下载频次2.论文被转载次数3.论文被他引频次“四大文摘”中，4次转载评分为1，3次转载评分为0.8，2次转载评分为0.6，1次转载评分为0.4，0次转载评分为0施引论文的“所有作者”与被引论文的“所有作者”完全不重叠时算作“他引”。指3年（及以上）“被他引”的总频次。 233.2.2文献计量指标权重分配指标权重1年数据3年及以上数据论文Web下载频次40%20%论文被转载次数60%30%论文被他引频次——50%注：上述前两项指标数据累计时间低于1年、第三项指标低于3年，则说服力不足。若某一文献计量指标的数据无法获取，则该项指标的权重将按上表所示比例，分配到其它两个指标中。3.2文献计量指标体系指标通用权重通用同类比较 243.3指标体系的主要特色以学术论文为直接评估对象坚持同行评议的主体地位指标通用、分类设置权重、分步评估 25主要内容1评估的理论基础与前提3指标体系的基本构成4指标体系的操作实施5指标体系的应用与结果2指标体系的设计思路 264.1同行评议的组织实施终评评分优劣分级复评评分鉴别论文学术性学术论文分类初评组复评组终评组相当于圈选的工作相当于编辑的工作相当于顾问的工作4.1.1评估主体及分工在《复印报刊资料》中： 274.1.2评估流程1论文入库终评评分6转化定级4终评3复评2初评优劣分级5合成计算论文分类剔除非学术论文流程结果复评评分注：每篇论文全流程共经过3-5名评委的评估4.1同行评议的组织实施 284.1.3实施细则（共6步）（1）论文入库（共3项工作）论文采集：根据实际需要确定采集范围《复印报刊资料》采集所有正式发表的人文社科论文登记论文的基本信息：作者及所属机构形成或发表时间发表载体……论文全文入库：根据论文电子版情况确定4.1同行评议的组织实施 294.1同行评议的组织实施（2）初评（共2项工作）鉴别论文学术性：初评评委按如下原则鉴别论文学术性；非学术文章不进行分类，也不进入下一个评估环节。论文属性选项论文所在学科-哲学□中国哲学□西方哲学□逻辑学……+法学+体育学……论文所在专题□A1□A2……是否为综述文章○是○否学术论文分类其中，学科分类以国务院学位委员会和国家教育委员会《授予博士、硕士学位和培养研究生的学科、专业目录》(1997)为准；评估分析时根据变化和实际需要进行适当调整。论文特征学术论文非学术文章目的以探讨学术真理为目的以介绍、宣传或推荐为目的过程遵循学术研究的规范和方法开展论述不依照学术研究的规范和方法撰文结果提出学术创新的文章未提出学术创新的文章 30跨学科论文存在主学科的研究论文交叉学科研究论文主学科辅学科辅学科√学科1√学科2学科3√√论文分类—跨学科论文的处理原则形成唯一评估结果形成多个评估结果4.1同行评议的组织实施 314.1同行评议的组织实施（3）复评（共3项工作）核对分类：补充、完善、修订优劣分级：见右侧表格独立评分：复评评委在系统中为A、B、C三级的论文评分。（4）终评终评评委在评分系统里为进入终评的论文再次独立评分（在A、B、C三级内）。注：复评和终评评分均参照《同行评议主要指标评分表》（见下页）论文质量分级数量及比例复评结果质量一般及以上A或B或C约18-22.5万篇约为进入复评论文的60-70%复评评分后进入终评质量明显较差D或E约12-15万篇约为进入复评论文的30%-40%不按指标评分，只判断论文等级复评等级作为最终评估结果 32指标21分（A极好）16分（B较好）11分（C一般）6分（D较差）1分（E极差）学术创新程度全面创新，对学术发展有显著贡献。有较大创新，对学术发展有较大贡献。有一定新意，对学术研究有启发和参考意义。选题陈旧，无新意。选题无意义，内容雷同。论证完备程度研究方法科学先进。研究方法较为科学。研究方法基本可行。研究方法不适当。研究方法无效。论据全面准确；引证清晰规范。主要论据充实正确，细节部分略有欠缺；引证清晰规范。主要论据基本正确，但欠充实；引证基本规范。重要论据有遗漏；引证不规范。论据严重不足，存在错误；引证不规范。理论前提科学，概念使用准确，推理严密系统，分析深入透彻。论证说服力较强，分析较深入。论证基本清晰，分析有一定深度。论证缺乏说服力，分析浅显。论证混乱，缺乏分析。社会价值对社会基本问题提出了切实可行的解决思路；或对人类思想进步具有较大的推动作用。对社会基本问题提出了较好的解决思路；或对人类思想进步具有一定的推动作用。对促进社会基本问题的解决或人类思想进步，具有启发或参考意义。基本无社会价值。无社会价值。难易程度论题研究难度大。论题研究难度较大。论题有一定研究难度论题较为简单。论题简单。资料搜集处理困难。资料搜集处理较困难。资料搜集处理具有一定难度。资料搜集处理难度较小。资料搜集处理无难度。4.1同行评议的组织实施【评分说明】根据评分表的描述，评委先对论文所处的基本等级进行选择，再在评系统里通过左右微调选择1-21之间的数字，表示论文各项指标的得分。如果在评估“学术创新程度”指标时，出现表中D、E的情况时，可把“论文等级”直接定为“D较差”或“E极差”，不再进行其它指标的评分。同行评议主要指标评分表 33评分过程的特殊处理评分不一致的处理：“就高原则”若同一学科的多名复评评委对同一篇论文“是否进入终评”的判断不一致，则该篇论文算作“进入终评”；若评委一致认为该篇论文“不进入终评”，但对该篇论文的等级判断不一致，则该篇论文算作“D级”。“课题立项”指标的评估：由于该指标的评估标准较为明确，复评评委确定立项等级后，即作为该指标的最后结果，终评评委不需要再次评估。“发表载体”指标的评估：所有发表载体的级别将事先录入评分系统，由软件自动评分。4.1同行评议的组织实施 344.1同行评议的组织实施进入终评论文的最终分数:综合复评和终评所有评委的评分并采用“除以平均数、乘以系数的方法”进行修正后，得出该篇论文同行评议的最终得分。（计算方法见下页）（5）分数合成计算（分为2类）未进入终评论文的最终分数：由评分系统根据复评论文的等级给出论文同行评议的最终得分。 35以管理学研究论文为例：设某一论文集合中共有n篇论文参评，复评和终评共有m位评委，第i位评委对第j篇论文的原始评分为Sji，则：Sji=0.85×（0.29×学术创新程度+0.29×论证完备程度+0.30×社会价值+0.12×难易程度）+0.15×（0.47×课题立项+0.53×发表载体）4.1同行评议的组织实施论文同行评议得分的修正方法第i位评委对第j篇论文原始评分的合成计算第i位评委对n篇论文评分的平均值m个评委对n篇论文评分区间的平均值第i个评委对第j篇论文评分的修正值m位评委对第j篇论文修正分的平均值，即第j篇论文同行评议最终得分（i=1,2…m;j=1,2…n，下同） 36（6）转化定级对进入终评的论文的最终分数（修正平均后）进行排序按排序所处的排名百分比位置，确定论文的最终等级注：交叉学科研究论文的处理：某学科中，以在该学科的最终分数为准进行排序计算期刊、作者、科研机构得分时，以该论文在各学科中的最高得分为准比例级别与论文数量占进入终评论文（约18-22.5万）比例占所有学术论文（约30-37.5万）比例占所有论文（约40-50万）比例A“极好论文”（约1.8-2.25万篇）前10%前6%前4.5%B“较好论文”（约3.7-6万篇）前11%-30%前7%-16%前4.6%-12%C“一般论文”（约12.7-14万篇）剩余70%前17%-40%前13%-30%4.1同行评议的组织实施示例：《复印报刊资料》转载论文按排名百分比位置定级 37初评非学术学术复评终评共约40-50万篇共约30-37.5万篇共约18-22.5万篇评分（60-70%）直接定为D级/E级（30-40%）再评分A示例：《复印报刊资料》各环节论文评估比例（每年）BC计算确定A、B、C三级前10%前11-30%剩余70%约1.8-2.25万篇约3.7-6万篇约12.7-14万篇【说明】A、B、C、D、E的比例控制是相对概念，上述比例是书报中心50余年选文经验的总结；其他机构在评估时可针对实际需要确定各级比例。4.1同行评议的组织实施 384.2文献计量评估的实施数据获取转化定级合成计算归一化处理得分排序4.2.1文献计量评估实施流程注：《复印报刊资料》每年定期对前1年发表的和3年前发表论文的文献计量指标数据进行分别统计分析 39（1）数据获取：根据文献计量指标体系要求，获取并整理待评论文各指标的数据。设某一论文集合中的第i篇论文的某一指标值为，归一后的值为4.2.2文献计量指标体系实施细则（共5步）4.2文献计量评估的实施（2）归一化处理：统一量纲，将论文各指标得分均映射为(0,1]区间的数字 40（3）合成计算对1年评估数据的合成计算文献计量指标分数=0.4דWeb下载频次归一化值”+0.6×被转载次数对3年及以上评估数据的合成计算文献计量指标分数=0.2דWeb下载频次归一化值”+0.5ד被他引频次归一化值”+0.3×被转载次数（4）得分排序和（5）论文定级：与同行评议相同4.2文献计量评估的实施 414.3综合评估的实施（1）同行评议分数归一化处理：与文献计量部分相同（2）综合得分计算对1年评估数据的合成计算综合得分=0.85ד同行评议指标得分归一化值”+0.15ד文献计量指标得分归一化值”对3年及以上评估数据的合成计算综合得分=0.7ד同行评议指标得分归一化值”+0.3ד文献计量指标得分归一化值”（3）分数排序和（4）论文定级：与同行评议部分相同。 424.4同行评议评分系统示例《复印报刊资料》人文社科论文质量评估系统-主要功能信息管理：论文评价相关信息的后台管理功能评审管理：为评委提供论文的评分功能统计分析：为研究人员提供汇总、计算和分析论文得分的功能指标及权重、学科分类、课题立项级别、发表载体级别的管理；提供上述信息的查看、修改、增加、删除等功能。提供论文的查找、分数录入、查看、修改、计算合成和提交功能。统计分析条件设置功能；期刊、作者单位、作者、地区等论文转载及评分统计报表查询功能。 434.4.1信息管理功能修改增加删除保存（1）课题立项级别管理填写 444.4.1信息管理功能（2）发表载体级别管理增加、修改、删除隶属于某一级别的报刊增加、修改、删除“发表载体”的级别 454.4.1信息管理功能（3）指标权重信息管理增加、修改、删除各类论文的“指标权重” 464.4.1信息管理功能（4）二级学科信息管理增加、修改、删除“二级学科” 474.4.2评审管理功能（1）论文查找 484.4.2评审管理功能（2）论文评分论文基本信息论文标引区论文评分区分数显示区（3）论文评分修改若需修改，则找到该篇论文，进入评分界面，重新评分，即可覆盖原来的得分。 494.4.3统计分析功能（1）论文评分统计分析论文分类统计设置统计查询条件论文各指标原始评分、总分论文基本信息论文各指标归一得分、总分 504.4.3统计分析功能（2）期刊统计分析期刊分类统计每种期刊各指标得分、转载数/率、论文篇均得分选择统计的学科 514.4.3统计分析功能（3）科研机构统计分析各类期刊分类统计每种期刊各指标得分、转载数/率、论文篇均得分选择统计的学科科研机构分类统计每个机构各指标得分、转载数、论文篇均得分选择统计的学科 52主要内容1评估的理论基础与前提3指标体系的基本构成4指标体系的操作实施5指标体系的应用与结果2指标体系的设计思路 535.1指标体系的适用领域指标体系主要可用于如下三个方面：编辑：采稿用稿科研机构:论文评价学者：论文评估研究如《复印报刊资料》选文 545.2指标体系的动态应用论文类型示例学术创新程度论证完备程度社会价值难易程度发表载体课题立项论文Web下载频次论文被转载次数论文被他引频次待发表的论文√√√√√正式发表不满1年的论文√√√√√√发表超过1年、不满3年的论文√√√√√√√√3年前发表的论文√√√√√√√√√可根据以上三个方面的实际需求，确定评估周期，灵活选择指标，并按第3部分所界定的比例重新分配指标权重： 555.3评估结果支撑多种类型的学术影响力研究论文评估结果学科学术影响力作者学术影响力教学科研单位学术影响力地区学术影响力……期刊学术影响力可根据各篇论文的评估结果，对教学科研单位、期刊、作者、地区、学科等学术影响力进行研究。 565.4评估结果示例：2010年度《复印报刊资料》转载学术论文指数排名——期刊排名三个维度 575.4评估结果示例：2010年度《复印报刊资料》转载学术论文指数排名——科研机构排名两个维度 58Thanksforyourattention!网址：http://www.zlzx.org（学术评价栏目）Email:pjzx@zlzx.org电话：010-82504550转2306/2307/2308'