[摘 要]论文是学术成果主要表现形式之一,“高被引”往往被视为高学术水平的特征。本文探索了基于“高被引”指标的改革与完善的方法、路径,并提出了发布“高被引”榜单的机构要严把“科学关”、使用“高被引”数据的部门要严把“检查关”以及学者在开展科学研究时要严守“诚信关”的建议。
[关键词]论文;“高被引”;大数据;学术水平
20世纪90年代以来,SCI论文的发表数量及其影响因子成为中国学术评价体系中最重要的考核指标,随着时间推移,这种评价体系带来了一些负面影响。在教育部和科技部联合颁发的《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》中,针对目前论文“SCI至上”产生的影响,指出“SCI论文相关指标已成为学术评价,以及职称评定、绩效考核、人才评价、学科评估、资源配置、学校排名等方面的核心指标,使得高等学校科研工作出现了过度追求SCI论文相关指标,甚至以发表SCI论文数量、高影响因子论文、高被引论文为根本目标的异化现象,科技创新出现了价值追求扭曲、学风浮夸浮躁和急功近利等问题”。要求“规范各类评价工作中SCI论文相关指标的使用,鼓励定性与定量相结合的综合评价方式,探索建立科学的评价体系,引导评价工作突出科学精神、创新质量、服务贡献”。
本文以2020年部分入选科睿唯安ESI“高被引”排行榜的中国学者为样本,借助大数据分析工具,对这些学者的学术影响力进行了深度的分析,对如何改革与完善基于“高被引”指标的学术水平评价,以及构建更加科学合理的评价标准、方法、路径进行了实证性研究,在此基础上提出相应的建议。以期在科技人才的评价改革工作中,以人才数字画像平台为主要工具,做出有益的探索。
“高被引”的来龙去脉
科研人员发表的论文等研究成果被数据库收录后,可被其他科研人员检索和引用。若这些成果被引用的频次较高,则被称为“高被引”。
1955年,加菲尔德(Eugene Garfield)首次创立科学引文指标,并提出通过引文衡量论文的影响,美国基本科学指标数据库(ESI)据此建立,为大规模建立基于引文的学术成果评价提供科学工具,引文评价进入学术评价视野。“高被引”论文的概念率先基于ESI(现为科睿唯安旗下)提出。根据ESI界定,对全球SCI(科学引文索引)、SSCI(社会科学引文索引)中最近11年的论文数据进行统计,按被引频次的高低确定出衡量研究绩效的阈值,将排在各学科领域前1%的论文定义为“高被引”论文,“高被引”论文的作者被称为“高被引”学者。据此,自2016年开始科睿唯安每年发布一份《全球最具影响力的科研精英》报告(2012—2015年由汤森路透发布),评选出数千名来自全球的“高被引科学家”(HighlyCited Researchers,简称HCR)。荷兰爱思唯尔公司自2015年起与国内发布ARWU世界大学排行榜的上海软科公司合作,基于其旗下的Scopus数据库发布“中国高被引学者”(Most Cited ChineseResearchers)榜单。其他期刊、数据库等也会发布各自领域的“高被引”排行榜。
科睿唯安ESI“高被引”排行榜由于其数据库的权威性及榜单全学科覆盖(包含综合交叉学科在内的22个学科)等因素,在国内外受到较大关注。“高被引”能够受到众多高校和科研机构的认可,主要有几个原因:首先,基于“高被引”论文代表高学术影响力这一认知则逐步被视为一个新的质量评价指标。其次,科睿唯安推出ESI“高被引”的一个重要目标是从全球海量的科技成果中发掘出最有影响力或最有价值的代表作,这一目标得到了部分验证。从对榜单中的中国“高被引”学者进行分析也可以看出,大多数“高被引”学者都是公认的非常优秀的科学家。第三,一些年轻学者也出现在榜单中,说明“高被引”完全基于客观数据而生成,并未受到“资历”“帽子”等干扰,有较好的客观公正性。此外,由科睿唯安等商业机构推出的“高被引”指标能够得到关注,还得益于这种“高被引”是在全球海量科研成果数据的基础上,通过大数据计算而筛选出的客观数据,为学者本人及他人在快速了解其科研成果的影响、热点、趋势等方面提供了有效的帮助,也有助于机构了解其科研人员的学术影响力。
“高被引”受到重视,是基于“高被引”论文等同于高学术影响力因而等同于高质量论文这一设定的。较高国际学术同行影响力,就是指论文内容被国际学术同行的广泛引用。目前国内外对“高被引”论文的理论研究主要集中在图书、情报领域,大多数是关注“高被引”论文的分布特征、引用规律和对科学评价作用等,应用研究主要强调“高被引”论文在揭示学科发展演进、识别前沿研究热点等方面的作用,对“高被引”指标本身的研究相对较少。为此运用客观数据对“高被引”的定义、结构、结论进行深度分析,深入挖掘其内核,探讨改进评价方法的可能性,既是对“高被引”指标的改进完善,也可进一步提升“高被引”指标应用的科学性。
“高被引”的大数据实证分析
论文的“高被引”常被认为意味着论文被国际同行学者广泛关注并得到引用,但目前以引用数累计而形成的“高被引”评价是否能反映论文及学者影响力深度、广度从而反映真实水平有待研究。本文立足于国内“高被引”学者,从引用者国别(国内/国外)、引用机构集中度、引文发表期刊影响力三个方面探究“高被引”学者的国际影响力、国内影响力及整体学术水平情况。本文所探究的中国“高被引”以ESI数据库提供的全球“高被引科学家”榜单中的人选为依据,以科睿唯安2020年度“高被引科学家”榜单中的数学、物理、化学、材料四个学科共计203人次(173人)的中国“高被引”学者为研究对象。在对“高被引”学者的全部被引情况收集、整理后,以上文提出的三个方面为切入点探讨中国“高被引”的学术影响力。
一是中国“高被引”的国际影响力情况。通过考察国内“高被引”的引文主要是国内同行引用还是国外同行引用来判断其国际影响力情况。如果“高被引”的引文主要是国内同行在引用,则“高被引”拥有较高国际同行影响力的推导不成立。把每位“高被引”学者论文的引文按引文作者所属机构归类,把引用机构按引用数量从高到低降序排列,同时将引用机构按国内和国外分类,就能清楚地看到究竟是谁(国家)在引用。为此,按数学、物理、化学、材料四个学科分别对174位“高被引”学者论文的引用机构情况(分国内和国外)前15位进行引用次数加权统计分析。
二是中国“高被引”的国内影响力情况。通过考察中国“高被引”的引文集中度来分析国内学术同行影响力情况。为此,把“高被引”学者论文的第一位引用机构的引文数量与其总引文数量相比得到引文集中度R1,把“高被引”学者论文的前十位引用机构的累计引文数量与其总引文数量相比得到引文集中度R2,通过R1、R2数值的大小来反映中国“高被引”的国内同行影响力。根据引文计量常识,一般而言,高被引论文的引文集中度R1、R2数值越低,反映了引用学者的分布越广,这表示关注和认同该论文的学者相对较多,由此可得出论文的国内影响力也相对越高的结论。如果引文高度集中在某一或几个学者身上,就存在“刷引文”的可能性。
三是中国“高被引”的学术水平分析。学术论文的水平最主要还是要看质量,论文发表的期刊水平能够在一定程度上体现论文的学术水平。通过对“高被引”学者其论文的引文所发表期刊的影响因子情况对此进行分析。相对来说,如果引文所发表期刊的影响因子较高,说明关注和认可“高被引”学者其论文的学术同行水平相对较高,间接证明“高被引”的学术水平相对也较高。分别把数学、物理、化学、材料四个学科“高被引”学者在2009年—2019年间全部引文按发表期刊的影响因子区间进行归类,再计算出各影响因子区间内的引文数量在总引文数量中的占比,这样就可以显示“高被引”学者其论文的引文所发表在各区间影响因子期刊的基本情况。
通过数据调查研究发现,物理、材料、化学学科“高被引”学者引文所发表期刊的影响因子不高,且同一学科学者引文发表的期刊影响因子高低差异较大,不能简单地认为“高被引”就等同于高学术水平。诚然,不同学科的学术期刊影响因子分布存在差异性,在进一步的研究中可以进行学科内的深入比较分析。
要更全面更科学地对待“高被引”现象,并研究更具有适切性的指标体系
通过以上对国内数学、物理、化学、材料四个学科“高被引”学者实际被引情况的具体分析,可以看到存在以下现象:
一是论文的被引存在大部分来自于国内学者引用的情况。二是论文的被引集中度相对较高,同机构或小团体互引现象不可忽视。三是论文的引文发表在低影响因子期刊上居多。这些现象的存在,并不能否认“高被引”的正向作用和意义,“高被引”学者从纯论文影响力的角度遴选学术人才,有利于视角多元地看待人才,具有一定的参考价值。这些现象也是在部分学者和部分论文上有所体现,不足以否认“高被引”学者中的大多数在学术研究中表现优秀。这些数据分析的结果表明,以引用数量为主要标准的“高被引”,具有一定的局限性,并不能完全反映学术质量,“高被引”数据之下有复杂的具体情况存在,简单地与“高水平”画上等号尚缺乏足够的科学性。
基于此研究结论,本文认为在评价体系构建,特别是对人才进行评价时,需要更全面更科学地对待“高被引”现象,并研究更具有适切性的指标体系。2020年10月,中共中央、国务院印发了《深化新时代教育评价改革总体方案》作为指导深化新时代教育评价改革的纲领性文件,在总体要求中确立了“坚持科学有效,改进结果评价,强化过程评价,探索增值评价,健全综合评价,充分利用信息技术,提高教育评价的科学性、专业性、客观性”等主要原则。在贯彻落实教育评价改革方案的进程中“破立并举”,既是目标,也是前提。因此,在使用“高被引”作为评价指标时,一方面要纠正对“高被引”的误解,特别是在一些重要的人才政策制定和实施时,应更严格遵守《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》等相关文件要求,综合考虑论文被引次数、高被引论文、影响因子、ESI排名等,建立科学合理的人才评价模型。另一方面在开展人才评价、人才引进、绩效考核等工作时,要科学地对待量化数据。针对国内外发布的各种排行榜,不轻易与本单位或本部门的考核挂钩,既要借助大数据技术的客观公正优势,又要修正完善大数据技术不能量化评价的内容,充分融合主观与客观评价的优势,强化分类评价和综合评价。为了更好地在评价中用好“高被引”这一指标,除了通过研发设计制定更全面更科学的“高被引”指标体系外,对关联到的学者、机构、部门建议要从 “科学关”“审核关”和“诚信关”三个方面加以把握。
首先,发布“高被引”榜单的机构要严把“科学关”。国内外数据机构发布“高被引”榜单时均强调论文“高被引”的学术价值,这是“高被引”指标得以存在和被重视的内在逻辑。但同时应将引用来源、引用质量等因素纳入考虑,甄别非学术引用,对学者利用过度自引或小团体互相引用等操纵被引数据的做法进行干预,让“高被引”榜单更加客观科学。“高被引”榜单的制作者和发布者有责任把明显不当的引用数据加以科学处理或明确说明。
其次,使用“高被引”指标的部门要严把“审核关”。国内“高被引”的学术价值不能一概而论,在使用“高被引”数据前,应进一步核实“高被引”的实际被引情况,对“高被引”论文及其学者的实际水平进行评估,同时还要关注高被引论文的实际学术价值和贡献,真正体现学术评价的用户导向、应用导向。在使用类似“高被引”数据时,要组织同行专家进行评价,综合考虑数据和同行意见,这是实施科学评价、严把“审核关”的重要保障。
最后,学者在开展教育科学研究时要严守“诚信关”。美国科学公共图书馆生物期刊(PloS Biology)发布的数据资料显示:数百名研究者的论文自引率超过50%,部分研究者的自引率甚至超过90%。国内违背科研诚信要求的现象还时常出现,引文方面也存在学术投机问题。当前,国家对推进科研诚信制度化建设相当重视,学者应崇尚严谨求实的科学精神,恪守诚信规范。
【作者单位:江明,上海市教育人才交流服务中心;李永智,上海市教育委员会;樊秀娣,同济大学;谷俊,博观创新(上海)大数据科技有限公司】
原载2022年第6期《中国高等教育》
作者:江明 李永智 樊秀娣 谷俊