关于学术期刊综合影响力评价指标体系的若干思考

 时间:2018-11-25 08:43:47 贡献者:华丽转身

导读:关于学术期刊综合影响力评价指标体系的若干思考[摘要]目前,将核心期刊当作一种标准性检测工 具判定研究人员、大学老师及研究生的学术水平,并将在核 心期刊发表的论文与职称、

评价采用的“期刊国际影响力指数”分科技(3502种学术期刊)
评价采用的“期刊国际影响力指数”分科技(3502种学术期刊)

关于学术期刊综合影响力评价指标体系的若干思考[摘要]目前,将核心期刊当作一种标准性检测工 具判定研究人员、大学老师及研究生的学术水平,并将在核 心期刊发表的论文与职称、学位的评定,学历的认定,硕士 点、博士点的设定,基金项目的鉴定等挂钩,这种做法已经 产生了诸多方面的负效应。

如何使核心期刊回归到原初状 态,在此基础上构建评价学术期刊影响力的科学指标体系, 应成为人事管理、学籍管理、出版管理、教育管理部门和学 术研究界认真思考的问题。

[关键词]学术期刊;核心期刊;影响力;指标体系 [作者简介]周志华,广西社会科学院副研究员、副 编审,广西南宁,530022 [中图分类号] G273.5 [文献标识码] A [文章编 号] 1007-7723(2008)10-0174-0005目前,关于学术期刊影响力评价的系统很多,使用的 评价指标也各不相同。

主要有南京大学的《人文社会科学引 文索引》 来源期刊 (简称 CSSCI 来源期刊) 和北京大学的 《中 文核心期刊》及中国社会科学院的中国人文社会科学核心期 刊三个评价系统。

南京大学的《中文社会科学引文索引》采 用单指标量化评价再加上专家的定性评审;北京大学的《中

文核心期刊》 和中国社会科学院的 《人文社会科学核心期刊》 则采用多指标量化评价再加上专家的定性评审。

为了叙述方 便,笔者将处于南京市的单指标评价体系与处于北京市的两 个多指标评价体系概称为南北评价体系。

这两大评价体系目 前已被全国诸多部门 (主要是人事管理部门、 学籍管理部门) 作为标准性工具进行使用,使用的结果在学术界及社会各界 都引起很多争议,因此,有必要对核心期刊的起源和在中国 的移植及其功能的蜕变过程作一个简单的回顾。

一、中国对“核心期刊”的蜕变性移植及“核心期刊” 功能扩张的负效应(一)核心期刊概念的起源。

1934 年英国的文献计量 学者布拉德福通过对多种期刊发表的论文进行统计并作了 定量分析后发现:对于某个学科或某个主题来说,大量的该 学科或主题的论文集中分布在少数的期刊上,而其他少数的 该学科或主题的论文则分散在大量的期刊上。

布拉德福将这 一现象概括为文献的“集散定律” ,通常称为“布拉德福的 文献集散定律” 。

在布拉德福的时代还没有“核心期刊的” 概念出现,布拉德福当时只是将某一学科或主题的论文比较 集中的那些期刊定位为文献分布的“核心区” ,后人则将处 于核心区的期刊称之为“核心期刊” 。

这就是核心期刊概念

的来由。

从“核心期刊”概念的产生我们可以看到, “核心 期刊”不是对某一期刊的学术水平或学术质量的评定,它只 是告诉读者,哪些学术期刊较集中地刊登了某学科或主题的 论文,某读者如果想查找某学科或某主题的论文可以到哪类 核心期刊去找比较方便。

就像当今超市的导购员,告诉你要 购买某种商品时,可以到某种商品的“货架”去找一样。

其 服务功能是导读性的;服务对象是读者。

核心期刊最初存在 的理由也只限于此。

应该说,最初的核心期刊作为一种导读 工具,其存在也是很有价值的,它在西方国家也得到了广泛 的应用。

(二) “核心期刊”内涵的丰富与发展。

自从“核心期 刊的概念产生后,布拉德福的“文献集散定律”不仅在论文 统计领域中不断被验证,而且在引文统计领域也得到了验 证。

美国著名的文献情报学者加菲尔德在对期刊文献的被引 情况进行了大规模的统计和分析后,他惊奇地发现自己在这 方面的研究也与布拉德福定律相互吻合,即大量的被引用的 论文集中在少数期刊中,而少量的被引用的论文则分散于大 量的期刊中。

这样, “核心期刊”概念的内涵就由“某学科 或主题的论文集中密度大的少数期刊”变为“某学科或主题 的论文其刊发或被引用集中密度大的少数期刊” , 从而使 “核 心期刊”的内涵得到了充实和丰富。

加菲尔德从另一角度分 析证实了“核心期刊”的客观存在,从而大大地丰富和发展

了核心期刊的概念。

(三) “核心期刊”在中国的移植及其功能的蜕变。

在 20 世纪 70 年代, “核心期刊”被移植至中国,移植的初衷是 为了在外国期刊价格猛涨的情况下,如何以有限的经费购买 得最大的文献量。

这种想法成了全国的图书馆的迫切需求, 于是《国外科技核心期刊手册》 、 《国外人文社会科学核心期 刊总览》等在国内获得了出版。

这些出版物孕育了中国核心 期刊评价系统的胚胎。

但这些出版物的功能没有被蜕变,仍 然是作为图书馆购买外国科技文献的导购工具和国内读者 的导读工具。

到了 20 世纪 90 年代,北京大学的核心期刊评 价系统产生,并于 1992 年、1996 年、2000 年连续出版了三 版《中文核心期刊要目总览》 ,这是对外国核心期刊的正式 移植,核心期刊的功能也从此时产生了变异,这从《中文核 心期刊要目总览》关于《中文核心期刊评价研究报告》中获 得证实。

该研究报告在对“中文核心期刊”的作用和应用范 围作了如下明确的定位: (1)核心期刊表可以作为期刊采购 的参考工具; (2)核心期刊表可以作为图书馆的导读和参考 咨询的工具; (3)核心期刊表可以作为评价学术研究成果的 参考工具; (4)核心期刊表可以作为读者投稿的参考工具; (5)核心期刊表可以为文献数据库选择来源期刊提供参考 依据[1]。

从“中文核心期刊评价研究报告”上述对核心期刊 的功能定位可以看出:中国的核心期刊相对外国的核心期刊

而言,其功能从两项扩展到五项,即从导购、导读功能扩展 到评价研究成果、作者投稿及文献数据库选择来源期刊等方 面的参考功能。

在上述扩张的三项功能中,有两项的负效应 是较大的,那就是“评价研究成果”和“读者投稿”的参考 功能。

这两项功能定位虽然没有直接说明凡是在核心期刊发 表的论文都是高水平、高质量的,读者选择这些期刊发表论 文就能提高作者的知名度。

但事实上是:话虽不这么说,意 却在其中。

从而导致了人事管理部门将在核心期刊发表的论 文作为评定职称的条件之一;学籍管理部门则把在核心期刊 发表多少篇论文作为获取学历、评定学位的主要依据或主要 依据之一;教育管理部门也把在核心期刊发表多少篇论文作 为授于某高等学校硕士点、博士点、博士后流动站等等的条 件之一;后来还扩展到基金项目结题时也要在核心期刊发表 多少篇论文才能进入鉴定程序,等等。

笔者认为,上述核心期刊的功能扩张是我国在对核心 期刊移植过程中人为地使其功能产生畸变,就像生物体的基 因突变一样,是不正常的,对中国的科学研究事业发展是不 利的。

理由有: 1. 核心期刊发表的论文并不是每篇都具有所谓“较高 的学术水平和学术质量” 。

以在核心期刊发表多少篇论文当 作评定职称、学位和认定学历以及申请硕士点、博士点、博 士后流动站甚至当作基金项目是否给予结项等等的依据,是

非常不妥的。

在核心期刊发表的论文,即使在整体水平上比 一般公开刊物要高一些,但绝对不能保证其所发表的每一篇 论文都比一般公开刊物发表的论文水平高。

原因有:第一, 核心期刊稿源的学科结构比较复杂,内容涵盖面也十分广 泛,每个责任编辑的选稿范围都达到几个学科,而责任编辑 又不都是通才,不是对每种专业知识都精通,而总编的审稿 范围更广,面临的学科更多,在这种情况下,即使是通才也 难以保证把好每篇论文的质量关、水平关。

而实际情况是, 我们的责任编辑、总编们以及聘请的审稿专家,很少是通才 型的,怎么保证其所选用的稿件每篇都能达到很高水平?更 何况,要达到什么样的学术水平的论文才能在核心期刊上发 表,国家也没有统一规定一个被学术界公认的具体标准(客 观上也无法规定一个统一的具体标准) ,责任编辑的选稿、 总编及审稿专家的审稿就只能凭自我感觉作出选与不选,用 与不用的决定。

所以,根本找不到什么具体的依据证明核心 期刊发表的论文每篇都比其他公开刊物发表的论文学术水 平要高。

而千千万万的研究人员、研究生、教授们评职称、 评学位、基金项目的鉴定,硕士点、博士点、博士后流动站 的申请都是一种关系到自身命运和关系到整个国家科研事 业发展及人才培养的极为严肃的事情,这种极为严肃的事情 却被“在核心期刊发表多少篇论文”这种极不严肃的标准决 定,妥否?第二,在学术期刊靠收版面费来维持生存和发展

的年代里,核心期刊所发表的论文有些并不是因为其学术水 平达到某种程度而被采用,而是因为多交版面费而被采用。

笔者曾了解到多年来连续进入北大的中文核心期刊、中国社 会科学院的人文社会科学核心期刊、 南京大学的 CSSCI 来源 期刊因而在国内外都很有名的名牌期刊,其用稿策略是“三 个三分之一” ,即免收版面费的甚至付一定稿酬的高质量稿 件占 1/3;按一般标准收取版面费的、学术质量一般的稿件 占 1/3;学术质量较差的,按较高标准收取版面费的占 1/3。

这个“三个三分之一”的策略效果还真不错,不仅使其连续 多届摘取三个核心期刊的桂冠,而且经济效益也不差。

“三 个三分之一”的策略,实质上可以解读为“以劣养优”的策 略,即对劣质稿件作者高收版面费,以这种版面费付稿酬给 高水平的作者,换取他们高水平的论文;而水平一般稿件的 作者交的版面费则维持期刊日常的必要的开支。

笔者暂不谈 论用这一策略来办学术期刊是否妥当,而是在提醒读者和社 会各界人士:即使是核心期刊发表的论文,并不是每篇都是 达到一定学术水平的好论文,以在核心期刊发表多少篇论文 作为评定职称,评定学位,认定学历或确定硕士点、博士点、 博士后流动站等等的条件或条件之一,是很不严肃,也很不 合理的做法;第三,将在核心期刊发表的论文与职称及学位 评定、学历认定,硕士点、博士点、博士后流动站的设立等 等挂钩,会引发核心期刊选稿、用稿的不正之风。

学术期刊

的宗旨和职责是为科研人员提供学术交流的平台,为科学研 究工作者探索客观事物发展的规律,获取真理提供服务。

若 将核心期刊当作一种学术水平的检测工具而与职称评定、学 位评定、学历认定、硕士点、博士点、博士后流动站的设立 挂钩以后,发表论文就渗进权力关系、金钱关系等因素,责 任编辑及总编们就成了作者攻关的对象,关系稿、人情稿就 会泛滥。

这就把学术期刊演变成了一个身份竞争、 地位竞争、 待遇竞争的平台,这就等于为学术期刊做了变性手术,即由 学术交流的平台蜕变成了身份竞争、地位竞争、待遇竞争的 平台,这无疑会给我国的科学研究事业产生极大的负面影 响。

4. 核心期刊功能的变异, 破坏了学术期刊的自然生 态平衡,对学术期刊本身的发展也有较大的负面影响。

由于 在核心期刊发表论文能成为职称评定、学位评定、学历认定 以及设立硕士点、博士点、博士后流动站等等的必要条件, 学校的教授及研究生都千方百计争取在核心期刊上发表论 文,而没有贴上核心期刊标签的一般公开刊物,即使少收版 面费甚至不收版面费也无法获得足够的稿源。

如果没有核心 期刊功能的变异,学术期刊在稿源分布上是存在着一种自然 的生态平衡的,核心期刊的功能变异以后,由于在核心期刊 发表论文能与一个人的身份、地位、待遇等直接或间接地挂 钩,就造成了核心期刊的稿源严重过剩,而非核心的一般公

开刊物的稿源却严重不足,其生存与发展难以为继,这种状 况对学术期刊的整体发展是很不利的。

二、从指标构成的角度看,目前的两大评价系统也存 在明显的缺陷与不足,以其为工具遴选出的核心期 刊的权威性也受到诸多读者和作者的质疑目前的两大评价系统是指南京大学的《中文社会科学 引文索引》评价体系和北京大学的《中文核心期刊》评价体 系(简称南北评价体系) ,这两大评价体系在诸多的评价系 统中是比较权威的,但从评价指标的构成上看也有明显的缺 陷与不足。

从评价指标的构成上看,目前对学术期刊的评价有单 指标评价方法和多指标评价方法,单指标评价方法如载文量 法、文摘量法(或转载量法) 、流通量法(指借阅次数、复 印次数、下载次数等)和引文量法等。

多指标评价方法是一 种综合评价方法,指标的构成一般是 6~8 个。

目前,南大 评价系统是采用单指标评价方法,即单以引文情况作为评价 标准。

北大评价系统则采用多指标评价方法。

其指标数量在 2004 年的《中文核心期刊要目总览》中达到 8 个。

南北两大 评价系统除了用指标作量化评价外,还聘请专家进行定性评 审。

下面分别对目前两大评价系统的评价指标和评价方法作

一些具体的分析。

(一)南大评价系统的单指标评价方法的优点与不足。

南京大学的《中文社会科学引文索引》 (CSSCI)是以引文指 标对学术期刊进行定量评价后再聘请专家进行定性评审遴 选出其来源期刊(核心期刊的别名)的。

这一评价系统在引 文分析中采用四种数据对学术期刊的学术影响力进行测评。

一是绝对被引量,即某一学术期刊所发表的论文在引文索引 中的被引用数量;二是相对被引量,即学术期刊近两年来的 均篇被引率(又称影响因子) ;三是期刊的半衰期,即一种 期刊在某一年度的被引总数中,较新的一半文献是在多长时 间发表的。

计算方法为:将该刊每一年论文被引次数除以该 刊的总被引次数得到的百分比,然后从最近年开始累计百分 比,当达到被引总数的 50%时,所花费的年限就是该刊的半 衰期;四是期刊的影响广度,即某一学术期刊在引文索引中 被多少种其他期刊所引用。

实事求是地说:南大评价系统的单指标量化评价方法 是有较多优点的,主要表现在:其评价的客观性比较大,人 为的主观因素比较小。

用被引指数来分析学术期刊的学术影 响力,其客观性是比较可靠的,至少从目前的情况来看,某 一学术期刊要想以“攻关”的手段来增加其被引量还无法做 到,只要评价机构本身拒绝攻关,做到绝对公正,评价结果 还是能基本上保证其准确性的。

二是该评价系统采用四组数

据来分析学术期刊的影响力,从影响强度、影响均度、影响 时限、影响广度等多方面的定量评价学术期刊的影响力,较 之单以载文量、摘文量、流通量、绝对引文量等单指标评价 方法显得更加完善和科学。

但其局限性也是比较明显的。

第 一,单纯用被引指数来评价学术期刊的影响力,在很大程度 上只能反映基础研究这一类论文的学术影响力,应用类论文 的学术影响力很难从被引指数中反映出来。

而事实上,应用 类论文如果被采用,其在社会实践中的影响效应是非常大 的。

但由于应用性论文研究的问题大多都比较具体,在说明 客观象时很少带有普遍性,其提出的原理普适性也不大,作 为理论依据而被别的论文引用却是很少的。

这就是为什么一 些大名鼎鼎的经济学家其研究成果被中央政府、地方政府或 企业采用后,实践效果很好,社会实践影响很大,但其论文 发表后被引量却较小的原因。

比如,吴敬链、刘国光、胡鞍 钢等经济学家,其研究成果有较大部分被政府采纳,并产生 了很大的社会实践影响,其中胡鞍钢曾经获孙冶芳经济学 奖,吴敬链、刘国光获首届中国经济学奖,但在《中文社会 科学引文索引》中的作者被引排名中,却是很靠后的。

胡鞍 钢排名第 34;吴敬链排名第 80,刘国光则榜上无名。

这是 单指标评价体体系的局限性的表现之一。

第二,从“引用效 应”的角度考虑,有些作者为了提高自己的知名度,撰写论 文专门发表虽然没有政治敏感性,但明知是谬误的论点,另

外一些作者为了批判其论点,也不得不在论文中将其引用出 来, 从而导致学术期刊的否定性引用量增大。

在目前, 在 “核 心期刊” 、 “来源期刊”的称号决定着期刊命运的情况下,不 能完全否定某些学术期刊为了提高被引量而发表那些有明 显谬误的论文来提高整体被引指数的现象存在。

这样,就会 出现充斥歪理的论文容易发表,而阐述正确观点的论文却难 以发表的不正常现象。

这对提高学术期刊的学术品位和我国 整体科研事业的发展都不是什么好事情。

从以上分析可知,单指标的量化评价方法有其优点, 但也存在明显的缺陷与不足。

加上又与专家的定性评审结合 起来,人为主观因素增加,使其客观性也打折扣,人事管理 部门、学籍管理部门将其当作标准性工具来评判研究人员、 研究生及教授们的学术水平和业绩,是不严肃的。

(二)多指标评价体系。

多指标评价体系包括北京大 学的《中文核心期刊》评价体系和中国社会科学院的《中国 人文社会科学核心期刊》的评价体系。

笔者在此文以北京大 学的 《中文核心期刊》 为对象分析多指标评价体系的优缺点。

北大评价体系由以下八项指标组成:被索量、被摘量、 引文量、影响因子(即均篇被引率) 、被摘(被转)率、获 奖量、被检索工具收录情况等。

在通过各种统计工具及方法 获取这些指标的数据后,再采用模糊数学的方法进行综合处 理,得出核心期刊的初选表,在此基础上再聘请专家进行定

性评审,把定量评估和定性评审的结果进行方阵式排队,再 将处于核心区的学术期刊称之为核心期刊。

客观地说,北大评价系统采用多指标进行综合的定量 评估,再加上专家的定性评审,其优点体现在其评价的全面 性上,克服了单指标评价片面性的缺陷。

其缺点是因为在其 八大指标中有三项人为的主观因素比较大,其客观性显得不 足。

比如,文摘量(或转载量)这项指标,其人为的主观因 素比较大。

笔者是一名核心期刊的责任编辑,经常有作者打 电话来说,我已与某某文摘的编辑(或总编)约好了,你若 能帮我发表,肯定能转载。

我在 2005 年编发了两篇这样的 论文,结果真的被转载了。

事实上,为了提高转载量,作者 或学术期刊的编辑及负责人向各种文摘的负责人及编辑“攻 关”的现象并不少。

转载量这一指标的人为因素是很大的, 当然,以转载量为基础算出的转载率的人为因素也较大。

同 样获奖数这项指标其人为主观因素也不容否定,为了获得某 等级的奖项,作者千方百计取得评委的联系方式,然后对评 委进行各种方式的“攻关”现象屡见不鲜。

由于上述三项指 标的人为因素较大,使整个评价体系的客观性就受到影响, 其权威性也就打折扣了。

三、核心期刊和来源期刊的功能定位要准确和科学

核心期刊的功能怎样定位,是恢复原来的导读、导购 功能,还是将其定位为一种对研究人员、研究生及大学教授 们的职称评定、学位评定、学历认定、业绩认定的标准性检 测工具?是目前争论比较激烈的问题,这种争论不仅仅在学 术界的范围内,已经扩散到社会各个领域。

关注这一问题的 人也不仅仅是研究人员、研究生和大学教授们,新闻出版界 和编辑职业界有不少人都在不断讨论这一问题。

笔者认为, 目前人事管理部门、学籍管理部门、教育管理部门及基金项 目的管理部门的误用核心期刊或来源期刊的功能,是很不妥 当的。

理由如上所述:即使被某一评价系统确定为核心期刊 或来源期刊的学术期刊在整个学术水平上比一般学术期刊 高出一些,并不意味着其所发表的论文每篇都比其他刊物发 表的论文水平高,将核心期刊发表的论文用来判断研究人 员、研究生、大学教授们的水平显然是不合适的。

他们的学 术水平怎么样,要看其所写的具体论文,而不能看其论文发 表在什么期刊。

这个道理连小孩都会明白,为什么这种误用 核心期刊或来源期刊功能的做法就改不过来呢?笔者对此 真是百思不得其解。

即使各种评价系统遴选核心期刊或来源期刊对学术期 刊提高学术质量或学术水平有激励作用,但是,核心期刊也 好,来源期刊也好,其功能还是回归核心期刊发明者的初衷 为妥,即要恢复其导购、导读的功能。

笔者认为,恢复其最

初的功能还是对学术期刊有激励作用的。

因为,被遴选为核 心期刊或来源期刊的学术刊物购买的人多了,阅读的人多 了,发行量也会增大,其生存的环境也会更好。

为此,笔者 呼吁,人事管理部门、学籍管理部门、教育管理部门、基金 项目管理部门等应尽快放弃误用核心期刊、来源期刊功能的 做法,不要将其当作一种标准性的检测工具来使用。

四、构建遴选核心期刊、来源期刊的评价指标体系的 思考笔者认为,构建遴选核心期刊、来源期刊的评价指标 体系要遵守两个原则:一是尽量采用量化指标,少用或不用 定性指标,尽可能地将人为主观因素降至为零。

二是指标的 选择要全面,既要有评价学术影响力方面的指标,又要有评 价社会实践影响力的指标。

根据上述原则,笔者以为:不宜 采用摘文量、转载量、摘文率、转载率、获奖量等人为主观 因素含量较多的指标,也不宜继用专家的定性评审方法。

笔 者以为,构建新的学术期刊的评价指标体系应包括两方面的 内容:一是被引用情况,具体指数可采用南大的《中文社会 科学引文索引》的四组指数,这种方法可以较为客观地反映 学术期刊的学术影响力;二是被采纳(或采用)及其实践效 果情况,具体指标内容或数据的采集处理有待进一步研究,

由于篇幅的局限,本文不可能在此文作详细的探讨。

这方面 的指标可以客观地评估学术期刊及论文的社会实践影响力。

将这两方面的指标内容结合在一起,就能比较客观、全面地 评估学术期刊及论文作者的综合影响力。

但应注意一点,就 是社会实践影响力的各项指数,要较长时间才能显示出来, 而要证实其实践效果,需要更长的时间。

因此,这项指标的 评估周期要适当延长,同样,核心期刊或来源期刊的评价周 期也要相应地延长。

笔者认为:五年一个周期比较合适,一 篇应用性学术论文提出的建议被采用后,实践效果如何,五 年时间基本上看得清楚了。

[参考文献] [1]戴龙基,等.中文核心期刊要目总览[M].北京:北京 大学出版社,2004. [2]姜晓辉,等.中国人文社会科学核心期刊要览[M]. 北京:社会科学文献出版社,2004. [3]中国人文社会科学学术影响力报告[R].北京:中 国社会科学出版社,2004.

 
 

微信关注公众号,送福利!