最新研究“多数科学家看不明白同行写的SCI论文?”
科学家们善于评价他人科学著作的重要性吗?10-8发表在PLOS生物学公众平台的一项研究(附一篇社论)表明,科学家们不善于评价研究同仁已发表论文的重要性。
文章的首席作者,Sussex大学教授Adam Eyre-Walker称,“科学家可能是科学领域最好的法官,但在那方面实在不擅长。” Eyre-Walker教授以及Nina Stoletzki博士使用了两套同行评议的项目来研究了三种评价已发表科学论文的方法,这三种评价方法是:
同行评议:已出版文章的主观同行评议,其他科学家在此给出对已发表著作的观点
引用数量:在另一篇文献中,该论文被作为信息源进行引用的数量
影响因子:测量文献重要性的方法,通过其他科学论文引用该杂志论文的平均数量计算
作者称,结果提示科学家不善于评价科学文献的重要性:他们很少对某篇论文的重要性达成一致,而对论文发表的出处影响至深,高估了那些发表在知名科学杂志上的科学研究。此外,作者表示,论文被其他科学家随后引用的次数与其科学本身的价值关系并不大。正如Eyre-Walker所说,“这三种科学价值评价方法都不怎么样:尤其是主观评价来评估价值是一个容易出错、易存偏见及昂贵的方法。虽然影响因子可能被认为是最满意的方式,因为它是文献回顾的一种形式,但它仍可能是一种价值测量的破方法,因为它依赖于主观的评估。
研究人员说,研究结果能对未来科学成果的评估方式带来重要影响,例如:目前由英国政府即将推出的“卓越研究体系”(FEF)。Eyre-Walker补充说,“在REF完成评估的质量可能非常糟糕,因而带来‘目前形式下的REF是否适合作为评估科学成果的方法’这一质疑。
PLOS生物学也发表了Davis加州大学Jonathan Eisen博士、PLOS公众评价组织宣传部Catriona MacCallum 博士及 Cameron Neylon f博士的一片社论医学.全在线www.lindalemus.com。这些作者欢迎Eyre-Walker及Stoletski的研究作为首先“提出定量评估研究评价的可靠性”的研究之一,鼓励科学家们及其他人阅读。他们也支持其对研究评价过程公开的要求。然而,他们提醒说,价值评价本身就是一个复杂且主观的过程,“价值”本身就意味着因人而异,并且指出Eyre-Walker及Stoletski的研究“故意回避对价值的定义”。
Eisen博士及其他作者也应对了“影响因子是最不糟糕的评估形式“这个问题,这种PLOS已经率先使用的方法推荐采用更多指标的形式来评价文章而不是杂志(一整套文章水平指标)。这些指标可能包括“文献回顾、研究人员书签、社会媒体讨论、大众媒体提及的次数或者该工作的实际成果(实践或者政策)”。
更多高级职称考试相关信息: