大學評鑑：到底是「學術」？還是「神棍」？

大學評鑑：到底是「學術」？還是「神棍」？: "國科會的傑出獎企圖用 SCI 與 Impact Factor 作為評量個人學術成果的依據，教育部的五年五百億與高等教育評鑑中心企圖以 SCI 、Impact Factor 與最近流行的 h-index 為基礎發展出全球大學排行榜。這兩項舉措，全部違背原有方法創始人的警告，是極端不負責任的行為。

有鑑於 SCI 與 Impact Factor 的被誤用與濫用，創始人 Eugene Garfield 在 2005 年寫下一篇論文 'The Agony and the Ecstasy—The History and Meaning of the Journal Impact Factor'，清楚地警告世人： SCI 與 Impact Factor 主要是用來衡量期刊的影響力，而非作者個人的學術成就。他也說：他曾考慮過用另一個標題：“Citation Sanity and Insanity -- the Obsession and Paranoia of Citations and Impact Factors.” 台灣的教育部以及附從於教育部的「學者」應該就是該文中所指稱最典型的 Insanity、Obsession and Paranoia。

Eugene Garfield 的主要警告是：（1）SCI 與 Impact Factor 的有效性是用大量論文來消除統計上的偏差，但是作者個人著作數量太小，很容易引入統計誤差，因而不適用；（2）根據許多作者本人的意見，最常被引用的文獻往往不是他個人所重視的文獻；（3）SCI 與 Impact Factor 是用來衡量同一個領域內期刊的相對影響度，跨學術領域的比較毫無意義；（4）SCI 主要適用於英語國家，而不適用於跨國（跨語言）的評比。

阿姆斯特丹大學的 Tobias Opthof 也在 1997年的醫學期刊 Cardiovascular Research（Vo. 33, pp. 1-7）以 "Sense and Nonsense about the Impact Factor" 為題，清楚舉證用 Impact Factor 衡量一個人的學術成就有多荒唐。他也指出：即使在 clinical cardiology 這個極端明確的學術分支中，用  Impact Factor 與 citation index 為基準所建構的評量制度來衡量個人學術成就，都將導致極端荒謬的結果。

關於個人學術成就評量，最近最熱門的是一個物理學家 Jorge Hirsch 為物理學界設計的衡量指標：h-index。根據這個指標，如果一個學者有 H 篇論文都至少被引述H次以上，那麼他的學術成就＝H。在  Science 期刊 2005年八月號第1181頁裡，國際公認的頂尖固態物理學家 Manuel Cardona （H 指數 86，超過諾貝爾獎得主 Pierre-Gilles de Gennes 的79）對這個指標的批評是：千萬別把這當作評價一個學者的唯一指標。而且，在同一個訪問裡，即使是  Jorge Hirsch 本人也警告說：除非有適當的校正，否則不應該用 h-index 進行跨領域的比較。

荷蘭 Leiden University 的學者 Henk F. Moed 算是比較審慎而負責任的，他的研究指出：用Journal Citation Reports（SCI）為基準導出的評量指標不適合用來評估任何學術團體的研究成效，因為：（1）SCI的援引次數統計往往不正確，（2）SCI的援引次數可以被刻意地操縱與作假，（3）每個學科領域援引論文的習慣不同，跨領域的比較是有問題的。他也指出 h-index 即使在同一個學術分支中也可能導致量測結果有偏差（偏好年者學者，有可能妨礙創新）。值得注意的是：在這一篇論文的「結論」處，他竟然一反學術界常見的慣例，沒有推薦任何方法，而只把他的研究過程重述一次（最無聊，最忌諱的一種書寫，除非「無法下結論」是最佳的結論）。
Henk F. Moed, New developments in the use of citation analysis in research evaluation, Arch. Immunol. Ther. Exp., 2009, 57, 13–18.

有鑑於各學門已經被各種「評鑑制度」搞到神鬼不寧，甚至忘記學術的本務，2008年七月號的 Science 期刊顯著地以 'Reviewing Peer Review' 為題的 Editorial 提出警告：過度強調頂尖期刊論文的結果，將會妨礙學術的首要目標：「促進我們對這個世界的認識」――革命性的理論在開始的時候總是無法被主流期刊接受，過份強調期刊排名將會扼殺新理論與新創意，只有挑選最適合自己的期刊並忠於自己的學術良知才是促進學術進步與自我突破的根本。

綜合以上論述，可以清楚地得到以下幾個結論：
（1） citation index 是用來評鑑期刊，而非個人，否則會犯統計上的錯誤。
（2）即使在理工領域裡，跨領域的比較目前仍欠缺任何經得起檢驗的學術依據（譬如：企圖用任何特定的指標比較兩個不同科系內學者的研究成果）。
（3）由於各國使用的語言不同，人文與社會領域的跨國界學術評比是荒謬的。
（4）所有「全球大學研究能力」排名的方法都涉及跨領域以及跨國界的研究成果綜合評比。既然不存在跨領域、跨國界的評比方法，就無法產出具有可信度的「大學研究成果綜合評比」指標。因此，所有「全球大學研究能力」排名都違背學術最基本的常識與最起碼的嚴謹性要求。
（5）所有企圖提出這種方法的「學者」，都是基於對統計方法、 SCI  與 Impact Factor，以及 h-index 在方法論上的無知，以及對於學術之本務的無知。
（6）把不符合學術基本要求的方法交給教育部當作管理大學的依據，是極端不負責任的行為。

"