از آنجا که ارزیابی کمی تحقیقات علمی دشوار است، بسیاری از دانشگاه ها در حال حاضر تصمیمات بودجه و تصدی را بر اساس ارزیابی ایمپکت فاکتور قرار داده اند، و یا پرستیژ مجلاتی که یک دانشمند داده های خود را در آن منتشر می کند. این نوع ارزیابی ممکن است یک ابزار قابل اعتماد برای تعیین اهمیت تحقیقات یک دانشمند خاص به نظر برسد، اما گزارش های متعددی وجود دارد که نشان می دهد خطرات ناشی از پر رنگ نشان دادن ایمپکت فاکتور یک ژورنال وجود دارد. نمونه این ژورنالها آنهایی هستند که مقاله های مروری متعددی چاپ می کنند و در مقابل مقالات غیر انگلیسی جبهه می گیرند و این نکته حائز اهمیت است که در نظر گرفتن ایمپکت فاکتور به عنوان تنها عامل بررسی علمی یک مقاله صحیح به نظر نمی رسد. اما ایمپکت فاکتور چیست و چه کسانی این اعتبار سنجی را انجام می دهند. Scopus و ISI نمایه‌های استنادی معتبر و شناخته شده ای هستند که محققین بسیاری برای بررسی پیش زمینه تحقیقات خود از آنها اطلاعات می گیرند و در نهایت علومی که ایجاد می شوند را در آنها منتشر می نمایند. اما تفاوت های این دو پایگاه اطلاعاتی چیست؟ کدامیک معتبرترند؟ آیا اطلاعاتی مربوط به ارجاع (citation)، در هردو سایت قابل بازیابی هستند؟ شاخص های اعتبارسنجی این دو نمایه چیست؟ جز این دو، پایگاه های اطلاعاتی دیگری نیز کاربری مشابه دارند؟
Institute for Scientific Information=ISI
موسسه اطلاعات علمی (Institute for Scientific Information) مقالات و داده‌های ارجاع به حدود 6500 ژورنال انگلیسی زبان در زمینه‌های پزشکی، تکنولوژی و علوم را هر ساله ارزیابی می‌کند. این موسسه تحت نظارت کمپانی تامسون رویترز آمریکایی فعالیت می کند. طبق تعریف این موسسه از خودش:" تامسون رویترز (ISI) وب سایت دانش (Web of Knowledge) امروزه پلت فرم برتر در پژوهش و یافتن اطلاعات علوم زیستی، علوم اجتماعی، هنر و علوم انسانی است."
مهمترین شاخص این پایگاه داده، فاکتور تاثیر (impact factor=IF) است به مفهوم میانگین ارجاعات سال اخیر به آیتم‌های چاپ شده در یک ژورنال خاص در دو سال قبل. برای مثال فاکتور تاثیر 1 به معنای آن است که به صورت میانگین به هر مقاله قابل ارجاع در ژورنال در دو سال قبل یکبار ارجاع داده شده است. نتایج این بررسی هر ساله در جولای به صورت آنلاین و روی سی دی در دسترس محققان قرار می‌گیرد. (هم اکنون این نتایج در وبسایت دانش در دسترس هستند.)
SCOPUS
Scopus یکی از محصولات Elsevier است و برای دسترسی به اطلاعات کتابشناسی و مقاله های آن نیاز به پرداخت هزینه و گرفتن اشتراک دارید. Scopus نیز سایتی جامع و دربرگیرنده اطلاعات موجود در حیطه علوم انسانی، شیمی، زیست و ... است.
شاخصی که Scopus از آن بهره می برد، شاخص SCImago Journal & Country Rank (SJR) است. این شاخص همانند فاکتور تاثیر است اما اهمیت یا پرستیژ یک ژورنال را نیز لحاظ می‌کند. پرستیژ با استفاده از الگوریتم PageRank موتور جستجوی گوگل برآورد می‌شود و دربرگیرنده ارزش علمی ژورنال ارجاع دهنده است. برای برآورد این شاخص، از آنالیز 3 ساله داده‌های ارجاع پایگاه داده Scopus از سال 1996 استفاده می‌شود. نتایج این شاخص هر ساله در نوامبر آپدیت می‌شوند.
Scopus یا ISI ؟
تفاوت اول این دونمایه در پوشش مقالات است، در برخی بررسی ها پوشش کلی Scopus را 20 درصد بیشتر از ISI اعلام کرده اند، بررسی های دیگر نشان می دهند که تفاوت های پوشش دهی این دو نمایه تفاوت های موضوعی هستند، مثلا در حوزه هنر، اجتماعی و انسانی از نظر محتوا و هدف ISI برتری نسبی را از آن خود کرده اما در همین موضوعات براساس شاخص های مدیریت و اعتبار پدیدآوردندگان مقاله و یا اثر خاص Scopus برتری دارد. اما آنچه مسلم است Scopus به مقالاتی که پیش از آغاز به کارش چاپ شده اند (1995) ایجاد شده اند دسترسی ندارد.
شاخص دیگری که این دو نمایه را در مقابل هم می گذارد سهولت دسترسی و به روز بودن سیستم است که در این مورد Scopus بر ISI پیشی گرفته است. البته در این زمینه خرده ای که بر Scopus گرفته می شود هزینه های اشتراک و بازیابی مقاله است.
همانطور که ملاحظه کردید، فاکتورهای تاثیری که دو نمایه از آن بهره می برند متفاوت هستند. در محاسبه شاخص SJR کیفیت ارجاعات، ارجاع به خود، مدت زمان، آنالیز نوع و تعداد مقالات را در نظر گرفته می‌شود. از مهمترین نقدهای وارده به شاخص IF می‌توان به "عدم لحاظ کیفیت ارجاع"، "شامل شدن ارجاع به خود" و "آنالیز تنها نشریات انگلیسی زبان" اشاره کرد. درنتیجه IF تنها یک شاخص برای اعتبار سنجی است و همیشه مهمترین شاخص نیست و عوامل بسیاری موجب ایجاد تعصب در مقدار واقعی این شاخص می‌شود. فاکتورهای دیگری مانند Journal Rank، Article Influence و H-Index نیز باید مورد توجه قرار گیرند. باید به اعتبار علمی محققینی که در ژورنال خاص مقاله چاپ می‌کنند و اندازه جامعه مخاطب ژورنال توجه کرد.
پروفسور رنه گارد تفاوت عملکرد این دو شاخص در بررسی ژورنالهای مربوط به علوم اتمسفر را به صورت این گراف در آورده است.
این نمرات به طور معمول برای ارزیابی "پرستیژ" و یا "کیفیت" مجلات علمی استفاده می شوند. اگر چه محاسبه براساس شاخص های متفاوتی انجام می شود، گراف گارد نشان می دهد که ارتباط مناسبی بین دو مقدار وجود دارد و عموما نتایج بررسی شاخص های این دو نمایه با هم برابری می کند.
گروهی از محققین دانشگاه دوک شاخص های اعتبار سنجی این دو گروه را در مورد علوم اکولوژی و محیط زیست بررسی کرده اند. نتایج این مقایسه در جداولی به فرم زیر ارائه شده اند:
علوم اکولوژی:
علوم محیط زیست:
نتایج این بررسی نشان می دهد، IF برای رتبه بندی و مقایسه مجلات علمی و برای تعیین اهمیت ژورنالها برای جامعه علمی مفید است. شاخص های رتبه بندی به طور کلی در سیستم های محاسبه ای یک پایگاه داده با سیستم نمایه دیگر تفاوت معنی داری ندارند. دلیل تفاوتهای مشاهده شده در میان اعتبارسنجی این دو نمایه مجموعه ای از عناوین نمایه شده توسط این دو پایگاه داده است که گاهی ممکن است تعداد عناوینی که نمایه می شوند درست نباشد و یا بعضی از ژورنالها فقط در یکی از پایگاه ها ثبت شده باشند. باید در نظر داشت که همه مجلات توسط شاخص های هردو نمایه بررسی نمی شوند و از سویی ممکن است در موضوعی خاص یکی از نمایه ها پوشش کمتری داشته باشد. به عنوان مثال پیشتر به ISI خرده می گرفتند که در مورد علوم انسانی پوشش دهی کمتری نسبت به علومی نظیر علوم زیستی دارد. برای مطالعه بیشتر لینک دانلود مقاله اخیر در وبسایت گروه پژوهش و ترجمه آریا (آرت گروپ) و در این لینک در دسترس است.
نکته مهمی که از مقایسه این دو نمایه حاصل می شود این است که سیستمهای ارجاع و بررسی هردو به یک صورت کار می کنند و برای اعتبار سنجی یک ژورنال نیاز به بررسی هر دو نمایه نیست.
با کمک هر دو نمایه می توان به اطلاعات شاخص H نیز دست یافت.
در زمینه جستجوی ارجاعات هردو نمایه فعال هستند هرجند براساس اطلاعات جمع آوری شده از کاربران Scopus سیستمی واضح تر برای جستجو دارد. نمایه دیگری که برای جستجوی ارجاعات کاربرد دارد IEEE Explore است که ارجاعاتی را بازیابی می کند که در آن ذکر شده باشند.
