Valutare la ricerca 
Supporto ricerca SBA

Contatti

Se hai bisogno di maggiori informazioni su questo argomento scrivi a  openscience@unive.it oppure contatta la tua biblioteca di riferimento:  ricercabali@unive.it ricercabas@unive.it ricercabaum@unive.it ricercabec@unive.it

La misurazione della ricerca è un’attività essenziale per:

  • misurare l’impatto della produzione scientifica accademica
  • assegnare i finanziamenti ai progetti di ricerca
  • le procedure per l'abilitazione scientifica nazionale e le progressioni di carriera.

L’ANVUR (Agenzia Nazionale per la Valutazione del Sistema Universitario e della Ricerca) è l’agenzia nazionale che sovrintende i processi di valutazione della qualità delle università e degli enti di ricerca pubblici e privati destinatari di finanziamenti pubblici, quali l’Abilitazione Scientifica Nazionale (ASN), Valutazione delle Qualità della ricerca (VQR), l’accreditamento dei corsi di dottorato di ricerca e delle scuole di specializzazione.
L'ANVUR si occupa di definire i parametri, di classificare e aggiornare gli elenchi delle riviste considerate scientifiche e di classe A (sottoinsieme ulteriormente selezionato delle riviste scientifiche).

L’analisi deve essere fondata sull’interpretazione critica di dati per arrivare a un giudizio di merito obiettivo basato su strumenti quantitativi (per le cosiddette aree bibliometriche) e qualitativi (per le aree non bibliometriche), tenendo presente però che nessun tipo di valutazione è perfetto.

La modalità di valutazione è diversa in base alle aree disciplinari:

  • per valutare le aree di ambito tecnico-scientifico-medico si utilizzano indicatori bibliometrici (numero di pubblicazioni, citazioni…)
  • per valutare le aree umanistico-sociali si usano indicatori non bibliometrici (peer review)

La suddivisione tra settori bibliometrici e non bibliometrici non è tuttavia statica anche perché la comunicazione scientifica evolve molto rapidamente e avviene in forme e modi diversi, rendendo sempre più difficile stabilire a priori gli elementi che rendono scientifica una pubblicazione.

Metodi di valutazione

È un’analisi quantitativa, effettuata mediante indicatori bibliometrici e banche dati citazionali.La valutazione quantitativa si basa sulla citazione. In un articolo scientifico è essenziale (oltre che etico) citare le fonti; in questo modo si crea un legame con i lavori precedenti.
La misurazione può prendere in considerazione diversi elementi:

  • numero di citazioni ricevute da un articolo (citation index), consultabile nei database citazionali come Web of Science, Scopus, Google Scholar. Questo indicatore risponde alla domanda: “Quale peso scientifico ha questo prodotto della ricerca?”
  • numero di citazioni ricevute da una rivista in cui viene pubblicato un articolo. A seconda delle banche dati citazionali consultate si avranno diversi indicatori bibliometrici; tra i principali ricordiamo:

    • IF (Impact Factor): indicatore bibliometrico del Journal Citation Reports di Clarivate Analytics  che deriva i dati dagli indici citazionali collegati a Web of Science. L’IF calcola la media fra il numero di citazioni di articoli pubblicati in una rivista e il numero totale di articoli pubblicati dalla stessa rivista nei due anni precedenti.
    • SJR (Scimago Journal & Country Rank): indicatore bibliometrico della banca dati Scopus, calcolato sia conteggiando il numero di citazioni sia valutando il prestigio della rivista da cui proviene la citazione ricevuta e attribuendo quindi un "peso" differente alle citazioni in base alla provenienza.
    • Google Scholar Citation: indicatore calcolato sulla base dell'associazione univoca tra il profilo Google di un ricercatore e le pubblicazioni che Google Scholar riesce a identificare tramite il meccanismo di data mining di Google.

    Questi indicatori rispondono alla domanda: “Quanto è scientificamente autorevole questa rivista?”

  • numero di citazioni ricevute da un singolo autore: l’indicatore che misura la produttività e l'impatto delle pubblicazioni di un autore è l’H-index (Indice di Hirsch), che si basa sia sul numero delle pubblicazioni che sul numero delle citazioni ricevute. L'H-index viene calcolato automaticamente in Web of Science e Scopus.

È un’analisi qualitativa attraverso cui vengono valutati la qualità e il rigore scientifico degli articoli proposti per la pubblicazione. La valutazione dei prodotti è affidata a esperti del settore per valutarne l’idoneità alla pubblicazione in riviste specializzate o, in caso di progetti, al finanziamento degli stessi.

La peer review è uno strumento che si affianca all’analisi bibliometrica soprattutto nelle aree di ricerca “non bibliometriche” (scienze umanistico-sociali).

Esistono diverse tipologie di revisione da parte degli esperti. Quelle tradizionali sono single blind (l'autore non conosce l’identità del revisore) e double blind (l'autore non conosce l'identità del revisore e viceversa). Questi tipi di peer review basati sull’anonimato dei revisori e sulla riservatezza dei referaggi hanno dimostrato nel tempo alcuni limiti: difficoltà a garantire un vero e proprio anonimato, potenziali conflitti di interesse, pregiudizi legati alla selezione dei revisori da parte della rivista, pericolo di plagio di lavori ancora inediti, mancanza di incentivi e riconoscimento del lavoro di revisione che rendono l’intero processo sempre più oneroso e meno sostenibile. Ecco perché si sta diffondendo sempre più l’open peer review che si basa sulla massima trasparenza del processo in quanto non solo autore e revisore sono reciprocamente identificati, ma anche i lettori possono prendere visione dei commenti dei revisori nel sito della rivista con lo scopo di incrementare la qualità e l’affidabilità delle revisioni.

La peer review permette di filtrare le informazioni e le ricerche realmente affidabili e degne di pubblicazione, mentre scarta quelle non originali, dubbie, non convincenti, false o addirittura fraudolente. Tuttavia il processo di revisione può essere molto lungo e rallentare la pubblicazione di un articolo.

Verso una riforma della valutazione della ricerca

È in corso una profonda revisione del sistema di valutazione della ricerca che coinvolge anche la Commissione europea (Towards a reform of the research assessment system, Coalition for Advancing Research Assessment) e le agenzie di valutazione nazionali.
La diffusione dell'Open Science pone un cambio di prospettiva che va nella direzione di premiare pratiche di apertura e condivisione e una revisione del concetto di “eccellenza”, in cui si consideri l’impatto reale della ricerca sulla società e non l’Impact Factor delle riviste.
Tutto ciò spinge all'uso di metriche alternative e complementari (Altmetrics) e all’adesione a iniziative internazionali (DORA Declaration) a sostegno di nuovi parametri di valutazione che tengano conto più del contenuto del lavoro scientifico che del contenitore (rivista).

Metriche alternative: altmetrics

Le altmetrics (article-level metrics) considerano il grado di popolarità e la diffusione dei contributi scientifici tramite il web e i canali social; non sostituiscono le metriche tradizionali dei database bibliografici commercial basati sul conteggio delle citazioni, ma sono complementari ad esse.
Inoltre si prestano bene a essere utilizzate nelle piattaforme open access grazie a una grafica e all’uso di badge bibliometrici che possono essere incorporati in qualunque database (repository istituzionali,  banche dati bibliografico-citazionali…).
Un esempio è Plum-X, software Ebsco acquisito e utilizzato da Elsevier che mostra con una grafica accattivante la visibilità social dei prodotti di ricerca indicizzati in Scopus e si affianca ai tradizionali indicatori bibliometrici.

Dichiarazione DORA

La Declaration on Research Assessment (DORA), ossia la Dichiarazione sulla Valutazione della Ricerca, è un documento elaborato nel 2012 da un gruppo di redattori ed editori di riviste scientifiche con lo scopo di migliorare le modalità con cui i prodotti della ricerca scientifica vengono valutati in termini di qualità e impatto. DORA contiene 18 raccomandazioni rivolte ai diversi attori del mondo della ricerca (finanziatori, istituzioni, editori, organizzazioni che producono dati bibliometrici, ricercatori) e che si possono riassumere in 3 principi cardine:

  1. eliminazione dell’uso di metriche quantitative relative alle riviste scientifiche, come l’Impact Factor, nelle decisioni relative a finanziamento, reclutamento e promozioni perché questi indicatori presentano delle criticità;
  2. valutazione della ricerca scientifica per i suoi meriti intrinseci e non sulla base della rivista in cui gli articoli sono pubblicati;
  3. necessità di sfruttare le opportunità offerte dalla pubblicazione online (ad esempio riducendo i limiti posti sul numero delle parole, delle immagini e dei riferimenti bibliografici negli articoli, ed esplorando nuovi indicatori di rilevanza e di impatto).

Le raccomandazioni della DORA Declaration, pur riferendosi in particolare agli articoli scientifici pubblicati su riviste peer-reviewed, possono essere estese anche ai data set. 

Strumenti utili

Strumenti di supporto alla valutazione della ricerca

  • ARCA: tra le sue funzioni ha anche strumenti dedicati al monitoraggio e alla auto-valutazione della produzione scientifica dei ricercatori dell’Ateneo.
  • SciVal: è uno strumento di analisi e valutazione quantitativa della produzione scientifica sviluppato da Elsevier e basato sul database Scopus.

Last update: 19/12/2024