Valutare la ricerca Supporto ricerca SBA
Se hai bisogno di maggiori informazioni su questo argomento scrivi a openscience@unive.it oppure contatta la tua biblioteca di riferimento: ricercabali@unive.it, ricercabas@unive.it, ricercabaum@unive.it, ricercabec@unive.it
La misurazione della ricerca è un’attività essenziale per:
- misurare l’impatto della produzione scientifica accademica
- assegnare i finanziamenti ai progetti di ricerca
- le procedure per l'abilitazione scientifica nazionale e le progressioni di carriera.
L’ANVUR (Agenzia Nazionale per la Valutazione del Sistema Universitario e della Ricerca) è l’agenzia nazionale che sovrintende i processi di valutazione della qualità delle università e degli enti di ricerca pubblici e privati destinatari di finanziamenti pubblici, quali l’Abilitazione Scientifica Nazionale (ASN), Valutazione delle Qualità della ricerca (VQR), l’accreditamento dei corsi di dottorato di ricerca e delle scuole di specializzazione.
L'ANVUR si occupa di definire i parametri, di classificare e aggiornare gli elenchi delle riviste considerate scientifiche e di classe A (sottoinsieme ulteriormente selezionato delle riviste scientifiche).
L’analisi deve essere fondata sull’interpretazione critica di dati per arrivare a un giudizio di merito obiettivo basato su strumenti quantitativi (per le cosiddette aree bibliometriche) e qualitativi (per le aree non bibliometriche), tenendo presente però che nessun tipo di valutazione è perfetto.
La modalità di valutazione è diversa in base alle aree disciplinari:
- per valutare le aree di ambito tecnico-scientifico-medico si utilizzano indicatori bibliometrici (numero di pubblicazioni, citazioni…)
- per valutare le aree umanistico-sociali si usano indicatori non bibliometrici (peer review)
La suddivisione tra settori bibliometrici e non bibliometrici non è tuttavia statica anche perché la comunicazione scientifica evolve molto rapidamente e avviene in forme e modi diversi, rendendo sempre più difficile stabilire a priori gli elementi che rendono scientifica una pubblicazione.
Metodi di valutazione
Bibliometria
È un’analisi quantitativa, effettuata mediante indicatori bibliometrici e banche dati citazionali.La valutazione quantitativa si basa sulla citazione. In un articolo scientifico è essenziale (oltre che etico) citare le fonti; in questo modo si crea un legame con i lavori precedenti.
La misurazione può prendere in considerazione diversi elementi:
- numero di citazioni ricevute da un articolo (citation index), consultabile nei database citazionali come Web of Science, Scopus, Google Scholar. Questo indicatore risponde alla domanda: “Quale peso scientifico ha questo prodotto della ricerca?”
- numero di citazioni ricevute da una rivista in cui viene pubblicato un articolo. A seconda delle banche dati citazionali consultate si avranno diversi indicatori bibliometrici; tra i principali ricordiamo:
- IF (Impact Factor): indicatore bibliometrico del Journal Citation Reports di Clarivate Analytics che deriva i dati dagli indici citazionali collegati a Web of Science. L’IF calcola la media fra il numero di citazioni di articoli pubblicati in una rivista e il numero totale di articoli pubblicati dalla stessa rivista nei due anni precedenti.
- SJR (Scimago Journal & Country Rank): indicatore bibliometrico della banca dati Scopus, calcolato sia conteggiando il numero di citazioni sia valutando il prestigio della rivista da cui proviene la citazione ricevuta e attribuendo quindi un "peso" differente alle citazioni in base alla provenienza.
- Google Scholar Citation: indicatore calcolato sulla base dell'associazione univoca tra il profilo Google di un ricercatore e le pubblicazioni che Google Scholar riesce a identificare tramite il meccanismo di data mining di Google.
Questi indicatori rispondono alla domanda: “Quanto è scientificamente autorevole questa rivista?”
- numero di citazioni ricevute da un singolo autore: l’indicatore che misura la produttività e l'impatto delle pubblicazioni di un autore è l’H-index (Indice di Hirsch), che si basa sia sul numero delle pubblicazioni che sul numero delle citazioni ricevute. L'H-index viene calcolato automaticamente in Web of Science e Scopus.
Peer review (revisione tra pari)
È un’analisi qualitativa attraverso cui vengono valutati la qualità e il rigore scientifico degli articoli proposti per la pubblicazione. La valutazione dei prodotti è affidata a esperti del settore per valutarne l’idoneità alla pubblicazione in riviste specializzate o, in caso di progetti, al finanziamento degli stessi.
La peer review è uno strumento che si affianca all’analisi bibliometrica soprattutto nelle aree di ricerca “non bibliometriche” (scienze umanistico-sociali).
Esistono diverse tipologie di revisione da parte degli esperti. Quelle tradizionali sono single blind (l'autore non conosce l’identità del revisore) e double blind (l'autore non conosce l'identità del revisore e viceversa). Questi tipi di peer review basati sull’anonimato dei revisori e sulla riservatezza dei referaggi hanno dimostrato nel tempo alcuni limiti: difficoltà a garantire un vero e proprio anonimato, potenziali conflitti di interesse, pregiudizi legati alla selezione dei revisori da parte della rivista, pericolo di plagio di lavori ancora inediti, mancanza di incentivi e riconoscimento del lavoro di revisione che rendono l’intero processo sempre più oneroso e meno sostenibile. Ecco perché si sta diffondendo sempre più l’open peer review che si basa sulla massima trasparenza del processo in quanto non solo autore e revisore sono reciprocamente identificati, ma anche i lettori possono prendere visione dei commenti dei revisori nel sito della rivista con lo scopo di incrementare la qualità e l’affidabilità delle revisioni.
La peer review permette di filtrare le informazioni e le ricerche realmente affidabili e degne di pubblicazione, mentre scarta quelle non originali, dubbie, non convincenti, false o addirittura fraudolente. Tuttavia il processo di revisione può essere molto lungo e rallentare la pubblicazione di un articolo.
Verso una riforma della valutazione della ricerca
È in corso una profonda revisione del sistema di valutazione della ricerca che coinvolge anche la Commissione europea (Towards a reform of the research assessment system, Coalition for Advancing Research Assessment) e le agenzie di valutazione nazionali.
La diffusione dell'Open Science pone un cambio di prospettiva che va nella direzione di premiare pratiche di apertura e condivisione e una revisione del concetto di “eccellenza”, in cui si consideri l’impatto reale della ricerca sulla società e non l’Impact Factor delle riviste.
Tutto ciò spinge all'uso di metriche alternative e complementari (Altmetrics) e all’adesione a iniziative internazionali (DORA Declaration) a sostegno di nuovi parametri di valutazione che tengano conto più del contenuto del lavoro scientifico che del contenitore (rivista).
Metriche alternative: altmetrics
Le altmetrics (article-level metrics) considerano il grado di popolarità e la diffusione dei contributi scientifici tramite il web e i canali social; non sostituiscono le metriche tradizionali dei database bibliografici commercial basati sul conteggio delle citazioni, ma sono complementari ad esse.
Inoltre si prestano bene a essere utilizzate nelle piattaforme open access grazie a una grafica e all’uso di badge bibliometrici che possono essere incorporati in qualunque database (repository istituzionali, banche dati bibliografico-citazionali…).
Un esempio è Plum-X, software Ebsco acquisito e utilizzato da Elsevier che mostra con una grafica accattivante la visibilità social dei prodotti di ricerca indicizzati in Scopus e si affianca ai tradizionali indicatori bibliometrici.
Dichiarazione DORA
La Declaration on Research Assessment (DORA), ossia la Dichiarazione sulla Valutazione della Ricerca, è un documento elaborato nel 2012 da un gruppo di redattori ed editori di riviste scientifiche con lo scopo di migliorare le modalità con cui i prodotti della ricerca scientifica vengono valutati in termini di qualità e impatto. DORA contiene 18 raccomandazioni rivolte ai diversi attori del mondo della ricerca (finanziatori, istituzioni, editori, organizzazioni che producono dati bibliometrici, ricercatori) e che si possono riassumere in 3 principi cardine:
- eliminazione dell’uso di metriche quantitative relative alle riviste scientifiche, come l’Impact Factor, nelle decisioni relative a finanziamento, reclutamento e promozioni perché questi indicatori presentano delle criticità;
- valutazione della ricerca scientifica per i suoi meriti intrinseci e non sulla base della rivista in cui gli articoli sono pubblicati;
- necessità di sfruttare le opportunità offerte dalla pubblicazione online (ad esempio riducendo i limiti posti sul numero delle parole, delle immagini e dei riferimenti bibliografici negli articoli, ed esplorando nuovi indicatori di rilevanza e di impatto).
Le raccomandazioni della DORA Declaration, pur riferendosi in particolare agli articoli scientifici pubblicati su riviste peer-reviewed, possono essere estese anche ai data set.
Strumenti utili
Last update: 22/10/2024