1. Premessa

La difficoltà di una valutazione comparativa della ricerca universitaria, che tenga conto delle specificità di ogni disciplina, delle risorse che gli Atenei destinano allo svolgimento delle attività di ricerca, della capacità dei Dipartimenti universitari di competere nella acquisizione di fondi da Agenzie Nazionali e Internazionali o da enti pubblici e privati, risiede in larga misura nella mancanza di dati e informazioni coerenti su le ricerche universitarie, nella assenza di criteri consolidati di valutazione del merito scientifico per tutti i settori disciplinari, nella mancanza di metodologie di verifica dei risultati. Non è pensabile, quindi, che si possa introdurre sistemi incentivanti per la ricerca universitaria che tengano conto in modo sistematico e accurato dei diversi fattori che contribuiscono alla qualità e quantità della produzione scientifica di un Ateneo senza un’adeguata e graduale sperimentazione.

D’altra parte è stato più volte e da più parti richiamata la necessità di tenere conto in sede di determinazione del Fondo di Finanziamento Ordinario dell’attività di ricerca che le università svolgono, come loro compito primario, e non esclusivamente dell’attività formativa.

In questo contesto è sembrato opportuno al Comitato di Valutazione del Sistema Universitario avviare una prima, limitata, esperienza di valutazione con le seguenti caratteristiche:

• copertura dell’intero spettro delle discipline oggetto di ricerca in ambito universitario;
• riferimento ad esperienze di assegnazione competitiva dei fondi che riguardassero tutti gli Atenei;
• individuazione di indicatori che consentano valutazioni comparative in ambiti omogenei;
• introduzione di un limitato incentivo per gli Atenei maggiormente attivi.

Questi criteri pongono un vincolo notevole ai possibili dati da utilizzare per una valutazione comparativa, dal momento che richiedono una sostanziale omogeneità di accesso ai fondi e di valutazione dell’attività di ricerca per tutti i possibili campi di indagine presenti nelle Università. Sono quindi da escludersi dati che si riferiscano a esperienze che, seppur significative, sono limitate a certi settori disciplinari (come i programmi di ricerca in ambito biomedico o quelle all’interno dei Programmi Quadro della UE) o hanno precisi vincoli di accesso (bandi per fondi destinati a regioni in ritardo di sviluppo).

L’unica base di dati che può considerarsi omogenea è quella fornita dalla partecipazione e dai risultati del bando per Progetti di Rilevanza Nazionale del MURST (Bando PRIN), in quanto:

• si tratta di bandi aperti e quindi non soggetti a limitazioni tematiche;
• l’accesso è aperto ai gruppi universitari senza restrizioni;
• la partecipazione è organizzata nell’ambito di 14 Aree disciplinari, cui è riservata annualmente una quota minima garantita del 3% delle risorse finanziarie disponibili;
• le informazioni disponibili riguardano quattro anni (1997-2000) , un periodo cioè abbastanza lungo da consentire valutazioni del comportamento degli Atenei non influenzate da fattori contingenti;
• l’assegnazione dei fondi avviene in modo competitivo e sulla base di valutazioni qualitative espresse da revisori esperti nelle specifiche discipline;
• vi è un preciso controllo della partecipazione dei soggetti e del loro impegno nei diversi programmi.

Si aggiunga a questo il fatto che, trattandosi di programmi cofinanziati al 30%, è possibile acquisire informazioni sulle risorse che gli Atenei dedicano alla ricerca di base.

Come utilizzare le informazioni provenienti dal bando PRIN-COFIN, al fine di introdurre adeguati indicatori della ricerca universitaria? Va innanzitutto precisato che, in assenza di una valutazione dei programmi a consuntivo (attualmente disponibile solo per i programmi avviati il primo anno), qualunque criterio si introduca potrà essere basato solo sui risultati della fase ex-ante, cioè sulla partecipazione degli Atenei al bando, sull’eventuale successo e sull’ammontare del finanziamento ottenuto. D’altra parte l’organizzazione del bando, che prevede la presentazione di programmi all’interno di Aree disciplinari, consente valutazioni e raffronti nell’ambito di tali Aree, senza che sia ancora possibile un riferimento ai Dipartimenti, che sono le strutture universitarie deputate alla organizzazione dell’attività di ricerca.

Nonostante queste limitazioni, e in via sperimentale, il Comitato ha deciso di basarsi sui risultati della selezione del bando PRIN-COFIN per una prima analisi della ricerca universitaria e per l’individuazione e determinazione di appropriati incentivi.

2. Indicatori ed elementi di valutazione comparativa

Ai fini delle considerazioni che seguono si definisce come docente effettivo il docente equivalente partecipante alla ricerca pesato per la frazione del tempo ad essa dedicato. La piena partecipazione ad un programma indica che il docente dedica ad esso annualmente l’intero tempo disponibile per la ricerca. Questo è convenzionalmente indicato come 11 mesi/anno nelle proposte e corrisponde sul piano finanziario ad un impegno pari alla metà del costo del docente equivalente.

Data l’organizzazione del bando il Comitato ha ritenuto utile individuare due indicatori facenti riferimento per ogni Ateneo alle Aree disciplinari in esso presenti. La definizione precisa degli indicatori è fornita nell’Appendice I.

L’Indicatore di successo-partecipazione IF relativo a un’ Area scientifico-disciplinare indica, relativamente ad ogni Ateneo, quanti docenti dell’Ateneo sono stati finanziati, cioè hanno avuto successo nell’acquisire fondi nell’ambito di programmi di tale Area, in rapporto a quelli, afferenti all’Area, aventi diritto di partecipare al bando. Nell’indicatore (vedi Appendice I) si fa riferimento ai docenti effettivi, in quanto il diritto di partecipazione al bando o la partecipazione a una proposta specifica di un docente possono essere parziali, cioè limitate solo a una frazione del tempo di ricerca disponibile.

L’Indicatore di ritorno finanziario SF relativo a un’Area disciplinare rappresenta il rapporto tra il finanziamento complessivamente erogato dal MURST all’Ateneo nel quadriennio 1997-2000 per i programmi dell’Area selezionati e il costo complessivo delle ricerche avviate, secondo quanto dichiarato dai proponenti, incluse le spese di personale valutate sulla base dei docenti effettivi coinvolti.

Mentre il primo indicatore rappresenta una misura del coinvolgimento di docenti dell’Ateneo afferenti all’Area disciplinare nelle ricerche approvate; il secondo tiene conto dei costi dei programmi avviati ed evidenzia gli Atenei che mostrano si saper acquisire maggiori risorse.

C’è un effetto di compensazione trai due indici: nel primo caso la situazione ottimale è quella in cui si ha un alto successo e un’alta partecipazione dei docenti-ricercatori alle ricerche avviate. L’uso esclusivo di questo indicatore potrebbe indicare come ottimali situazioni in cui a pochi ricercatori valenti si sono affiancati, vuoi per motivi di solidarietà accademica vuoi per non rompere aggregazioni consolidate, molti altri non strettamente necessari allo svolgimento della ricerca (una tendenza più volte constata dalla Commissione di Garanzia del bando COFIN).

Il secondo indicatore è elevato per quei programmi di ricerca che, accanto alla programmazione degli obiettivi scientifici, presentano anche un’attenta programmazione finanziaria, evitando costi inutili, specie per quanto riguarda il personale che rappresenta la voce di costo più elevata.

Una volte definiti gli indicatori è possibile associare ad ogni università una coppia di valori relativi ad ogni Area scientifico-disciplinare presente all’interno dell’Ateneo.

Il primo valore rappresenta la media dell’indicatore di successo - partecipazione sui primi quattro bandi.

Per illustrare la procedura adottata si consideri il caso di una ipotetica sede che abbia, per le Aree in

essa presenti, valori di indicatori successo – partecipazione come nella tabella indicata.

TAB: 1

I valori riportati nelle colonne dalla seconda alla quinta rappresentano l’indicatore successo-partecipazione relativo al bando dell’anno indicato tra parentesi, il valore riportato nell’ultima colonna rappresenta la media sui quattro anni, cioè il valore dell’indicatore medio di successo-partecipazione associato a ogni Area.

Il secondo valore rappresenta il rapporto tra le risorse acquisite dai programmi nei quattro anni e il loro costo dichiarato.

Di nuovo a titolo di esempio possiamo riportare nella Tabella 2 i dati relativi al precedente Ateneo.

La seconda e terza colonna indicano rispettivamente il finanziamento MURST nel quadriennio e la spesa dei programmi di ricerca avviati nello stesso periodo. La quarta colonna mostra il rapporto utilizzato come indicatore. Si noti come la spesa a carico dell’Ateneo superi largamente il cofinanziamento MURST, come conseguenza dell’aver incluso tra le spese di ricerca quella relativa al personale docente-ricercatore coinvolto nel programma, valutato per la frazione del tempo dedicato.

TAB: 2

Ai fini della valutazione dell’attività di ricerca va sottolineato che gli indicatori proposti tengono conto del comportamento collettivo di ogni Area disciplinare presente in Ateneo più che della qualità di singoli gruppi di ricerca. Così può risultare che un sede, ove siano presenti gruppi di eccellenza attivi in una certa Area disciplinare, non presenti alti valori dell’indice di successo - partecipazione perché tali gruppi costituiscono una minoranza rispetto alla totalità dei docenti della sede afferenti all’Area e partecipanti ai programmi di ricerca.

Valori non elevati degli indici possono essere frutto, oltre che di una attività di ricerca non competitiva, di diversi altri fattori, non necessariamente legati alla qualità scientifica, quali:

• la scarsa partecipazione, dovuta al fatto che il personale è già coinvolto in altri programmi di ricerca finanziati da altre agenzie (Unione Europea, Enti di Ricerca etc.);
• l’età media elevata dei partecipanti, che innalza i costi della ricerca a carico dell’università in rapporto al cofinanziamento MURST;
• la difficoltà di reperire partners adeguati in altre sedi o di collocarsi all’interno di una Area scientifico-disciplinare, un problema frequente per gruppi che operano in settori avanzati o con forte carattere interdisciplinare;
• la scarsità di cofinanziamenti etc.

Solo da un’analisi attenta del contesto in cui i gruppi di ricerca operano si possono trarre conclusioni ragionevolmente sicure sulla qualità scientifica del lavoro svolto.

D’altra parte i due indici proposti possono essere utili per far emergere alcune aspetti della ricerca di Ateneo che altrimenti non sarebbe possibile cogliere. Si sottolinea in particolare:

1. La possibilità di avere un quadro del personale attivo nell’ambito della ricerca di base. Non tutto il personale docente è impegnato allo stesso modo nella ricerca di base: a parte il caso del personale clinico, impegnato anche in attività di assistenza, vi è il caso di docenti che svolgono ricerche dietro commessa o attività di consulenza a enti esterni, o che sono coinvolti in attività organizzative. La mancata o limitata partecipazione al bando in questo caso riflette la limitata disponibilità di queste persone.
2. Una più precisa valutazione delle risorse che l’Ateneo destina alla ricerca. Questo vale in modo particolare per le risorse umane, che costituiscono la spesa di ricerca più rilevante. Sotto questo aspetto l’indice di ritorno finanziario può costituire un utile elemento per valutare lo sforzo reale che la sede compie per promuovere la ricerca di base.
3. Una seppur approssimativa idea di dove l’Ateneo si colloca su scala nazionale. Pur con le limitazioni già indicate, gli indicatori proposti possono fornire un elemento di comparazione tra gli Atenei per quello che riguarda l’attività di ricerca promossa dalle Università.

E’ importante sottolineare che gli indicatori proposti si riferiscono a un periodo di tempo limitato e possono, con la stessa procedura, essere aggiornati annualmente. Questo da un lato evita che si consolidino valutazioni che, per loro natura, hanno carattere temporaneo, dall’altro consente di verificare eventuali miglioramenti che derivino da misure prese nell’ambito dell’Ateneo.

3. Criteri di incentivazione

Una volta completata l’analisi degli indicatori si sono posti a confronto i valori dei due indici IF e SF per ogni Area tra tutte le università in cui l’Area era presente e si è valutato il valore mediano tra quelli assunti da ognuno dei due indici nei vari Atenei.

Il risultato è il seguente:

TAB: 3

A questo punto si è introdotto i seguente criterio di incentivazione: vengono incentivate le università che presentano Aree i cui indicatori sono entrambi maggiori dei valori mediani indicati nella precedente Tabella.

A titolo di esempio si consideri il caso dell’Ateneo di cui alle Tabelle 1 e 2.

Con riferimento al primo indicatore rimarrebbe esclusa la sola Area 01, perché il valore dell’Ateneo è inferiore a quello riportato nella Tabella IV. Se si considera il secondo indicatore risultano escluse le Aree 03, 08, 09 per lo stesso motivo.

In questo caso verrebbero a partecipare alla distribuzione dell’incentivo per la ricerca le Aree 06, 12 e 13 perché entrambi gli indicatori sono superiori alla media nazionale.

Va notato come il criterio porti a confrontare il comportamento di una stessa Area su più sedi, consentendo in questo modo una comparazione tra realtà ragionevolmente omogenee e su un arco di tempo abbastanza lungo da escludere che effetti contingenti, quali le difficoltà che vari gruppi possono avere riscontrato all’avvio del bando, abbiano un peso rilevante.

Il Comitato ritiene che l’esperimento possa essere ripetuto ogni anno prendendo come riferimento l’esito dei bandi relativi ai quattro anni precedenti. Le incentivazioni non vanno quindi considerate consolidabili, poiché la valutazione comparativa viene effettuata annualmente sulla base dei dati più aggiornati.

Va precisato che si è stabilito un numero minimo di docenti afferenti a una certa Area perché essa possa essere presa in considerazione ai fini della assegnazione degli incentivi. Questo numero è stato fissato in 25 docenti come numero medio sui quattro anni.

La Appendice II riporta per ogni Area gli Atenei che soddisfano il criterio di incentivazione.

4. Ripartizione dell’ incentivo

Per stabilire l’ammontare dell’incentivo per ogni Ateneo occorre preventivamente ripartire la somma disponibile per l’incentivo tra le Aree e, successivamente, all’interno di ogni Area ripartire la somma assegnata all’Area tra gliAtenei selezionati.

Si indichi con A(i) il numero di Atenei che soddisfano il criterio di incentivazione per l’Area i-esima e con

N_tot = S_i NA(i)

il numero totale di Atenei selezionati, pesando ogni Ateneo per il numero di volte che compare nella selezione. La frazione dell’incentivo assegnata ad ogni area è data da:

FA(i) = A(i)/N_tot

Successivamente si è suddivisa la parte attribuita ad ogni Area tra gli Atenei sulla base della frazione di docenti effettivi partecipanti ai programmi finanziati dell’Area.

Appendice I

Indicato con n= 1(1997), 2(1198), 3(1999), 4(2000) l’indice del bando si può definire, con riferimento alla specifica Area disciplinare i-esima all’interno dell’Ateneo j-esimo la variabile:

N_n(i,j) = numero di docenti effettivi potenziali partecipanti al bando n-simo afferenti all’Area i-esima dipendenti dell’Ateneo j-esimo

Per docente effettivo potenziale per il bando n-esimo si intende il docente equivalente pesato con la frazione di tempo di ricerca che è disponibile al momento della partecipazione al bando.

Si noti che questo numero non corrisponde al numero di docenti equivalenti dell’Ateneo in esame , in ragione del fatto che la partecipazione può essere a tempo parziale, o perché il docente non è a tempo pieno o perché ha già speso parte del suo tempo di ricerca in progetti MURST approvati e finanziati nel bando n-1 precedente (si ricordi che i programmi possono avere al più durata biennale).

Allo stesso modo si può definire una variabile che rappresenta i docenti equivalenti finanziati nell’ambito dello stesso bando:

NF_n (i,j) = numero di docenti effettivi finanziati nell’ambito dei programmi dell’Area i-esima del bando n-esimo e dipendenti dell’Ateneo j-esimo.

L’indicatore di successo-partecipazione relativo al bando n-esimo è dato per l’Area i-esima della j-esima sede da

IF_n(i,j) = NF_n(i,j)/N_n(i,j)

Il valore IF relativo per le varie Aree di ogni ateneo è ottenuto mediando il coefficiente IF_n sui quattro anni:

IF(i,j) = S_n IF_n(i,j)/4

Per costruire l’indicatore di ritorno finanziario definiamo il costo della ricerca, relativa al programma P dell’Area i-esima finanziato all’università j-esima nell’ambito del bando n-esimo come:

S_n (i,j,P) = Spers_n(i,j,P) + Smurst_n(i,j,P) + Scofin_n(i,j,P)

ove

Spers_n(i,j,P) = spesa di personale di docenti effettivi equivalenti impegnati nella ricerca

Smurst_n(i,j,P) = contributo del MURST al costo della ricerca

Scofin_n(i,j,P) = contributo di cofinanziamento dell’Ateneo

Chiaramente il primo contributo, che dipende dalla partecipazione al progetto, costituisce il maggiore costo della ricerca.

L’indice di ritorno finanziario è dato da

SF_n(i,j,P) = Smurst_n(i,j,P)/S_n(i,j,P)

L’indice riferito a una specifica Area disciplinare della università in considerazione è dato da:

SF_n(i,j) = S_P Smurst_n(i,j,P)/S_P S_n(i,j,P)

Esso rappresenta pertanto il rapporto tra il finanziamento globale ottenuto dai programmi dell’Area disciplinare in considerazione e il costo della ricerca effettuata nell’Area considerata per il bando n-esimo.

L’indice cumulato SF è dato dal rapporto tra il cofinanziamento totale del quadriennio:

Smurst(i,j) = S_n S_P Smurst_n(i,j,P)

e la spesa totale di ricerca

S(i,j) = S_n S_P S_n(i,j,P).

Appendice II

Vengono riportati i risultati della valutazione comparativa.

Per ogni Area vengono indicati gli Atenei che risultano avere entrambi gli indici sopra il valore mediano.

Area 01: Scienze Matematiche

Area 02: Scienze Fisiche

 Area 03: Scienze Chimiche

Area 04: Scienze della Terra

Area 05: Scienze Biologiche

Area 06: Scienze Mediche

Area 07: Scienze Agrarie e Veterinarie

Area: 08 Ingegneria Civile e Architettura

Area 09: Ingegneria Industriale e Informatica

Area 10: Scienze dell’Antichità,…

Area 11: Scienze Storiche, Filosofiche …

Area 12: Scienze Giuridiche

Area 13: Scienze Economiche-Statistiche

Area 14: Scienze Politiche e Sociale