Un errore nei metadati di Springer Nature potrebbe aver alterato in modo sistematico i conteggi di citazioni in tutti i principali database bibliografici, compresi Scopus a Web of Science. Le conseguenze? Indicatori distorti, carriere accademiche potenzialmente alterate e un segnale d’allarme per l’intero sistema della valutazione quantitativa della ricerca. Cosa altro deve accadere perché si abbandoni la cieca fede nelle metriche bibliometriche? Può un errore di codifica nei metadati, apparentemente banale, alterare la geografia della scienza mondiale, falsare classifiche, influenzare carriere e politiche di ricerca? Secondo l’analisi di Tamás Kriváchy, ricercatore al Barcelona Institute of Science and Technology, contenuta in un preprint recentemente diffuso su arXiv è esattamente ciò che potrebbe essere accaduto. Frederik Joelving Categoriesha coperto la notizia per Retraction Watch con un articolo uscito l’11 novembre 2025. La storia è semplice: un difetto tecnico nei metadati di Springer Nature riferiti alle riviste pubblicate solo online avrebbe generato una distorsione sistemica nei conteggi di citazioni di centinaia di migliaia di ricercatori. IL CASO  Tamás Kriváchy mostra che la distorsione dei dati ha origine da un’anomalia nella gestione dei metadati di molte riviste online-only di Springer Nature (come Nature Communications, Scientific Reports e vari BMC journals). Secondo Kriváchy, l’origine del problema risiede nel passaggio dai numeri di pagina tradizionali agli “article numbers” adottati dalle riviste online. Un campo mancante o mal gestito nei metadati distribuiti tramite API e file RIS di Springer avrebbe causato una catena di errori nel collegamento tra articoli e citazioni.  In sostanza, una grande quantità di citazioni verrebbe erroneamente attribuita al primo articolo del volume (“Article 1”) di ciascun anno, invece che all’articolo effettivamente citato. Intervistato da Retraction Watch spiega: > “Sembra che milioni di scienziati abbiano perso alcune citazioni, mentre > decine di migliaia — gli autori degli Article 1 — le abbiano guadagnate tutte, > arrivando a conteggi assurdi”. Un difetto tecnico apparentemente minore, ma dalle enormi conseguenze sistemiche. Infatti l’anomalia nei dati non è limitata alla piattaforma Springer e al suo database bibliografico Dimensions, ma si propaga a tutti i database bibliografici che ne importano i metadati come Crossref, OpenCitations, Scopus e Web of Science. Le conseguenze, osserva Retraction Watch, sono potenzialmente enormi: confusione nella tracciabilità delle citazioni, alterazione di indici bibliometrici e, in alcuni casi, vantaggi indebiti per autori o istituzioni. Il caso emblematico è quello del primo articolo del volume 2018 di Nature Communications, intitolato “Structural absorption by barbule microstructures of super black bird of paradise feathers”. Secondo il sito della rivista, l’articolo avrebbe ricevuto ben 7.580 citazioni. Google Scholar ne riporta 584, Web of Science 582 e Scopus 1.323. La coautrice Dakota McCoy (Università di Chicago) ha confermato a Retraction Watch di aver cercato, invano, di ottenere la correzione di centinaia di citazioni spurie. Analogamente l’articolo n. 1 dell’anno 2021 di Scientific reports presenta lo stesso problema: 5.332 citazioni sul sito dell’editore e solo 118 su Google Scholar. E si potrebbe continuare. Kriváchy scrive di non essere in grado di precisare l’elenco esatto delle riviste interessate e quindi fornire un conteggio preciso: > Si noti, tuttavia, che sono interessate le due riviste più grandi in base al > numero di articoli pubblicati ogni anno, Scientific Reports e Nature > Communications, nonché le riviste BMC, che comprendono un gran numero di > riviste ad alto volume che utilizzano il riferimento al numero dell’articolo. > Il numero totale di articoli per Scientific Reports è di circa 250.000, per > Nature Communications di circa 75.000 e per diverse riviste BMC e Discover > Applied Sciences di circa 126.000. Quindi, solo per queste 10 riviste ci sono > circa 450.000 articoli potenzialmente interessati, con un numero totale > probabilmente ancora più elevato. Springer Nature dichiara di ospitare 7 > milioni di articoli. Data l’immensa crescita degli articoli online negli > ultimi anni, ci si può aspettare che una parte ignificativa dei 7 milioni sia > presente in riviste solo online, portando il numero reale di articoli > interessati a milioni. L’estensione temporale del problema risale, secondo l’autore, al 2011, quando il bug fu introdotto nelle API di Springer. PERCHÉ TUTTO QUESTO È IMPORTANTE?  I risultati di Kriváchy sono molto importanti perché è la prima volta che errori nei metadati vengono documentati su scala globale, interessando tutti i principali database bibliografici, commerciali e non. Siamo abituati ai problemi di Google Scholar, dove le incongruenze restano perlopiù localizzate — come nel celebre caso di Ike Antkare o in quelli italici, meno noti, di citazioni attribuite all’autore “Primo Capitolo” [si veda qui]. Nel caso dei metadati di Springer Nature, invece, siamo di fronte a qualcosa di radicalmente diverso: un errore sistematico nei metadati che produce un effetto domino su molti indicatori bibliometrici, a tutti i livelli di aggregazione. Il problema questa volta va considerato su tre piani distinti. 1. Il livello dei dati e delle metriche. Gli errori influenzano direttamente gli indici basati sulle citazioni: molti articoli attualmente “highly cited” diventeranno articoli “normali” dopo la correzione. Ciò avrà effetto sugli autori (sui loro h-index, conteggi complessivi, ecc.), su indicatori avanzati come SNIP, e sututti quelli basati su “top-cited papers” per rivista, istituzione, settore o Paese. In pratica, abbiamo lavorato per anni con dati in cui molti (quanti?) “highly cited papers” non erano realmente tali. (L’IF,  per costruzione non è alterato dall’errore). 2. Il livello comportamentale. Qui entra in gioco il ben noto Effetto Matteo: gli articoli percepiti come molto citati tendono a ricevere ulteriori citazioni proprio per la loro fama. L’errore iniziale nei metadati ha quindi verosimilmente influenzato il comportamento dei ricercatori, che hanno citato lavori “falsamente” molto citati. Questo secondo effetto non è correggibile: quante di quelle citazioni sopravvivranno anche dopo la bonifica dei dati? 3. Il livello istituzionale. Le conseguenze riguardano la valutazione della ricerca e le carriere accademiche. Il peso di questo errore è proporzionale all’uso — spesso acritico — che le istituzioni fanno delle metriche di citazione. In Italia, come è ben noto, il ministero e ANVUR hanno imposto l’uso di indicatori bibliometrici come requisito per l’Abilitazione Scientifica Nazionale e per le progressioni di carriera universitarie. Dobbiamo chiederci fino a che punto un errore sistemico come questo possa aver alterato carriere individuali e valutazioni istituzionali. La comunità scientifica, in particolare quella italiana, non è abbastanza consapevole dell’inquinamento che affligge la scienza contemporanea e dell’estensione dei meccanismi — come le citation mills — che hanno corrotto il significato delle citazioni. La percezione prevalente è che si tratti di problemi localizzati, che riguardano pochi casi isolati, e che una opportuna “polizia bibliometrica” sia in grado di ripulire gli indiciatori dai dati anomali.  Questo caso è diverso e non solo per la scala: nasce da un errore genuino, non da una manipolazione intenzionale, e proprio per questo è ancora più istruttivo. Mostra la fragilità di un sistema che ha affidato la valutazione della ricerca a numeri e algoritmi di cui spesso non si conoscono nemmeno i fondamenti tecnici. Forse, paradossalmente, questo bug potrebbe avere un effetto benefico: costringerci a ripensare la nostra cieca fede nelle metriche quantitative, una fede che ha contribuito in modo determinante alla corruzione della scienza contemporanea.  

La proposta di riforma dell’ANVUR rende finalmente evidente ciò che da anni era solo implicito: l’Agenzia è lo strumento con cui il governo attua il controllo centralizzato e indirizza le attività di università e ricerca. Con la riforma, nomine e attività di valutazione passano sotto l’iniziativa esclusiva del Ministro, riducendo drasticamente l’indipendenza tecnica di ANVUR. La proposta è già stata duramente bocciata dal Consiglio di Stato, che segnala contraddizioni con la legge istitutiva e mette in dubbio la legittimità di molte novità. Tutto ciò avviene in chiara contraddizione con i principi di libertà di ricerca e insegnamento ancora sanciti dalla Costituzione. Il governo intende varare la riforma del regolamento dell’Agenzia Nazionale di Valutazione del sistema Universitario e della Ricerca (ANVUR) tramite un decreto del Presidente della Repubblica, attualmente in discussione presso le commissioni parlamentari (qui la documentazione). PREAMBOLO. Malgrado i proclami sulla sua presunta autonomia, ANVUR è già, di fatto, controllata dal Ministero dell’Università e della Ricerca. Il consiglio direttivo composto da 7 membri è definito dal Ministro dell’Università e della Ricerca che li sceglie da una rosa di 15 nominativi che gli viene sottoposta da una commissione di selezione. La commissione di selezione è composta da quattro membri nominati da enti esterni più un quinto membro nominato direttamente dal ministro. Tutti i membri del consiglio direttivo ANVUR restano in carica 4 anni e il presidente viene eletto tra di loro. Apparentemente distante, ma in realtà è il Ministro a assumere un peso determinante nella composizione dell’Agenzia. Tanto è vero che, attualmente, il Consiglio è incompleto: solo quattro membri, compreso il Presidente che siede in ANVUR dal lontano 2019. La ministra Bernini non ha infatti mai ricostituito l’organo, malgrado abbia in mano la rosa dei nominativi scelti dalla commissione di selezione da un anno (la commissione, dei cui lavori sui siti ministeriali non c’è traccia, era stata nominata nel 2023 e aveva pubblicato l’avviso di selezione per i candidati nel febbraio 2024). Voci dal MUR raccontano la rosa fosse sgradita alla ministra. In particolare sembra che la commissione abbia bocciato il prof. Marco Mancini (il presidente ANVUR che la ministra avrebbe desiderato). Il prof. Mancini che la ministra ha da poco nominato Segretario Generale del MUR, e che scrive irritualmente ai rettori chiedendo loro di tenere sotto controllo le proteste degli studenti. Lo stesso Mancini che qualche anno fa il Giornale annoverava tra i baroni rossi, il Mancini, sempre lo stesso, che anima da oltre un quindicennio le riunioni del Partito Democratico su università e ricerca, che è entrato e uscito dal MUR in vari ruoli con ministri di qualsiasi colore. In sintesi: anche l’attuale “leggera autonomia” dell’ANVUR appare troppo pericolosa alla ministra ed al gruppo di lavoro voluto dalla ministra e che ha suggerito la proposta di riforma. LA PROPOSTA DI RIFORMA  Il cuore della riforma è la modifica sostanziale della struttura dell’agenzia e delle modalità di nomina dei membri del direttivo. Oltreché la subordinazione dell’attività dell’agenzia alle direttive del Ministro del MUR. Nell’articolo 7 viene modificato il processo di nomina del Presidente dell’ANVUR destinato a restare in carica 5 anni, che passa a essere di diretta nomina ministeriale, indipendente dal Consiglio direttivo.  Con la nuova procedura, il Ministro istituisce un comitato di selezione che propone una terna di candidati, dalla quale il Ministro effettua la scelta finale, previa consultazione (non vincolante) delle Commissioni parlamentari. La nomina formale avviene poi con Decreto del Presidente della Repubblica. Il Presidente nominato può successivamente designare un vicepresidente all’interno del Consiglio. Questa riforma viene (orwellianamente) presentata come rafforzamento dell’indipendenza di ANVUR. Nell’articolo 8, la procedura di costituzione del Consiglio direttivo, la cui durata è confermata in 4 anni, viene anch’essa sottoposta al controllo diretto del Ministro. Il Consiglio passa da 7 a 5 membri, compreso il Presidente, e la nomina dei componenti è ora gestita dal Ministro. Dopo la raccolta delle candidature tramite bandi pubblici, un comitato di selezione propone terne di candidati, che includono tre rappresentanti di altrettante macroaree CUN (una invenzione estemporanea, che non rispecchia neanche la idiosincratica e unica al mondo divisione del mondo tra settori bibliometrici e non bibliometrici inventata da ANVUR anni fa) e un membro AFAM. Cambia anche la composizione del comitato di selezione: anziché definito da enti esterni anch’esso è scelto direttamente dal Ministro del MUR. E anche questa modifica viene orwellianamente giustificata come una misura a tutela dell’indipendenza dell’Agenzia. Per le attività di valutazione che, da norma primaria, sono di iniziativa dell’agenzia, la riforma prevede che siano assoggettate al volere del Ministro. Come si legge nella relazione illustrativa, ANVUR deve assicurare il: > rispetto dell’indirizzo politico dato dal Ministero dell’università e della > ricerca, quale Ministero vigilante. Questo si riflette, nella proposta legislativa, nella previsione che gran parte delle attività di valutazione avvenga solo “su richiesta del Ministro”. Queste attività sono ampliate, includendo in modo sistematico tutto il mondo AFAM. E sono ampliate anche in profondità prevedendo adesso che ANVUR valuti: > le competenze trasversali e disciplinari acquisite dagli studenti edalle > studentesse e gli sbocchi occupazionali dei laureati. La proposta di riforma toglie dai compiti di ANVUR la definizione – su richiesta del ministro – dei parametri di riferimento per l’allocazione dei finanziamenti statali, che torna nelle salde mani del MUR. La riforma elimina il riferimento alla cadenza quinquennale della VQR: termine considerato troppo rigido e troppo ampio per tenere conto della evoluzione del sistema della ricerca. E, infine, stabilisce (qualsiasi cosa questo significhi) che la valutazione della qualità dei prodotti della ricerca deve essere condotta > utilizzando criteri omogenei rispetto a quelli previsti per l’ammissione ai > concorsi universitari, valutati, ove possibile, tramite procedimenti di > valutazione tra pari. IL CONSIGLIO DI STATO FA A PEZZI LA PROPOSTA DI RIFORMA Cosa potrebbe mai andare storto se un gruppo di lavoro di iper-competenti professori universitari è chiamato dalla Ministra a scrivere un progetto di riforma? Potrebbe accadere che il Consiglio di Stato faccia a pezzi la proposta di riforma, proprio nei suoi punti chiave. Come è puntualmente avvenuto nel parere formulato nell’adunanza del 23 settembre 2025. Il Consiglio di Stato mette in evidenza una contraddizione: la proposta di riforma attribuisce al Ministro, tramite regolamento, il potere esclusivo di avviare alcune delle attività più importanti dell’ANVUR. Tuttavia, la legge (art. 2, comma 138, del decreto-legge 262/2006) assegna queste competenze direttamente all’ANVUR. In altre parole, la riforma toglierebbe all’Agenzia, attribuendoli al ministro, poteri che la norma primaria le riconosce espressamente. Il Consiglio di Stato, seppur con una fraseologia più educata, fa capire che non è disposto a bersi la storiella che questo serve a “riallineare” “il funzionamento [dell’ANVUR] agli standard europei (ESG)” e “a rafforzare il ruolo tecnico-istituzionale dell’Agenzia nell’ordinamento”. La riforma mira a subordinare l’attività dell’ANVUR alla volontà del Ministro, attribuendogli un potere esclusivo di iniziativa sulle funzioni più rilevanti dell’Agenzia. Una scelta che va in aperto contrasto con la legge istitutiva dell’ANVUR, la quale garantisce all’Agenzia autonomia organizzativa, amministrativa e contabile. La riforma, secondo il Consiglio di Stato, va in contrasto con  i principi costituzionali di libertà di ricerca e autonomia universitaria. Il Consiglio di Stato critica duramente la proposta di riforma anche per un altro aspetto: la concentrazione nelle mani del Ministro della nomina dei componenti del comitato di selezione e del Presidente dell’ANVUR. Dietro l’apparente “semplificazione” del procedimento, la riforma finisce per eliminare le garanzie di indipendenza che derivavano dal coinvolgimento di enti e istituzioni diversi dal Ministero, come previsto dalla normativa vigente. La legge istitutiva dell’ANVUR aveva voluto un sistema di nomine plurale e bilanciato, proprio per evitare, secondo il Consiglio di Stato, che l’Agenzia diventasse uno strumento politico. La proposta di riforma, invece, accentrando il potere di scelta nel Ministro, riduce la trasparenza e aumenta il rischio di nomine troppo discrezionali, basate su criteri vaghi come la generica “esperienza pluriennale”. Anche la nuova modalità di nomina del Presidente, non più eletto dal Consiglio direttivo ma designato dal Ministro, rappresenta un chiaro passo indietro rispetto all’autonomia organizzativa garantita dalla legge. In sintesi, sotto il pretesto della semplificazione, la riforma svuota l’indipendenza dell’ANVUR, trasformando un organismo tecnico e autonomo in uno direttamente dipendente dalle scelte del potere politico. Il Consiglio di Stato, con una pazienza quasi pedagogica, ricorda agli estensori della riforma un principio elementare del diritto amministrativo: un regolamento non può modificare una legge. Pare però che chi ha scritto la proposta non ne sia pienamente consapevole, visto che ha pensato bene di allungare da quattro a cinque anni la durata del mandato del Presidente dell’ANVUR, ignorando che la legge istitutiva (art. 2, comma 140, del d.l. 262/2006) stabilisce chiaramente una durata quadriennale per tutti i componenti del Consiglio direttivo, Presidente compreso. Come se non bastasse, l’interpretazione fantasiosa secondo cui il Presidente non farebbe parte del Consiglio direttivo (e quindi non sarebbe soggetto alla stessa durata di mandato) sfiora l’assurdo: significherebbe che il principale organo dell’ANVUR avrebbe un Presidente “fuori organigramma”, nominato e disciplinato dal nulla. In sostanza, il Consiglio di Stato deve ricordare ai riformatori che le norme di rango primario non si cambiano con un colpo di penna in un regolamento. Ma, a quanto pare, qualcuno al Ministero ha bisogno di un rapido ripasso in merito all gerarchia delle fonti del diritto. La perla finale riguarda il Direttore di ANVUR che la proposta di riforma trasforma in organo dell’agenzia e battezza Direttore generale. Il Consiglio di Stato segnala con discreta diplomazia un curioso paradosso: la riforma che proclama di “inasprire” le incompatibilità del Direttore generale in realtà le smantella quasi del tutto. La norma vigente vietava ogni rapporto professionale o pubblico potenzialmente conflittuale; la nuova versione lascia in piedi solo un divieto residuale – non lavorare per chi l’ANVUR valuta. Eppure, nella relazione illustrativa, questo alleggerimento viene descritto come una “disciplina più rigorosa”. Un capolavoro di burocratese orwelliano, dove restringere diventa ampliare e allentare diventa irrigidire. FINALMENTE CHIAREZZA Il Consiglio di Stato assume che l’assetto attuale dell’ANVUR garantisca già un sufficiente equilibrio tra autonomia e vigilanza ministeriale. Noi siamo più scettici. L’esperienza concreta mostra che l’ANVUR da tempo opera come un braccio amministrativo del Ministero, traducendo in “valutazioni” le linee politiche definite altrove. La riforma, più che introdurre una novità, rende esplicito ciò che da anni avviene nei fatti: l’Agenzia agisce su impulso politico, non come organo indipendente. Dietro il linguaggio neutro della “razionalizzazione” e della “trasparenza” la riforma consolida un modello di governo centralizzato, in cui la valutazione è il principale strumento di controllo del sistema universitario e della libertà accademica. Non sorprende che nel gruppo di lavoro che ha redatto la proposta siedano molti protagonisti delle politiche universitarie degli ultimi vent’anni, mentre mancano del tutto voci indipendenti o critiche. La riforma, insomma, non cambia la direzione di marcia: si limita a dichiararla apertamente. È il compimento di un processo che attraversa governi di ogni colore e che ha progressivamente trasformato la “valutazione” in governo politico mascherato da tecnica.  Oggi, con la proposta di riforma, cade ogni ambiguità: l’ANVUR è lo strumento del Ministero per controllare e dirigere il mondo accademico, in aperta tensione con quei principi di autonomia e libertà di ricerca che la Costituzione continua, almeno sulla carta, a garantire. Qua si può leggere l’analisi della proposta di riforma di FLC-CGIL.         

Dietro la facciata neutrale delle regole formali, i panel VQR in area economica mostrano legami fitti e opachi, dominati da gruppi accademici vicini all’università Bocconi. L’analisi di rete svela che le nomine operate direttamente dai consigli direttivi di ANVUR nelle prime due VQR dettero luogo a strutture chiuse e autoreferenziali, a differenza della terza VQR quando il panel venne sorteggiato. Con la VQR in corso si è tornati indietro: ANVUR ha ripreso il controllo diretto dei panel, nominando un quarto dei membri, e riaprendo la porta a bias e conformismo. La valutazione della ricerca soffoca il pluralismo e rafforza le gerarchie accademiche consolidate. Da anni una questione agita il mondo accademico senza trovare la dovuta attenzione politica: la composizione dei panel di valutazione della ricerca. C’è una grande attenzione formale al rispetto di regole di composizione dei panel in termine di genere, provenienza geografica o appartenenza a settori scientifico disciplinari. Il rispetto di questi attributi ‘formali’ fa apparire bilanciate, composizioni dei panel che nascondono profonde asimmetrie intellettuali e scientifiche. Attraverso un’analisi empirica basata su tecniche di network analysis, abbiamo documentato e rese visibili alcune di queste asimmetrie. Il paper completo, uscito su Scientometrics è accessibile a questo link. Il caso di studio che consideriamo è quello della composizione dei panel di valutazione (GEV) dell’area di economia, statistica e scienze aziendali nei tre esercizi della Valutazione della Qualità della Ricerca (VQR): 2004–2010, 2011–2014 e 2015–2019. I primi due panel furono nominati direttamente dall’ANVUR, mentre per il terzo si ricorse al sorteggio tra i candidati. Questa discontinuità procedurale ci ha permesso di trattare il terzo panel come termine di confronto, evidenziando quanto forti e pervasive fossero le connessioni nei panel nominati da ANVUR rispetto a quello estratto a sorte. Le tecniche di network analysis adottate ci hanno consentito di osservare la struttura invisibile dei legami tra i commissari. In particolare, abbiamo ricostruito le reti di co-autorialità tra i membri del panel, la comunanza di strategie di pubblicazione sulle stesse riviste, la rete che individua provenienza ed affiliazioni comuni in università e centri di ricerca, e infine la rete di blog e riviste di divulgazione che hanno ospitato contributi dei membri dei panel.  Nei due panel nominati da ANVUR si osservano reti fitte, chiuse e dominate da pochi nodi centrali e gruppi. Nel panel sorteggiato, invece, la frammentazione delle reti è decisamente maggiore, segno di un’effettiva pluralità di percorsi accademici e orientamenti teorici. Il risultato è inequivocabile: le nomine dirette hanno prodotto gruppi omogenei e non rappresentativi della pluralità accademica. In aggiunta, abbiamo osservato che una parte rilevante dei legami emersi riguarda un preciso gruppo di potere accademico, riconducibile all’ambiente dell’Università Bocconi: non solo docenti, ma anche ex allievi che orbitano intorno agli stessi centri di ricerca, agli stessi network professionali, agli stessi giornali e think tank. Il nostro lavoro fornisce una mappa sistematica di queste connessioni: quali sono gli istituti e i centri più fortemente legati a questo network, e chi sono gli esponenti che ne rappresentano il fulcro. Che sia l’università Bocconi il centro del sistema, non dovrebbe certo meravigliare, almeno i lettori di Roars. Già in passato le scelte operate dall’ANVUR erano state duramente criticate, in particolare per quanto riguarda proprio la scelta dei membri del GEV di economia. Nella terza VQR, il ministro Fioramonti introdusse il sorteggio dei membri, probabilmente anche in relazione alle polemiche che avevano accompagnato le prime due VQR.  Con l’ultimo esercizio VQR si è tornati indietro, seppure parzialmente: ANVUR ha infatti scelto direttamente il 25% dei membri dei GEV, garantendosi così un controllo commissariale sui lavori dei panel: non è inverosimile pensare che un membro GEV nominato da ANVUR abbia uno status diverso dai membri estratti. E forse non è un caso che, per restare in Area economica, sia stato nominato nel panel di economia il presidente del GEV della prima VQR, che nei nostri network rappresenta lo snodo centrale dei legami nei primi due panel. Quello che succede nell’area dell’economia è particolarmente delicato. La disciplina è da sempre caratterizzata da profonde differenze teoriche, metodologiche e ideologiche. Anche se le cose sono in realtà più complicate, ci si riferisce a questa situazione dicendo che c’è una economia mainstream e una eterodossa. A nostro parere, il pluralismo di visioni è essenziale alla vitalità della ricerca. I processi valutativi, in Italia e non solo, hanno favorito la marginalizzazione sistematica delle scuole di pensiero non mainstream, contribuendo a rafforzare meccanismi autoreferenziali e a consolidare il predominio di approcci omogenei mainstream. In questo gioca un ruolo fondamentale la composizione dei panel: un panel composto da valutatori mainstream strettamente collegati non solo mina la credibilità del processo valutativo, ma espone l’intero sistema a rischi di bias strutturale. Se la valutazione scientifica finisce per premiare solo ciò che è conforme ai paradigmi dominanti, la qualità stessa della ricerca ne risulta gravemente compromessa, riducendo la capacità di innovazione del sistema e lo spazio per il dissenso costruttivo e i percorsi di ricerca non convenzionali. Non è inutile sottolineare che non è certo sufficiente a garantire una composizione fair dei panel la presenza di un paio di figure “eterodosse”, come avvenuto nei panel delle due prime VQR. Quelle presenze appaiono piuttosto come sforzo superficiale e simbolico per apparire inclusivi nei confronti di gruppi minoritari (tokenism), in modo da ridurne le manifestazioni di dissenso. Tutto ciò richiama la necessità di una riflessione più ampia sul ruolo e sugli obiettivi della valutazione della ricerca in Italia. Fin dalla sua istituzione, l’ANVUR ha imitato un mix di modelli sviluppati altrove e ispirati a logiche di efficienza, competizione e misurazione standardizzata, trascurando la complessità e la specificità dei processi di produzione della conoscenza. L’obiettivo implicito non è stato quello di promuovere il pluralismo, l’innovazione o la capacità critica, ma piuttosto di allineare la ricerca alle esigenze di un sistema economico fondato su metriche di performance e riconoscimenti formali. Gli effetti della valutazione della ricerca sono oggi visibili: una ricerca più omologata, meno incline al rischio teorico e alla sperimentazione radicale, più orientata a soddisfare indicatori quantitativi che a rispondere a interrogativi scientifici profondi, con preoccupanti segnali di corruzione endemica. Una ricerca che, in definitiva, rischia di perdere la propria funzione pubblica, trasformandosi in un’attività funzionale alla “ricchezza della nazione” e al rafforzamento delle gerarchie accademiche consolidate. Crediamo sia necessario riportare al centro del confronto pubblico il senso stesso della ricerca come bene comune, emancipandola dalle logiche burocratiche, competitive e oligarchiche che oggi ne soffocano lo sviluppo.

L’Unione Europea ha patrocinato la formazione di COARA, una coalizione composta promiscuamente da università, enti di ricerca, associazioni scientifiche e agenzie di valutazione, con lo scopo di limitare la bibliometria a un uso responsabile. Ha avuto cura di escludere dalla coalizione, perché in conflitto di interessi, gli editori commerciali, che in una lega per la temperanza farebbero la parte dei produttori di alcolici, ma non le agenzie della valutazione di stato o comunque amministrativa, che farebbero la parte delle osterie. Ma mentre nelle osterie che spacciano spirito si va liberamente, quelle che impongono bibliometria di stato come arma di valutazione di massa sono a frequentazione coatta e, in una lega per la sobrietà bibliometrica, in radicale conflitto di interessi. Per quanto, come spiega l’articolo di Francesca Di Donato di cui questo intervento è una revisione paritaria aperta, sarebbe stato possibile sviluppare creativamente i principi di COARA in senso kantiano, la riforma, in Italia, sta risultando poco incisiva. La responsabilità è anche dell’UE, la quale, in veste di Unione Elusiva, ha dato antikantianamente indicazioni su come si valuta senza chiedersi chi valuta, e dunque senza toccare la valutazione amministrativa – il che è come promuovere una campagna per la sobrietà fra i bevitori lasciando aperte le osterie di stato a frequentazione coatta e addirittura permettendone la collaborazione.   > Un ministro francese convocò alcuni dei commercianti più stimati, per chiedere > loro suggerimenti sul modo in cui poter sollevare le sorti del commercio, come > se intendesse scegliere l’avviso migliore. Dopo che uno ebbe suggerito questo > e l’altro quel rimedio, un vecchio commerciante, che fino ad allora era > rimasto in silenzio, prese a dire: costruite buone strade, battete buona > moneta, accordate uno diritto snello in materia di cambio e così via; quanto > al resto, ‘lasciateci fare!’ Questa sarebbe la risposta che dovrebbe dare la > facoltà di filosofia, se il governo le chiedesse quali dottrine deve imporre > agli studiosi: solo di non impedire il progresso delle idee e delle scienze.1 1. IL RITORNO DELLA QUALITÀ COARA è una coalizione composta promiscuamente da università, enti di ricerca, associazioni scientifiche e agenzie di valutazione che si è formata in seguito all’Agreement on Reforming Research Assessment (ARRA), reso pubblico nel luglio 2022. La coalizione comporterebbe un reciproco impegno a superare o integrare la valutazione amministrativa della ricerca, che è bibliometrica e quantitiva, e a riconoscere la sua qualità e varietà tramite la revisione fra pari. Secondo un articolo offerto alla revisione paritaria aperta da Francesca Di Donato, che è fra i redattori dell’accordo, per riconoscere la qualità occorrerebbe riaffermare, al modo di Kant, l’autonomia della comunità scientifica. Kant assegnava la ricerca di base alla facoltà di filosofia e trattava la valutazione come intrinseca alla ricerca stessa, se per ricerca si intende “l’esercizio di un metodo che consiste nel sottoporre a critica qualsiasi dottrina, e come tale è presupposto essenziale di ogni conoscenza”. Una valutazione di questo tipo, però, non può svolgersi senza “libere comunità di pari che imparano dai propri errori e si correggono costantemente a vicenda.” Perciò, conclude Francesca Di Donato, per riportare la qualità nella ricerca “non basta cambiare il modo in cui si valuta”: occorre sviluppare un principio dell’accordo ARRA (pp. 3, 5, 6, 9) – quello di coinvolgere la comunità scientifica, incoraggiandola a “controllare collettivamente le infrastrutture necessarie per il successo della riforma.” Vale però la pena ricordare che i quattro impegni fondamentali dell’accordo ARRA, riassunti qui a fianco, riguardano il come si valuta. Il coinvolgimento della comunità scientifica è fra gli impegni di sostegno ed è spesso formulato in modo da suggerire che questa possa dar suggerimenti, di nuovo, sul come si valuta, dando per scontato chi valuta, e dunque la sua legittimazione e la sua assenza di conflitto di interessi. Come recita, per esempio, la spiegazione del punto 6.1 (in traduzione italiana a p. 17, corsivo aggiunto) “questo impegno garantirà che le autorità nazionali / regionali / organizzative e le agenzie di valutazione rivedano e, se necessario, sviluppino criteri per la valutazione delle unità e delle istituzioni di ricerca, in conformità con i Principi”. 2. VALUTATORI E VALUTATI L’origine dell’ Agreement on Reforming Research Assessment su cui si basa COARA ha poco a che vedere con Kant. È infatti esito di un’iniziativa che non nasce fra gli studiosi, bensì nella Commissione, con il sostegno del Consiglio dell’Unione Europea, quando la pandemia di Covid-19 mostrò anche ai più conservatori che una valutazione della ricerca basata sulla quantità di pubblicazioni e citazioni non garantisce, come tale, né accessibilità né qualità alla scienza. Sebbene gli organi dell’Unione Europea abbiano fondato la loro iniziativa su numerosi studi, sia indipendenti sia su commissione, il loro intervento non ha preso di mira le infrastrutture, bensì la qualità della ricerca. Per riconoscere la qualità di un’opera – ha ammesso l’Unione Europea – bisogna leggerla e comprenderla: per questo una valutazione che la prenda sul serio deve mettere in primo piano la revisione fra pari, compiuta dagli studiosi stessi, e usare la bibliometria in modo “responsabile”. E però il difetto della bibliometria – la pretesa di valutare la ricerca solo quantitativamente, senza leggerla e senza capirla – diventa una virtù, quando la valutazione, strappata alle comunità degli studiosi, è affidata ad agenzie governative centralizzate. La revisione fra pari – si dice – non può essere usata come arma di valutazione di massa perché non è scalabile. La bibliometria invece lo è, proprio perché esonera dalla lettura e dalla comprensione. Come possiamo dunque sperare di eliminare o ridimensionare l’uso valutativo della bibliometria senza ridimensionare o eliminare le agenzie amministrative centralizzate – quali l’ANVUR italiana e l’ANECA spagnola – a cui il governo ha conferito il compito della valutazione di massa? COARA, che pure non ammette gli editori scientifici commerciali per il loro evidente conflitto di interessi, non si è posta questo problema: non solo le agenzie statali di valutazione ne possono fare parte, ma possono addirittura sedere nel suo consiglio direttivo. Semplice distrazione o consapevole ambiguità? Come riferisce Francesca Di Donato il secondo impegno di ARRA richiede che la ricerca sia valutata tramite la lettura e la discussione delle opere dei ricercatori. La revisione fra pari è dunque fondamentale, come parte di un dibattito scientifico pubblico che dovrebbe essere esso stesso oggetto di ricerca, allo scopo di “tenere il meccanismo efficiente e vitale”. Inoltre, il terzo impegno patrocina una “misurazione responsabile”, che prenda congedo “dagli usi inappropriati di indicatori come il fattore d’impatto delle riviste e l’indice H”. A chi è destinata la ricerca sul dibattito scientifico? Alla riflessione della comunità scientifica o ai valutatori amministrativi per sperimentazioni behavioristiche in corpore vili? Come racconta Melinda Baldwin, negli USA la revisione paritaria chiusa in doppio cieco divenne marchio di scientificità per motivi politici: l’esibizione della procedura permise di sfuggire allo scrutinio del Congresso sui finanziamenti pubblici alla ricerca. Questo arrocco – nella veste di una versione procedurale dell’ipse dixit – non è stato privo di conseguenze, e non solo in termini di conformismo.2 Ma una cosa è un’autocritica della comunità scientifica sul proprio uso pubblico e privato della ragione, un’altra è che funzionari o studiosi-funzionari ne facciano un impiego amministrativo, coinvolgendo, o no, i ricercatori semplici. 3. “NEGAZIONISMO BIBLIOMETRICO” A chiarire la posizione di COARA, o, almeno, di chi la guida, ha aiutato la recente accusa di “negazionismo bibliometrico”, a cui Luciana Balboa, Elizabeth Gadd, Eva Mendez, Janne Pölönen, Karen Stroobants, Erzsebet Toth Cithra e l’intero consiglio direttivo di COARA si sono affrettati a rispondere cosi: > Usare solo la scientometria per valutazioni a livelli di granularità più > bassi, cioè per la valutazione degli individui, che comprende scopi importanti > quali l’assegnazione di riconoscimenti (finanziamenti, posti di lavoro), è > altamente problematico. In casi come questi si dovrebbe preferire la revisione > paritaria. Tuttavia > l’uso della scientometria a livelli di aggregazione superiori, come quello > nazionale o universitario, e per forme di valutazione meno importanti come la > conoscenza scientifica, è molto meno problematico (anche se ancora > imperfetto). La loro risposta mostra anche la consapevolezza della difficoltà di tener confinata la bibliometria a livelli superiori. Un ricercatore che si trova a lavorare in un’istituzione valutata e finanziata con criteri quantitativi sarà spinto a orientarsi bibliometricamente, a dispetto di tutti gli impegni a farne un uso responsabile. > Resta il fatto che una dipendenza eccessiva da una scientometria pur > responsabile può comunque avere un impatto negativo, per trascinamento, > sull’ecosistema della valutazione della ricerca. Un uso legittimo della > bibliometria per comprendere l’attività a livello di paese può velocemente > estendersi ai criteri di promozione, se, a livelli di aggregazione superiori, > si associa alla valutazione bibliometrica un riconoscimento troppo grande. La risposta rende chiaro che COARA non intende eliminare le armi di valutazione di massa e le agenzie statali che ne fanno uso, bensì solo limitarne il danno. Quanto all’effetto trascinamento (trickle-down) la soluzione – si dice – può essere il principio 9 del Leiden Manifesto for the responsible use of bibliometrics, il quale suggerisce di adottare “un insieme di indicatori” invece che “uno solo”, in modo da render difficili la manipolazione (gaming) e la trasformazione dell’indicatore in obiettivo. Se non ci accontentiamo di soluzioni “soluzioniste”, dobbiamo però ricordare che è così facile manipolare il sistema perché gli indicatori bibliometrici sono connessi solo ortogonalmente alla qualità della ricerca, anche se sono indispensabili alle burocrazie valutatrici centralizzate, munite o meno di programmi per computer, perché incapaci di leggere e comprendere la scienza non solo come è scritta, ma anche com’è fatta. I ricercatori non sono necessariamente più truffaldini del resto della popolazione: semplicemente, sono esposti alla tentazione di truccare il sistema per amor di carriera o di mera sopravvivenza accademica proprio perché sottomessi a criteri di valutazione che non afferrano la sostanza della scienza. La prima manipolazione del sistema, in altre parole, è il sistema stesso.3 E il sistema è anche, letteralmente, un sistema di sottomissione: chi guida COARA si è sentito in dovere di rispondere a critici che non parlano come ricercatori che si rivolgono a colleghi, ma con i toni del padrone, o del consulente del padrone, che vede gli studiosi come risorse il cui uso va ottimizzato. > Nel ventunesimo secolo, patrocinare una valutazione della ricerca basata sulla > revisione paritaria invece che su metodi scientometrici appare obsoleto e > controproducente. Da decenni si va perseguendo una costante innovazione > tecnologica trainata dalla necessità di ottimizzare risorse limitate quali gli > scienziati. La ricerca scientometrica conduce a soluzioni più efficienti ed > economiche per valutare la ricerca e soddisfare le esigenze degli utenti.4 Anche se COARA, come pare, mira solo alla riduzione del danno, l’ammissione delle agenzie di valutazione non solo alla coalizione ma al suo stesso consiglio direttivo mette a rischio pure questo modesto obiettivo: le agenzie di valutazione di massa, avendo bisogno di armi di valutazione di massa, portano con sé un enorme conflitto di interessi, che può condurre – come mostra il caso italiano5 – l’intrapresa al fallimento. 4. QUALITÀ E LIBERTÀ La valutazione fra pari, anche in COARA, è legata, come discussione idealmente libera e accessibile, alle pratiche della scienza aperta – pratiche che numerose istituzioni politiche si sono date la pena di definire e raccomandare. In un ambiente addomesticato dalla valutazione amministrativa questi interventi inducono a trattare l’open science come uno dei tanti adempimenti richiesti agli addetti alla ricerca, spesso pensati senza neppure una particolare lungimiranza. Per esempio, nel 2015 la Commissione europea rappresentava la scienza aperta (p. 33) così: “L’ Open Science è un cambiamento tanto importante e dirompente quanto l’e-commerce per la vendita al dettaglio”. Era già, allora, chiaro che i cosiddetto platform capitalism stava esponendo il web pubblico a privatizzazione, monopolio e sfruttamento: nel 2010 lo stesso inventore del web, Tim Berners-Lee, aveva già lanciato il suo allarme. Ma la Commissione europea inseriva spensieratamente nell’ecosistema della scienza aperta (p.39) piattaforme proprietarie come Academia.edu o Mendeley, acquistata da Elsevier nel 2013. Oggi è diventato facile criticare la scienza di stato, quando viene stabilita per decreto oltreoceano. Ma non si tratta di qualcosa di nuovo, spuntato nottetempo come un fungo: anche se riducessimo a periferica la valutazione di stato italiana, non possiamo trattare come tale l’interferenza dell’Unione Europea nelle modalità e nelle valutazioni della scienza – a dispetto di un Kant molto invocato e poco letto. La rivoluzione scientifica moderna, dal canto suo, non nacque da prescrizioni di monarchi e di despoti illuminati. Secondo Paul David, l’idea della scienza come bene comune, basata sulla collaborazione e finanziata da mecenati aristocratici, si radica in un mondo pre-capitalistico e assai meno burocratico. Se vogliamo allentare la morsa della burocrazia che priva la ricerca di qualità, non possiamo concepire l’apertura come un compito amministrativo. Infatti, l’obiettivo non è quello di devolvere risorse in pubblicazioni a pagamento per i profitti o le rendite private,6 ma di mantenere o ricreare le condizioni che consentono alle comunità scientifiche di curarsi della qualità del loro lavoro attraverso la collaborazione e la critica libera. 5. QUALITÀ: UNA DEFINIZIONE SFUGGENTE Secondo Wilhelm von Humboldt, la cui riforma universitaria è stata per lo più smantellata dall’Unione Europea tramite il cosiddetto processo di Bologna, è “caratteristica degli istituti scientifici superiori continuare a trattare la scienza come un problema ancora non del tutto risolto e perciò rimanere sempre alla ricerca”. Anche per questo – non solo perché non sappiamo concepire un criterio universale di verità – la definizione di qualità è così elusiva. Nel linguaggio aziendale la qualità consiste in parametri rigorosamente definiti a cui si devono adeguare prodotti e processi. La qualità della ricerca, però, non essendo riducibile a standard amministrativamente accertabili, può essere meglio indagata a partire da un testo eccentrico: Lo Zen e l’arte della manutenzione della motocicletta di Robert M. Pirsig. Nel libro l’alter ego di Pirsig a Bozeman, Fedro, prova in primo luogo a trattare la qualità non come una questione teoretica, bensì pragmatica. Il docente abolisce i voti e chiede agli studenti di valutare i loro compiti da sé, giorno per giorno. Alla fine scopre che gli studenti tendono all’imitazione reciproca e dell’insegnante. Non è una sorpresa: se ci si affida alla pratica senza nessuna riflessione teoretica si otterrà soltanto una moda, i cui capricci sono imitabili ma irriducibili a concetto. Paradossalmente, questa è anche il peccato originale della valutazione bibliometrica della ricerca: perché cercare l’inafferrabile e non scalabile qualità quando si può facilmente calcolare, tramite le citazioni, quanto va di moda? Il metodo scientifico, per Pirsig, è il modo in cui esseri razionali ma finiti selezionano una singola (e forse provvisoria) verità tra molte ipotesi, pur senza essere in grado di afferrare la Verità in generale. E nell’uso di questo metodo – che è diverso dall’annotazione amministrativa dell’impatto di qualcosa che non ci si cura di capire – si manifesta, di volta in volta e provvisoriamente, la qualità. Per cogliere il senso di questo processo, però, bisogna farne parte, cioè essere ricercatori e non burocrati che, più o meno “responsabilmente”, registrano l’“impatto” di qualcosa che rimane loro oscuro. Questa tesi non va interpretata come una mistica della ricerca: semplicemente, quando adottiamo criteri “statici” di qualità per valutazioni puntuali quali concorsi e assunzioni, dobbiamo essere consapevoli che non sono in grado di render giustizia all’intero processo, che non è statico ma dinamico.7 Pertanto, come Kant sostenne nel Conflitto delle facoltà, ridurre le università a istituzioni ministeriali sottomesse a criteri di verità interamente estrinseci e amministrativamente applicati, mette a repentaglio la credibilità stessa della scienza. La credibilità scientifica, infatti, non dipende dall’adesione a parametri bensì dalla libertà della critica pubblica, proprio perché si forma entro un processo non terminato e non terminabile. Questa libertà degli studiosi, che è condizione della scienza, non consiste in una facoltà di dare ordini, bensì nella possibilità di mettere in discussione anche gli studiosi-funzionari al servizio dell’amministrazione – criteri amministrativi di valutazione compresi. Perciò > alla domanda “chi valuta?” Kant risponde: la comunità scientifica, perché solo > studiosi possono giudicare altri studiosi. Se questo giudizio venisse alterato > da ragioni esterne alla sua propria ragione, cioè la ricerca della verità, la > scienza non sarebbe più tale. 6. L’UNIONE ELUSIVA Per Kant l’economia interna dell’università richiede, in primo luogo, la libertà. I politici, da parte loro, dovrebbero occuparsi delle infrastrutture della ricerca e non del modo in cui i ricercatori la fanno. Caesar non est supra grammaticos. Molti tecnocrati europei, quando si tratta di appellarsi ai “nostri valori”, amano o amavano presentarsi, a proposito o a sproposito, come kantiani. Ma l’accordo ARRA e COARA non possono dirsi tali se non propagandisticamente. 1. La Commissione europea scopre, sia pure in grave ritardo, che la valutazione quantitativa della ricerca produce quantità e non qualità. 2. Per risolvere il problema promuove una coalizione lasca di università, istituzioni di ricerca, società di studi e agenzie di valutazione, anche centralizzate, con lo scopo di riformare la valutazione della ricerca, come se il dominio della bibliometria e il danno alla qualità della ricerca fosse esito esclusivo di iniziative venute dai ricercatori, che vanno incoraggiati ad autocorreggersi. Un politico kantiano avrebbe fatto esattamente l’opposto. 1. In primo luogo, avrebbe lasciato la valutazione della ricerca ai ricercatori. 2. In secondo luogo, avrebbe indagato sulle eventuali condizioni infrastrutturali – le buone strade, la buona moneta, lo snello diritto di cambio della citazione in epigrafe – che un’azione politica avrebbe potuto migliorare. E non avrebbe fatto fatica a scoprire che la bibliometria, come arma di valutazione di massa, è indispensabile dove la valutazione è amministrativa e centralizzata – come in Italia con l’ANVUR e in Spagna con l’ANECA. E avrebbe usato la sua autorità legislativa per eliminare o ridurre al minimo questo tipo di valutazione. “Quanto al resto, lasciateci fare!” L’iniziativa politica europea si è invece concentrata, soluzionisticamente, sul come si valuta non solo senza chiedersi chi valuta, ma anche dando per scontata la legittimità delle agenzie di valutazione statali e soprattutto che queste, ammesso e non concesso che siano indipendenti, possa seriamente impegnarsi a minimizzare o abolire le armi – bibliometriche – di valutazione di massa e quindi a ridimensionare o abolire se stesso. Così il peccato originale della sovrapposizione di potere amministrativo e ricerca continua ad affliggere COARA, senza che l’UE, in veste di Unione Elusiva, abbia il cervello e il cuore di redimerlo.8 -------------------------------------------------------------------------------- 1. I. Kant, Il conflitto delle facoltà, AK VII, 19-20 n2, traduzione di Domenico Venturelli (Brescia : Morcelliana, 1994), con qualche modifica. ︎ 2. Ha, infatti, reso facile sostenere che qualsiasi pretesa è “scientifica” perché pubblicata su una rivista a revisione paritaria (Adam Marcus, Ivan Oransky. “The Scientific Literature Can’t Save You Now”. In: The Atlantic (2025) https://www.theatlantic.com/science/archive/2025/02/rfk-kennedy-vaccines-scientific-literature/681681/ ︎ 3. “Rather than serving as a scientific certification process, administrative evaluation functions as a mechanism for ascribing value to research outputs and contributions based on criteria established by administrative or policy authorities”: Alberto Baccini, COARA will not save science from the tyranny of administrative evaluation, https://arxiv.org/abs/2408.05587v3, 2025, §6. ︎ 4. Giovanni Abramo, The forced battle between peer-review and scientometric research assessment: Why the CoARA initiative is unsound, 2024. ︎ 5. Come mostra, per quanto concerne l’Anvur, la distanza fra gli impegni sottoscritti e quelli programmati. ︎ 6. Come nei conservativi accordi trasformativi, finiti un vicolo cieco. ︎ 7. Per esempio la discussione fra matematici può essere documentata da pubblicazioni che in passato erano riviste e ora, come mostra il caso Perel’man, un archivio istituzionale ad accesso aperto. ︎ 8. Anche perché i suoi consulenti più rispettati, ancorché non eletti (The Future of European Competitivenss: A competitiveness strategy for Europe (Part A) 2024), deplorando che poche università europee raggiungano “top levels of excellence” (eccellenza misurata, a dispetto di COARA, sulla base del volume di pubblicazioni in “top academic journals”, p. 24) e pesando il valore della ricerca pubblica in base alla sua capacità di privatizzarsi in brevetti (p.25), trattano i ricercatori come risorse da spremere per estrarne “innovazione” (p.24) senza mai chiedersi se a renderli conformisti non sia proprio la servitù amministrativa a cui sono sottomessi. ︎