FOLEC: Una iniciativa regional para evaluar la evaluación de la ciencia en América Latina y el Caribe, y transformarla*

Fernanda Beigel

Instituto de Ciencias Humanas y Ambientales (INCIHUSA-CONICET), Centro de Estudios de la Circulación del Conocimiento (CECIC-FCPYS, Universidad Nacional de Cuyo)

Aunque las prácticas científicas que se desarrollan en las universidades e institutos de investigación incluyen actividades diversas, como la investigación; dirección de proyectos; docencia; gestión científica; evaluación; formación de investigadoras e investigadores; dirección de tesistas, becarias y becarios; extensión; transferencia tecnológica; asesoría a organismos públicos o privados, entre otras, en las últimas décadas, la evaluación de instituciones e individuos se ha concentrado cada vez más en los resultados publicados. Y no en cualquier forma de publicación, sino en el “paper” (entendido como un artículo en inglés publicado en revistas indexadas). Por su parte, la clasificación de las revistas científicas y los indicadores de citación que surgieron en la década de 1960 en Estados Unidos con el Science Citation Index condujeron paulatinamente a profesoras y profesores, instituciones y gobiernos a la convicción de que en esas bases de datos se hallaban las revistas internacionales de excelencia. La mercantilización de los sistemas de indexación mediante onerosas suscripciones, por su parte, fue concentrando en determinadas revistas y como consecuencia, en ciertas instituciones, el mayor Factor de Impacto. Las grandes editoriales académicas y esa sofisticada bibliometría impulsaron la legitimación de los Rankings de revistas como indicadores de calidad científica, siendo Scopus y WoS (Clarivate) los principales. El abuso de estas métricas en las evaluaciones de individuos e instituciones fue reproducido por la aparición de los Rankings Universitarios y los informes “mundiales” de la ciencia, que colaboraron para invisibilizar otras formas de producción y circulación del conocimiento que existían y crecían fuera de las bases de datos mainstream o de corriente principal. Esto afectó particularmente a las ciencias sociales y humanas que tienen un estilo de producción monográfico y cultivan la producción de libros, un formato que queda fuera en las mediciones cuantitativas de la cienciometría dominante. Además, perjudicó a las revistas indexadas en repositorios alternativos a ese circuito.

Ahora bien, a pesar de que la globalización académica consagró ciertas jerarquías y estilos de publicación a nivel internacional y estos tienen una incidencia importante en la evaluación de la ciencia en América Latina, una profusa producción científica alternativa al circuito mainstream se observa en miles de revistas científicas activas indexadas en repositorios regionales. Inclusive existe una gran cantidad de revistas no indexadas que verifican el dinamismo de los circuitos locales. Las editoriales universitarias y las redes regionales producen libros de calidad y se observa un tránsito al mundo de la edición digital. Estas publicaciones, sin embargo, son poco valorizadas en las evaluaciones académicas, no sólo por el peso de una lógica heterónoma, sino también por la ausencia de una plataforma regional interoperable capaz de ofrecer indicadores regionales, nacionales y locales de circulación del conocimiento. Paralelamente, múltiples formas de resistencia a la mercantilización de la ciencia comenzaron a expresarse a nivel internacional abogando por el acceso abierto de las revistas. Ya en la década anterior, la Declaración de San Francisco sobre la evaluación de la investigación DORA1 y otros manifiestos pusieron al descubierto las múltiples distorsiones que aquel sistema comercial de publicaciones había generado en la vocación universalista de la ciencia. Más recientemente, el movimiento de ciencia abierta llevó a un nuevo estadio estas preocupaciones crecientes en la comunidad académica, promoviendo no sólo el acceso abierto a las publicaciones, sino la apertura de los datos, del proceso mismo de la investigación y de su evaluación. Inclusive avanza un paso más allá, poniendo en el centro del proyecto no sólo a la comunidad académica sino a la ciudadanía, sobre la base del derecho humano a la ciencia ya consagrado en la Declaración Universal de Derechos Humanos (1948). Este contexto de la pandemia COVID-19 se ha vuelto particularmente propicio para promover un cambio global en la cultura científica, por lo que cada vez se suman más fuerzas a este movimiento que apunta a romper las múltiples barreras comerciales que limitan la circulación del conocimiento.

En este contexto surgió el Foro Latinoamericano sobre Evaluación Científica (FOLEC), una iniciativa del Consejo Latinoamericano de Ciencias Sociales (CLACSO)2 que se inserta en una larga trayectoria del Consejo ligada a reflexionar sobre la ciencia y la educación superior en la región. Esta reflexión se nutre de tres vías fundamentales: a) la crítica a las políticas de evaluación externa implementadas en América Latina desde mediados de la década de los años noventa en línea con el proceso de reforma neoliberal del Estado, una tendencia que habilitó la mercantilización del conocimiento y estimuló un mercado académico altamente lucrativo a nivel mundial, al tiempo que desplazaba a la docencia por la investigación; b) la crítica cada vez más extendida a los rankings universitarios y los rankings de revistas basados en indicadores de impacto que han tenido efectos particularmente nocivos para las ciencias sociales y humanas; y c) el movimiento de acceso abierto que tiene en América Latina uno de sus antecedentes principales con su ecosistema de publicaciones en acceso abierto no comercial, manejado principalmente por las universidades públicas. 

En este trabajo proponemos un repaso por los ejes de los documentos de FOLEC que hoy comienzan a discutirse en toda la región con el fin de construir un diagnóstico común, unas propuestas de indicadores de evaluación consensuados y unos principios que nos interpelen a todos y a todas. Primero, sintetizaremos la evolución histórica de la evaluación de la producción científica a partir de la consagración de los criterios “mainstream” de publicación como estándares globales, así como los efectos del uso y abuso de los indicadores de impacto. Consolidada la crítica a las formas dominantes de evaluación de la ciencia publicada, analizaremos cuáles son las otras dimensiones de la producción científica de individuos e instituciones que deben ponerse en valor si se pretende producir un giro hacia una ciencia relevante socialmente. Especialmente, nos referiremos a la tradición de la vinculación y la extensión universitaria que está fuertemente desarrollada en todos los países de la región y constituye un terreno fértil para promover las interacciones entre ciencia y sociedad.

El Factor de Impacto como indicador de calidad académica y los circuitos alternativos

En las últimas décadas, la evaluación académica se fue encorsetando en torno de la performance en investigación y una unidad de medida: la citación obtenida por las revistas. Además de las limitaciones y pérdidas que esa ponderación provocó y que afectó el impacto social de la ciencia como veremos más adelante, la centralidad de la bibliometría contribuyó a desplazar la evaluación de pares en las evaluaciones de ingreso, promoción o categorización de investigadores para reemplazarla por la centralidad de la indexación de las revistas. Biagioli & Lippman (2020) plantean que no se trata sólo de que quienes evalúan no leen los artículos, como comúnmente se dice en los pasillos de las universidades. Algo mucho más radical ocurrió y es que la calidad científica de un artículo puede ser irrelevante en los regímenes de métricas basadas en el Factor de Impacto porque miden la citación de la revista y no la contribución de la persona evaluada. Simplemente se le otorga un precio en una moneda intercambiable. Una autora o autor puede trocar artículos con determinado factor de impacto por una posición académica, luego esa institución puede negociar esas y otras publicaciones de sus empleados en un mejor ranking global, que a su vez puede convertirse en más matrícula estudiantil, más donaciones o más subsidios (2020). Varios estudios muestran que el factor de impacto es de poca ayuda en la evaluación de la solidez científica y la originalidad y ha sido ampliamente señalado como nocivo para examinar el valor social de una investigación (Gingras 2016; Aksnes, D. Langfeldt, L., and Wouters, 2017; Ràfols, 2019).

La relación cada vez más directa entre factor de impacto y éxito en la carrera académica promovió publicaciones predatorias y generó distintas manipulaciones. Kehm (2020) analiza numerosos casos de universidades que “compraron” con altos salarios mensuales reputaciones altamente citadas, a quienes solo se les pedía el traslado por períodos cortos una vez al año, pero se les obligaba a usar la afiliación institucional de esas universidades en sus publicaciones con el único fin de subir posiciones institucionales en los rankings. Por su parte, Wagner et. alia (2019) han observado una dinámica social en la comunidad académica relacionada con la búsqueda de aumentar las citaciones a través de la colaboración preferencial con autoras y autores altamente reconocidos. Impulsado por un efecto de audiencia, la colaboración internacional bajo esos patrones aumenta las citaciones, pero tiende a disminuir la creatividad y la originalidad debido a las barreras de comunicación. 

La creciente preocupación de las universidades de los países no-hegemónicos por mejorar sus posiciones en los Rankings estimuló, por su parte, políticas de internacionalización con el fin de aumentar la investigación colaborativa e incentivar publicaciones en revistas indexadas en Scopus o WoS. Robinson-García y Ràfols (2019) argumentan que la tendencia a reforzar la internacionalización de los institutos de investigación y las universidades sin considerar el contexto local opera bajo el supuesto de que la promoción de la escritura en inglés beneficia al sistema científico nacional porque redunda en un mayor impacto de la producción científica. Allí donde fueron calando estas tendencias se produjo una segmentación nacional de circuitos de circulación con elites académicas de orientación opuesta. Unas integradas en las discusiones de las revistas mainstream, acostumbradas a escribir en inglés, otras creando espacios de publicación en idiomas nativos y en revistas nacionales. Este fenómeno es más común en las ciencias sociales y humanas, pero se puede observar en todas las áreas cuando se acometen estudios de trayectorias completas de investigadores. Otras polaridades surgieron entre los perfiles de investigadoras e investigadores de la ciencia básica y los perfiles más orientados a la ciencia aplicada o al desarrollo tecnológico. En estos últimos interesa la agenda local por lo que la circulación del conocimiento también puede adoptar estilos ajenos al “paper” y estándares de comunicación diferentes (Beigel, 2017). 

Ahora bien, aquellos estándares supuestamente globales basados en el factor de impacto no fueron adoptados masiva ni pasivamente. Tuvieron una incidencia desigual no sólo en los países no-hegemónicos sino inclusive en los centros tradicionales. Paradeise & Thoenig (2013) realizaron un estudio empírico de 16 universidades para indagar cómo estas instituciones y sus departamentos alcanzan lo que cada una de éstas llaman “calidad académica”. Observan que cada institución se posiciona a sí misma en términos de estándares de calidad y combina recursos locales y globales tanto como las alternativas a las que tienen acceso dados sus itinerarios organizativos y de gobierno (Paradeise & Thoënig, 2015). En esta misma dirección, hay estudios empíricos que han observado la existencia de diversas formas de circulación que quedan invisibilizadas por el uso exclusivo de bases de datos como WoS (ahora Clarivate) y Scopus. Nos referimos especialmente aquí a los circuitos regionales y locales, que ponen en jaque la direccionalidad norte-sur de las políticas de internacionalización (Vélez-Cuartas, Lucio-Arias and Leydesdorff, 2016; Vessuri, Guédon y Cetto, 2014; Beigel, 2014). 

El caso de China es muy interesante para analizar las formas de integración al Sistema Académico Mundial y la resiliencia de otros mundos, otros circuitos. Quan et alia (2019) recuerdan que China se convirtió recientemente en el país más importante en la producción de artículos científicos y que efectivamente sus esfuerzos para estimular la investigación y la movilidad académica dieron sus frutos. Tanto en términos de producción como de citación, el país aumentó la cantidad de sus publicaciones y su participación en las bases mainstream de producción internacional. Esto impulsó no sólo      la ciencia básica sino también el desarrollo tecnológico y el aumento de patentes. Sin embargo, Tao Tao (2020) llama la atención sobre un reciente movimiento “nacionalizante” que apunta a un cambio en la cultura evaluativa para re-direccionar la investigación en ese país. Este cambio se inspira en una mirada crítica sobre cómo las instituciones chinas modelaron sus prácticas para alcanzar mayor impacto y cómo presionaron a sus investigadoras e investigadores para publicar más. La nueva tendencia informa que los papers serán usados como evaluación principal solo para la investigación básica y no para el desarrollo tecnológico y la investigación aplicada. Y para los investigadores básicos solo un grupo de producciones representativas será analizado dejando de lado el factor de impacto. Se impulsará que al menos un tercio de esos trabajos representativos se publiquen en revistas chinas con circulación internacional (Sivertsen y Zhang, 2020). 

La “negociación” que se alcanza en la bisagra entre el orden local y la estandarización global se diferencia según las condiciones de cada campo nacional y sus políticas evaluativas. Porque la incidencia de los criterios globales no son procesadas por los individuos sin mediaciones, sino que dependen de una serie de instancias locales que operan refractando la heteronomía o por el contrario minando la autonomía académica. En una encuesta realizada por la Asociación de Universidades Europeas a más de doscientas universidades, la gran mayoría de las instituciones contestó que tienen bastante autonomía para determinar los criterios de evaluación académica pero que, sin embargo, sienten una gran presión por parte de los organismos financiadores y que esto afecta sus prácticas de evaluación (Saenen, Morais, Gaillard & Borrell-Damián, 2019). Losego y Arvanitis (2008: 351) sostienen que los países no-hegemónicos pueden tener mayores márgenes de maniobra para accionar a la escala nacional, definir una agenda local y elegir sus contrapartes en las colaboraciones. Esto se expresa no sólo en las políticas científicas sino también en las políticas evaluativas que se adoptan para la educación superior y los organismos de investigación científica. En algunos países latinoamericanos, la autonomía universitaria sigue siendo una tradición fuerte, con efectos institucionales visibles y autarquía financiera. En otros, las resistencias “nacionalistas” han quedado reducidas en algunas instituciones o disciplinas mientras las competencias por subsidios y becas están dominadas por los criterios y rankings considerados afines a las tendencias de la “ciencia mundial”. Aún en esos contextos, hay estudios que demuestran que subsiste un vector local de resistencia lingüística y observable en la producción de libros (Ramos Zincke, 2014; Beigel y Gallardo, 2020).

En realidad, todas las instituciones de producción de conocimiento son espacios con dinámicas locales en el sentido de Roudometof (2019) es decir, en términos de sus relaciones sociales en un determinado lugar. Esa localización es un proceso de construcción, adaptación y negociación con circuitos diversos que atraviesan cada lugar. Ahora bien ¿qué institución, qué científico o científica, es más autónoma? ¿Aquella que fija su propia agenda de investigación y localiza sus investigaciones para solucionar problemas de su comunidad? ¿Aquella que dialoga con una comunidad internacional y publica sus investigaciones en revistas indexadas? Las respuestas no son simples, porque hay distintas aristas de la autonomía en juego: de las instituciones, de las personas, de los países, de las comunidades. Por otra parte, la autonomía y la heteronomía conviven conflictivamente en el campo científico y en las propias instituciones. La idea de campo científico multi-escalar procura reflejar esta realidad de las instituciones y el papel de los diversos circuitos de reconocimiento en los procesos de legitimación académica actual (Beigel, 2019).

Entre estos diversos espacios de circulación se encuentra el ecosistema de publicaciones latinoamericano que es un circuito manejado principalmente por las universidades públicas y con veinticinco años de experiencia de publicación en acceso abierto. En otros trabajos hemos hecho una periodización de las etapas de este circuito regional destacando que su fortaleza se relaciona con el hecho de que se sostiene en una plataforma intelectual de más de doscientos años de existencia (Beigel, 2019). SciELO, LATINDEX y REDALYC hicieron numerosos esfuerzos para dar mejor visibilidad a sus indicadores y también se realizaron importantes estudios sobre la producción regional (Alperin, Babini & Fischman, 2014). Sin embargo, en la actualidad sus indicadores de producción sólo son posibles para las dos colecciones que ofrecen metadatos al nivel del artículo (Scielo y REDALYC), mientras LATINDEX está en proceso de re-catalogación. Con lo cual probablemente hay unas 4.000 revistas indexadas que no tienen sus colecciones con metadatos disponibles. Por otra parte, no hay plataformas interoperables para medir la circulación de la producción evaluada y publicada en América Latina porque los tres repositorios están desconectados. No existe una homologación de las afiliaciones institucionales de los autores que permita la fusión de bases de datos y esto tiene un impacto directo en la capacidad de las revistas regionales para proporcionar datos agregados que alimenten de indicadores alternativos a los indicadores mainstream en las acreditaciones institucionales y en las evaluaciones individuales. 

Ahora bien, más allá de las dificultades de las revistas latinoamericanas indexadas para conseguir legitimación en los procesos de evaluación y la gran cantidad de revistas que no están digitalizadas ni indexadas, existe otra forma de publicación que queda fuera de las bases de datos mainstream y regionales. Nos referimos a la publicación en libros, cuya valorización es estrecha, no sólo producto de las tendencias globales a la publicación en el formato de paper, sino también debido a la escasez de sistemas de indización y certificación de la calidad académica de las editoriales. En este sentido, hay mucho por hacer para avanzar en una infraestructura regional que se nutra de los repositorios institucionales y sean capaces de articular la información curricular completa de las investigadoras e investigadores, al estilo Lattes de Brasil. Son escasos los estudios de trayectorias de publicación basados en estudios empíricos con datos primarios obtenidos de los currículums, pero los que existen permiten visibilizar la diversidad de estilos de circulación de los científicos sociales en algunos países de la región. El caso más singular es el argentino, que cuenta con estilos de publicación y culturas evaluativas muy diversas, en buena medida estimuladas por la autonomía universitaria y otros rasgos estructurales de ese campo científico (Gantman 2011, Beigel y Bekerman, 2019). 

En las ciencias sociales y humanas, los libros no parecen en vías de desaparición como medio de comunicación de los resultados de la investigación, y la escritura en las lenguas locales tampoco (Engels et al., 2018). Sivertsen (2019) argumenta que, en las ciencias sociales, el libro y el artículo pueden ser necesitados por igual en distintos momentos de una investigación. Además de la inserción internacional de la investigación hay que ponderar su relevancia social para la cultura y la sociedad en la que está siendo producida. Un mismo proyecto bien puede contribuir a ambas dimensiones y requerir distintos formatos a estos fines. Las ciencias sociales y humanas perderían probablemente su raison d’être y el apoyo de su sociedad si se desconectaran de su contexto cultural y social para comunicar únicamente en revistas internacionales leídas por pares extranjeros. En la práctica, las investigadoras e investigadores de estas disciplinas hacen las dos cosas: publican en libros y en revistas, y en más de un idioma (Sivertsen, 2019). Lo que obstaculiza la valorización de estas producciones en los procesos de evaluación es que mientras las revistas indexadas garantizan que los contenidos han sido evaluados por pares, los libros académicos están solo ahora comenzando a informar el proceso de evaluación de sus contenidos y no se ha desarrollado un sistema de indización de libros académicos.

En América Latina, existe una tradición editorial de largo aliento que ha favorecido la publicación de libros y, consecuentemente, el desarrollo de formas de prestigio regional impulsadas por redes, centros regionales, editoriales como CLACSO y otras mencionados en el acápite anterior. A esto se suman las editoriales universitarias que juegan un rol de peso en la circulación del conocimiento producido por las ciencias sociales y humanas. Giménez Toledo y Córdoba Restrepo (2018) estudiaron 541 editoriales de distintos países de la región y observaron que, a pesar de que el movimiento de Acceso Abierto en América Latina ha sido muy destacado en lo que se refiere a revistas científicas, la adopción del acceso abierto es muy diferente para libros. Operan en esas editoriales universitarias límites institucionales, así como la preocupación legítima de perder un ingreso generado por las ventas que permite su subsistencia. A eso se suma una cultura que prevalece en las autoras y autores: temen que la digitalización y el acceso abierto conspire contra la propiedad intelectual de sus obras. Sin duda las editoriales universitarias son un elemento central para una política regional y nacional de producción en libros y la visibilización de las investigaciones en lenguas locales. Y pueden contribuir al proceso de evaluación, cuando informan el proceso de revisión por pares de los contenidos (Babini, 2018). 

La relevancia social de la investigación científica

La preocupación por la utilidad de la ciencia y la pregunta acerca de si la inversión científica de los países trae algún beneficio concreto para el desarrollo es un asunto de antigua data que acompañó el proceso de institucionalización de la ciencia, convirtiéndose en alter ego de la demanda de libertad académica para determinar agendas de investigación (Piovani, 2019). Según Versino, Guido y Di Bello (2012) las interpelaciones a favor de la autonomía académica fueron dejando atrás el criterio de utilidad a medida que se extendió la idea de la ciencia como actividad neutral, desinteresada cuyo único fin era la búsqueda de un conocimiento verdadero. Así, la idea de utilidad fue perdiendo lugar a medida que el ethos científico se extendía como la illusio dominante de un campo cada vez más internacionalizado. Pero junto con las bondades de esta concepción de tono autonomista se fue promoviendo un academicismo que fue apartando del camino principal de la investigación científica -y de su evaluación- la pregunta por su relevancia social.

Bornmann (2012) considera que muchas científicas y científicos ven las mediciones de impacto social como una amenaza a la libertad académica y además como un potencial modo de recortar fondos para la investigación básica, depreciando así las contribuciones científicas “puras”. Pero ocurre también que ni los propios investigadores e investigadoras conocen el impacto social de sus investigaciones porque su inclusión en las evaluaciones es más bien reciente y el propio conocimiento sobre este asunto es escaso. Por eso resulta pertinente la pregunta que hacen Sivertsen y Meijer (2020): ¿es realmente “impacto” el término correcto? Por lo general, cuando se habla de impacto siempre se remite a la búsqueda de la evidencia de un impacto individual, focalizando en uno de los extremos de una interacción y exigiendo un esfuerzo extra por parte de los investigadores para demostrar su valor tanto a las autoridades como a las agencias de financiación. Robinson-García, Repiso y Torres-Salinas (2018) sostienen que los sistemas de evaluación se empeñan en calificar las carreras investigadoras de manera individual ignorando la esencia colaborativa de la investigación, inspiradas en la desconfianza estructural hacia las investigadoras e investigadores y promoviendo su falta de solidaridad (Ràfols et al., 2018). Esto genera problemas metodológicos, procesos que se eternizan y grandes cargas burocráticas. 

Uno de los inconvenientes principales de la evaluación de la relevancia social de la investigación reside en buscar ese “impacto” a través de las publicaciones –si es que no debería ser considerado prácticamente su principal obstáculo. Sivertsen y Meijer (2020) argumentan que rara vez hay una relación causal clara entre una investigación publicada y un impacto social. Tampoco es suficiente con impulsar disciplinas que pueden generar un descubrimiento extraordinario, con un impacto supuestamente inmediato en la salud de la población o un artefacto tecnológico revolucionario (Spaapen y Sivertsen, 2020). La búsqueda del impacto concreto, producto de inventos inesperados, parece suponer que es un resultado unidireccional desde el mundo científico a la sociedad, por eso se le exige a la investigadora o investigador cristalizarlo en una publicación o un artefacto. Pero la relevancia social de la ciencia por lo general no ocurre mediante eventos extraordinarios. Si en vez de usar impacto social se lo reemplazara por “interacción social” se podrían observar las relaciones desde ambos lados del vínculo en base a los objetivos y necesidades de los dos. Tomar ambos lados y compartir la responsabilidad por las relaciones entre ciencia y sociedad podría así extender las interacciones. En esta línea, las artes son importantes practicantes de este tipo de interacciones sociales y pueden ofrecer novedosas formas de co-producción de conocimientos.

Vélez Cuartas Coord. (2019) sostiene que existen al menos dos problemas para promover las interacciones de la producción de conocimientos con la sociedad y evaluarlas. El primero es estructural, pues los indicadores con los que cuentan las universidades para medir su impacto y su relación con el entorno, en términos de creación y proyección de su conocimiento, son insuficientes. Esta situación se debe a la escasa oferta de indicadores para abordar la diversidad de formatos y productos; a la poca información para especificar el alcance de procesos de transferencia y vinculación; a la dificultad para aprehender datos tangibles sobre los efectos de los procesos de apropiación social y divulgación; y la falta de evaluación de la amplia gama de procesos de formación generados al interior de los grupos. El segundo problema estriba en que los modelos de medición aplicados hasta el momento se han concentrado especialmente en los esfuerzos individuales de la producción de conocimiento y no en la vinculación a través de la investigación, la docencia y la extensión, articuladas e imbricadas entre ellas y con el entorno.

Uno de los mayores lazos entre la universidad y la sociedad que ha sido poco explorado, a pesar de su potencial para impulsar esas interacciones se encuentra en la llamada “extensión universitaria”, cuyos antecedentes surgen a finales del Siglo XIX en las universidades europeas donde comienza una reflexión acerca de su responsabilidad frente a sus sociedades de pertenencia. Esta función tiene en América Latina una larga tradición y sus inicios pueden situarse a finales del Siglo XIX, cuando surgen tres modelos de extensión: la difusión cultural, la extensión para el cambio/desarrollo social y la extensión para dinamizar el crecimiento económico (Arrillaga et alia, 2015). Según Cano Menoni (2014) la vocación primigenia de “ir hacia el pueblo” que se manifestó en el movimiento reformista y en las universidades populares, años después se reformuló desde las ideas de “liberación” y “emancipación cultural” en una crítica al paternalismo filantrópico que inspiraba tal idea de extensión. Durante la década de 1990, una nueva reformulación ocurrió con la implantación del modelo neoliberal y la evaluación externa de las universidades, por lo que esta tradición extensionista perdió peso. 

Así surgió, promediando los años noventa y como respuesta al modelo de transferencia tecnológica, la corriente denominada “extensión crítica”, anclada inicialmente en Uruguay y actualmente con desarrollo en toda la región. Desde dicha corriente, resaltando los aportes pedagógicos de la extensión, se impulsa el tránsito a las “prácticas universitarias integrales” que, involucradas en la resolución de problemas sociales relevantes y con participación de actores, organizaciones y movimientos sociales, permiten la convivencia y articulación de las tres funciones sustantivas de la universidad (Tommasino y Stevenazzi, 2016). Desde esta perspectiva, la extensión busca ser incluida dentro del “acto educativo” y ofrece grandes proyectos como la educación en contexto de encierro, las prácticas socio-educativas, programas de base territorial, entre otros. Sus resultados en términos de compromiso social universitario y las interacciones que viene desarrollando sistemáticamente en el tiempo, sin embargo, están invisibilizadas por tratarse de una función con escaso presupuesto y sostenida por voluntariados o colectivos militantes. 

En relación con el modelo de transferencia tecnológica hay bastante acuerdo en la literatura disponible respecto de que no se convirtió en el eje de las políticas universitarias en las últimas décadas. Lejos de haberse generalizado las universidades empresariales focalizadas en la vinculación tecnológica, el proceso de academización parece haber estimulado las torres de marfil y el alejamiento de las universidades respecto de su entorno social y productivo (Versino, Guido y Di Bello, 2012). Las transferencias no son prácticas extendidas en la cultura académica y los servicios, asesorías o patentes no han sido hasta ahora indicadores relevantes en los sistemas de evaluación (Rikap y Naidorf, 2020). La oposición entre una extensión ecuménica desinteresada y un emprendedorismo      de inspiración neoliberal, caricaturiza una corriente importante de extensión que promovió interacciones universidad-sociedad vinculadas a la resolución de problemas nacionales del desarrollo en América Latina (Erreguerena, 2020). En esta línea se encuentra la Escuela Latinoamericana de Pensamiento en Ciencia, Tecnología y Desarrollo, que problematizó las relaciones entre investigación científica y proyecto nacional, de la mano de Jorge Sábato, Amílcar Herrera, Oscar Varsavsky, Natalio Botana, Máximo Halty, entre otros. De su seno surgieron propuestas como el “Triángulo de Sábato”, para impulsar una nueva relación entre el sistema científico-tecnológico, el Estado y los sectores productivos (Sábato y Botana, 1968). El término “transferencia” que parece aludir a una relación unidireccional, esto es, el aporte de conocimiento desde sus generadores (por ejemplo, centros de investigación o laboratorios) hacia los usuarios, cada vez se orienta más a una mirada bidireccional sobre la construcción de conocimientos que pueden surgir de las interacciones entre investigadoras e investigadores y representantes del medio productivo (Britto y Lugones, 2020).

Más allá del impacto del período neoliberal y de la incidencia del capitalismo académico, la extensión resistió los embates y se siguió desarrollando en la mayoría de las universidades latinoamericanas. Grandes congresos, grupos regionales y redes de extensión verifican su dinamismo. Por otra parte, la extensión tiene una dimensión artística altamente desarrollada en la mayoría de las universidades de la región. Algunas instituciones cuentan con orquestas sinfónicas, elencos de ballet y teatro que cumplen un papel singular en la circulación de conocimientos creativos y, sin embargo, tienen una función social poco reconocida y alentada. Esto se vincula con las dificultades arriba mencionadas para diferenciar y medir las actividades de extensión, vinculación o transferencia, que son una preocupación creciente para las universidades y constituyen un espacio potencial privilegiado de detección de necesidades sociales y concreción de un diálogo de saberes entre las universidades y la sociedad (Arrillaga Coord. 2015).

Palabras finales

En un mundo académico con una dinámica muy       competitiva, se ha restringido cada vez más la evaluación de la producción científica a la evaluación de las revistas. Primero se fue empujando a las profesoras y profesores a concentrar su actividad sólo en la investigación, luego a comunicarse sólo en el formato de papers. Después se “categorizó” esa producción con la ayuda de una sofisticada bibliometría, a través del factor de impacto y los rankings de revistas. La evaluación de individuos e instituciones pasó a estar cada vez más atada a las publicaciones y el efecto directo de esta transformación fue la disminución del peso de la evaluación de los pares reemplazándola por la confianza en la indexación de la revista donde ese artículo fue publicado. Las tendencias analizadas muestran la incidencia de un modelo de evaluación basado en indicadores de citación tomados del circuito mainstream, adoptando las clasificaciones de WoS (Clarivate) o Scopus, en desmedro de otros circuitos y de las métricas alternativas.

Un efecto colateral de estas tendencias recayó sobre la “valuación” de las revistas científicas nacionales. A pesar de los crecientes esfuerzos de estas revistas por cumplir con los requisitos de indexación que, por lo general, requieren un porcentaje mínimo de participación editorial extranjera, un mínimo de manuscritos arbitrados por autores de filiación extranjera, una porción de autoras o autores extranjeros y, en algunos repositorios, incluso un mínimo de artículos escritos en inglés, las revistas nacionales siguen siendo consideradas en nuestros países como endogámicas frente a las revistas editadas en los países centrales. Esto daña las interacciones sociales de la ciencia con su entorno local porque las científicas y científicos son castigados por elegir un medio nacional y en su propio idioma para comunicar sus resultados. Todo lo cual afecta especialmente a las ciencias sociales, las artes y las humanidades de los países no hegemónicos que serían, así, doblemente periféricas (Vasen y Lujano, 2017). 

Ahora bien, a pesar de la incidencia de estos estándares globales, hemos argumentado, que los procesos de evaluación en América Latina y el Caribe no están simplemente colonizados por el Norte: existen decisiones nacionales, en distintos niveles, que contribuyen, o no, en esa dirección. El margen de maniobra que ofrece ese espacio de posibilidades que tienen las políticas evaluativas podría aprovecharse cada vez más si se abordasen cambios en tres direcciones. En primer lugar, las evaluaciones son realizadas en un lugar específico y resulta fundamental conocer de manera directa qué saberes y estilos de producción son propios de ese espacio. En segundo lugar, las escalas de categorización/clasificación siguen siendo prerrogativa de las políticas científicas nacionales o institucionales, que son las que otorgan las posiciones o promociones. Un adecuado diálogo entre esos órdenes locales y los estándares globales puede producir criterios menos dependientes de cánones “universalizados”. En tercer lugar, es necesario observar otras prácticas académicas en las que se produce y circula conocimiento, como la extensión universitaria y la vinculación tecnológica. 

La difusión de la idea de “ciencia aplicada” como prerrogativa de las ingenierías, las ciencias exactas y naturales, y el desconocimiento del potencial que las ciencias sociales y humanas tienen para intervenir en los problemas de la sociedad, movilizó al Consejo de Decanos de Facultades de Ciencias Sociales y Humanas en Argentina a pronunciarse en relación con las particularidades del impacto social de estas disciplinas. Por una parte, señalaron que puede haber, y generalmente hay, asincronía entre la producción de conocimientos necesarios para políticas públicas y la posibilidad de implementar esas políticas. De hecho, una investigación de excelencia y de alta relevancia podría alentar una direccionalidad contra la política pública definida por un gobierno democráticamente electo. Y eso la convertiría en inaplicable en ese contexto. Por eso proponen la denominación de “investigación fundamental orientada al uso” para aquellos conocimientos potencialmente transferibles en recomendaciones de política o en intervenciones en comunidades (CODESOC, 2012). Efectivamente, hay un gigantesco stock de información sobre los temas más diversos y una producción considerable que se nutre de un flujo que muchas veces queda dentro de las fronteras académicas. Eso se debe a la conjunción de la falta de hábito por parte del mundo científico de dialogar con otros saberes y otras audiencias, y de la dificultad del mundo de la gestión gubernamental para tomar decisiones informadas. 

Todo esto replantea, además, cuál es y cuál debe ser la participación de las ciudadanas y ciudadanos en general y de las organizaciones sociales en el establecimiento de los temas prioritarios y las agendas científicas nacionales. Y por qué no también en la evaluación de los proyectos a financiar y de sus resultados (Sivertsen y Meijer, 2020). Si vivimos en sociedades democráticas donde la ciudadanía y sus representantes deberían definir los rumbos, donde esos rumbos se implementen en base al conocimiento de la propia sociedad que los escoge y que es la destinataria de la inversión pública en ciencia y tecnología, resulta crucial analizar nuevas formas de evaluación participativa. El movimiento de ciencia abierta, que toma cada vez más fuerza a nivel internacional, y entra en fase de definición con el proceso de redacción de una Recomendación de UNESCO, removerá, sin dudas, algunos de los pilares de la industria del prestigio que se montó alrededor del factor de impacto de las revistas. El cambio en la cultura científica que propone no sólo incluye la publicación en acceso abierto sino abrir los datos primarios de las investigaciones para estimular la colaboración y la conversación mundial de la ciencia. 

Sabemos que anidan en este movimiento varios proyectos contrapuestos y el riesgo de una mercantilización del acceso abierto, como se ha visto en la propuesta del Plan S europeo de transferir los costos de las revistas de las editoriales oligopólicas a los autores o a las instituciones públicas (Debat y Babini, 2019). Pero puede ser una gran oportunidad para América Latina y así ofrecer su modelo de publicaciones en acceso abierto no comercial y sostenido por las universidades. En ese camino, FOLEC se presenta como un espacio ideal para discutir y consensuar nuevos indicadores de evaluación académica, así como nuevas políticas evaluativas que revaloricen el circuito regional, estimulando la creación de repositorios institucionales para visibilizar y revalorizar la bibliodiversidad, el multilingüismo y la multi-escalaridad de la circulación del conocimiento.

Notas

* Este artículo está basado en el texto Evaluando la evaluación de la producción científica, que es uno de los documentos que preparé para la Serie Para una transformación de la evaluación de la ciencia en América Latina y el Caribe del Foro Latinoamericano de Evaluación de la Ciencia, una iniciativa regional impulsada por CLACSO https://www.clacso.org/folec/clacso-ante-la-evaluacion/. Agradezco a Dominique Babini, Laura Rovelli y Pablo Vommaro por sus aportes en esos documentos.

1 Ver https://sfdora.org/read/es/

2 Ver https://www.clacso.org/folec/clacso-ante-la-evaluacion/

Referencias Bibliográficas

Alperin, J.P., Babini, D. y Fischman, G. (Eds.). (2014). Indicadores de Acceso Abierto y Comunicaciones Académicas en América Latina. CLACSO. http://biblioteca.clacso.edu.ar/clacso/se/20141217052547/Indicadores_de_acceso_abierto.pdf

Arrillaga, H. (2015). Monitoreo de las prácticas de vinculación y transferencia tecnológica del sistema universitario: incentivos e impactos en la Argentina. Centro de Estudios en Ciencia, Tecnología, Cultura y Desarrollo (CITECDE), Universidad Nacional de Río Negro (UNRN) y Universidad Nacional del Litoral (UNL).

Babini, D. (2018). Las ciencias sociales de América Latina y la oportunidad de contribuir con indicadores de evaluación en M. Acero Gómez (coord.), Sistemas de evaluación y edición universitaria. Bogotá: ASEUC-Asociación de Editoriales Universitarias de Colombia. http://eprints.rclis.org/39534/ 

Beigel, F. (2017). Científicos Periféricos, entre Ariel y Calibán. Saberes Institucionales y Circuitos de Consagración en Argentina: Las Publicaciones de los Investigadores del CONICET. Dados. Revista de Ciências Sociais, IESP-UERJ, 60 (3), 825-865. 

Beigel, F. (2019). Indicadores de circulación: una perspectiva multi-escalar para medir la producción científico-tecnológica latinoamericana. Ciencia, Tecnología y Política, 2 (3), p.11.

Beigel F. y Bekerman, F. (2019). Culturas evaluativas: Impactos y dilemas del Programa de Incentivos a Docentes-Investigadores en Argentina (1993-2018). CLACSO-CONADU. https://www.clacso.org/culturas-evaluativas/ 

Beigel, F. y Gallardo, O. (2020). Productividad, bibliodiversidad y bilingüismo en un corpus completo de producciones científicas. Revista Iberoamericana de CTS, en prensa.

Biagioli, M. y Lippman, A. (2020). Gaming the Metrics Misconduct and Manipulation in Academic Research.

Bornmann L. (2012). Measuring the societal impact of research: research is less and less assessed on scientific impact alone-we should aim to quantify the increasingly important contributions of science to society. EMBO, 13(8), 673–676. Doi:10.1038/embor.2012.99 https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3410397/

Britto, F. y Lugones, G. (2020). Bases y determinantes para una colaboración exitosa entre ciencia y producción. CIETCI: Buenos Aires.

Buendía, A., García, S., Grediaga, R., Landesman, M., Rodríguez-Gómez, R., Rondero, N., Rueda, M., y Vera, H.       (2017). Queríamos evaluar y terminamos contando: Alternativas para la evaluación del trabajo académico. Sociológica. 32 (92), pp. 309-326. http://www.sociologicamexico.azc.uam.mx/index.php/Sociologica/article/view/1462/1214 

Cano Menoni, A. (2014). La extensión universitaria en la transformación de la universidad latinoamericana del siglo XXI: disputas y desafíos. CLACSO.

CODESOC (2012). Declaración del Consejo de Decanos de Facultades de Ciencias Sociales y Humanas Criterios para la evaluación de las ciencias sociales y humanas, y la jerarquización de la investigación científica con impacto social. Buenos Aires: CODESOC.

Debat, H. y Babini, D. (2019). Plan S in Latin America: A precautionary note. https://zenodo.org/record/3332621

Engels, T., Starcic, A. y Sivertse, G. (Eds.). (2018). Are book publications disappearing from scholarly communication in the social sciences and humanities? Aslib Journal of Information Management, 70 (6), 592-607. 

Erreguerena, F. (2020). Las matrices históricas de la Extensión Universitaria en América Latina. Relaciones entre la Extensión y la vinculación tecnológica en la argentina. CECIC: Mendoza.

Gantman, E. (2011). La productividad científica argentina en Ciencias Sociales: Economía, Psicología, Sociología y Ciencia Política en el CONICET (2004-2008). Revista Española de Documentación Científica, 34 (3), 408-425.

Giménez Toledo, E. y Córdoba Restrepo, J. F. (Eds.). (2018). Edición académica y difusión. Libro abierto en Iberoamérica. Comares. Universidad del Rosario.

Gingras, Y. (2016). Bibliometrics and research evaluation. Uses and abuses. MIT Press.

Hanafi, S. (2011). University systems in the Arab East: Publish globally and perish locally vs publish locally and perish globally. Current Sociology, 59 (3), 291–309.

Kehm, B. (2020). Global University Rankings: Impacts and Applications en M. Biagioliy A. Lippman, A. (Eds.) Gaming the metrics: misconduct and manipulation in academic research (pp.93-100). Cambridge, MA: MIT Press.

Losego, P. y Arvanitis, R. (2008). La science dans les pays non hégémoniques. Revue d’anthropologie des connaissances, 2 (3), 334-342. http://doi.org/10.3917/rac.005.0334

Naidorf, J. y Perrotta, D. (2017). La privatización del acceso abierto. Nuevas formas de colonización académica en América Latina y su impacto en la evaluación de la investigación. Universidade, (73), 41-50. https://www.redalyc.org/pdf/373/37353384005.pdf

Paradeise, C. y Thoenig, J. C. (2013). Academic Institutions in Search of Quality: Local Orders and Global Standards. Organization Studies, 34 (2), 189–218. 

Paradeise, C. y Thoenig, J. C. (2015). In search of academic quality. Palgrave Mac Millian.

Piovani, J.I. (2015). Reflexiones metodológicas sobre la evaluación académica; Federación Nacional de Docentes Universitarios. Instituto de Estudios y Capacitación. Instituto de Estudios y Capacitación. Política Universitaria. https://ri.conicet.gov.ar/handle/11336/62023

Quan, W., Mongeon, P., Sainte-Marie, M., Zhao, R. y Larivière, V. (Eds.). (2019). On the development of China’s leadership in international Collaborations. Scientometrics 120, 707–721.

Ràfols, I., Chavarro, D. y Tang, P. (Eds.). (2018). To what extent is inclusion in the Web of Science an indicator of journal “quality”? Research Evaluation, 27 (2), 106–118. https://doi.org/10.1093/reseval/rvy001

Ràfols, I. (2019). S&T Indicators ‘In the Wild’: Contextualisation and Participation for Responsible Metrics. Research Evaluation, 28 (1), 7-22. https://doi.org/10.1093/reseval/rvy030.

Ramos Zincke, C. (2014). Local and global communications in Chilean social science: Inequality and relative autonomy. Current Sociology, 62 (5), 704–722. https://doi.org/10.1177/0011392114521374

Rikap, C. y Naidorf, J. (2020). Ciencia privatizada en América Latina. Con-Ciencia Social, (2), 57-76 http//:doi.org/10.7203/con-cienciasocial.3.16790

Robinson-García, N., Repiso, R. y Torres-Salinas, D. (2018). Perspectiva y retos de los profesionales de la evaluación científica y la bibliometría. El profesional de la información, 27 (3), 461-466. https://doi.org/10.3145/epi.2018.may.01

Robinson-García, N. y Ràfols, I. (2019). The differing meanings of indicators under different policy contexts. The case of Internationalization. https://www.researchgate.net/publication/335990226 

Sábato, J. y Botana, N. (1968). La ciencia y la tecnología en el desarrollo futuro de América Latina en J. Sábato, El pensamiento latinoamericano en la problemática ciencia- tecnología- desarrollo- dependencia. (pp.143-157). Buenos Aires: Paidós.

Sivertsen, G. (2019). Understanding and Evaluating Research and Scholarly Publishing in the Social Sciences and Humanities (SSH). Data and Information Management, 3 (2), 61–71.

Sivertsen, G. y Meijer, I. (2020). Normal versus extraordinary societal impact: how to understand, evaluate, and improve research activities in their relations to society? Research Evaluation, 29 (1),      66-70. http://doi.org/10.1093/reseval/rvz032 

Spaapen, J. y Sivertsen, G. (2020). Assessing societal impact of SSH in an engaging world: focus on productive interaction, creative pathways and enhanced visibility of SSH research. Research Evaluation, 29 (1), 1–3. http://doi.org/10.1093/reseval/rvz035

Tao Tao (2020). New Chinese Policy Could Reshape Global STMPublishing. The Scholarly Kitchen.

Tommasino, H. y Stevenazzi, F. (2016). Reflexiones en torno a las prácticas integrales en la Universidad de la República. Revista + E (6), 120-129. Ediciones UNL.

Vasen, F., y Lujano-Vilchis, I. (2017). Sistemas nacionales de clasificación de revistas científicas en América Latina: tendencias recientes e implicaciones para la evaluación académica en ciencias sociales. Revista Mexicana de Ciencias Políticas y Sociales, (62), 199–228. http://www.redalyc.org/pdf/421/42152785008.pdf

Vélez-Cuartas, G., Lucio-Arias, D. y Leydesdorff, L. (2016). Regional and global science: Publications from Latin America and the Caribbean in the SciELO Citation Index and the Web of Science. El profesional de la información, 25 (1), 35-46. http://www.elprofesionaldelainformacion.com/contenidos/2016/ene/05.pdf

Vélez Cuartas Coord. (2019). Métricas de Vinculación Universidad-Entorno en la Universidad de Antioquia. Antioquia/COLAV.

Versino, M., Guido, L. y Di Bello, M. (2012). Universidades y sociedades: aproximaciones al análisis de la universidad argentina con los sectores      productivos. Buenos Aires: IEC-CONADU, UNGS.

Vessuri, H., Guédon, J.C. y Cetto, A.M. (2014). Excellence or quality? Impact of the current competition regime on science and scientific publishing in Latin America and its implications for development. Current Sociology, 62 (5). http://eprints.rclis.org/23682/1/Current-socio-published-non-Sage-format.pdf

Wagner, C., Whetsell, T. y Mukherjeec, S. . (2019). International Research Collaboration: Novelty, Conventionality, and Atypicality in Knowledge Recombinatio, Research Policy . 48 (5),     1260-1270).     . 

Zhang, L., & Sivertsen, G. (2020). The New Research Assessment Reform in China and Its Implementation. Scholarly Assessment Reports, 2(1), 3. DOI http://doi.org/10.29024/sar.15