Con ello, se limitan a medir actividades de internacionalización de tipo tradicional, sin incorporar el concepto actual de internacionalización comprehensiva. Ésta ha sido definida como «un compromiso, que se corrobora en la acción, para infundir una perspectiva internacional y comparativa en las misiones de enseñanza, investigación y servicio de la educación superior, configurando con ello el ethos y los valores institucionales, impactando así a todo el quehacer educativo. Es esencial que sea adoptada por el liderazgo institucional, la gobernanza, los académicos, los estudiantes y las unidades de servicios académicos y apoyo. Se trata de un imperativo institucional y no de una posibilidad que es deseable» (Hudzik, 2011).19 La ausencia de este concepto en los rankings globales resulta extraña en vista de que la internacionalización forma parte de las características básicas de las universidades de clase mundial (Salmi, 2009).
Rankings sin tablas de posiciones: Leiden y SCImago
Los rankings Leiden y SCImago se concentran exclusivamente en el desempeño de la investigación y ambos se caracterizan por obtener un puntaje que no es la sumatoria de varias medidas sino que jerarquizan las IES con base en el total obtenido en cada indicador (Waltman et al., 2012). La regla general en estos casos es presentar los resultados por medio de una serie ordenada por sólo uno de éstos. Así, los resultados de SCImago se presentan en una sola tabla, la que en cada renglón muestra los puntajes de una IES en cada uno de los siete indicadores anteriores, pero cuyo orden está determinado sólo por el indicador de producción científica; en esta forma se evita la jerarquización de IES a partir de un indicador compuesto y con ello la formación de una tabla de posiciones (SCIimago Institutions Rankings, 2012).
3. LIMITACIONES Y PROBLEMAS DE LOS RANKINGS
Los rankings globales han recibido críticas desde diferentes ángulos. Por una parte, se ha señalado una serie de deficiencias que, siendo inherentes a cada metodología, identifican limitaciones comunes que se deben tomar en cuenta al usarlas como instrumentos de evaluación y transparencia; así como en su función de producir información para la toma de decisiones estratégicas sobre reforma educativa y asignación de fondos. Por otro lado, se han hecho críticas específicas, de diferente índole, a cada uno de ellos. En esta sección se examinan estas objeciones en el siguiente orden: 1) obstáculos que se derivan de un concepto de calidad que es incompleto y parcial; 2) dificultades inherentes al procedimiento de cálculo y a los indicadores mismos.
Falta de consenso en el concepto de calidad
En la sección anterior, se vio que las metodologías de ARWU, THE y QS comparten con muchos rankings nacionales el seleccionar indicadores y asignarles pesos específicos para llegar a una cifra final única (Salmi & Saroyan, 2007). Desde su surgimiento se han señalado varias dificultades concomitantes con esta orientación metodológica (CHERPA-Network, 2010; Hazelknorn, 2011a; 2012a; Lloyd, Ordorika, & Rodríguez-Gómez, 2011; Marginson & Wende van der, 2007a; Marginson & Wende van der, 2007b; Salmi & Saroyan, 2007).También se ha observado que los indicadores seleccionados tienen limitaciones, en algunas ocasiones drásticas, para medir la realidad que buscan representar. En cada ranking, los indicadores y sus porcentajes correspondientes se determinan a partir de un conjunto de supuestos que asumen implícitamente un concepto de lo que constituye la calidad de la ES. Por esta razón sería de esperarse que la metodología de cada ranking partiera de una discusión amplia sobre esta noción. Sin embargo, los juicios en que se basan estas decisiones básicas –los indicadores mismos y sus pesos correspondientes– no son explícitos ni tienen la sistematización requerida20 como se vio en la sección anterior, creándose la impresión de que, en última instancia, los guía una inclinación subjetiva, o bien consideraciones prácticas sobre la disponibilidad y confiabilidad de la información que se requiere para determinar sus valores, tal como se ha señalado por Dill and Soo (2005), Kehm and Stensaker (2009), Longden (2011), Marginson and Wende van der (2007a), Usher and Medow (2009), Usher and Savino (2006), and Vught van and Ziegele (2012). En particular, las razones por las cuales se elige cada indicador, en vez de otros del mismo tipo, no se apoyan en una fundamentación teórica (Vught van & Westerheijden, 2010). Esta falta de bases constituye un hueco metodológico que se ha señalado como un elemento de arbitrariedad en estos rankings. Ello ha dado como resultado la falta de consenso en el concepto de calidad que en cada caso se asume (Hazelkorn, 2012a). La relatividad de estos rankings, mostrada en esta falta de acuerdo, no es una objeción definitiva en sí misma, ya que cada uno podría estar asumiendo un enfoque parcial sobre lo que constituye la calidad de la ES, que sería complementario a los demás. Desafortunadamente esto no es posible como se verá en el siguiente apartado.
Un solo modelo de universidad
Como se mencionó en la tercera sección, los rankings ARWU, THE y QS consideran de manera preferente la investigación al comparar y evaluar IES. Esta decisión se basa en tres supuestos: 1) que la calidad de la enseñanza y el aprendizaje está determinada por la investigación que se lleva a cabo en una institución; 2) que las IES con mayor calidad, es decir aquellas que son de clase mundial, son las dedicadas a la investigación intensiva con resultados «de punta»; 3) es difícil conseguir información confiable y relevante que pueda ser internacionalmente comparable en funciones universitarias como el aprendizaje, la transferencia de conocimientos o el involucramiento regional. Basta recordar que ARWU (80%), THE (62.5%) y QS (60%) le asignan a los indicadores de investigación el mayor porcentaje (Tabla 5), y los indicadores de aprendizaje quedan reducidos al 10%, 30% y 20%, respectivamente (Tabla 6). De acuerdo con las empresas que los producen, esta falta de proporción se justifica en gran medida en el hecho de que se evalúa un tipo particular de universidades (Baty, 2011a; Liu & Cheng, 2005). Las razones para esta preferencia se explican, en parte, por las dificultades para llevar a cabo comparaciones globales con otros modelos de universidades (Marginson & Wende van der, 2007a). Con ello, se reconoce implícitamente que estos rankings son inadecuados para evaluar el desempeño de IES con una misión diferente. Por lo demás, el precio de tener como parámetro al modelo de universidad de investigación de clase mundial, y específicamente a su modalidad norteamericana, es la exclusión de otras instituciones con altos estándares de calidad académica como es el caso de IES de tipo vocacional y tecnológico de gran prestigio mundial como las Fachhochschulen de Alemania y las Grandes Écoles de Francia. Con ese enfoque, se deja fuera también a instituciones como los colegios de artes liberales (Wende van der, 2008). Esta consecuencia refuerza aún más la conclusión del párrafo anterior de que hay aspectos de la calidad de la ES que no se consideran en los rankings como THE y QS.
Otra razón que muestra lo insuficiente que es evaluar el desempeño de todas las IES con una sola dimensión es que no existe una relación necesaria entre la investigación, la calidad de la docencia y la del aprendizaje de los egresados (Verburgh, Elen & Lindblom, 2007). Desde luego, esta relación no debe confundirse con la implementación de actividades de aprendizaje basadas en enfoques docentes que ejercitan habilidades cognitivas de orden superior utilizando modelos de razonamiento científico como el planteamiento de problemas y el diseño de preguntas e hipótesis de investigación.21 Más aún, no hay métodos globalmente aceptados para medir la calidad de la docencia y evaluar su impacto en los estudiantes (Altbach, 2006). Esto sugiere que la contribución de la investigación a la formación de los estudiantes se debe buscar a través de los resultados de aprendizaje, es decir, midiendo los conocimientos, habilidades y actitudes que poseen los estudiantes al graduarse. Ésta es una de las razones que hacen promisoria la evaluación internacional de éstos como se propone hacerlo el programa Assessment of Higher Education Learning Outcomes (AHELO), (Nusche, 2008).
La dificultad de comparar el desempeño de las IES también se debe a razones metodológicas señaladas reiteradamente por varios autores (Dill & Soo, 2005; Hazelkorn 2012a; 2012b;Liu & Cheng, 2005;Lloyd, Ordorika & Rodríguez-Gómez, 2011;Marginson & Wende van der, 2007a; 2007b;Ordorika & Rodríguez-Gómez, 2010; Raan van, 2007; Salmi and Saroyan, 2007; Wende van der, 2008;Wende van der & Westerheijde; 2009). Estas