=
Editorial
Note / Nota Editorial
Pros a=
nd cons
of university ranking
Pros
y contras del ranking universitario
Professor Emeritus, Catholic University =
of
Leuven, Belgium.
Corresponding author:
jan.feyen@kuleuven.be
Ranking of universities has become over the past two dec=
ades
a common practice and the institutions interest in ranking at national and
international level is only increasing. Universities, analogous to the
industry, increasingly use their ranking to highlight their quality and
excellence, with the objective to increase its visibility leading to a posi=
tive
impact on the attraction of students and faculty, and cooperation with the
public and private sector. Various studies showed that the ease of fund
raising, international cooperation, recruitment of international and local
students, graduate employment, and the cooperation with the private and pub=
lic
sector are positively affected by the institutions ranking.
Different rankings are used at international level, of w=
hich
the most well-known are: ARWU (Academic Ranking of World University,
also called Ranking of Shanghai, 2003[1]),
HEEACT/NTU (Performance Ranking of Scientific Papers for World
Universities published in 2007 by the Higher Education Evaluation &
Accreditation Council of Taiwan, and since 2012 by the National University =
of
Taiwan), SIR (SCimago Institutions Ranki=
ngs
published by a Spain-based research organization, 2009), CSIC
(Webometrics Ranking published by the Spanish National Research Council, 20=
04),
THE (Times Higher Education Ranking, 2004), QS (Quacquarelli Symonds Ranking, 2004), and URAP
(University Ranking by Academic Performance, a ranking system developed by =
the
Informatics Institute of Middle East Technical University, 2010). Each of t=
he
ranking systems use different criteria, data and indicators for the computa=
tion
of the rank of a higher education institute or university. Some of them put
more the focus on research and innovation, while others on teaching and
learning, cooperation with the public and private sector, community engagem=
ent
and internationalization. It should therefore not be surprising that the ra=
nk of
a university is different depending on the ranking method used.
If an institut=
ion
is interested to define its ranking, for example to known where the univers=
ity
is located in the higher education landscape of the country, region or
international level it is important to first clarify the objectives of the
exercise. Why does an institution want to know its position with respect to
what aspect? Is the reason the attraction of more students? In that case the
institution should apply a ranking method with focus on the educational qua=
lity
of the university, and the ease students after graduation find employment at
the job market. When
La clasificación de universidades se ha convertido=
en
las últimas dos décadas en una práctica común y el interés de las instituci=
ones
por clasificar a nivel nacional e internacional no hace más que aumentar. L=
as
universidades, análogas a la industria, utilizan cada vez más su ranking pa=
ra
destacar su calidad y excelencia, con el objetivo de aumentar su visibilida=
d y
generar un impacto positivo en la atracción de estudiantes y profesores, y =
la
cooperación con el sector público y privado. Varios estudios mostraron que =
la
facilidad para recaudar fondos, la cooperación internacional, la contrataci=
ón
de estudiantes internacionales y locales, el empleo de graduados y la
cooperación con el sector público y privado se ven afectados positivamente =
por
la clasificación de la institución.
A nivel internacional se utilizan diferentes ranki=
ngs,
los más conocidos son: ARWU (Ranking Académico de la Universidad
Mundial, también llamado Ranking de Shanghai, 2=
0031),
HEEACT/NTU (Ranking de Desempeńo de Artículos Científicos para
Universidades del Mundo publicado en 2007 por el Consejo de Evaluación y
Acreditación de Educación Superior de Taiwán, y desde 2012 por la Universid=
ad
Nacional de Taiwán), SIR (SCimago Institutions Rankings publicado por una organización =
de
investigación con sede en Espańa, 2009), CSIC (Ranking Webometrics publicado por el Consejo Nacional de
Investigación de Espańa, 2004), THE (Times High=
er
Education Ranking, 2004), QS (Quacquarelli Symonds Ranking, 2004) y URAP (
Si una institución está interesada en definir su r=
anking,
por ejemplo, para saber dónde se ubica la universidad en el panorama de
educación superior del país, región o nivel internacional, es importante
primero aclarar los objetivos del ejercicio. ż=
Por qué una institución quiere conocer su
the university
wants to become a leading player in business and technology, the production=
of
patents and the interaction with the industry, it is recommended that the
institution checks its position with respect to other institutions via a
ranking system that checks the universitys research, technological and
innovation capacity. The reason for this is that none of the available rank=
ing
methods address the same criteria and allocate the same weightings to the
criteria. For example, SIR-SCimago put a weight=
of
40% to research, 30% to innovation and 20% to societal bounds; the indicato=
rs
of the Webometrics Ranking method aim to highlight the visibility (50%) and
activity (50%) of the institution based on the characteristics and interact=
ion
of its website. The QS Ranking measures the institutions academic (40%) and
employer (10%) reputation, in addition to the faculty/student ratio (20%),
citations per faculty (20%), and the international faculty (5%) and
international student (5%) ratio. None of the three ranking methods contain=
an
explicit criterium that addresses the educational quality of the institute,
unless one agrees that staff excellent in research are also good teachers. =
The
Ranking of Shanghai (AWRU) bases the ranking on an educational criterium bu=
t give
in the total ranking only a weight of 10% to this criterium. In addition, A=
RWU
defines the institutions educational quality not as such on the teaching a=
nd
learning quality of the different disciplinary fields that education offers,
but on the number of alumni that won Nobel prize and Field medals, and the
percent of students that obtained the masters or doctoral degree. As state=
d by
Șerban-Agachi
(2017) for its correct use and interpretation, it is important to understand
what is behind the methodology of a ranking. The rankings use indicators wh=
ich
they consider to be relevant for a certain goal.
Torres-Samuel =
et al.
(2018) showed in their study that the representation of the Latin American
universities in the ARWU and SIR-SCimago rankin=
gs is
low, respectively 2% in the ARWU ranking and 8% in the SIR-SCimago
ranking list of universities. There is a greater number of Latin American
universities in the QS (40%) and Webometrics (31%) rankings. The countries =
in
Latin America that lead in these four rankings are Brazil, Chile, Mexico,
Argentina, and Colombia, representing nearly 90% of the Latin American
universities in the Top50 universities (Torres-Samuel et al.,
2019). For the rankings published in 2021, none of the Ecuadorian universit=
ies
appear in the ARWU ranking, being considered the most prestigious ranking,
while 65 universities and higher education institutes appear in the Webomet=
rics
ranking; 21 universities were ranked in SIR, and only 6 in QS. The Universi=
ty
of Cuenca did not appear in the list of 6 Ecuadorian universities retained =
in
the 2021 published QS ranking, and of course not in the ARWU ranking in whi=
ch
none of the Ecuadorian universities has been listed. The University of Cuen=
ca
occupies the 6th position of the 21 Ecuadorian institutes listed=
in
SIR-SCimago ranking and the 8th posi=
tion
of the 65 universities in the Webometrics ranking. This brief analysis clea=
rly shows
that Latin American institutions, except for a small minority, lags in their
ranking behind the better universities in Asia, Europe and the USA. However=
, at
country level is the University of Cuenca listed in the Top10 universities
considering the 2021 SIR SCimago and Webometric
rankings.
Should the
Ecuadorian universities start panicking given their overall low-ranking
position? Not at all. One should
posición =
con respecto a qué aspecto? żEs la razó=
n la
atracción de más estudiantes? En ese caso, la institución debería aplicar un
método de clasificación centrado en la calidad educativa de la universidad =
y la
facilidad con que los estudiantes después de graduarse encuentran empleo en=
el
mercado laboral. Cuando la universidad quiere convertirse en un actor líder=
en
negocios y tecnología, la producción de patentes y la interacción con la
industria, se recomienda que la institución verifique su posición con respe=
cto
a otras instituciones a través de un sistema de clasificación que verifique=
la
investigación, tecnología y capacidad de innovación. La razón de esto es que
ninguno de los métodos de clasificación disponibles aborda los mismos crite=
rios
y asigna las mismas ponderaciones a los criterios. Por ejemplo, SIR-SCimago usa una ponderación del 40% a la investigació=
n, del
30% a la innovación y del 20% a la vinculación con la sociedad; los indicad=
ores
del método Webometrics Ranking tienen como obje=
tivo
destacar la visibilidad (50%) y la actividad (50%) de la institución en fun=
ción
de las características e interacción de su sitio web. El QS Ranking mide la
reputación académica (40%) y del empleador (10%) de las instituciones, adem=
ás
de la proporción de profesores/estudiantes (20%), las citas por facultad (2=
0%)
y la proporción de docentes (5%) y estudiantes internacionales (5%). Ningun=
o de
los tres métodos de clasificación contiene un criterio explícito que aborde=
la
calidad educativa del instituto, a menos que uno esté de acuerdo en que el
personal excelente en investigación también es un buen maestro. El Ranking =
de Shanghai (AWRU) basa el ranking en un criterio educat=
ivo,
pero otorga en el ranking total solo un peso del 10% a este criterio. Ademá=
s,
la ARWU define la calidad educativa de la institución no como tal en la cal=
idad
de la enseńanza y el aprendizaje de los diferentes campos disciplinares que=
la educación
ofrece, sino en el número de egresados que obtuvieron el premio Nobel y/o
medallas Field, y el porcentaje de estudiantes que obtuvieron el grado de
maestría o doctorado. Como afirma Șerban-Agachi
(2017) para su correcto uso e interpretación, es importante entender qué hay
detrás de la metodología de un ranking. Las clasificaciones utilizan
indicadores que consideran relevantes para un determinado objetivo.
Torres-Samuel et al. (2018) mostraron en su
estudio que la representación de las universidades latinoamericanas en los
rankings ARWU y SIR-SCimago es baja, respectiva=
mente
2% en la lista de universidades en el ranking ARWU y 8% de las institucione=
s en
el ranking SIR-SCimago. Existe un mayor número =
de
universidades latinoamericanas en los rankings QS (40%) y Webometrics
(31%). Los países de América Latina que lideran en estos cuatro rankings son
Brasil, Chile, México, Argentina y Colombia, que representan casi el 90% de=
las
universidades latinoamericanas en el Top50 de universidades (Torres-Samuel =
et
al., 2019). Para los rankings publicados en 2021, ninguna de las univer=
sidades
ecuatorianas aparece en el ranking ARWU, siendo considerada el ranking de m=
ayor
prestigio, mientras que 65 universidades e institutos de educación superior
aparecen en el ranking de Webometrics; 21
universidades se clasificaron en SIR y solo 6 en QS. La Universidad de Cuen=
ca
no apareció en la lista de las 6 universidades ecuatorianas retenidas en el
ranking QS publicado 2021, y por supuesto tampoco en el ranking ARWU en el =
que
no figura ninguna de las universidades ecuatorianas. La
Universidad de Cuenca ocupa la sexta
posición entre 21
be aware, as
stated by Nicol & Preece (2021), that rank=
ings
are fickle, difficult to manage and leave the institutions fate in the han=
ds
of publishers looking to satisfy their own ends. The ranking methods used a=
re
not free of error, for example, it is incorrect using the same citation
criteria for faculty in the engineering and social science field since the
culture and practice of citation differs with the academic field. Using the
same criteria for different study fields might lead to an over- or
underqualification of the ranking. Many more shortcomings and misinterpreted
uses in ranking methods can be quoted, which makes the result of the ranking
often disputable. In addition, the 2020 QS International Student Survey[2] showed that there is a significant
mismatch between the way rankings are compiled and the perceptions of stude=
nts.
This study revealed that students believe that employment outcomes and empl=
oyer
views are more important than staff quality, student satisfaction and resea=
rch
publication. Furthermore, Da Wan (2021) claims that the impact of global
university rankings is damaging for universities in postcolonial societies.
According to this author is the fundamental problem with rankings that all =
universities
are expected to fit into a prescribed framework, regardless of their purpos=
e or
location.
Independent of= the pros and contras of the methods used for the ranking of universities, the challenge is to improve the quality of the universitys activities (teaching and learning, research, innovation, community engagement, internationalizat= ion, and so on) given the institutions ranking, history and situation, number of staff and students, operating costs and revenue, and aims to become for exa= mple one of the Top-100 teaching-research universities in Latin America. This requires the identification and development of a well targeted policy, that= is supported and pursued by the entire academic and administrative community. = An activity worth considering that might guide this process is the benchmarkin= g of the institution against another similar but better ranked university to sha= re knowledge and experience, identify gaps in services and processes, and hence opportunities for improvement, the identification of new approaches and/or systems as well as ideas that brings a critical external focus to the inter= nal review process (Temmerman, 2021). <= o:p>
institutos ecuatorianos que figuran en el ranking =
SIR-SCimago y la octava posición de las 65 universidades =
en el
ranking Webometrics. Este breve análisis muestra
claramente que las instituciones latinoamericanas, salvo una pequeńa minorí=
a,
están rezagadas en su clasificación con respecto a las mejores universidade=
s de
Asia, Europa y Estados Unidos. Sin embargo, a nivel de país, la Universidad=
de
Cuenca figura en el Top10 de universidades considerando los rankings SIR-
żDeberían las universidades ecuatorianas comenzar a
entrar en pánico dada su baja posición general? Para nada. Hay que tener en
cuenta, como afirman Nicol & Preece (2021),=
que
las clasificaciones son volubles, difíciles de gestionar y dejan el destino=
de
la institución en manos de compańías editoriales que buscan satisfacer sus
propios fines. Los métodos de clasificación utilizados no están libres de
error, por ejemplo, es incorrecto usar los mismos criterios de citación par=
a el
campo de la ingeniería y las ciencias sociales, ya que la cultura y la prác=
tica
de la citación difieren con el campo académico. El uso de los mismos criter=
ios
para diferentes campos de estudio puede llevar a una sobre o sub-calificación en el ranking. Se podría mencionar m=
uchas
más deficiencias y usos mal interpretados en los métodos de clasificación, =
lo
que hace que el resultado de la clasificación sea a menudo discutible. Adem=
ás,
la 2020 QS International Student Sur=
vey2
mostró que existe un desajuste significativo entre la forma en que se compi=
lan
las clasificaciones y las percepciones de los estudiantes. Este estudio rev=
eló
que los estudiantes creen que los resultados laborales y las opiniones de l=
os
empleadores son más importantes que la calidad del personal académico, la
satisfacción de los estudiantes y la publicación de investigaciones. Además=
, Da
Wan (2021) afirma que el impacto de los rankings
universitarios globales es perjudicial para las universidades en sociedades
poscoloniales. Según este autor, el problema fundamental con las
clasificaciones es que se espera que todas las universidades encajen en un
marco prescrito, independientemente de su propósito o ubicación.
Independientemente de los pros y contras de los
métodos utilizados para el ranking de universidades, el desafío es mejorar =
la
calidad de las actividades de la universidad (enseńanza y aprendizaje,
investigación, innovación, compromiso con la comunidad, internacionalizació=
n,
etc.) dado el ranking de la institución, historia y situación, número de
personal y estudiantes, costos operativos e ingresos, y su visión a
convertirse, por ejemplo, en una de las 100 mejores universidades de
enseńanza-investigación de América Latina. Esto requiere la identificación =
y el
desarrollo de una política bien enfocada, que sea apoyada y aplicada por to=
da
la comunidad académica y administrativa. Una actividad que vale la pena
considerar y que podría orientar este proceso es la evaluación comparativa =
de
la institución con otra universidad similar pero mejor posicionada para así
compartir conocimientos y experiencias, identificar brechas en los servicio=
s y
procesos y, por ende, oportunidades de mejora, como por ejemplo la
identificación de nuevos enfoques y/o sistemas, así como ideas que aporten =
un
enfoque externo crítico al proceso de revisión interna (Temmerman,
2021).
REFERENCES / REFERENCIAS
Da Wan, C. (2021). The role of glo=
bal
rankings in recolonizing universities. University World News Magazine, 25 M=
ay.Ș=
;erban-Agachi, P. (2017). Improving performance of
universities using university rankings. Case study, Al Farabi
Kazakh National University, Kazakhstan. Journal of Research in Higher
Education, 1, 23-36.
Torres-Samuel, M., Vásquez, C. L., Viloria, A., Varela, =
N., Hernández-Fernandez, L., & Portillo-Medina, R. (2018). Analysis of
patterns in the University World Rankins Webometrics, Shanghai, QS and SIR-=
SCimago: Case Latin America. In: Y. Tan et al. (Eds.). DMBD 2018, LNCS 10943, pp. 188-199. https://doi=
.org/10.1007/978-3-319-93803-5_18
Torres-Samuel, M., Vásquez, C. L., Luna-Cardozo, M.,
[1] The y=
ear
the ranking system was first published.
[2] https://www.qs.com/portfolio-items/international-s=
tudent-survey-2020/
|
MASKANA, Vol. 12, No. 1, 1-4, 2021 https://publicaciones.ucuenca.edu.ec/ojs/index.php/maskana/article/vi=
ew/3775 doi: 10.18537/mskn.12.01.00 Š Auth=
or(s)
2021. CC Attribution 4.0 License. |
|
J. Feyen: Editorial Note / Nota Editorial
J. Feyen: Editorial Note / Nota Editorial
J.
Feyen: How to improve and maintain the relevance of an institutional resear=
ch
journal?