La_medicion_de_la_eficiencia_de_las_escu

Vista previa del material en texto

La medición de la eficiencia de las escuelas:
una revisión crítica *
DANIEL SANTÍN
Universidad Complutense de Madrid
Recibido: Noviembre, 2004
Aceptado: Abril, 2006
Resumen
Desde sus orígenes, las técnicas de medición de la eficiencia de las escuelas han sido extensamente utilizadas para la
evaluación de su gestión. El objetivo de este trabajo es realizar una revisión crítica de los riesgos de este análisis cuando
es llevado a cabo sin tener en cuenta las especiales características de un sector como el educativo, en el que la función
de producción resulta tan difícil de determinar. En este artículo se propone además el uso de árboles de decisión como
técnica de análisis del sector educativo. Esta técnica permite generar reglas lógicas para modelar la función de produc-
ción educativa y ofrece un marco sencillo para la toma de decisiones de asignación de gasto público educativo. Para
ilustrar estas ideas se ha desarrollado un análisis empírico utilizando datos de alumnos españoles de quince años que
fueron evaluados en el Proyecto PISA (Programme for International Student Assessment) en el año 2000.
Palabras clave: Eficiencia, gasto público educativo, árboles de decisión.
Clasificación JEL: C44, C61, H52, I21.
1. Introducción
El gasto público en educación supone en la mayoría de los estados modernos la segunda
partida presupuestaria inmediatamente después del gasto sanitario. Además, dentro de este
sector la educación no universitaria representa más de dos tercios del monto total [MECD,
2006]. Es por ello que el análisis del proceso productivo de las escuelas puede derivar en me-
joras del bienestar social tanto a través de la optimización del presupuesto como en la mejora
de los objetivos perseguidos. Actualmente, la mayor parte de las administraciones educativas
Hacienda Pública Española / Revista de Economía Pública, 177-(2/2006): 57-82
© 2006, Instituto de Estudios Fiscales
* Quisiera agradecer la financiación recibida por el Instituto de Estudios Fiscales para la elaboración de un
Proyecto de Investigación más amplio del que forma parte el presente artículo. Asimismo, este trabajo se ha
beneficiado de los comentarios recibidos por los asistentes al Seminario Performances dans l’education en el
Centre de Recherche en Economie Publique et de la Population (CREPP) del Departamento de Economía de la
Universidad de Lieja (Lieja, 13 de septiembre de 2004), al IV Workshop de Eficiencia y Productividad (Oviedo, 25
y 26 de septiembre de 2004) y al XII Encuentro de Economía Pública (Palma de Mallorca, 3 y 4 de febrero de 2005).
Por último, quiero también agradecer especialmente las sugerencias metodológicas recibidas por los profesores
Manuel Muñiz, Sergio Perelman, Diego Prior, Javier Salinas y dos evaluadores anónimos. Todos los errores que
puedan ser detectados son, sin embargo, de mi entera responsabilidad.
tienen como desafío prioritario la reducción del fracaso escolar y la mejora de los resultados
académicos. Así, para el caso de España la Ley Orgánica 2/2006, de 3 de mayo, de Educa-
ción (LOE), presenta entre sus principales objetivos la reducción del fracaso escolar. En su
preámbulo, la LOE señala como uno de sus principios fundamentales: «(...) Tras haber con-
seguido que todos los jóvenes estén escolarizados hasta los dieciséis años de edad, el objeti-
vo consiste ahora en mejorar los resultados generales y en reducir las todavía elevadas tasas
de terminación de la educación básica sin titulación y el abandono temprano de los estudios
(...)». Cada fracaso escolar supone una pérdida de capital humano y por tanto un deterioro a
medio y largo plazo de la competitividad y la capacidad de crecimiento y desarrollo de la
economía. Además, esta realidad aparece a menudo asociada a externalidades negativas
como la marginalidad, la exclusión social o el desempleo.
Dada la prácticamente unánime importancia que el conjunto de la sociedad atribuye a es-
tos objetivos, resulta necesario replantear el papel que el análisis económico puede jugar
para sus logros. Desde el punto de vista de la Teoría de la Economía Pública, el estudio de la
relación entre las variables individuales, familiares, escolares y contextuales (inputs educati-
vos) que influyen en los resultados escolares (outputs) debe ser analizado considerando la
posible existencia de comportamientos ineficientes en la producción. La falta de precios de
mercado, tanto en los inputs como especialmente en los outputs, hace que casi todos los tra-
bajos traten de medir el concepto Farreliano de ineficiencia técnica, relacionado con factores
como la organización o la falta de incentivos tanto monetarios como no monetarios.
Los principales métodos de medición de la eficiencia técnica en educación pueden ser
divididos en dos grandes grupos: los métodos no paramétricos, basados en modelos de opti-
mización matemática y los métodos paramétricos o econométricos. Así, desde los trabajos
pioneros de Bessent y Bessent (1980), Charnes et al. (1981) y Bessent et al. (1982), el análi-
sis envolvente de datos 1 (DEA) ha sido aplicado en numerosas ocasiones para la medición
de la eficiencia técnica en educación. Junto a esta técnica los métodos paramétricos, utiliza-
dos por ejemplo en Jiménez (1986), Sengupta (1987), Callan y Santerre (1990), Gyi-
mah-Brempong y Gyapong (1992), Deller y Rudnicki (1993) o Grosskopf et al. (1997), han
sido también aplicados, si bien los trabajos no paramétricos han sido y actualmente son más
numerosos que los paramétricos 2. Sin embargo, hasta donde este autor conoce, no existen
administraciones educativas públicas que sistemáticamente apliquen DEA o métodos para-
métricos para la toma de decisiones presupuestarias. Esta carencia de aplicaciones en el
mundo real, más allá de las que se realizan en investigación, debe ser objeto de una profunda
reflexión con el fin de encontrar qué causas justifican que ninguno de los actores implicados:
alumnos, padres, profesores y en definitiva los contribuyentes y la sociedad en su conjunto,
se beneficien de un análisis riguroso del proceso productivo de la educación.
Por otro lado, los árboles de decisión, inicialmente desarrollados por Morgan y Sonquist
(1963), son una técnica de análisis de datos inductiva utilizada para el aprendizaje de mode-
los de decisión a partir de una muestra de datos. Esta técnica tiene como objetivo extraer un
conjunto de reglas lógicas a partir de la información existente en los datos con el objetivo de
realizar futuras predicciones o clasificaciones. Los árboles de decisión han sido aplicados
58 DANIEL SANTÍN
con éxito en numerosas áreas, como valoración de créditos [Sinha y May, 2004], marketing
[Cox y Popken, 2002; Rygielski et al., 2002], predicción del número de días en cama por en-
fermedad y tipo de paciente [Razi y Athappilly, 2005], predicción de la competitividad anual
de un conjunto de países [Zanakis y Becerra-Fernandez, 2005] y en general todo tipo de pro-
blemas de predicción y clasificación en los que no existe un modelo teórico suficientemente
contrastado.
El objetivo de este artículo es doble. En primer lugar, se discuten las virtudes y debi-
lidades actuales de las técnicas no paramétricas y paramétricas como herramientas de
medición de la eficiencia. Así, existe un trade-off a la hora de escoger entre ambas posi-
bilidades ya que ninguna de las técnicas supera a la otra opción en todas las dimensiones
de interés. Además, cabe apuntar que el uso inadecuado o poco riguroso que en ocasiones
se hace de ambas técnicas en educación no universitaria puede derivar en la obtención de
resultados erróneos. Este primer apartado pretende continuar el debate acerca de la nece-
sidad de tomar en consideración un conjunto de aspectos inherentes al mundo educativo
como paso previo a la elección de la técnica de análisis. Estas consideraciones deben te-
ner en cuenta tanto la calidad de las mediciones que obtendremos, como la utilidad poste-
rior que ofrecen cada una de ellas para la toma de decisiones de mejora del sistema edu-
cativo, objetivoúltimo al que debería estar orientado cualquier análisis aplicado de este
tipo de cara a su utilización real.
En segundo lugar, se presenta a los árboles de decisión como una técnica sencilla para
identificar los inputs educativos que verdaderamente influyen en los logros académicos de
los alumnos analizados. Además, esta técnica permite detectar de forma temprana a alumnos
de alto riesgo de fracaso escolar. Mediante esta detección, el objetivo sería tomar medidas de
asignación de recursos antes de que el fracaso suceda mejorando de esta forma la productivi-
dad de los recursos utilizados.
Para cumplir con estos objetivos, el trabajo queda organizado de la siguiente manera. En
el siguiente apartado se realiza una revisión acerca de las ventajas, desventajas y puntos de
atención a considerar de forma previa al uso de técnicas frontera, paramétricas y no paramé-
tricas, en educación no universitaria. En el tercer apartado se presenta a los árboles de deci-
sión como técnica estadística inductiva para la extracción de reglas lógicas a partir de los da-
tos. El cuarto apartado describe los datos utilizados procedentes del Proyecto PISA de la
OCDE y recoge una aplicación empírica de los árboles de decisión. Para finalizar, el último
apartado estará dedicado al capítulo de conclusiones y trabajo futuro.
2. Aspectos a tener en cuenta en la selección
de una metodología de análisis de la ineficiencia
Las ventajas tradicionales de las metodologías paramétricas y DEA son bien conoci-
das 3. La tabla 1 muestra un resumen de las principales ventajas e inconvenientes de cada
método en distintas dimensiones relacionadas con la medición de la eficiencia.
La medición de la eficiencia de las escuelas: una revisión crítica 59
En cuanto a las dos primeras dimensiones, DEA no asume ninguna forma funcional
acerca de la tecnología que relaciona factores productivos y resultados, y con supuestos poco
restrictivos, como convexidad, isotonicidad, libre disposición de inputs y outputs e imposi-
ción de rendimientos a escala es capaz de trazar la frontera productiva. Por el contrario, los
métodos paramétricos necesitan hacer supuestos acerca de varios aspectos del análisis como
la función de distribución del error o de la ineficiencia. Además, los métodos paramétricos
deben imponer una forma funcional por lo que, a pesar del uso frecuente de especificaciones
más flexibles que la tradicional Cobb-Douglas, esta flexibilidad será menor que la que impo-
nen los métodos DEA. En el otro lado de la balanza, las principales debilidades de los méto-
dos DEA quedan reflejadas en las siguientes dos dimensiones de la tabla 1. Así, DEA es una
técnica muy sensible a la presencia de datos extremos, no permite ni el cálculo de elasticida-
des output-input ni predicciones de resultados, su alta flexibilidad en las ponderaciones pue-
de llevar a no considerar en la evaluación de unidades productivas algunos de sus inputs y
outputs 4 y la elección de la mejor metodología de introducción de inputs no controlables
está actualmente sujeta a controversia 5.
En otros aspectos, como la posibilidad de realizar análisis con múltiples inputs y outputs,
el coste en tiempo y esfuerzo del análisis o la consideración del carácter estocástico de las
fronteras ambas técnicas estarían más igualadas. Con estas características generales, los mé-
todos frontera proporcionan numerosas ventajas para la evaluación de la eficiencia técnica
en muchos sectores productivos. Sin embargo, las particularidades de la educación no uni-
versitaria imponen un número de precauciones adicionales que el analista debería considerar
para seleccionar la mejor metodología y alcanzar una aplicación correcta de estos métodos y
que en ocasiones son obviadas. Estas precauciones a considerar en la medición de la eficien-
cia en escuelas pueden ser resumidas en dos tipos: el nivel de agregación y la especificación
del modelo.
60 DANIEL SANTÍN
Tabla 1
Comparación de las distintas metodologías de cálculo de fronteras
para la medición de la eficiencia
Dimensiones analizadas Paramétricos No paramétricos
Supuestos estadísticos Altos Bajos
Flexibilidad Media Alta
Significación estadística de variables Sí No
Cálculo de Elasticidades Sí No
Proyección, Generalización Media-Alta Ninguna
Multi-input, multi-output Sí Sí
Coste de análisis Medio Medio
Tipo de Frontera obtenida Estocástica Estocástica (bootstrap)
2.1. El nivel de agregación
La educación de un individuo, igual que otros procesos productivos sociales, se lleva a
cabo a través de varios niveles, esto es, se encuentra estructurada de forma jerárquica. Así, la
región, el barrio, la escuela y las características del propio alumno son inputs que influyen si-
multáneamente en su productividad y en sus resultados individuales. Como outputs indivi-
duales se tomarían distintas medidas relacionadas con el producto educativo. Si bien este
producto es muy difícil de cuantificar dado su carácter intangible, la mayoría de trabajos uti-
lizan como variable proxy los resultados de rendimiento en pruebas objetivas relacionadas
con habilidades distintas. La ventaja más importante de este indicador es que tanto políticos
como padres de alumnos usan este criterio para evaluar el producto educativo. Además, si-
guiendo a Hoxby (1999) en numerosas ocasiones esta información es utilizada para elegir es-
cuela, lugar de residencia e incluso tomar decisiones de inversión.
Sin embargo, la forma más habitual de abordar la construcción de la frontera productiva
escolar en los estudios de eficiencia ha sido utilizar la escuela como unidad de decisión 6. Pero
la agregación de las características individuales de cada alumno a nivel escolar plantea una se-
rie de consideraciones adicionales que podemos ilustrar a través de un sencillo ejemplo.
Sea y un output educativo, por ejemplo el resultado en una prueba objetiva de matemáti-
cas, z alguna variable que recoge el efecto socioeconómico del alumno, por ejemplo el nivel
de estudios o de ingresos de sus padres y x un input escolar como su presupuesto. Supondre-
mos que tenemos m escuelas donde i denota escuela, j alumno y Ni el número de alumnos en
la escuela i. En un análisis de eficiencia este problema se resuelve, bien porque así lo impone
la falta de datos individuales bien porque la unidad de decisión de interés sea la escuela, el
distrito u otro nivel superior, agregando las variables a nivel escolar de la siguiente manera:
A continuación, una vez agregada la información individual se utiliza la matriz {y z xi i i, , } a
nivel de escuela como información para construir la frontera productiva. Se asume por tanto que
existe una tecnología común f tal que:
y i = f (x zi i, ) [1]
En la figura 1 la frontera viene determinada por la curva denominada frontera producti-
va. En aras de una mayor simplificación supondremos que el nivel socioeconómico medio
zi , es el mismo en las escuelas 1 y 2.
En este caso, la escuela 2 sería ineficiente, ya que obteniendo el mismo resultado que la
escuela 1 y1 = y2 utiliza más factor productivo escolar. Toda su ineficiencia, asumiendo una
orientación input del problema, sería debida al mayor uso de factor x. Según el cálculo reali-
zado el colegio 2 alcanzaría la eficiencia técnica moviéndose desde el punto x2 a x1. Sin em-
bargo este resultado tradicional está basado en que todas las escuelas utilizan la misma tec-
nología f de la ecuación para educar a sus alumnos. Si relajamos este supuesto el análisis
La medición de la eficiencia de las escuelas: una revisión crítica 61
1 1
1 1i in n
i ij i ij
i ii i
y y z z
N N� �
� �
 
anterior presentaría una serie de limitaciones a la hora de su interpretación tal y como mues-
tra la figura 2.
En la figura 2 observamos cómo las escuelas 1 y 2 utilizan ahora distintas tecnologías f1
y f2 para enseñar a sus alumnos. En media, los resultados son equivalentes a los de la figura
1. Sin embargo, la escuela 1 utiliza la tecnología 7 f1 que define el segmento BC. Con esta
tecnología la dispersión de resultados entreestudiantes con distinto origen socioeconómico
62 DANIEL SANTÍN
Figura 1. Frontera productiva en educación no universitaria
x ; zi i
Frontera
Productiva
yi
ESCUELA 2
ESCUELA 1
x1 x2
y = y1 2
Figura 2. Problemas de agregación en el análisis de eficiencia
xi
Frontera
Productiva
yi
ESCUELA 2
ESCUELA 1
Tramo Eficiente
Escuela 2
Tramo Eficiente
Escuela 1 A
B
C
D
E
x1 x2
f1
f2
trata de ser minimizada. Sin embargo, la escuela 2 utiliza la tecnología f2 que trata de maxi-
mizar el resultado de sus alumnos más aventajados a costa de los más desaventajados. El
punto A denota la intersección de ambas tecnologías. ¿Es la escuela 2 ineficiente? Dejando a
un lado criterios de equidad es fácil comprobar cómo la escuela 2 es más eficiente que la es-
cuela 1 en el tramo AE que tiene una pendiente mayor que el tramo AC. Sin embargo, la es-
cuela 1 es más eficiente que la escuela 2 en el tramo BA con una pendiente mayor que la de-
finida por DA. De este modo, el análisis de eficiencia con datos escolares no tendría en
cuenta que la agregación eliminaría los posibles distintos efectos de los inputs escolares so-
bre alumnos de origen socioeconómico distinto.
Por otro lado, además de los aspectos referentes a la organización y la medición de los
inputs y outputs escolares, existen otras variables que influyen significativamente en el éxito
o fracaso de la producción escolar complicando el análisis. Uno de los factores más nombra-
dos es sin duda el llamado efecto compañeros 8. La idea que subyace en este concepto es que
el nivel de conocimientos que un alumno asimila a lo largo de los años depende directamente
no sólo de su propia dotación de inputs educativos sino también de las características de sus
compañeros. Sin embargo, el trabajo con datos agregados supone que el estudio del efecto
compañeros sobre el rendimiento individual no pueda ser analizado de forma independiente
de la condición socioeconómica del propio alumno.
¿Utilizan todos los colegios la misma tecnología?, ¿Influyen los inputs escolares en la
misma cuantía independientemente de la condición socioeconómica del alumno? Éstas se-
rían las preguntas a contestar para cuantificar el sesgo que la agregación introduce en los
análisis de eficiencia. Una revisión somera de los estudios de función de producción educati-
va, por ejemplo Summers y Wolfe (1977), Eide y Showalter (1998), Figlio (1999), Baker
(2001) y Santín (2003) muestran evidencia acerca de la distinta importancia de la escuela so-
bre distintos tipos de alumno. Así, los efectos de los inputs educativos sobre los resultados,
cuando se encuentran, no seguirían la misma tecnología para todos sus alumnos. Esta posible
heterogeneidad de los alumnos a la hora de producir su educación refuerza la necesidad de
considerar el uso de datos individuales para aprovechar las bondades de los análisis de efi-
ciencia, paramétricos y no paramétricos, y evitar así los posibles sesgos derivados de la agre-
gación.
2.2. La especificación del modelo
La segunda peculiaridad del proceso productivo educativo, y por tanto del problema de
la medición de la eficiencia en las escuelas, está vinculada con la especificación del modelo.
Ello es debido a que la forma funcional educativa, la f de la ecuación 1, que transforma in-
puts en outputs educativos sigue siendo, desde las primeras investigaciones sobre produc-
ción educativa, completamente desconocida. Como se ha apuntado, esta función es posible-
mente no lineal en cuanto a la influencia que determinados inputs escolares tienen sobre el
rendimiento de distintos alumnos. Este desconocimiento ha sido el principal argumento utili-
zado desde la teoría de la medición de la eficiencia en educación para la elección de los mé-
La medición de la eficiencia de las escuelas: una revisión crítica 63
todos DEA, que no necesitan especificar tal tecnología transformadora, frente a los métodos
paramétricos.
Sin embargo, el debate acerca de la elección de la técnica de análisis de la eficiencia no
debería termina aquí sin atender a otros resultados de la Economía de la Educación. La cues-
tión relevante en los albores del siglo XXI sigue siendo la definición de los inputs escolares
que realmente influyen en los logros educativos. Este desconocimiento queda ilustrado en la
siguiente paradoja aún no resuelta. ¿Por qué determinados países con mayor inversión en
educación y mayor nivel socioeconómico obtienen peores resultados en estudios internacio-
nales que otros con menores niveles? Por ejemplo, Hoxby (1999, p. 2) señala que aunque en-
tre 1970 y 1997 el gasto por alumno real en educación no universitaria en Estados Unidos fue
prácticamente doblado, el nivel de resultados permaneció prácticamente constante. La res-
puesta a esta pregunta no es fácil y debemos buscarla en variables difícilmente cuantifica-
bles. Los métodos pedagógicos, los factores culturales hacia la educación y el esfuerzo y
otras variables contextuales fuertemente interrelacionadas con el proceso educativo explica-
rían este resultado.
En esta misma dirección apunta el trabajo de Vandenberghe (1999). Este autor señala
que las diferencias existentes en la calidad de las escuelas van más allá de las diferencias de
gasto por alumno, tamaño de la clase u otras variables tradicionales. Factores dentro de la
caja negra que supone el aula como la capacidad de transmitir conocimientos del profesor, la
motivación o el clima escolar serían incluso más importantes. Según Worthington (2001,
p. 246), otra limitación es que la metodología input-output tiende a tomar la información de
inputs escolares que existen en otros trabajos o la única que esté disponible y, a partir de ella,
se hace el análisis sin observar las características particulares de cada contexto educativo.
Otros autores [Coleman, 1966; Deller et al., 1993; Hanushek, 1986, 1997, 2003 o Pritchett y
Filmer, 1999] son aún más críticos y se plantean si realmente la escuela importa. Por tanto,
cuando una sociedad aborda reformas educativas o decide democráticamente dedicar un ma-
yor esfuerzo en la educación primaria y secundaria de sus ciudadanos más jóvenes, no existe
ningún modelo teórico ni ninguna evidencia estadísticamente significativa que garantice que
más recursos, tales como menos alumnos por clase, mejores salarios, más formación del pro-
fesorado, ordenadores en las aulas, etc., vayan a transformarse en mejores resultados. Este
desconocimiento impone fuertes condiciones en la investigación de las relaciones causales
en los datos como paso previo a su uso en los modelos de medición de la eficiencia.
El análisis DEA, como consecuencia de su naturaleza no paramétrica, no contrasta por sí
mismo si los inputs utilizados influyen o no de forma significativa en los resultados 9 y por
tanto asume que el modelo está correctamente especificado. Sin embargo, si los factores pro-
ductivos que introducimos en el modelo no han sido previamente analizados y sencillamente
no importan 10 o no sabemos a quién importan, dónde importan o con qué signo importan, el
modelo estará mal especificado y los resultados obtenidos carecerán de cualquier valor eco-
nómico. Es por ello necesario volver a reiterar la necesidad de un riguroso análisis de corre-
lación y causalidad, lineal y no lineal, entre inputs y outputs educativos como paso previo a
la aplicación de un análisis DEA.
64 DANIEL SANTÍN
En el caso que nos ocupa, una hipótesis que no suele ser contrastada en el análisis DEA
es que en la formación de un alumno determinadas variables son adecuadas hasta que alcan-
zan un punto que en economía llamamos de congestión. Por ejemplo, ver televisión, jugar
con consolas, practicar deporte o realizar determinadas actividades educativas pueden ser ac-
tividades positivas hasta que, a partir de un punto, quitan tiempo de estudio, cansan física y
mentalmente al alumno o se vuelven contraproducentes. Lo mismo podría ocurrir con el ta-
maño de la clase o con el tiempo dedicado a realizar actividades con el ordenador por poner
algunos ejemplos.Si estas relaciones existen tanto en los inputs del alumno como en los in-
puts escolares 11, habría que introducir en el modelo estos efectos lo cual resulta la mayoría
de las veces impracticable de realizar si no son conocidos de forma previa. Es en este punto
donde las técnicas de análisis inductivo de datos, como los árboles de decisión, pueden com-
plementar el proceso de selección de variables relevantes para la posterior evaluación de la
eficiencia.
3. Los árboles de decisión y sus aplicaciones
en educación no universitaria
Se puede definir un árbol de decisión como un conjunto de condiciones lógicas del tipo
«SI-ENTONCES» extraídas de forma inductiva a partir de un conjunto de datos. Este con-
junto de reglas están organizadas de forma jerárquica de tal manera que la decisión final se
puede tomar cumpliendo las condiciones lógicas desde la raíz del árbol hasta alguna de sus
hojas.
Intuitivamente un árbol de decisión, en una de sus formas más sencillas, es un algoritmo
para la construcción automática de tablas de contingencia. El objetivo es la detección y se-
lección de relaciones causales significativas entre un conjunto de variables explicativas (in-
puts) y explicadas (outputs). Así, la construcción y exploración de estas tablas de forma ma-
nual, o la selección de los puntos de corte óptimos para las variables continuas, resultaría un
proceso tedioso que podemos simplificar con el uso de esta técnica. De esta forma, el algorit-
mo partirá los datos a partir de la variable explicativa que proporcione una asociación más
significativa con la respuesta. Una vez partidos los datos originales en diferentes grupos el
proceso continua con un análisis de cada nuevo grupo hasta que se encuentra la variable que
mejor los clasifique y así sucesivamente. Este tipo de herramienta resulta adecuada cuando
en el problema objeto de estudio contamos con un número elevado de datos y variables, co-
nocemos la información que posiblemente influye en un resultado pero desconocemos la for-
ma funcional que relaciona las variables explicativas (inputs) y explicadas (outputs).
Existen múltiples algoritmos capaces de generar reglas basadas en árboles de decisión
[CLS (Hunt et al., 1966), ID3 (Quinlan, 1979), CART (Breiman et al., 1984) o C4.5 (Quin-
lan, 1993) entre otros]. En este trabajo hemos empleado, por su sencillez y por ser de uso ex-
tendido, el algoritmo CHAID (CHi-squared Automatic Interaction Detector). Este mecanis-
mo de clasificación fue originalmente propuesto por Kass (1980). El objetivo de CHAID es
realizar particiones no lineales óptimas para cada variable explicativa a partir de la elabora-
La medición de la eficiencia de las escuelas: una revisión crítica 65
ción de tablas de contingencia basadas en el cálculo del estadístico +2. Este test se calcula
para determinar la verosimilitud entre las frecuencias observadas y esperadas y contrastar la
asociación entre las categorías de dos variables. Posteriormente, los datos son divididos a
partir de la variable que realice la mejor clasificación, esto es, aquella con el valor +2 más
elevado. Cada uno de los nuevos subgrupos es de nuevo analizado para generar nuevas divi-
siones hasta el cumplimiento de alguna de las reglas de parada. Las reglas de parada son ne-
cesarias para evitar un crecimiento excesivo de un árbol que no generalice o explique correc-
tamente el modelo. Como criterios de parada usuales se suele imponer un nivel de
significación estadística a las divisiones, un número mínimo de individuos para buscar una
división adicional en un nodo o un número de individuos mínimo en un nodo final.
Una de las principales ventajas de CHAID respecto a otros algoritmos es que es ca-
paz de construir árboles no binarios, esto es, puede presentar más de dos ramas, o divisio-
nes de datos según categorías a explicar, en cada nodo. Otra ventaja es que las clasifica-
ciones que realiza a partir de las reglas encontradas son mutuamente excluyentes, por lo
que el árbol delimita una única respuesta basada en el cálculo de probabilidades de perte-
nencia a clase. Además, es especialmente recomendable para tamaños muestrales gran-
des y para problemas donde no existe un modelo bien definido. Por último cabe destacar
que sus resultados proporcionan reglas intuitivas y muy fácilmente comprensibles por
agentes no expertos.
El algoritmo CHAID puede ser descrito como sigue. Sea una variable dependiente d con al
menos 2 categorías d , 2 y sea una variable explicativa x con c , 2 categorías. El primer objeti-
vo es reducir la tabla de contingencia c - d actual a la tabla más significativa j - d a partir de la
combinación de categorías de x. Para ello se calcula el conjunto T j
i( ) formado por los estadísti-
cos +2 de los i métodos posibles de configurar una tabla de contingencia j - d (j = 2, 3, ...c). Fi-
nalmente se escoge el T j
(*) = maxi T j
i( ) que representa el estadístico +2 más elevado para la ta-
bla de contingencia j - d. La búsqueda de T j
(*) cuando se dispone de varias variables
explicativas se lleva a cabo de manera secuencial aplicando el siguiente algoritmo.
1. Para cada variable x se calculan las tablas de contingencia a partir de las categorías
de x y de la variable dependiente d.
2. Buscar el par de categorías de x cuya tabulación cruzada 2 - d es menos significati-
va. Si esta significación no alcanza un determinado valor crítico, por ejemplo que sea esta-
dísticamente significativa al 95 por 100, ambas categorías se funden y son consideradas
como una nueva categoría compuesta independiente.
3. Para cada categoría compuesta formada por 3 o más de las categorías originales, se
busca la división binaria más significativa. Si alcanza un valor crítico determinado se parte la
categoría y se pasa al punto 2.
4. Calcular la significación de todas las variables explicativas compuestas por sus cate-
gorías óptimas y elegir la más significativa. Si este valor es mayor que un valor criterio se
subdividen los datos de acuerdo a las categorías de esta variable.
66 DANIEL SANTÍN
5. Para cada partición de los datos generada que no ha sido analizada, comenzar de
nuevo con el paso 1. Este nuevo análisis termina al excluir particiones que no superan un nú-
mero mínimo de observaciones definidas por el analista o un p-valor crítico de división.
El paso 4 requiere un test de significación de la tabla de contingencia reducida. Si la ta-
bla es la original, sin cambios en las categorías, el test +2 puede ser usado. Este test asume
que sólo existe una población de la que sólo extraemos una única muestra y calculamos un
único test. Sin embargo, el cálculo del test de forma repetida viola este supuesto. Ello au-
menta la posibilidad de encontrar alguna relación simplemente por el hecho de incrementar
el número de veces la búsqueda. Para comparar los p-valores (niveles � de significación) de
las distintas variables explicativas éstos deberán ser modificados por un factor multiplicador
de Bonferroni 12.
En este tipo de modelos inductivos resulta fundamental evaluar cómo se comporta la es-
tructura del árbol para generalizar los datos disponibles en una muestra de datos diferente.
Esta validación es necesaria para evitar la aparición de asociaciones espúreas que impidan
una correcta generalización en nuevos casos. Aunque existen distintas técnicas, la más utili-
zada consiste en dividir los datos del problema analizado en dos grupos: una muestra de en-
trenamiento, desde la cual se generarán las reglas, y una muestra de validación, en la cual se
prueban estas reglas. Si el modelo generado con los datos de entrenamiento demuestra una
capacidad predictiva similar con los datos de validación, entonces las reglas generadas debe-
rían poder generalizar un modelo para la toma de decisiones con nuevos datos similares a los
datos utilizados. El árbol se evalúa como la proporción de casos clasificados correctamente
por el algoritmo respecto al total de la muestra clasificada.
Para ilustrar de forma empírica el algoritmo utilizaremos un ejemplo sencillobasado en
algunas de las divisiones de los nodos que serán efectuadas posteriormente. Por ejemplo,
para el caso de la prueba de lectura, en los cuatro primeros pasos el algoritmo calcula las ta-
blas de contingencia óptimas y los p-valores modificados por Bonferroni para los datos de
entrenamiento. Este cálculo interno es mostrado en la tabla 2.
Una vez seleccionada la variable más significativa, esto es, aquella con el valor de la +2
más elevado, obtendremos la división del nodo inicial o raíz que muestra el gráfico 1 (ane-
xo I). En este caso, la división se realiza atendiendo a las cuatro categorías que definen la va-
La medición de la eficiencia de las escuelas: una revisión crítica 67
Tabla 2
Pruebas estadísticas para la partición del nodo raíz en la prueba de lectura
Predictores significativos Ramas Chi-cuadrado P-Valor corregido
Resultado compañeros clase lengua 4 412,8350 0,0000
Actividades culturales clásicas 4 123,6836 0,0000
Posesiones culturales en el hogar 3 121,2375 0,0000
Nivel educativo del padre 4 107,4148 0,0000
Nivel educativo de la madre 4 105,3767 0,0000
riable seleccionada «resultado medio de los compañeros de clase en lectura». Cada uno de
los nodos resultantes tiene asociado una regla lógica a la que corresponde tanto una probabi-
lidad como una categoría de pertenencia. En este caso, la regla para el nodo 1 sería:
/* Nodo 1*/
SI (resultado compañeros clase lectura = 1) ENTONCES
Predicción final = 1 (primer cuartil de los resultados en lectura)
Probabilidad de pertenencia a clase 1 = 0.501057
Esta regla indica que en el grupo de niños cuyos compañeros de clase obtienen un resul-
tado medio en lectura por debajo del primer cuartil de resultados (categoría 1) el 50,1057 por
100 de ellos obtienen efectivamente un resultado en lectura menor que la puntuación que de-
fine el primer cuartil. A continuación, el proceso de evaluación de los predictores empezaría
nuevamente con cada uno de los nodos formados. Por ejemplo, el gráfico 1 muestra también
la siguiente partición efectuada en el nodo 3 13. Finalmente el algoritmo termina cuando se
cumple alguno de los criterios de parada.
Los árboles de decisión también permiten, en los casos en los que el análisis así lo re-
quiera, asignar una matriz de costes de clasificación incorrecta y probabilidades a priori de
pertenencia a clase distintas a las proporcionas por el tamaño de las categorías en el total
muestral. Finalmente cabe señalar que los árboles de decisión presentan las ventajas de ser
tolerantes al ruido, a variables no significativas y a valores perdidos. Como desventaja cabría
destacar que en general no son tan precisos como algoritmos predictivos más potentes aun-
que a cambio proporcionan una interpretación fácil de los resultados dado que las reglas ob-
tenidas pueden ser traducidas a lenguaje natural.
4. Una aplicación empírica a partir de los datos españoles
en el Proyecto PISA
El proyecto PISA (Programme for International Student Assessment) de la OCDE
(Organización para la Cooperación y el Desarrollo Económico) es una evaluación interna-
cional estandarizada que se aplica al alumnado de quince años. Este proyecto fue llevado a
cabo durante el año 2000 y en él participaron 265.000 alumnos de 32 países incluida España.
PISA evaluó el rendimiento en tres asignaturas claves para la formación del alumno: lectura,
matemáticas y ciencias.
El proyecto PISA no evalúa las capacidades, habilidades o destrezas como un conjunto
de conocimientos del tipo «todo o nada». Por el contrario, cada alumno recibió una puntua-
ción en cada prueba en una escala continua. Además, dado que la escuela, el hogar y el con-
texto socioeconómico son variables claves para comprender el mundo educativo, PISA reco-
ge una extensa base de datos en torno a estas variables. Los alumnos que fueron evaluados en
España ascendieron a 6.214 alumnos de quince años, agrupados en dos niveles, 9.º y 10.º (ni-
veles que se corresponden con 3.º y 4.º de ESO). Además, estos alumnos completaron cues-
tionarios acerca de su entorno socioeconómico y sus experiencias dentro y fuera de la escue-
68 DANIEL SANTÍN
la. De igual manera, los directores del colegio rellenaron cuestionarios sobre las prácticas
educativas que llevaban a cabo.
4.1. Datos
En este trabajo sólo se utilizó la información correspondiente a los resultados en las
pruebas de matemáticas y lectura de 2.449 alumnos que estudiaban 4.º de ESO (en el estudio
se denomina 10.º grado) en 185 escuelas. En cuanto a las variables explicativas del resultado
se optó por usar los índices derivados que sobre determinadas respuestas recoge el informe
PISA (OECD, 2001). Las estadísticas descriptivas de las variables utilizadas se muestran en
la tabla 3 14.
Las variables mostradas en la tabla 3 fueron derivadas por los analistas del proyecto
PISA y agrupan las respuestas a distintas preguntas planteadas en el cuestionario de la eva-
luación 15. La educación de los padres fue obtenida a partir del International Standard Clas-
sification of Education (ISCED, OECD, 1999). Tras un análisis previo, las categorías origi-
nales fueron redefinidas en cuatro posibilidades: no fue a la escuela, primaria completa,
secundaria completa y posesión de estudios universitarios. La riqueza familiar es un índice
La medición de la eficiencia de las escuelas: una revisión crítica 69
Tabla 3
Estadísticos descriptivos de las variables utilizadas a nivel de alumno
Mín. Máx. Media Desv. típ.
Características del alumno:
Sexo (1 = chica; 2 = chico) (SEXO) 1 2 1,45 0,50
Número de Hermanos/as 0 8 1,39 0,92
Alumnos en familias nucleares
(1 = nucleares; 0 = otras) 0 1 0,82 0,39
Inputs individuales:
Educ. promedio padres (EDUPADRE) 1 4 2,89 0,82
Educ. promedio madres (EDUMADRE) 1 4 2,79 0,78
Riqueza familiar 1 3 1,71 0,71
Recursos educativos en el hogar (RECEDUCH) 1 2 1,69 0,46
Actividades culturales clásicas (ACTCULTU) 1 5 2,54 1,17
Posesiones culturales en el hogar (POSSCULTH) 1 4 3,08 0,99
Inputs escolares:
Tiempo semanal para hacer deberes 1 4 3,37 0,82
Ordenadores por 100 alumnos 0,9 31 6,36 4,10
Profesores por 100 alumnos 3,62 17,67 7,67 2,37
Media de compañeros en matemáticas 338,43 616,65 522,65 38,38
Media de compañeros en lectura (READSCHO) 338,60 589,44 503,84 39,44
Outputs:
Resultado en matemáticas 202,14 815,90 505,31 82,95
Resultado en lectura 241,43 741,90 524,04 74,33
Total alumnos 2.449
Total escuelas 185
construido a partir de la disponibilidad o no en el hogar de los siguientes elementos: lavavaji-
llas, habitación individual, software educativo, conexión a internet y número de teléfonos
móviles, televisores, ordenadores, coches y baños en el hogar. La variable de recursos educa-
tivos es un índice de posesión de diccionario, lugar de estudio propio, sitio de estudio tran-
quilo, libros y calculadoras. La variable actividades culturales es un índice que fue derivado
a partir de la frecuencia en la que los alumnos realizaron las siguientes actividades en el año
anterior: visitar un museo o galería de arte, ir a la ópera, ballet o conciertos de música clásica
y ver teatro. El índice relativo a las posesiones culturales se construyó a partir de las respues-
tas que el alumno dio sobre si poseía o no en casa los siguientes elementos: literatura clásica
y libros de poesía. Además se dispone información del sexo, número de hermanos del alum-
no evaluado y tipo de familia a la que pertenece.
El tiempo que el alumno dedica a hacer deberes fue derivado a partir de la información
que el alumno dijo dedicar a esta labor en las asignaturas de lengua, matemáticas y ciencias.
En este trabajo asumiremos la hipótesis de que la escuela, a través del profesor, tiene poder
de control tanto sobre la cantidad de deberes que manda al alumno como sobre la supervisión
de su elaboración y su correcta ejecución. Los inputs propiamente escolares son el número
de ordenadores en la escuela por cada cien alumnos y el número de profesores por cada cien
alumnos. Estos inputs pretenden ser buenas aproximaciones de los niveles decapital físico y
trabajo de los que está compuesta la escuela para desarrollar su actividad y que frecuente-
mente son usados en educación. Por otro lado, aprovechando la ventaja de utilizar datos a ni-
vel de alumno, se introdujo en este análisis una variable relacionada con el efecto compañe-
ros. Para ello se optó de nuevo por ordenar a las escuelas por cuartiles de acuerdo al
resultado medio de la clase (excluyendo cada vez de la media al alumno evaluado) 16. De
esta manera se pretende contrastar en qué medida el nivel de la clase ayuda, perjudica o es
indiferente en el rendimiento del alumno.
Con esta información llevaremos a cabo un análisis de árboles de decisión. El objetivo
final será detectar a los alumnos de riesgo, construir los indicadores de producción escolar en
valor añadido y por último analizar la eficiencia de las escuelas.
4.2. Los árboles de decisión
Para generar las reglas que constituyen un árbol de decisión hemos empleado el algorit-
mo CHAID 17 descrito en el apartado 3. Los árboles de decisión serán generados utilizando
la información a nivel de alumno de la tabla 3. En este modelo asumiremos que cada alumno
presenta un vector de características familiares, de entorno y escolares susceptibles de influir
en su rendimiento académico en las disciplinas de matemáticas y lectura. Previamente, los
alumnos fueron clasificados por cuartiles sobre la base de la función de distribución de los
outputs del total del alumnado.
La consideración de los cuartiles como punto de corte responde al hecho de que el fraca-
so escolar en España, entendido como la población entre dieciocho y veinticuatro años que
no terminó con éxito la educación secundaria en cualquiera de sus niveles, se situó en 2002
70 DANIEL SANTÍN
en torno al 29 por 100 (MECD, 2004). Estas cifras son las peores de la UE-25, tan sólo supe-
radas por Portugal y Malta. Los alumnos que pertenecen al grupo del primer cuartil (grupo
del 25 por 100 de alumnos con los peores resultados) podrían ser considerados por tanto
como alumnos de riesgo o alumnos con una mayor probabilidad de fracaso escolar 18.
Para la construcción de los árboles de decisión se ha seguido la siguiente metodología.
En primer lugar, la muestra de datos es dividida de forma pseudoaleatoria, asignando un 80
por 100 a datos de entrenamiento y un 20 por 100 a datos de validación. Como criterios de
parada se impuso que el nivel de significación estadística fuera mayor al 90 por 100 y que
ningún nodo tuviera menos de 100 individuos, a fin de obtener muestras de alumnos sufi-
cientemente representativas. A continuación se generaron dos árboles de decisión, para ma-
temáticas y lectura.
En el Anexo II figuran las reglas lógicas extraídas y las tablas 4 y 5, muestran los resulta-
dos de la clasificación o matrices de confusión para matemáticas y lectura respectivamente.
La medición de la eficiencia de las escuelas: una revisión crítica 71
Tabla 4
Matriz de confusión para la prueba de matemáticas
Categoría real
1 2 3 4 Total
Categoría
estimada
1 406 272 245 161 1.084
2 95 138 113 117 463
3 66 68 101 78 313
4 84 112 143 250 589
Total 651 590 602 606 2.449
Estimación del riesgo datos de entrenamiento: 0,631; error típico (0,011).
Estimación del riesgo datos de validación: 0,647; error típico (0,021).
Porcentaje global de acierto del modelo: 36,55 por 100.
Tabla 5
Matriz de confusión para la prueba de lectura
Categoría real
1 2 3 4 Total
Categoría
estimada
1 367 220 130 58 775
2 122 175 141 116 554
3 62 84 100 82 328
4 59 152 231 350 792
Total 610 631 602 606 2.449
Estimación del riesgo datos de entrenamiento: 0,591; error típico (0,011).
Estimación del riesgo datos de validación: 0,610; error típico (0,021).
Porcentaje global de acierto del modelo: 40,51 por 100.
Las cuatro categorías de clasificación se corresponden con los cuatro cuartiles; siendo la
categoría 1 el primer cuartil, la categoría 2 el segundo y así sucesivamente. El primer resulta-
do a destacar es que ni la cantidad relativa de profesores ni de ordenadores, inputs frecuente-
mente utilizados en la literatura de la medición de la eficiencia educativa, resultaron ser ex-
plicativos del resultado en ninguna de las dos pruebas objetivas 19.
En el caso de las matemáticas, la variable más relevante a la hora de definir la primera
partición es el nivel de estudios del padre. Otro resultado interesante en matemáticas es que
en varios de los grupos los alumnos obtienen resultados mejores que las alumnas. En la prue-
ba de lectura sucede lo contrario, siendo en este caso las alumnas las que en determinados
grupos obtienen mejores resultados.
En el caso de la prueba de lectura, los resultados son distintos. En este caso una variable
escolar resulta clave a la hora de clasificar a los alumnos. En particular, la variable que reco-
ge el efecto compañeros aparece como la más significativa en la división del árbol. En gene-
ral, ambas clasificaciones coinciden en que la probabilidad de ser un alumno de riesgo au-
menta a medida que disminuye el nivel de estudios de los padres y los recursos educativos y
culturales en el hogar. Una diferencia clara entre ambas pruebas es que mientras en lectura la
variable relativa a los compañeros resulta clave en los resultados, este input no es siquiera se-
leccionado como explicativo en matemáticas una vez consideradas otras variables. Esta dife-
rencia es posiblemente debida a que para el correcto aprendizaje de la lectura no es sólo im-
portante el esfuerzo de alumno y profesor sino también escuchar una correcta lectura y
vocabulario de otros alumnos. El aprendizaje de las matemáticas sería por el contrario un
proceso mucho más individual.
El nivel de acierto predictivo del modelo en ambas asignaturas, 36 por 100 en matemáti-
cas y 40 por 100 en lectura, es significativamente bueno respecto a una clasificación al azar
(que tendría un acierto aproximado del 25 por 100) pero bastante reducido respecto al 100
por 100 de casos bien clasificados que supondría el acierto total. La bondad del ajuste mues-
tra, tal y como cabría esperar, que hay un alto porcentaje del rendimiento del alumno que no
queda explicado por las variables consideradas. Este resultado refuerza la importancia del
grado de eficiencia con la que operan las escuelas al quedar claro que existe un margen con-
siderable para obtener beneficios a partir de la investigación de los factores, métodos peda-
gógicos y docentes y organización escolar que determinan los resultados académicos de los
alumnos.
La detección de alumnos de riesgo, alumnos con resultados por debajo del primer cuar-
til, puede ser en este sentido de una enorme utilidad para lograr la igualdad de oportunidades
educativas. Avanzar en este objetivo supondría una mayor atención sobre este colectivo a
través de más recursos públicos, a fin de corregir el déficit socioeconómico de partida dismi-
nuyendo por tanto la probabilidad de fracaso de este grupo de alumnos.
72 DANIEL SANTÍN
5. Conclusiones y líneas futuras
La medición de la ineficiencia técnica de las escuelas es un análisis de sumo interés dada
la importancia cuantitativa de los recursos públicos y privados invertidos por la sociedad en
educación no universitaria. Sin embargo, la producción educativa es un fenómeno bastante
más complejo que otros procesos productivos, lo cual supone que el estudio de la eficiencia
de las escuelas debe estar en permanente debate, con el fin de superar las actuales limitacio-
nes que presentan tanto los métodos paramétricos como los no paramétricos.
En este trabajo se han analizado algunas de las prevenciones que deben ser tomadas en
consideración a la hora de elegir una metodología de análisis y aplicarla correctamente en
este ámbito. En primer lugar ninguna de las dos metodologías de análisis parece superior
para su uso en educación no universitaria. Frente a la alta flexibilidad y a los escasos supues-
tos requeridos en el análisis DEA, el análisis econométrico permite contrastar estadística-
mente la especificación del modeloasí como el cálculo de elasticidades. En segundo lugar, la
cada vez mayor disponibilidad de bases de datos con información a nivel de alumno debería
contribuir a aumentar y explorar los resultados de las aplicaciones de cálculo de fronteras a
este nivel. El trabajo con datos desagregados permitiría también dividir la muestra de alum-
nos en función de su perfil socioeconómico y realizar diversas evaluaciones para cada centro
variando el tipo de alumno. Ello permitiría aflorar posibles comportamientos ineficientes en
determinados alumnos ocultos en el resultado medio. En tercer lugar, la correcta selección de
los inputs educativos relevantes en cada contexto y por tanto la especificación del modelo es
una tarea, a tenor de la literatura en Economía de la Educación, nada trivial y que sin embar-
go a menudo es pasada por alto en los trabajos de análisis de la eficiencia. Ello es debido al
escaso conocimiento acerca tanto de la tecnología productiva, como de las variables indivi-
duales y escolares que realmente importan en los resultados académicos.
Con el objetivo de avanzar en el proceso de selección de inputs educativos y en el cono-
cimiento de la función de producción de las escuelas, los árboles de decisión pueden ser una
alternativa útil y además posiblemente complementaria a la aplicación de análisis DEA en
determinados casos.
Esta herramienta, de uso extendido en otros ámbitos de la economía, permite seleccionar
aquellas variables con una influencia significativa sobre los logros académicos, descartando
las que no son relevantes. En el ejemplo desarrollado en este trabajo se ha podido comprobar
cómo variables típicamente usadas en otros trabajos, cómo las cantidades relativas de profe-
sores u ordenadores en las escuelas no presentan, al menos en esta aplicación, ninguna in-
fluencia significativa sobre las pruebas de conocimientos evaluadas. Así, los árboles de deci-
sión pueden ser un instrumento para seleccionar las variables que especifiquen el modelo
como paso previo al análisis DEA a nivel de alumno.
Además, el uso de los árboles de decisión permitiría avanzar en el estudio del fenómeno
de la congestión en determinados inputs educativos. En economía de la producción se consi-
dera que existe congestión cuando la introducción de más inputs supone una disminución en
los resultados. De esta manera si existen niveles óptimos en el uso de determinados inputs
escolares, por ejemplo en el tamaño de la clase, el número de horas delante del ordenador o
La medición de la eficiencia de las escuelas: una revisión crítica 73
el tiempo dedicado a realizar determinadas actividades, los árboles de decisión permitirían
detectar los niveles de saturación a partir de los cuales más inputs serían contraproducentes.
Esta información sería también útil en la selección de inputs relevantes como paso previo a
un análisis DEA tradicional.
La riqueza de resultados que ofrece el análisis desagregado reivindica la actual propues-
ta de evaluación sistemática del alumnado a diferentes edades. Es por ello que además de in-
troducir en una Ley Educativa la necesidad de recogida de datos con la mayor frecuencia po-
sible, se debería legislar la obligación de dedicar recursos para el análisis continuo de la
ineficiencia del sistema educativo y la detección de alumnos de riesgo, con el objetivo final
de informar a la sociedad e incentivar la labor del profesorado. Finalmente, se puede apuntar
que los árboles de decisión pueden tener utilidad en otros ámbitos de la Economía Pública.
Más investigación parece así necesaria fundamentalmente en aplicaciones de métodos de
análisis inductivos relacionados con la detección del fraude fiscal.
Notas
1. A lo largo de este trabajo se utilizarán las siglas DEA, por las que frecuentemente es denominado este análisis.
Estas siglas se corresponden con la expresión inglesa Data Envelopment Analysis. Véase además Mancebón y
Muñiz (2003) para una revisión de trabajos que aplican DEA en educación.
2. Por ejemplo, Worthington (2001, pp. 253 y ss.) realiza una recopilación de trabajos que aplican técnicas fron-
tera a la medición de la ineficiencia donde claramente se observa una mayor proporción de trabajos DEA.
3. A lo largo del artículo, cuando se habla de análisis DEA, en general se hace referencia a los modelos de Char-
nes, Cooper y Rhodes (1978) (modelo CCR) para rendimientos constantes a escala y Banker, Charnes y Coo-
per (1984) (modelo BCC) para rendimientos variables a escala. En cuanto a método paramétrico debe enten-
derse, entre las múltiples posibilidades existentes, un análisis de función distancia especificando la forma
funcional translogarítmica propuesta por Christensen et al. (1971).
4. No obstante, el impacto de muchas de estas limitaciones tradicionales se ha ido reduciendo con el desarrollo
metodológico de la técnica. Véase, por ejemplo, Wilson (1995) para tratar los casos extremos con el uso de la
supereficiencia, Pedraja et al. (1997) para un estudio de las bondades que introduce la restricción en las ponde-
raciones o Simar y Wilson (2000) para definir las propiedades estadísticas de los rankings de eficiencia me-
diante métodos bootstrap.
5. La literatura DEA propone actualmente numerosos métodos con diversas variantes en cada uno de ellos aten-
diendo al número de etapas a utilizar para la introducción de inputs no controlables. Veáse Banker y Morey
(1986) y Ruggiero (1996) para una etapa; Ray (1991) para dos etapas; Fried, Lovell, Schmidt y Yaisawarng
(2002) para tres etapas; Fried, Schmidt y Yaisawarng (1999) para cuatro etapas y Simar y Wilson (2003) y Da-
raio y Simar (2005) que critican los métodos anteriores y proponen alternativas probabilísticas basadas en el
uso del bootstrap. Sin embargo no existen resultados en experimentos de Monte-Carlo en simulaciones mul-
ti-input multi-output, como es el caso educativo, que demuestren la superioridad de uno de estos métodos. Es
por ello que actualmente la elección de una de estas metodologías sigue estando sujeta a controversia. Para
profundizar en esta temática en el ámbito que nos ocupa puede acudirse a Cordero et al. (2005)
6. Quizá el principal motivo del uso de datos agregados sea la escasez de bases de datos disponibles para el in-
vestigador a nivel de alumno. No obstante, los recientes estudios internacionales como TIMSS (Third Interna-
cional Mathematics and Science Study) realizados en 1995, 1999 y 2003 o PISA (Programme for Internatio-
nal Student Assessment) llevados a cabo en 2000 y 2003 disponen de datos individuales para un número
elevado de países entre los que se encuentra España (salvo en la oleada de 1999 de TIMSS, en la que no parti-
74 DANIEL SANTÍN
cipó y en TIMSS 2003 donde sólo participó el País Vasco). Las excepciones de trabajos con datos desagrega-
dos en métodos DEA son Thanassoulis (1999), Silva y Thanassoulis (2001) y Thanassoulis y Silva (2002), si
bien estos trabajos utilizan como input del alumno el resultado obtenido en una prueba común agrupados por
distintas variables dicotómicas. Estos análisis de eficiencia se realizan por tanto desde el punto de vista del va-
lor añadido pero sólo recogen en parte las distintas condiciones de partida de cada alumno y de cada escuela. A
nivel paramétrico podemos citar como excepción la utilización de funciones distancia paramétricas en Perel-
man y Santín (2005).
7. La tecnología fi puede ser entendida como distintos métodos pedagógicos, motivación del profesor, dinámicas
y organización de la clase, etc.
8. Para una revisión, véase, Betts y Shkolnik (2000), Hanushek et al. (2001) y Dills (2005).
9. A la hora de usar un modelo DEA en la posterior toma de decisiones de asignación de recursos no disponemos
de elasticidades output-input ni de estadísticos de significación asociados para las variables analizadas. Ello
nos lleva de nuevo a considerar las ventajas y en definitiva el trade-off que en este sentido ofrecen los métodos
paramétricos con una especificación flexible frente a la ventaja fundamental de la metodologíaDEA a la hora
de no especificar una tecnología productiva.
10. En este caso sería lo mismo introducir el número de profesores por 100 alumnos o el nivel educativo del profe-
sor que el número de tizas que el profesor consume por día o el número de llamadas telefónicas que realiza el
director del colegio.
11. Véase Summers y Wolfe (1977), páginas 644 y siguientes para encontrar varios ejemplos reales de la existen-
cia de congestión en la producción de educación.
12. Para una descripción exhaustiva del procedimiento de cálculo de los niveles de significación modificados por
Bonferroni puede acudirse a Feller (1968, pp. 101-102) o a Kass (1980).
13. En general, los resultados de un árbol de decisión se presentan en forma de un conjunto de reglas, como las ob-
tenidas en el anexo 2, ya que su representación gráfica es a menudo impracticable.
14. Como paso previo al análisis se abordó el problema de los valores perdidos y extremos. Dado que sólo una va-
riable superaba el 4 por 100 en datos perdidos, con una media en el resto del 3 por 100 se optó por sustituir es-
tos valores por la mediana de la serie. Además, se eliminaron 16 alumnos que presentaban un resultado en ma-
temáticas o en lectura, por debajo de 200 y que a tenor de los resultados observados en el resto de alumnos
podían ser considerados valores extremos.
15. No es el objetivo de este trabajo realizar una extensa descripción de las variables que recoge el proyecto PISA
ni de cómo esta información fue agrupada. En este trabajo tan sólo se presenta una breve descripción para una
adecuada comprensión del análisis. No obstante, para el estudio de todas las variables, los métodos de mues-
treo empleados y toda la información de cómo fue desarrollado el proceso estadístico puede acudirse a OECD
(2001, 2002).
16. La idea de tomar los resultados promedios de los compañeros de clase ha sido tomada de Figlio (1999, p. 246).
17. El software utilizado ha sido SPSS Answer Tree 3.1.
18. Los árboles de decisión pueden también trabajar con variable respuesta continua tomando en este caso el esta-
dístico F como herramienta de contraste. Sin embargo, pensamos que en esta aplicación los cuartiles tiene
un mayor sentido económico dado el objetivo de destacar la utilidad de los árboles de decisión para detectar a
los alumnos de riesgo, aunque en el futuro sería interesante explorar los resultados que ofrecen con variables
respuesta medidas en una escala continua. Los cuartiles han sido además utilizados en otros trabajos como
Dills (2005).
19. Esta aparente falta de relación entre inputs escolares y outputs pone de manifiesto la cautela, ya comentada,
con la que debe ser acometida la especificación del modelo DEA y las ventajas que puede reportar el uso de
DEA tomando como herramienta de selección de inputs los árboles de decisión.
La medición de la eficiencia de las escuelas: una revisión crítica 75
Referencias
Baker, B. D. (2001), “Can flexible non-linear modelling tell us anything new about educational pro-
ductivity?”, Economics of Education Review, 20: 81-92.
Banker, R. D., A. Charnes y W. W. Cooper (1984), “Models for estimating technical and scale efficien-
cies in data envelopment analysis”, Management Science, 30 (9): 1078-1092.
Banker, R. D. y R. Morey (1986), “Efficiency analysis for exogenously fixed inputs and outputs”, Op-
erations Research, 34: 513-521.
Bessent, A. M. y E. W. Bessent (1980), “Determining the comparative efficiency of schools through
data envelopment analysis”, Educational Administration Quaterly, 16: 57-75.
Bessent, A., W. Bessent, J. Kennington y B. Reagan (1982), “An application of mathematical program-
ming to assess productivity in the Houston independent school district”, Management Science, 28:
1355-1367.
Betts, J. R. y J. L. Shkolnik (2000), “The effects of ability grouping on student achievement and re-
source allocation in secondary schools”, Economics of Education Review, 19: 1-15.
Breiman, L., J. H. Friedman, R. A. Olshen y C. J. Stone (1984), Classification and regression trees,
Monterey, CA: Wadsworth and Brooks-Cole.
Callan, S. J. y R. E. Santerre (1990), “The production characteristics of local public education: A multi-
ple product and input analysis”, Southern Economics Journal, 57 (2): 468-480.
Coleman, J. S. et al. (1966), Equality of educational opportunity, Washington, DC: U.S. GPO.
Cordero, J. M., F. Pedraja y J. Salinas (2005), “Eficiencia en educación secundaria e inputs no
controlables: sensibilidad de los resultados ante modelos alternativos”, Hacienda Pública
Española/Revista de Economía Pública, 173 (2): 61-84.
Cox, L. A. y D. A. Popken (2002), “A hybrid system-identification method for forecasting telecommu-
nications product demands”, International Journal of Forecasting, 18: 647-671.
Charnes, A., W. Cooper y E. Rhodes (1978), “Measuring the efficiency of decision making units”, Eu-
ropean Journal of Operational Research, 2 (6): 429-444.
Charnes, A., W. W. Cooper y E. Rhodes (1981), “Evaluating program and managerial efficiency: an
application of data envelopment analysis to Program Follow Through”, Management Science, 27:
668-697.
Christensen, L., D. Jorgenson y L. Lau (1971), “Conjugate duality and the trascendental logarithmic
production function”, Econometrica, 39 (4): 255-256.
Daraio, C. y L. Simar (2005), “Introducing environmental variables in nonparametric frontier models:
a probabilistic approach”, Journal of Productivity Analysis, 24: 93-121.
Deller, S. C. y E. Rudnicki (1993), “Production efficiency in elementary education: The case of Maine
publics schools”, Economics of Education Review, 12: 45-57.
Dills, A. K. (2005), “Does cream-skimming curdle the milk? A study of peer effects”, Economics of
Education Review, 24: 19-28.
Eide, E. y M. H. Showalter (1998), “The effect of school quality on student performance: A quantile re-
gression approach”, Economics Letters, 58: 345-350.
76 DANIEL SANTÍN
Feller, W. (1968), An introduction to probability theory and its applications, New Cork: Wiley.
Figlio, D. N. (1999), “Functional form and the estimated effects of school resources”, Economics of
Education Review, 18: 241-252.
Fried, H. O., S. S. Schmidt y S. Yaisawarng (2002), “Accounting for environmental effects and statisti-
cal noise in data envelopment analysis”, Journal of Productivity Analysis, 17: 157-174.
Fried, H. O., C. A. K. Lovell, S. S. Schmidt y S. Yaisawarng (1999), “Incorporating the operating envi-
ronment into a nonparametric measure of technical efficiency”, Journal of Productivity Analysis, 12:
249-267.
Grosskopf, S., K. Hayes, L. Taylor y W. Weber (1997), “Budget-constrained frontier measures of fis-
cal equality and efficiency in schooling”, Review of Economics and Statistics, 79 (1): 116-124.
Gyimah-Brempong, K. y A. Gyapong (1992), “Elasticities of factor substitution in the production of
education”, Economics of Education Review, 11: 205-217.
Hanushek, E. A. (1986), “The economics of Schooling”, Journal of Economic Literature, 24 (3):
1141-1171.
Hanushek, E. A. (1997), “Assessing the effects of school resources on student performance: An up-
date”, Educational Evaluation and Policy Analysis, 19: 141-164.
Hanushek, E. A., J. F. Kain, J. M. Markman y S. G. Rivkin (2001), “Does peer ability affect student
achievement?”, Working Paper 8502, National Bureau of Economic Research.
Hanushek, E. A. (2003), “The failure of input-based schooling policies”, The Economic Journal, 113:
64-98.
Hoxby, C. M. (1999), “The productivity of schools and other local public goods producers”, Journal of
Public Economics, 74: 1-30.
Hunt, E. B., J. Marin y P. J. Stone (1966), Experiments in Induction, New York: Academic Press.
Jiménez, E. (1986), “The structure of educational costs: multiproduct cost functions for primary and
secondary schools in Latin America”, Economics of Education Review, 5 (1): 25-39.
Kass, G. V. (1980), “An exploratory technique for investigating large quantitites of categorical data”,
Applied Statistics, 29: 119-127.
Mancebón,M.ª J. y M. Muñiz (2003), “Aspectos clave de la evaluación de la eficiencia productiva en
la educación secundaria”, Papeles de Economía Española, 95: 162-187.
MECD (2004), Las cifras de la educación en España. Estadísticas e indicadores, Madrid: Ministerio
de Educación y Deportes.
MECD (2006), Las cifras de la educación en España. Estadísticas e indicadores, Madrid: Ministerio
de Educación y Deportes.
Morgan, J. N. y J. A. Sonquist (1963), “Problems in the analysis of survey data: and a proposal”, Jour-
nal of American Statistics Association, 58: 415-434.
OECD (1999), Classifying educational programmes: Manual for ISCED-97 implementation in OECD
countries, París: OCDE.
OECD (2001), Manual for the PISA 2000 Database, Organisation for Economic Development and
Co-operation.
La medición de la eficiencia de las escuelas: una revisión crítica 77
OECD (2002), PISA 2000 Technical Report, editado por Ray Adams y Margaret Wu.
Pedraja, F., J. Salinas y P. Smith (1997), “On the role of weights restrictions in data envelopment anal-
ysis”, Journal of Productivity Analysis, 8: 215-230.
Perelman, S. y D. Santín (2005), “The measurement of technical efficiency with parametric distance
functions: an application to Spanish PISA results”, págs. 83-94, en M. M. García, M. C. González y
M. A. Muñiz (coords.), Actas de las XIV Jornadas de la Asociación de la Economía de la Educación,
editado por A.E.D.E. Oviedo.
Pritchett, L. y D. Filmer (1999), “What education production functions really show: a positive theory
of education expenditures”, Economics of Education Review, 18: 223-239.
Quinlan, J. R. (1979), “Discovering rules by induction from large collection of examples”, en Expert
Systems in the Microelectronic Age, Ed. D. Michie: 168-201. Edinburgh: Edinburgh University
Press.
Quinlan, J. R. (1993), C4.5: Programs for machine learning, San Mateo, CA: Morgan Kaufmann.
Ray, S. (1991), “Resource use efficiency in public schools: a study of Connecticut data”, Management
Science, 37: 1620-1628.
Razi, M. A. y K. Athappilly (2005), “A comparative predictive analysis of neural networks, nonlinear
regression and classification and regression tree models”, Expert Systems with Applications, 29:
65-74.
Ruggiero, J. (1996), “Measuring technical efficiency in the public sector: an analysis of educational
production”, Review of Economics and Statistics, 78: 499-509.
Ruggiero, J. (2004), “Performance evaluation in education: modelling educational production”, en W.
W. Cooper, L. M. Seiford y J. Zhu (eds.), Handbook on data envelopment analysis, Boston: Kluwer
Academic Publishers.
Rygielski, C., J. Wang y D. C. Yen (2002), “Data mining techniques for customer relationship manage-
ment”, Technology in Society, 24: 483-502.
Santín, D. (2003), “La estimación de la función de producción educativa en valor añadido mediante
redes neuronales: una aplicación para el caso español”, Papeles de Trabajo 5/03, Instituto de
Estudios Fiscales: Ministerio de Economía y Hacienda.
Sengupta, J. K. (1987), “Production frontier estimates of sclae in public schools in California”, Mana-
gerial and Decision Economics, 8: 93-99.
Silva y Thanassoulis (2001), “Descomposing school and school type efficiency”, European Journal of
Operational Research, 132: 357-373.
Simar, L. y P. W. Wilson (2000), “Statistical Inference in Nonparametric Frontier Models: The State of
the Art”, Journal of Productivity Analysis, 13: 49-78.
Simar, L. y P. W. Wilson (2003), “Estimation and inference in two-stage, semi-parametric models of
production processes”, Discussion Paper 0307, Université Catholique de Louvain; Institut de
Statistique.
Sinha, A. P. y J. H. May (2004), “Evaluating and tuning predictive data mining models using receiver
operating characteristics curves”, Journal of Management Information Systems, 21 (3): 249-280.
78 DANIEL SANTÍN
Summers, A. A. y B. L. Wolfe (1977), “Do schools make a difference?”, American Economic Review,
67 (4): 639-652.
Thanassoulis, E. (1999), “Setting achievements targets for school children”, Education Economics, 7
(2): 101-119.
Thanassoulis, E. y M. C. Silva (2002), “School outcomes: sharing the responsibility between pupil and
school”, Education Economics, 10 (2): 183-207.
Vandenberghe, V. (1999), “Economics of education. The need to go beyond human capital theory and
production-function analysis”, Educational Studies, 25 (2): 129-143.
Wilson, P. W. (1995), “Detecting influential observations in DEA”, Journal of Productivity Analysis,
6: 27-45.
Worthington, A. C. (2001), “An empirical survey of frontier efficiency measurement techniques in ed-
ucation”, Education Economics, 9 (3), 245-268.
Zanakis, S. H. y I. Becerra-Fernández (2005), “Competitiveness of nations: a knowledge discovery ex-
amination”, European Journal of Operational Research, 166: 185-211.
Abstract
From its origin, the techniques for measuring efficiency in schools have been widely applied to evaluate public ex-
penditure in education. The aim of this study is to make a critic revision over the risks of performing efficiency
analysis without considering the special characteristics of education, where production function is so complex.
Moreover, this paper proposes decision trees in order to analyze the educational sector. This technique is able to gen-
erate logical rules to model the educational production function offering an easy framework to take decisions about
the allocation of public expenditure in education. To illustrate these ideas this paper conducts an empirical analysis
using a Spanish 15 year old students database from PISA (Programme for International Student Assessment) cap-
tured in 2000.
Key words: Efficiency, public expenditure in education, decision trees.
JEL classification: C44, C61, H52, I21.
La medición de la eficiencia de las escuelas: una revisión crítica 79
80 DANIEL SANTÍN
A
ne
xo
I
R
ep
re
se
nt
ac
ió
n
gr
áf
ic
a
de
lp
ro
ce
so
de
di
vi
si
ón
de
un
ár
bo
ld
e
de
ci
si
ón
G
rá
fi
co
1.
Á
rb
ol
de
de
ci
si
ón
tr
as
la
pr
im
er
a
pa
rt
ic
ió
n
de
ln
od
o
ra
íz
y
la
pa
rt
ic
ió
n
de
ln
od
o
3
en
la
pr
ue
ba
de
le
ct
ur
a
C
at
eg
or
ía
%
n
1
24
,8
0
48
5
2
26
,3
8
51
6
3
24
,0
3
47
0
4
24
,8
0
48
5
To
ta
l
(1
00
,0
0)
19
56
N
od
o
0
C
at
eg
or
ía
%
n
1
8,
12
41
2
16
,6
3
84
3
29
,1
1
14
7
4
46
,1
4
23
3
To
ta
l
(2
5,
82
)
50
5
N
od
o
4
C
at
eg
or
ía
%
n
1
16
,6
0
85
2
28
,1
3
14
4
3
28
,7
1
14
7
4
26
,5
6
13
6
To
ta
l
(2
6,
18
)
51
2
N
od
o
3
C
at
eg
or
ía
%
n
1
7,
69
10
2
26
,9
2
35
3
31
,5
4
41
4
33
,8
5
44
To
ta
l
(6
,6
5)
13
0
N
od
o
7
C
at
eg
or
ía
%
n
1
18
,1
8
48
2
25
,7
6
68
3
30
,3
0
80
4
25
,7
6
68
To
ta
l
(1
3,
50
)
26
4
N
od
o
6
C
at
eg
or
ía
%
n
1
22
,8
8
27
2
34
,7
5
41
3
22
,0
3
26
4
20
,3
4
24
To
ta
l
(6
,0
3)
11
8
N
od
o
5
C
at
eg
or
ía
%
n
1
26
,1
8
12
2
2
32
,6
2
15
2
3
23
,3
9
10
9
4
17
,8
1
83
To
ta
l
(2
3,
82
)
46
6
N
od
o
2
C
at
eg
or
ía
%
n
1
23
7
2
13
6
3
67
4
50
,1
1
28
,7
5
14
,1
6
6,
98
33
To
ta
l
(2
4,
18
)
47
3
N
od
o
1
R
es
ul
ta
do
al
um
no
en
le
ng
ua
(M
ue
st
ra
de
en
tr
en
am
ie
nt
o)
R
es
ul
ta
do
m
ed
io
co
m
pa
ñe
ro
s
cl
as
e
le
ng
ua
N
iv
el
cr
íti
co
co
rr
eg
id
o
=
0,
00
00
, C
hi
-c
ua
dr
ad
o
=
41
2,
83
50
, g
l =
3
>3
(2
,3
]
ac
tiv
id
ad
es
cu
ltu
ra
le
s
N
iv
el
cr
íti
co
co
rr
eg
id
o
=
0,
00
26
, C
hi
-c
ua
dr
ad
o
=
15
,5
11
6,
gl
=
2
>3
(1
,3
]
<=
1
(1
,2
]
<=
1
Anexo II
Resultados obtenidos por los árboles de decisión
en la clasificación de alumnos por cuartiles de resultados
Reglas de decisión extraídas para los resultados en matemáticas
/* Regla 1*/
SI (EDUPADRE <= 2) Y (ACTCULTU <= 3) ENTONCES
Predicción = 1
Probabilidad de pertenencia a predicción = 0.398182
/* Regla 2*/
SI (EDUPADRE <= 2) Y (ACTCULTU> 3) ENTONCES
Predicción = 2
Probabilidad de pertenencia a predicción= 0.279279
/* Regla 3*/
SI (EDUPADRE = 3) Y (POSSCULT <= 2) ENTONCES
Predicción = 1
Probabilidad de pertenencia a predicción = 0.324607
/* Regla 4*/
SI (EDUPADRE = 3) Y (POSSCULT> 2) Y (EDUMADRE <= 2) ENTONCES
Predicción = 1
Probabilidad de pertenencia a predicción = 0.328467
/* Regla 5*/
SI (EDUPADRE = 3) Y (POSSCULT> 2) Y (EDUMADRE> 2) Y (SEXO = 2)
ENTONCES
Predicción = 4
Probabilidad de pertenencia a predicción = 0.432432
/* Regla 6*/
SI (EDUPADRE = 3) Y (POSSCULT> 2) Y (EDUMADRE> 2) Y (SEXO = 1)
ENTONCES
Predicción = 2
Probabilidad de pertenencia a predicción = 0.316406
/* Regla 7*/
SI (EDUPADRE = 4) Y (SEXO = 2) ENTONCES
Predicción = 4
Probabilidad de pertenencia a predicción = 0.437247
/* Regla 8*/
SI (EDUPADRE = 4) Y (SEXO = 1) ENTONCES
Predicción = 3
Probabilidad de pertenencia a predicción = 0.326446
La medición de la eficiencia de las escuelas: una revisión crítica 81
Reglas de decisión extraídas para los resultados en lectura
/* Regla 1*/
SI (READSCHO Y (READSCHO <= 1)) ENTONCES
Predicción = 1
Probabilidad de pertenencia a predicción = 0.501057
/* Regla 2*/
SI (READSCHO = 2) Y (POSSCULT <= 2) Y (RECEDUCH <= 1) ENTONCES
Predicción = 1
Probabilidad de pertenencia a predicción = 0.389610
/* Regla 3*/
SI (READSCHO = 2) Y (POSSCULT <= 2) Y (RECEDUCH> 1) ENTONCES
Predicción = 2
Probabilidad de pertenencia a predicción = 0.387500
/* Regla 4*/
SI (READSCHO = 2) Y (POSSCULT = 3) ENTONCES
Predicción = 2
Probabilidad de pertenencia a predicción = 0.316901
/* Regla 5*/
SI (READSCHO = 2) Y (POSSCULT> 3) Y (SEXO = 2) ENTONCES
Predicción = 1
Probabilidad de pertenencia a predicción = 0.367816
/* Regla 6*/
SI (READSCHO = 2) Y (POSSCULT> 3) Y (SEXO = 1) ENTONCES
Predicción = 2
Probabilidad de pertenencia a predicción = 0.337500
/* Regla 7*/
SI (READSCHO = 3) Y (ACTCULTU <= 1) ENTONCES
Predicción = 2
Probabilidad de pertenencia a predicción = 0.347458
/* Regla 8*/
SI (READSCHO = 3) Y (ACTCULTU> 1 Y ACTCULTU <= 3) ENTONCES
Predicción = 3
Probabilidad de pertenencia a predicción = 0.303030
/* Regla 9*/
SI (READSCHO = 3) Y (ACTCULTU> 3) ENTONCES
Predicción = 4
Probabilidad de pertenencia a predicción = 0.338462
/* Regla 10*/
SI (READSCHO = 4) ENTONCES
Predicción = 4
Probabilidad de pertenencia a predicción = 0.461386
82 DANIEL SANTÍN
View publication statsView publication stats
https://www.researchgate.net/publication/28121580