Ayudantia10

Vista previa del material en texto

Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Ayudant́ıa 10:
Simulacro de Examen
The Cost of Attending an Elite College by Hong Song
21 de Junio, 2019
Teoŕıa Econométrica II
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Objetivo de hoy
En la prueba 2 del año pasado se le entregó a los alumnos un paper corto para
que leyeran durante la evaluación y respondieran preguntas en base a este.
La idea de la ayudant́ıa de hoy es presentarles ese paper y responder las
preguntas de la prueba del año pasado todos juntos.
En este beamer hay preguntas en negrita que corresponden a las del examen y
preguntas en cursiva que agregué yo para ir complementando el análisis del
texto.
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Motivación
La autora Hong Song estudia el costo emocional de asistir a un college de
elite. Argumenta que los beneficios de asistir a una universidad de elite han
sido bien documentados por literatura previa, pero que son pocos los que se
enfocan en los costos asociados.
Usa un diseño de Regresión Discontinua para identificar el efecto de asistir a
un college de elite sobre la salud mental y estrés de los estudiantes, aśı como
sobre el autoestima y confianza de los mismos.
Sus resultados indican que asistir a un college de elite disminuye el autoestima
y confianza de los estudiantes justo en el margen de entrada (en términos de
puntaje de admisión), eleva el estrés y perjudica la salud mental de los mismos.
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Introducción
El mayor desaf́ıo de estudiar los costos y beneficios asociados a asistir a un
college de elite, corresponde a que los estudiantes no son asignados
aleatoriamente en estos establecimientos educacionales.
Existe bastante literatura previa que hace uso de diseños RDD para responder
este tipo de interrogantes, utilizando los criterios ḿınimos de puntaje (en
pruebas estandarizadas/de admisión) exigidos por cada establecimiento
educacional como running variable.
Esta literatura previa documenta que asistir a un college de elite (o a un
colegio de elite) aumenta los puntajes en pruebas estandarizadas de los
estudiantes (¿Usando test scores como proxy de qué? ) y mejora outcomes en
el largo plazo en el mercado laboral.
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Introducción
No obstante, la literatura previa se ha enfocado exclusivamente en los
beneficios asociados a servicios educacionales de elite, dejando de lado los
costos asociados.
En este contexto, la autora hace uso de una encuesta a estudiantes de college
en China que registra outcomes cognitivos y no cognitivos (como estrés y
autoestima) y hace uso del puntaje de pruebas estandarizadas como running
variable en un diseño de RDD para lidiar con las amenazas a una buena
identificación.
Su idea es comparar outcomes cognitivos y no cognitivos de alumnos con
puntajes justo debajo del corte con aquellos con puntaje justo sobre el puntaje
de corte ḿınimo de dicho establecimiento (i.e., estudiantes justo en el
margen).
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Contexto y Datos
Las universidades en China reclutan estudiantes en base al puntaje que
obtienen en las college entrance evaluations (CEE), la prueba de mayor
alcance a nivel nacional.
El estudio se enfoca en dos universidades de elite: Tsinghua University y
Peking University, las cuales son generalmente las primeras dos opciones de los
estudiantes cuando postulan a una universidad.
Aprovechándose de esto último, puede explotar el criterio ḿınimo de puntaje
como cutoff de la entrada a una universidad de elite (¿Por qué puede hacer
esto? ¿Qué hacer si las dos universidades tienen puntajes de corte distinto? ).
(1) El puntaje de corte de alguna de las dos universidades es siempre el mayor
al de todas las demás universidades. (2) En el análisis consideran el ḿınimo
entre los puntajes de ambos college como el cutoff.
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Contexto y Datos
Las universidades en China reclutan estudiantes en base al puntaje que
obtienen en las college entrance evaluations (CEE), la prueba de mayor
alcance a nivel nacional.
El estudio se enfoca en dos universidades de elite: Tsinghua University y
Peking University, las cuales son generalmente las primeras dos opciones de los
estudiantes cuando postulan a una universidad.
Aprovechándose de esto último, puede explotar el criterio ḿınimo de puntaje
como cutoff de la entrada a una universidad de elite (¿Por qué puede hacer
esto? ¿Qué hacer si las dos universidades tienen puntajes de corte distinto? ).
(1) El puntaje de corte de alguna de las dos universidades es siempre el mayor
al de todas las demás universidades. (2) En el análisis consideran el ḿınimo
entre los puntajes de ambos college como el cutoff.
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Contexto y Datos
La autora hace uso de la China Capital College Student Survey : una encuesta
realizada a 4771 alumnos universitarios de 15 colleges en Beijing. (¿Cuál es la
primera pregunta que nos surge al saber a quién se está encuestando? )
Las variables de outcome son (1) el estrés mental y (2) autoestima y confianza
de los estudiantes.
La encuesta incorpora distintas medidas no cognitivas que la autor agrupa
posteriormente en las dos variables mencionadas más arriba. A su vez, la
encuesta incluye los puntajes de CEE de los estudiantes y caracteŕısticas de su
entorno socioeconómico y familiar.
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Estrategia de Identificación
La autora utiliza las siguientes especificaciones para responder su pregunta de
investigación:
Yipyt = β0 + β1Passipyt + β2Sipyt + β3Sipyt × Passipyt + X ′ipytβ4 + εipyt (1)
Dipyt = α0 + α1Passipyt + α2Sipyt + α3Sipyt × Passipyt + X ′ipytα4 + �ipyt (2)
Donde Sipyt es el puntaje de CEE normalizado alrededor del cutoff:
Sipyt =
Scoreipty − Cpyt
(std. dev Scoreipyr )pyr
(3)
Los errores estándar están agrupados por generación-college (¿por qué? ) y
escoge el bandwidth según Imbens y Kalyanaraman (2011).
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Estrategia de Identificación
Yipyt corresponde a la medida de outcome para el estudiante i en la provincia
p en el año y en el track académico t.
Dipyt es una variable dummy que indica si el estudiante asiste a un college de
elite.
Scoreipty es el puntaje en la prueba CEE del estudiante y Cpyt el puntaje
ḿınimo para la elite college en la provincia p año y de track académico t.
Passipyt es una variable dummy que indica si el estudiante supera el puntaje de
corte (i.e., Sipyt > 0).
X ′ipyt es un set de variables demográficas, incluyendo dummies de género, etnia
y área rural, número de hermanos en la familia, etc.
¿De qué tiene pinta la especificación (1)? ¿y la (2)?
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Estrategia de Identificación
La especificación (1) corresponde a una forma reducida (estima el efecto de
estar sobre el puntaje de corte sobre el outcome no cognitivo)
La especificación (2) corresponde una primera etapa (estima el efecto de estar
sobre el puntaje de corte sobre la decisión de estar en un college de elite).
¿Por qué será necesario tener las especificaciones (1) y (2)?
Recordemos que si dividimos el parámetro de la forma reducida por el de la
primera etapa podemos recuperar el coeficiente de interés de la segunda etapa.Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Estrategia de Identificación
La especificación (1) corresponde a una forma reducida (estima el efecto de
estar sobre el puntaje de corte sobre el outcome no cognitivo)
La especificación (2) corresponde una primera etapa (estima el efecto de estar
sobre el puntaje de corte sobre la decisión de estar en un college de elite).
¿Por qué será necesario tener las especificaciones (1) y (2)?
Recordemos que si dividimos el parámetro de la forma reducida por el de la
primera etapa podemos recuperar el coeficiente de interés de la segunda etapa.
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Estrategia de Identificación
(1) Explique la pregunta a responder, el modelo a estimar, la estrategia
de identificación y cómo dicha estrategia de identificación resuelve el
problema del sesgo de selección. Refiérase expĺıcitamente a los
supuestos y las amenazas a la validez interna.
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Respuesta (1)
Los supuestos clave son: que las otras variables que determinan el outcome Y
sean continuas en el corte, y que no haya manipulación en el puntaje obtenido
S (que está estandarizado). Además, en este caso, como se menciona
anteriormente, la probabilidad de entrar a una universidad de élite debe ser
discontinua en el corte, al igual que los outcomes Y a estudiar.
Como se instrumenta la entrada a la universidad de elite, debemos agregar que
para encontrar un efecto causal, el puntaje debe afectar el stress/otros
outcomes estudiados sólo a través de la entrada a una universidad de elite.
La estrategia de identificación resuelve el problema de identificación al haber
continuidad justo en el corte del resto de las variables que determinan Y pues
eso hace que tratados y controles sean comparables, ya que cerca del corte son
sólo distintos en el hecho de que tendŕıan una mayor probabilidad de entrar a
una universidad de élite.
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Resultados Principales
Primero presenta las estimaciones del impacto de estar sobre el puntaje de
corte ḿınimo sobre la probabilidad de ser admitido en un college de elite.
La Figura 1 muestra que los estudiantes cuyos puntajes CEE están justo sobre
el puntaje de corte ḿınimo tienen mucha mayor probabilidad de ser admitidos
en un college de elite.
(2) Respecto a la Figura 1 del art́ıculo, refiérase al tipo de diseño de la
metodoloǵıa descrita. Refiérase también al soporte del eje de la
ordenada. ¿Tienen sentido los números negativos? Explique.
Resultados
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Respuesta (2)
El diseño es un Fuzzy RD. Luego, la autora debe instrumentar la probabilidad
de entrar a una universidad de elite aprovechando la discontinuidad del
puntaje de corte.
La autora estima un MPL (ecuación (2)). La Figura 1 muestra que la
probabilidad predicha (o bien, el promedio de esta en cada nivel de puntaje S)
por el modelo de regresión local lineal (LLR) en el corte es discontinua en este.
La probabilidad predicha puede tomar valores negativos dado que es un MPL,
por lo que sus predicciones (lineales) pueden estar fuera del rango de una
probabilidad.
La autora probablemente hace esto pues si estimara la primera etapa con un
modelo Probit/Logit por ejemplo, estaŕıa incurriendo en problemas graves de
endogeneidad (Forbidden Regression).
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Resultados
A su vez la autora reporta en la Tabla 1 las estimaciones de primera etapa de
su regresión local lineal (LLR)
(3) Respecto la Tabla 1, la autora plantea que “students who score just
above the cutoff are 40.8% more likely to attend an elite college than
students who score just below the cutoff.” ¿Es precisa esa afirmación?
Explique y refiérase a la interpretación de los resultados de la Tabla 1.
Resultados
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Respuesta (3)
La afirmación precisa seŕıa que los estudiantes que están justo arriba del corte
tienen 40.8 puntos porcentuales más que los de abajo, no 40.8% más. Para
eso hay que calcular el cambio porcentual.
La interpretación de la Tabla 1 no es lo anterior, sino que es la diferencia de
medias/probabilidad, estimada por la LLR entre tratados (justo arriba del
corte y controles (justo debajo) y por lo tanto es en puntos porcentuales.
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Resultados
La sección 4.1.2 presenta las diferencias en outcomes no cognitivos según el
CEE de los estudiantes.
(4) Refiérase a los resultados de la sección 4.1.2. En particular compare
los resultados de la Figura 2 con los de la Tabla 2. ¿Son ambos
consistentes?
Resultados
Resultados
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Respuesta (4)
La sección presenta las estimaciones por IV del efecto de asistir a una
universidad de élite en el stress y el autoestima.
La Figura 2 presenta los resultados de la forma reducida, es decir, el efecto
discontinuo del puntaje de corte (en un modelo lineal) en los outcomes
mencionados.
La Tabla 2 presenta la segunda etapa que corresponde al efecto causal (si los
supuestos se cumplen) de entrar a una universidad de élite en los mismos
outcomes.
Los resultados parecen ser consistentes: empeoran los outcomes al pasar el
puntaje de corte/entrar a la universidad de élite.
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Mecanismos
Además de mostrar que asistir a una universidad de elite aumenta el estrés y
reduce el autoestima y confianza, la autora busca posibles mecanismos para
explicar dichos resultados.
Para ello, explota distintas preguntas de la encuesta: (1) el desempeño relativo
del estudiante (incluyendo ranking por curso y si ha reprobado alguno o no),
(2) la relación del estudiante con sus pares (compañeros de curso y
roommates).
En base a ellas muestra que los estudiantes en college de elite tienen peor
rendimiento académico que otras universidades. A su vez, están insatisfechos
con las relaciones que tienen con sus pares.
La autora sugiere que son los sentimientos de inseguridad y el ser marginados
los que lleva a un aumento en su estrés y una baja en su autoestima.
Mecanismos
(5) Discuta si está de acuerdo con el mecanismo sugerido por la autora
detrás de los resultados.
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Otras preguntas
(6) La autora estima el modelo mediante local linear regression.
Discuta la elección de ancho de banda (bandwidth) que utiliza y
recomiende un método alternativo de la literatura reciente.
R: LLR estima modelos lineales a ambos lados del corte en un ancho de banda
determinado, para luego poder diferenciar las medias de tratados y controles.
El ancho de banda utilizado por los autores es el de IK, que calcula un
bandwidth óptimo en términos del trade-off sesgo-varianza. La alternativa
reciente utilizada es el CCT, cuyos autores prueban que es mejor que el IK,
siento este último siempre mayor.
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Otras preguntas
(6) La autora estima el modelo mediante local linear regression.
Discuta la elección de ancho de banda (bandwidth) que utiliza y
recomiende un método alternativo de la literatura reciente.
R: LLR estima modelos lineales a ambos lados del corte en un ancho de banda
determinado, para luego poder diferenciarlas medias de tratados y controles.
El ancho de banda utilizado por los autores es el de IK, que calcula un
bandwidth óptimo en términos del trade-off sesgo-varianza. La alternativa
reciente utilizada es el CCT, cuyos autores prueban que es mejor que el IK,
siento este último siempre mayor.
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Chequeos de Robustez
Una preocupación es si acaso es posible manipular los puntajes CCE, y en caso
que no, si realmente podemos decir que estar a un lado u otro del cutoff es
“casi tan bueno como aleatorio”.
Para chequear si los estudiantes pueden controlar su puntaje CCE, utilizan el
modelo (1) para ver si los X están balanceadas alrededor del corte.
También preocupa si el cambio en la probabilidad de ser aceptado en una
universidad de elite sea la que afecte los resultados no cognitivos, en vez del
asistir a la universidad per se. (Por ejemplo que cambie la decisión de carrera
como consecuencia de este cambio en la probabilidad).
Para estudiar esto, estiman si el puntaje afecta la decisión de major, usando
preguntas de la encuesta que registran la primera preferencia de carrera de los
estudiantes y si creen que su major tiene potencial en el futuro.
La autora indica que en el Apéndice Online se muestra que hay pocas
diferencias en ambos tests, ¿sospechoso...?
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Chequeos de Robustez
(7) ¿Qué tipo de test realiza la autora para validar los supuestos
requeridos requeridos por la estrategia de identificación? ¿Conoce
algún test alternativo que le permita testear dichos supuestos?
R: La autora primero valida el supuesto de manipulación confirmando que hay
balance en las caracteŕısticas predeterminadas entre estudiantes sobre y debajo
del corte. Para ello estima su modelo principal (1) cambiando la variable
dependiente por caracteŕısticas. Esto servirá siempre que dichas caracteŕısticas
correlacionen con la habilidad/propensión de manipular el puntaje de corte.
Un test alternativo es el de McCrary o similares, que consisten en mirar
directamente si hay una discontinuidad en la densidad del puntaje, en el corte.
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Chequeos de Robustez
(7) ¿Qué tipo de test realiza la autora para validar los supuestos
requeridos requeridos por la estrategia de identificación? ¿Conoce
algún test alternativo que le permita testear dichos supuestos?
R: La autora primero valida el supuesto de manipulación confirmando que hay
balance en las caracteŕısticas predeterminadas entre estudiantes sobre y debajo
del corte. Para ello estima su modelo principal (1) cambiando la variable
dependiente por caracteŕısticas. Esto servirá siempre que dichas caracteŕısticas
correlacionen con la habilidad/propensión de manipular el puntaje de corte.
Un test alternativo es el de McCrary o similares, que consisten en mirar
directamente si hay una discontinuidad en la densidad del puntaje, en el corte.
Ayudant́ıa 10:
Simulacro de
Examen
Paper by
Hong Song
The Cost of
Attending an
Elite College
(2017)
Comentarios y Recomendaciones Finales
Importante darse el tiempo y la tranquilidad de leer bien el paper durante la
prueba. Han practicado todo el semestre el responder preguntas de este tipo,
no debiesen tener problemas.
Muchas veces la respuesta es más sencilla que la pregunta, no se compliquen
demasiado. Apliquen lo que han aprendido durante el curso
No tengan miedo a ser cŕıticos, todos estos trabajos tienen sus errores o
“actos de fe” que perfectamente pueden ser puestos en tela de juicio
Esperamos que les haya gustado el curso y hayan aprendido mucho :)
Nosotros felices si pueden responder la encuesta de ayudantes y encuesta
docente de fin de semestre
	The Cost of Attending an Elite College (2017)