Capítulo 2 Regresión Logística y Scoring

Vista previa del material en texto

EAA361A - Análisis de Big Data
Escuela de Administración
1o Semestre 2020
Caṕıtulo 2: Regresión Loǵıstica y Scorecard
: , 1
Regresión Loǵıstica
Contenidos
Agenda
I Regresión Loǵıstica.
• Introducción.
• Metodoloǵıa y Aplicación.
I Credit Scorecard.
• Introducción.
• WOE e Information Value
• Scorecard.
: , 2
Regresión Loǵıstica
Contenidos
Regresión Loǵıstica
: , 3
Regresión Loǵıstica
Contenidos
Regresión Loǵıstica
I Introducción.
I Metodoloǵıa.
I Aplicación.
: , 4
Regresión Loǵıstica
Contenidos: Introducción
La Regresión Loǵıstica fue desarrollada en la década de los 50’s por David
Cox y corresponde a una extensión de los modelos de regresión lineal tra-
dicionales.
I Este método de regresión que permite estimar la probabilidad de ocu-
rrencia de una variable cualitativa binaria en función de una colección
de variable independientes.
I Una de las principales aplicaciones de la regresión loǵıstica es la de
clasificación binaria, en el que las observaciones se clasifican en un
grupo u otro dependiendo de los valores del predictor.
: , 5
Regresión Loǵıstica
Contenidos: Introducción
¿Por qué regresión loǵıstica y no lineal?
Cuando la variable dependiente tiene dos niveles, se codifican como 1 y 0.
Estad́ısticamente, es posible ajustar un modelo de regresión lineal, de la
forma
β0 + β1X .
EL problema es que esta aproximación estima una recta, por lo tanto, se
obtienen valores predichos de {Y } mayores que 1 o menores que 0, lo que
no tiene sentido dado que las probabilidades pertenecen al [0, 1].
: , 6
Regresión Loǵıstica
Contenidos: Introducción
El conjunto de datos ’Default’ pertenece a la libreŕıa de la libreŕıa ’ISLR’
y contiene información sobre 10,000 clientes y se registra el cumplimiento
de pago con sus obligaciones crediticias.
Variable Descripción
’default’ Variable que indica si el cliente incumplió (Śı o No)
con el pago de su deuda en la TC
’student’ Variable que indica si el cliente es un estudiante (Śı o No)
’balance’ El saldo promedio que el cliente tiene en su tarjeta de crédito
después de realizar su pago mensual
’income’ Ingresos del cliente
: , 7
Regresión Loǵıstica
Contenidos: Introducción
El objetivo es poder predecir la probabilidad de NO pago de la tarjeta de
crédito (variable ’default’) utilizando la variable predictora ’balance’.
> head(Default,10)
default student balance income
1 No No 729.5265 44361.625
2 No Yes 817.1804 12106.135
3 No No 1073.5492 31767.139
4 No No 529.2506 35704.494
5 No No 785.6559 38463.496
6 No Yes 919.5885 7491.559
7 No No 825.5133 24905.227
8 No Yes 808.6675 17600.451
9 No No 1161.0579 37468.529
10 No No 0.0000 29275.268
: , 8
Regresión Loǵıstica
Contenidos: Introducción
Un breve resumen de la información:
> summary(Default)
default student balance income
No :9667 No :7056 Min. : 0.0 Min. : 772
Yes: 333 Yes:2944 1st Qu.: 481.7 1st Qu.:21340
Median : 823.6 Median :34553
Mean : 835.4 Mean :33517
3rd Qu.:1166.3 3rd Qu.:43808
Max. :2654.3 Max. :73554
Un 3,3 % de los clientes “NO” cumple con sus obligaciones crediticias y
aproximadamente un 30 % de la muestra son estudiantes.
: , 9
Regresión Loǵıstica
Contenidos: Introducción
Se realiza un ajuste de regresión lineal simple utilizando la variable inde-
pendiente ’balance’ y codificando la variable respuesta, con 1 śı el cliente
incumplió con sus pagos en la tarjeta y 0 en otro caso.
> summary(modelo_lineal)
Call:
lm(formula = default ~ balance, data = datos)
Residuals:
Min 1Q Median 3Q Max
-0.23533 -0.06939 -0.02628 0.02004 0.99046
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -7.519e-02 3.354e-03 -22.42 <2e-16 ***
balance 1.299e-04 3.475e-06 37.37 <2e-16 ***
: , 10
Regresión Loǵıstica
Contenidos: Introducción
El siguiente gráfico presenta el ajuste de la relación entre ambas variables
● ● ●● ● ●●● ●●● ●● ● ●●● ●● ●● ● ●● ● ●● ●● ●●● ● ● ● ●●● ●● ●● ●● ●● ●●●●● ● ●●● ●● ●●● ●●● ●● ●●● ●●●● ● ●●●●●● ● ●●● ●● ● ●● ●● ● ●●● ● ●● ●●● ●● ●● ● ●● ● ●●● ●● ● ●●● ●● ●●● ● ●●● ●● ●● ●●● ● ●●
●
●● ●●● ●● ●● ● ●●●● ● ●● ●● ● ●●● ●● ●● ●● ● ●● ● ●● ●
●
●●● ● ●●● ●●●● ● ●● ●● ●●● ●● ●●● ●● ●
●
● ●● ●
●
● ●
●
●● ●● ●●● ● ●● ●● ●●● ● ●● ●● ●● ●● ●●●● ● ●●
●
●
●
● ●●● ● ●● ●● ●● ●● ●●● ●● ●
●
●● ● ●●● ● ● ●●● ●●● ●● ● ●● ● ● ●● ●● ●●● ●● ●● ● ●● ●● ●●●●●●●● ●● ●● ● ●● ● ●●●● ● ●● ●● ●● ●● ● ●● ●●● ●● ●●●
●
●●●
●
● ● ●
●
● ● ●●●●●
●
●● ●● ●● ●● ●● ●● ●●● ● ●● ●● ●●●● ●● ● ● ●●● ●●● ● ● ● ●● ●● ●● ●● ● ●●
●
● ● ●● ●● ●● ●●● ●●● ●●● ●●● ● ●●● ●●●● ● ●● ●
●●
● ●● ●●● ● ● ● ●●● ●●● ● ●● ● ● ●●●● ● ●● ● ●●●●● ●● ● ●●● ●● ●● ●● ●
●
● ●● ●● ● ●●●●● ● ● ●● ●● ● ●●●● ● ●●● ● ●●● ● ● ●●● ● ● ●●● ●● ●●● ● ●● ●●●●
●
● ●● ●
●
● ●● ●● ● ●● ● ● ● ●● ●● ● ●● ●● ●●● ●●●● ●●●
●
● ●●●
●
●● ● ● ●● ●●● ● ●● ●●● ●● ●● ● ●●● ●● ● ●● ●● ●● ●●●● ● ●●● ● ● ●●● ●● ●●● ● ●●● ●●●● ●
●
●●● ●● ● ● ●●
●
● ●● ●● ●●●● ●●● ●●● ●● ●● ●●● ●● ●●● ●●● ●●● ● ●●● ●● ● ●● ●●● ●● ● ● ●●● ●● ●● ●●● ●●
●
● ●● ●● ●●● ●● ●● ●● ●● ●● ●● ●●●● ●●
●
● ●●●● ●● ●●●● ●● ●●●● ●● ●
●
●●● ● ●●● ●●● ●● ●● ● ●● ●● ●● ●● ●●●● ●● ● ● ●●● ● ●●●● ● ●
●
●●● ● ●●●●● ●● ●● ● ●● ●● ●● ● ●●● ●● ●● ●
●
●●●● ●●●● ● ● ●● ●● ●● ●● ● ●● ●● ●●●● ● ● ●●● ●
●
●● ●● ● ● ●●●● ●● ●● ●● ● ●●●● ●● ●● ●● ●● ●●● ●● ●● ● ●● ●● ●● ●● ● ●● ●● ●●
●
●● ● ●●● ● ●●● ●
●
●●●●●● ●● ●●● ●● ● ●● ●● ● ● ●●● ● ●● ● ●● ●●● ● ● ●●●● ● ●●
●
●● ● ●● ●
●
● ●●● ●● ● ●●● ● ●● ●● ●●
●
● ●● ● ●● ● ● ●● ● ●● ●● ● ● ●
●
● ●●●
●
●●● ● ●● ●● ●● ● ● ● ●● ●● ●●
●
●● ●● ● ● ●●● ● ●●●● ●● ●●● ●● ●● ●● ●● ●● ●●● ●●● ● ●●● ● ● ●●●● ●● ●●● ● ● ●●
●
●● ● ● ●● ●●● ●● ● ●●● ●● ●●● ●● ●● ●● ● ●● ●● ●● ●● ●●
●
●● ●● ●
●●
●● ● ●● ●●● ●●●● ● ●●●
●
● ●● ● ● ●●● ●● ● ●●● ●●● ● ●● ● ● ● ●●● ●● ●● ●● ● ●●● ●● ● ●●● ●● ●● ●●
●
●● ● ●●
●
●● ● ● ●● ●●● ●● ●●● ●●● ● ●● ●●● ●●●● ● ●● ● ● ●● ●●●● ●
●
●● ●● ● ●●●●● ●● ● ●● ●● ● ●● ● ●●● ● ●● ●●● ●● ●● ●● ●● ● ●● ●● ● ●● ●● ●● ●● ● ●● ● ●●●● ● ●●● ● ●● ●● ● ●● ●● ●● ●● ●●● ●● ● ● ●● ● ●●● ●●● ● ●●● ● ● ●●●
●
●
●
●●●● ●● ● ● ●● ● ●●● ●●● ●● ● ●●● ●●● ● ● ●●●● ●
●
●●● ● ●● ●●● ● ●● ●●●● ●● ● ●● ●●● ● ●● ●● ●●●●●● ● ●●● ●● ●● ●● ●● ● ●
●
●
●
●● ●● ● ●●● ●●●●● ● ● ● ●●● ● ● ●●● ●● ●● ●● ●● ●● ● ●
●
●●
●
●●●● ●●● ●
●
● ●●● ●
●
●●● ●●● ● ●●●●● ● ●● ●● ●● ●● ● ● ●● ●● ●● ●● ●● ●●● ●●● ● ●● ● ●●
●
●●● ● ●●● ●● ● ●●● ● ●●●● ●● ● ● ●● ●●●● ● ●● ●● ●● ●● ●● ● ●
●
●●● ● ● ●● ●●●●● ●● ●● ● ●
●
●● ● ●● ● ●● ●●●● ● ●●
●
● ●● ●● ●●● ●● ● ● ●●● ●● ●● ●●
●
●●●● ●●● ●●● ●● ●● ●● ●●● ●● ●● ●●● ●● ● ● ● ●●● ●● ●● ●●●●● ●● ● ●●● ● ●● ● ●
●
● ●● ●● ●
●
● ●● ● ● ●● ●● ● ●●●●● ●● ● ●● ●● ●● ●● ●● ● ●● ●● ●●● ●●
●
●● ●●● ●● ●● ●● ●●● ● ●● ●●●● ● ●●● ●● ●● ● ●
●
●● ● ●● ●● ●●● ● ●●● ●● ●●● ● ● ●●● ●●● ●● ●● ●●● ●● ●●● ●● ●● ●●●●
●
●●●
●
●●● ● ●● ●● ●● ●
●
●●● ●● ●●● ●●● ●● ● ●●●
●
●●● ●● ●● ●●● ●● ●
●
●● ●● ●● ● ●●● ●● ● ●● ● ●● ●
●
● ●● ●●● ● ● ●●● ●● ●●● ● ●● ● ●● ● ●● ● ● ●● ●● ●● ● ●● ●● ● ●●●
●
●
●
●●●● ● ●● ● ● ●● ● ●● ● ●●● ● ●●● ● ●● ● ●● ●● ●● ●● ●●● ●● ●●●● ●● ● ●●● ●● ●● ●● ●●● ●●
●
●●● ●● ● ●
●
● ● ●●● ● ●● ●● ●●●●● ●●● ●●● ●
●
●● ● ●●● ●●● ●●● ● ●●
●
●● ● ●● ●● ●●● ●● ● ●
●
● ● ●● ●●●●● ●●● ● ●● ●● ●●● ●● ●● ●●
●
●● ● ●
●
●●● ●● ● ●● ● ●● ● ● ●●●●● ● ●● ●●● ●● ●●●
●
●● ● ● ●●●● ● ● ●● ● ●● ● ●●●● ● ● ●● ● ●●● ● ●●●
●
●●●● ●● ●●● ●● ●●
●
●●● ●● ●
●
●● ● ●● ●● ●● ● ●● ● ●●●●●● ●
●
●● ●
●
●●● ● ● ●● ●●● ●
●
● ● ●●● ●●●●● ●●● ● ● ●● ●● ●●●
●
● ●● ● ●●● ●● ●● ●● ●● ● ● ●●● ●● ● ● ● ●●● ● ●● ●● ●● ●●●● ●● ●
●
● ●● ● ●●● ● ● ●● ●●● ●● ● ● ●●● ● ● ●●● ● ● ●●● ●●● ●●● ● ●
●
● ●● ● ●●● ●● ●●● ● ●● ●
●
● ●●● ● ●● ●●● ●●●
●
●●● ● ● ●● ●● ●● ●●●● ●●● ● ●●● ●●● ●●● ●● ●●●●● ● ●●● ●●●● ● ●● ●●● ● ●● ●● ● ●● ●●● ●● ●● ●● ●● ●● ●● ● ●● ●● ●● ●●●● ●● ●● ●● ●●● ●
●
●● ●● ●● ●●● ●●
●
●● ● ●●● ● ●● ●●● ●●● ● ● ● ●●● ● ●● ●● ●● ● ●●● ●●●● ●● ● ●● ●● ● ● ●●●● ● ●● ●●● ●● ● ●●● ●●● ●● ● ●● ● ● ● ●●● ●●
●
● ●●● ● ●● ● ● ● ●
●
●●●● ●● ●● ● ●●● ● ●● ●●●●●● ●● ●● ●● ●●● ●●● ● ●● ●●● ● ●●●● ●●●● ●● ●● ●
●
● ●● ● ●● ●● ●● ●● ●● ●●● ● ●● ●● ●● ●● ● ●●● ●● ● ●● ●●● ●● ●● ●●●● ●●
●
●● ● ●●● ●● ●● ●● ●● ● ● ●●● ●●● ●●● ●● ●●● ●●●● ●●●●● ●
●
●●●● ● ● ●● ●●●● ●●● ●●● ●● ●● ●●● ●● ●● ●● ●● ●●●●● ●●● ●●● ●● ● ●● ●●●● ●●● ●
●
● ●●● ●● ●● ●● ●● ●● ●● ●●●●●● ●●●● ●● ●● ●
●
●●● ●● ●● ●● ●● ● ●●●
●
●● ●●● ● ●●● ●● ●●● ●● ●●●●● ●●● ● ● ●● ●●●● ●● ●● ● ●●● ●● ● ●● ●●● ● ● ●●●●● ● ●●● ●●● ●● ●●● ● ●● ● ● ●● ●● ●● ● ●● ●●●● ●●●
●
●●● ●● ●● ●● ●● ●● ●● ● ● ●● ●● ● ● ●● ● ●●● ●●● ● ● ●●● ●●
●
●● ●●● ●● ●●● ●● ● ●● ●● ●●● ●●●● ● ●●● ●● ●● ●●● ● ● ● ●●● ●● ● ●●● ●●●● ●● ●● ●●●● ●● ● ●● ● ●●● ●● ● ●● ● ●●● ●● ●● ●● ●● ●●● ●● ●●●● ●●● ●● ●●●●● ● ●● ●● ●
●
●● ●● ● ●●● ●● ●●
●
●● ● ● ●●●● ● ●●● ●●● ●●● ●● ●● ●● ●●● ●● ●● ●● ●●● ●● ●● ●●● ● ● ●●●●
●
●● ● ●●●● ●● ●● ●●
●
● ●●● ●
●
●● ●● ●●●●● ●● ● ●●● ●●● ●●● ●● ●● ● ●● ● ● ●●
●
●● ●● ●
●
●● ● ●●● ●● ●●●● ●●● ●● ●
●
●● ● ●●●●
●
●● ● ● ●● ● ●● ●●● ●●● ●● ● ●● ●
●
● ●● ●●● ● ●●●● ●●●● ●● ● ●●●●● ● ● ●
●
●● ●●● ●●●●
●
●●● ● ●● ●● ●●● ●● ●●●● ● ●● ●● ● ●● ●● ●● ● ●●● ●● ●
●
●● ●● ●● ● ●● ●●
●
● ●● ●●● ●●
●
● ●● ● ● ●●
●
●● ●● ● ●● ●
●
●● ●●●● ● ●●●●● ● ● ●● ● ● ●●●●●● ●● ●●● ●●● ●● ●● ●●●● ● ● ●● ●●●● ●● ●●
●
● ●
●
●●● ●●
●
● ●● ● ●
●
●● ●● ● ●● ● ● ●●●● ●● ● ● ●● ● ● ●● ●● ●● ●● ●● ● ●● ●●● ● ● ●●●● ● ●
●
● ●● ●● ●● ●● ●● ●● ●●● ● ● ●● ●● ●●● ●● ● ●●●● ● ●● ●●● ● ●●●● ●●●●●
●
● ● ●
●
● ● ●●● ● ●●●● ● ●● ●● ●● ●● ●● ●● ● ●● ● ●● ● ● ● ●● ●● ● ●● ● ●●●● ● ●● ● ●● ●● ● ●●● ● ●● ●● ●●● ●● ●● ●●●
●
● ●● ●●● ● ●● ●●● ●● ●● ●●● ● ●● ●●●● ●● ● ●● ● ●●
●
● ● ●●● ●●● ●● ● ●●●
●
●● ●●● ●● ●● ●● ● ● ●● ● ●●● ● ●● ●●● ● ●●
●
●● ●● ● ●● ● ● ●● ●●● ● ●●●● ●● ●● ● ●● ●●●●● ●● ●●● ●● ●●●● ●●● ●●● ●●● ● ●●● ●● ●●● ●●● ●● ●● ● ●●● ●
●
●● ●
●
● ●●●●● ● ●● ●●● ●● ●● ●●●● ● ●●● ●● ●● ● ● ● ●●● ● ●● ●●● ●●● ●●● ●●●● ●●● ●●● ●● ●● ● ●● ● ●
●
● ●● ● ●●● ●●● ●● ●● ●● ●●● ●● ●●● ● ●● ●● ● ● ●● ● ●● ●● ●● ● ●● ● ●●● ● ●● ●● ●● ●●● ●●● ●● ●● ● ●● ● ●●
●
● ●● ●●● ●● ●● ●●● ●●● ●●● ●● ● ●● ●
●
● ●● ● ●●● ●●● ●● ●●● ● ●●● ●● ●● ● ● ●●● ● ●●
●
● ● ●● ● ● ●
●
●● ● ●●● ●● ●● ● ● ●●● ● ● ●●● ● ● ●● ●● ●●●● ● ●● ●●
●
●● ● ● ●● ● ● ● ●●
●
● ●●● ● ● ●● ● ●● ●●● ●● ●● ● ●●● ● ●●● ●● ●●●● ● ●●● ●●● ●● ● ●● ●● ●●● ●●● ● ●●● ●●● ●●●●● ●●●● ●●● ● ● ●●●● ●●
●
● ●●●● ● ●● ● ●
●
●●● ●●● ●● ●● ●●
●
●● ●
●
●
●
●●● ●●● ● ●●●● ●● ●●● ● ●● ●●● ● ● ●● ●●● ●●
●
● ●●● ●● ●●●● ●● ● ●● ● ●● ●● ● ● ●●●● ●● ● ●●●
●
●●●●● ●● ● ●●●● ●●
●
● ●●● ●● ●
●
●● ●● ●● ●●●●● ● ● ●●● ● ●●● ● ●● ● ●●● ●● ● ●● ● ●● ● ● ●● ●●●
●
● ●● ●●●● ●●● ● ● ●
●
● ●● ●●●
●
●● ●● ● ●● ● ●●●●● ● ● ●●● ●● ●● ● ● ●●● ●● ●● ● ● ● ● ●● ●●● ● ●●●● ● ● ●● ● ●●●● ●● ● ●●● ● ●● ●●●● ● ● ●● ●●● ●●
●
●● ●● ● ●● ● ● ●● ● ●●● ●●● ●● ●● ● ● ●● ●● ● ●● ●● ●●● ●● ●● ●● ● ● ● ●● ● ●●●● ● ● ●● ●● ●●● ●
●
●● ●● ● ●● ●● ●● ●● ● ●●● ● ●● ●● ●●● ●●● ● ●● ●●● ●●
●
●● ●● ●● ●●
●
● ●● ●●● ●● ●● ● ●
●
● ●● ● ●●● ● ●●● ● ●● ●● ●●● ●● ●●●● ●● ●●● ●●
●
●● ●● ●● ●● ● ● ●●●
●
●● ●● ● ●●● ●● ●●● ●● ● ● ●● ●●●● ● ● ●● ●●● ●
●
● ● ●
●
● ●● ● ●●● ●● ● ● ●●● ●● ● ●● ●●● ●● ● ● ●● ● ● ●●● ● ●● ● ● ●●● ●● ●●● ● ●●● ●● ●●
●
●● ●● ●●● ●●● ●● ●● ●●● ●● ●
●●
●● ●
●
● ● ●● ● ●● ●● ● ●●● ●● ● ●●● ● ● ● ●● ● ●● ● ●● ● ● ●●●● ● ●●● ● ●●● ●●● ●●● ●● ● ●●● ●● ●● ●● ● ●● ●●●● ● ● ●●●● ●●● ●● ● ●●●● ●
●
●
●
● ●● ●● ●●●● ● ●● ●
●
●● ●● ●● ● ●●●
● ●
● ●●● ●●● ● ●● ● ● ● ●●●
●
● ●●● ● ●●● ●● ●● ●● ●● ●● ● ●●● ●● ● ●● ●●● ●●● ● ● ●● ●●●● ● ●●●●●
●
● ●● ● ●●● ●●● ●● ●● ● ● ●●●●● ●●● ● ●● ●● ●● ●●● ● ●●● ●● ● ● ●● ● ●● ●● ●●●● ●● ● ●●● ● ●●● ● ●● ●●●● ● ●● ●●● ●●● ●●● ●● ● ●●● ● ●● ●●● ●● ●● ●●● ●● ●● ● ●●●● ●● ●●● ●● ●●● ● ●●● ●●● ● ●● ● ●● ●● ●● ●●● ● ●● ●●● ● ●● ● ●● ●●● ● ●●●● ● ●
●
● ● ●●●●● ● ●●
●
●● ●
●
●●●● ●● ●●●●●
●
●● ● ● ●● ●●●● ● ●● ●● ●●
●
●● ●●● ●● ●● ●● ●●● ●●●● ●● ●●● ● ●●●● ● ● ●
●
● ● ● ●●●● ●● ●●● ● ●●● ● ● ●● ●● ●
●
●● ● ●● ● ●● ● ●
●
● ● ●
●
●●● ● ●● ● ●●● ●● ●● ●● ●●● ●●●● ●● ●● ●●● ●● ●● ●●●
●
● ● ● ●● ● ●● ●●● ●●● ●●● ●●● ●● ●● ● ●●● ●● ● ●● ●● ●● ●●● ●● ●●● ● ●● ●●● ● ●● ●● ●●● ● ●● ●●●●● ● ●
●
●● ● ● ● ●●●● ●● ●●● ●● ●● ●● ●● ● ● ●● ●
●
●●● ● ●● ●● ●●● ●●● ●● ●●●
●
●● ●● ●●● ● ● ●●● ●●● ● ●● ●● ●● ●● ●● ●● ● ● ● ●●● ● ●● ● ● ●● ●● ● ● ●● ●●● ●● ●●● ● ●● ●● ● ●●●● ●● ●● ●●● ●● ●
●
●● ● ●● ● ● ●● ●●● ●●●● ●●● ● ● ●● ●●● ● ●● ●● ●● ●●●● ●● ●●● ●●● ●● ●● ●● ●● ●● ● ●●● ●●● ●●●● ● ●
●
● ●●● ● ●●● ●●● ●● ●● ●● ●●●● ●● ● ●●●●● ● ●● ● ●●●●● ● ●●
●
● ● ●● ●● ●●● ●● ● ●●●● ● ●●● ● ●● ●●● ●●● ● ● ●● ●
●
●● ●●● ●●
●
● ●● ● ●●● ●● ●● ●● ●●●● ●● ●●
●
●●● ● ●● ●●●● ●● ● ●● ●●● ●● ●● ● ●● ● ●●● ●● ●● ●●● ●●●● ●●● ●
●
●●● ●●● ●● ● ●● ●● ●● ● ●● ●●● ● ●●● ●● ●● ● ●●● ●●● ● ●●● ●●● ●●●● ● ●● ● ●● ●● ●●● ● ●● ●● ●●● ●
●
●● ● ●●● ●●● ● ●● ●● ●●●● ● ●● ●● ●●● ●● ● ●●● ● ●● ●● ●● ●● ● ● ●● ● ● ●● ● ● ●●●● ●● ●●● ● ● ●● ●● ●● ●●● ●● ●● ● ●
●
● ● ●●● ●● ●● ●● ●
●
● ●● ●● ●●●
●
● ● ●● ●●●● ●●● ● ●● ● ●●● ●● ●●● ●●● ●●● ● ●● ●● ●● ●● ●●●●●● ●● ● ●● ●● ● ●●● ●●● ● ● ●● ● ● ●● ●● ●●● ● ●●● ●● ●●●●● ● ●● ●●● ● ●●● ●●●● ● ●● ● ●● ●●● ●●
●
●●●●●● ● ●●● ●● ● ●● ●● ●● ●●● ●● ●● ●● ●● ● ● ●● ● ●●
●
●● ●● ●● ●● ●●● ● ●●● ●●● ●●● ●● ●● ●● ●● ● ●● ●● ●●
●
●●● ● ●● ●● ●●● ●●● ● ●● ●● ● ●● ●●● ● ●● ●● ●●
●
● ● ●● ● ●●● ●● ●● ● ● ●●● ● ●● ● ●●●● ●●●● ●● ●● ● ●● ● ● ●●● ● ●● ● ● ●●●● ●● ● ●●●● ● ●● ●● ● ●● ●● ● ●●● ●● ●● ● ●●● ●● ● ●● ●●● ●●●
●
● ●● ●● ●●●● ●● ●● ●●●● ● ●●● ●●●● ● ●●●● ●●●● ●● ●
●
●● ● ●● ● ● ●● ● ● ●
●
● ●●●●● ● ●●●●●● ● ●● ● ● ●● ●● ●● ●● ● ●● ●●● ●● ● ●● ●● ●● ●
●
●
●
● ●●● ● ●● ● ●●● ●●● ●●●● ●
●
●● ●● ●● ●● ●● ● ● ●● ● ●●● ● ● ● ●●
●
●● ●● ● ●● ● ●●●● ● ●●
●
● ●● ●●●● ●● ● ●●●●● ●● ●● ●●●● ● ● ●●● ●●● ● ●● ●●●● ●●● ●
●
● ●●●● ●● ● ●●
●
●● ●● ● ●●●● ● ●● ●●●●● ● ●● ● ●●● ● ● ●● ●● ● ● ● ●● ●●● ●●● ●● ● ● ●● ● ●●
●
●● ●●● ●
●
● ● ●● ●● ●●●● ●
●
●● ● ●●● ● ●● ●●● ●●● ●● ●● ●●● ● ●● ●● ● ●●● ●● ●● ● ●● ● ●● ●●●● ●● ●●● ●●● ●●● ●● ● ●●● ● ●● ●● ● ●●●
● ●
●●● ●● ●● ●● ● ●● ●●●● ● ●●●● ●● ●●● ●● ●● ● ●●● ●●
●
● ●● ●● ●●● ●● ●● ● ● ●●● ● ●● ● ●●●● ●●
●
●● ●●● ●● ● ●● ● ● ● ●● ● ●●● ● ●
●
● ●● ●● ●● ● ●● ●● ●● ● ●●● ●● ●●● ●● ●●
●
● ●● ● ●●●● ●●●
●
● ●●● ●● ●● ● ●● ●
●
● ●● ●●● ●● ● ●● ●● ●●●● ●● ● ●●● ● ●● ● ●● ● ●●● ● ●● ● ●● ●●●●● ●
●
●● ● ●● ●● ● ● ● ●●● ● ●● ●●●●
●
●
●
● ● ●● ●●●● ●●● ●●●● ●●●● ● ● ● ●●● ● ●● ● ●● ●● ● ●● ● ●●●● ● ●● ● ● ●●● ●● ●
●
●●●●
●
● ●●● ● ●●● ●●
●
● ●● ●● ●●● ●●● ●● ●●●● ●●● ●
●
●●● ●● ● ●●
●
●●● ● ● ●● ●●● ● ●● ●●●● ●● ● ●● ●●● ●● ●● ● ●●● ● ●●● ●● ●●●
●
●● ●●● ●● ●●● ● ●●● ●● ● ●● ● ●●● ● ●●● ● ●● ● ●●● ●●●● ●● ●● ●●●●● ● ●●● ● ●● ●● ●● ●● ● ●● ● ●●●●
●
●● ●●● ●● ●●● ● ● ●● ●● ● ●●● ●●●● ● ●
●
●● ● ● ●●● ●● ●●
●
● ●● ●● ●● ●
●
● ● ● ●● ● ●● ●●● ●●● ●● ● ●● ●● ●● ●●●
●
● ●● ●● ●●●●● ● ● ●● ●●
●
●●
●
●● ● ●● ●● ● ●●● ●● ● ●● ● ●●● ●
●
●● ● ●● ● ●●●
●
●● ● ●●●● ●● ●●● ● ●●● ● ● ●●● ●● ● ●● ●● ●● ● ● ●● ●●●● ●●
●
● ●● ● ●● ●● ● ●● ●●● ● ●●● ●●● ●●● ● ●●● ● ●● ● ●●● ●●●●● ● ● ● ●●
●
● ● ● ●● ● ●●● ●● ●● ●●
●
● ●● ●●●● ● ●●● ● ●●●● ●● ● ●●●● ●● ● ●●
●
●● ● ● ●●●●● ● ●● ●●● ●● ●● ●● ●●● ●●●● ●●●
●
● ● ● ●●● ●●●● ● ●● ●●●● ● ●● ● ● ●● ●● ● ● ●● ●● ●● ● ●●●●● ●●● ●●●
●
●● ●●● ●●● ●●
●
● ● ●● ● ●● ●●●●● ●●● ●● ●● ●● ●● ● ●●● ●● ● ● ● ● ●●
●
● ●●● ● ●● ●●●● ●● ●●● ●● ●●●● ●●● ●● ● ● ●●● ● ●●● ● ●● ●● ●● ● ●● ● ●● ● ●● ●● ● ●● ●
●
●●● ●● ●●●● ●●●●● ● ●● ● ●● ● ●● ●●●● ● ●● ● ●● ●● ●●●● ●● ●●● ●●
●
● ●● ●● ●● ●●● ●● ●● ● ●●●●● ●● ●● ● ●●● ●● ●●●● ● ●● ●●● ●●● ●● ●● ● ●●●● ●●● ●●● ●●● ●● ●●●● ● ● ●● ● ●● ●● ● ● ●● ● ● ●● ● ●● ●
●
●
●
●●● ● ● ●●● ●●● ●● ● ●● ● ●● ●●● ● ●
●
● ●●● ●● ●● ● ● ●● ●●● ● ● ● ●● ● ●● ●●● ●● ● ●● ●● ● ●● ●● ●● ●● ●● ●● ●● ●●● ● ●● ●● ●● ● ●● ●●●●
●
● ●●● ●●● ●
●
● ●●● ● ●● ● ● ●●●●● ● ●●● ●● ●● ●● ●●● ●● ● ●●● ● ●● ●● ●●● ●● ● ●● ● ●
●
● ●
●
●●● ●●●●● ● ●●●● ●● ●● ●●● ●● ● ●● ● ●● ●●● ● ●●
●
● ● ●●● ● ●●● ● ●●●● ●● ●● ● ●●●● ● ● ●●
●
●●● ● ● ●● ● ● ●●● ●● ● ●●● ●● ●●● ●● ●● ●●● ●●● ●●● ● ●●● ● ● ●● ●● ●●● ●● ● ●●● ●●●● ●● ●● ●●● ● ●●● ●●●● ●●●●● ●● ●●● ●● ●● ● ● ●●● ●● ●● ●● ●●●● ●●● ●●
●
●●● ●●● ●●● ● ●● ● ●●● ● ●● ● ● ●● ●●● ● ●● ●●●●● ● ●● ● ●●● ●●● ● ●● ●●● ● ●●● ● ●●●● ●● ●●●● ● ● ●●
●
●●●●● ●● ● ● ●● ●● ●● ●●●●● ● ●●● ●● ●●● ●●● ● ●● ●● ●●● ● ●● ●● ●●● ●● ● ●
●
●● ● ●● ●●●● ●● ●●
●
●● ●● ● ● ●● ● ● ●●
●
●
●
●
●
●● ●● ● ●● ●● ●●
●
●●● ●● ●● ●● ● ●● ●●● ● ●● ● ● ●●● ● ●● ●● ●●●● ●●●● ●● ● ●●
●
● ●● ●● ● ●● ●● ●●● ● ● ●● ●●● ●● ●● ●● ● ● ● ●●●●
●
●● ●●● ●●● ●● ●● ●● ● ●● ●● ●● ● ● ●● ● ●● ● ●●● ● ●● ●●● ●● ● ●● ●●● ●● ● ●● ●● ●● ●● ●●● ●●● ● ● ●●● ●●● ● ●● ●● ●● ●● ● ●●●● ●● ●● ● ●● ●● ●●● ● ●● ● ●●●● ● ●● ● ●● ● ● ● ●● ●● ● ●● ●● ●●● ● ● ●●● ●●●● ● ●●● ●● ● ●● ●●● ● ●● ● ●●● ●● ●●● ●● ●● ●● ●●● ●● ● ●● ●● ●● ● ●● ●●●● ●● ● ●● ●● ●● ●●● ●● ●● ●●● ● ●● ●● ● ● ● ●● ●●●
●
●● ●● ●● ●●●●● ●● ● ●●●● ●
●
● ● ● ●● ● ● ● ●●●●●● ●●● ●● ● ● ●●● ● ●●● ● ●●● ●●●●● ● ● ● ●● ●●●● ● ●●
●
● ●●
●
● ● ●● ●● ●●● ●● ●● ●●● ●● ● ●● ●● ● ●●● ●● ●● ●● ●● ●● ●● ● ●● ● ●●● ●●
●
●● ● ● ●● ●● ● ●● ●●● ●●● ●● ●
●
●● ●●●● ● ●● ● ●● ●● ● ● ●● ● ●●●● ●● ●●● ●● ● ● ●● ● ●● ● ●● ●● ●●
●
● ● ●● ● ●●●● ● ●● ●● ● ●● ●●●● ●●●● ● ●● ● ●●●
●
●●●● ● ●●● ●● ● ● ●
●
● ● ●● ●●●
●
● ●●● ●●●● ● ● ●● ● ● ●●● ●● ● ● ●● ● ● ●● ● ●● ● ●● ●
●
●●● ●● ●●● ● ●
●
●●● ●● ●●● ●●● ●●● ●●
●
●● ● ●● ●● ●●●● ●●● ● ●● ●● ● ●●● ●● ● ●●
●
●●
●
● ●
● ●
●● ●●●●● ●● ● ●● ● ●●
●
● ●● ●●● ●● ●
●
●● ● ●●
●
● ●●●● ●● ● ●● ● ●●● ● ●●● ●●● ●●●● ●● ●● ●● ●●●● ● ●●● ● ●●● ●●●
●
● ●● ●● ● ● ●● ●●● ●● ● ●● ●●● ●● ●●●●● ● ●●●
●
●● ●●●● ● ●●● ● ●●●● ●●●● ●● ●● ●● ● ●●● ● ●●● ●●● ●● ● ●●● ● ●● ●●● ●● ●●● ● ● ● ●● ●●● ● ● ● ●● ●● ● ● ●● ●● ●● ●● ●● ● ●●● ● ●●● ●●● ● ●● ● ●●● ●● ● ●● ● ●● ●● ● ●●● ●●● ●● ●● ●● ● ●●●●● ● ●●
●
●● ●●●● ●● ●●● ●●● ● ●●●
●
●● ●● ● ● ●●● ● ● ●
●
● ● ●● ● ●● ●● ●●● ●● ●● ●● ● ●● ● ●● ●● ●● ● ● ● ●●● ●●●● ●● ● ●● ●●● ● ●● ●● ●● ●
●
●● ●● ●● ●● ●● ●●●●● ● ● ●● ●● ●●● ● ● ●●● ● ●●● ●●● ● ● ●
●
●●
●
● ● ●●● ●● ●● ●●● ●● ●● ●● ●● ●● ●● ● ●●●●● ●● ● ●● ●● ● ●● ●● ●● ● ●●●● ●● ●● ● ●●● ●● ● ● ●●● ●●● ●●● ●
●
●●● ●● ●●● ●● ●
●
●●● ●● ● ●● ●●● ●● ●●● ●●● ● ●● ● ●●● ●●● ●● ●●● ●●● ●● ● ● ● ●● ●● ● ●● ●● ●● ● ●●● ● ● ●● ●● ●● ● ●● ● ● ●●
●
●● ● ●● ●● ●● ●● ●●● ● ●● ●●●● ●●●● ●● ● ● ●●● ● ●● ● ●●● ● ●● ●● ● ●●
●
● ●●●
●
● ●● ●● ●● ● ●●●● ●● ●●● ● ●● ●●●●
●
●●● ● ●● ●●
●
● ●●●
●
● ● ●● ● ●●●●● ●●● ●● ●● ●● ● ● ● ●●● ● ● ●● ●●●● ●● ● ●●●●● ●●● ●●● ●●●●● ● ● ●● ●●● ●● ●● ●● ●●●● ●● ●● ● ●● ●●● ●● ●●●● ●●●● ● ● ● ●●
●
●● ●●● ●●● ●● ● ●● ● ●● ●●●● ●●●● ● ●● ●●● ●●● ●●●●●●● ●● ●●● ● ●● ● ●● ●●● ● ●● ●● ●● ●●●● ●● ●● ●● ● ●● ● ●
●
● ●● ●● ●● ● ●● ●●●●
●
● ●● ●●● ● ● ●● ●●● ●● ● ●●● ● ● ● ●
●
●●● ● ● ●●●● ●● ●● ●● ●● ● ●● ● ●●● ● ●● ● ●●● ●
●
● ●● ● ●● ●● ●●● ● ●● ● ● ●● ● ●●●● ●● ●● ●●● ● ●● ●●● ●●● ●
●
● ●● ●●● ●● ● ●●● ● ●● ● ●● ● ●●● ●●● ●● ●● ●●●● ●● ● ●● ●●● ●●● ● ●●● ●● ●● ●●●● ●●●●● ●
●
●●●●
●
● ●●●●● ●●● ●
●
● ● ●● ●●● ● ●
●
●● ● ●● ●●●●● ● ●●● ●● ● ●
●
● ●● ●● ●●
●
●●● ●● ● ● ●●●●●● ●
●
●●●● ● ●● ●●
●
●● ● ●
●
●●●●● ●
●
● ● ●● ●● ● ●●● ●● ● ●●
●
● ● ●●● ●● ●●● ●● ●●● ●● ●● ● ● ●● ●●● ● ●● ●●● ● ●● ●●●● ●●●●● ●● ● ●●●●● ● ● ●● ●● ●●● ● ●●● ● ●● ●● ●
●
●● ●● ●●● ●● ●● ●●● ● ●● ●● ●● ● ●● ●●●● ●● ●●● ● ●●●● ● ● ● ●●
●
●● ● ● ●● ●●● ● ●● ● ●● ●●● ●● ●●●●● ●●● ●● ● ●● ●● ●●● ●●● ●●● ●●● ●● ●● ●● ● ● ● ●●● ● ●● ●●● ●●● ●● ●●● ●●● ●● ●●● ● ●●● ●●● ●●●●●● ● ● ●● ● ●● ● ●●●● ●●● ● ● ●● ●● ● ●●● ●● ●●● ● ●● ●
●
●●
●
● ●●● ●● ●● ●
●
●● ●● ●●● ●●● ● ●● ●● ●
●
●● ●● ● ●●● ●●● ●● ● ●●●● ● ●● ●● ●●● ●● ●●●●● ●● ●●● ●● ●●
●
●● ●●●● ● ●● ●● ●● ●● ● ●● ● ●●● ●● ● ●
●
● ●●●● ●●● ●
●
● ●●● ●● ●●● ● ●●● ●●●● ●
●
● ●●●●●● ●
●
● ● ●● ●●●● ●● ●●● ●● ●● ●●● ●● ●●●●●
●
●
●
● ● ●●● ●●● ● ● ●● ● ● ●●● ● ●● ● ● ●●● ●
●
● ●●●● ●●● ●● ●● ● ●●● ● ● ● ●●0.00
0.25
0.50
0.75
1.00
0 1000 2000
balance
P
ro
ba
bi
lid
ad
 d
ef
au
lt
Regresión lineal por mínimos cuadrados
En rojo los 0’s (cumplieron), los verdes con 1’s (incumplieron) y en negro
la recta media ajustada: ̂default = β̂0 + β̂1balance
: , 11
Regresión Loǵıstica
Contenidos: Introducción
Para evitar este tipo de problemas, la regresión loǵıstica utiliza una función
sigmoide que es una transformación sobre la recta y restringe el valor de
los resultados a [0, 1], la función es sigmoide,
f (x) =
exp(x)
1 + exp(x)
.
Para valores muy grandes de x la función f (x) es cercana a 1 y para valores
muy negativos de x la función f (x) es cercana a 0.
: , 12
Regresión Loǵıstica
Contenidos
Regresión Loǵıstica
I Introducción.
I Metodoloǵıa y Aplicación.
: , 13
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
La regresión loǵıstica se aplica a problemas de clasificación binaria, por lo
tanto se puede emplear para:
I Modelar la probabilidad de ocurrencia de un evento dicotómico.
I Clasificar observaciones en dos categoŕıas posibles.
Por lo tanto, asume que el comportamiento de la variable dependiente {Y }
(respuesta) es una distribución de Bernoulli.
: , 14
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
I Se dispone de una muestra aleatoria de ′n′ observaciones y ′p + 1′
caracteŕısticas medidas, donde “p′′ son las variables independientes
X ′s y “una” es la variable dependiente {Y }.
I Para cada observación se asume que la variable dependiente la si-
guiente distribución {Yi} ∼ Bernoulli(π(xi )), donde
Pr(Yi = k) = π(xi )
k(1− π(xi ))1−k , k = 0, 1,
π(xi ) =
eβ0+β1x1i+...+βpxpi
1 + eβ0+β1x1i+...+βpxpi
I xki corresponde a la k-ésima caracteŕıstica medida al individuo i .
: , 15
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Note que el valor esperado para cada individuo, dada sus caracteŕısticas
medidas es
Exi (Yi ) = Pr(Yi = 1|Xi = xi ) = π(xi ) =
eβ0+β1x1i+...+βpxpi
1 + eβ0+β1x1i+...+βpxpi
.
Por lo tanto, entre más alto sea el valor, mayor probabilidad de ocurrencia
del valor 1.
: , 16
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
El logito (logit) es una cantidad relevante en este modelo y se define como:
logit(xi ) = log
(
π(xi )
1− π(xi )
)
= β0 + β1x1i + . . .+ βpxpi ,
donde la relación entre las variables independientes y esta cantidad logito
es lineal.
: , 17
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Supuestos del modelo:
I Independencia: Se asume que todas las observaciones son indepen-
dientes entre ellas.
I Linealidad: La relación entre las variables independientes y el logito
debe ser lineal.
I No Colinealidad: Las variables independiente deben ser no correlacio-
nadas.
: , 18
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Ajuste del modelo
Utilizando el principio estad́ıstico de máxima verosimilitud se pueden esti-
mar los parámetros desconocidos β del modelo, buscando los argumentos
que maximizan la función de log-verosimilitud:
`(β) =
n∑
i=1
[
yi log
(
π(xi )
1− π(xi )
)
+ log(1− π(xi ))
]
,
donde β = (β0, . . . , βp)
′ son los parámetros desconocidos y el estimador
β̂ = argβ máx `(β)
: , 19
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
La función glm() en R permite ajusta modelo de regresión loǵıstica (y
muchos más). La forma general de la función
glm(y ~ x1 + ... + xp, family = "binomial", data, subset,
start = NULL, offset, control = list(...),
model = TRUE, method = "glm.fit",...)
Note que ’y’ es la variable dependiente, ’x’s’ son las variables inde-
pendientes, también se incluye el set de datos y un subconjunto del mis-
mo (train opcional). Para un ajuste de regresión loǵıstica el parámetro
family = ’binomial’ debe estar fijo.
: , 20
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Utilizando el ejemplo de la introducción con el data set ’Default’, los
resultados son los siguientes:
> modelo_logistico <- glm(default ~ balance, data = datos, family = "binomial")
> summary(modelo_logistico)
Call:
glm(formula = default ~ balance, family = "binomial", data = datos)
Deviance Residuals:
Min 1Q Median 3Q Max
-2.2697 -0.1465 -0.0589 -0.0221 3.7589
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -1.065e+01 3.612e-01 -29.49 <2e-16 ***
balance 5.499e-03 2.204e-0424.95 <2e-16 ***
: , 21
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Los parámetros estimados son:
β̂0 = −10.6513,
β̂1 = 0.0055
Por lo tanto, la probabilidad estimada P̂r(Yi = 1) está dada por:
Êxi (Yi ) = π̂(balancei ) =
e−10.6513+β1x1i+0.0055×balancei
1 + e−10.6513+0.0055×balancei
.
: , 22
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
El siguiente gráfico muestra la curva ajustada
● ● ●● ● ●●● ●●● ●● ● ●●● ●● ●● ● ●● ● ●● ●● ●●● ● ● ● ●●● ●● ●● ●● ●● ●●●●● ● ●●● ●● ●●● ●●● ●● ●●● ●●●● ● ●●●●●● ● ●●● ●● ● ●● ●● ● ●●● ● ●● ●●● ●● ●● ● ●● ● ●●● ●● ● ●●● ●● ●●● ● ●●● ●● ●● ●●● ● ●●
●
●● ●●● ●● ●● ● ●●●● ● ●● ●● ● ●●● ●● ●● ●● ● ●● ● ●● ●
●
●●● ● ●●● ●●●● ● ●● ●● ●●● ●● ●●● ●● ●
●
● ●● ●
●
● ●
●
●● ●● ●●● ● ●● ●● ●●● ● ●● ●● ●● ●● ●●●● ● ●●
●
●
●
● ●●● ● ●● ●● ●● ●● ●●● ●● ●
●
●● ● ●●● ● ● ●●● ●●● ●● ● ●● ● ● ●● ●● ●●● ●● ●● ● ●● ●● ●●●●●●●● ●● ●● ● ●● ● ●●●● ● ●● ●● ●● ●● ● ●● ●●● ●● ●●●
●
●●●
●
● ● ●
●
● ● ●●●●●
●
●● ●● ●● ●● ●● ●● ●●● ● ●● ●● ●●●● ●● ● ● ●●● ●●● ● ● ● ●● ●● ●● ●● ● ●●
●
● ● ●● ●● ●● ●●● ●●● ●●● ●●● ● ●●● ●●●● ● ●● ●
●●
● ●● ●●● ● ● ● ●●● ●●● ● ●● ● ● ●●●● ● ●● ● ●●●●● ●● ● ●●● ●● ●● ●● ●
●
● ●● ●● ● ●●●●● ● ● ●● ●● ● ●●●● ● ●●● ● ●●● ● ● ●●● ● ● ●●● ●● ●●● ● ●● ●●●●
●
● ●● ●
●
● ●● ●● ● ●● ● ● ● ●● ●● ● ●● ●● ●●● ●●●● ●●●
●
● ●●●
●
●● ● ● ●● ●●● ● ●● ●●● ●● ●● ● ●●● ●● ● ●● ●● ●● ●●●● ● ●●● ● ● ●●● ●● ●●● ● ●●● ●●●● ●
●
●●● ●● ● ● ●●
●
● ●● ●● ●●●● ●●● ●●● ●● ●● ●●● ●● ●●● ●●● ●●● ● ●●● ●● ● ●● ●●● ●● ● ● ●●● ●● ●● ●●● ●●
●
● ●● ●● ●●● ●● ●● ●● ●● ●● ●● ●●●● ●●
●
● ●●●● ●● ●●●● ●● ●●●● ●● ●
●
●●● ● ●●● ●●● ●● ●● ● ●● ●● ●● ●● ●●●● ●● ● ● ●●● ● ●●●● ● ●
●
●●● ● ●●●●● ●● ●● ● ●● ●● ●● ● ●●● ●● ●● ●
●
●●●● ●●●● ● ● ●● ●● ●● ●● ● ●● ●● ●●●● ● ● ●●● ●
●
●● ●● ● ● ●●●● ●● ●● ●● ● ●●●● ●● ●● ●● ●● ●●● ●● ●● ● ●● ●● ●● ●● ● ●● ●● ●●
●
●● ● ●●● ● ●●● ●
●
●●●●●● ●● ●●● ●● ● ●● ●● ● ● ●●● ● ●● ● ●● ●●● ● ● ●●●● ● ●●
●
●● ● ●● ●
●
● ●●● ●● ● ●●● ● ●● ●● ●●
●
● ●● ● ●● ● ● ●● ● ●● ●● ● ● ●
●
● ●●●
●
●●● ● ●● ●● ●● ● ● ● ●● ●● ●●
●
●● ●● ● ● ●●● ● ●●●● ●● ●●● ●● ●● ●● ●● ●● ●●● ●●● ● ●●● ● ● ●●●● ●● ●●● ● ● ●●
●
●● ● ● ●● ●●● ●● ● ●●● ●● ●●● ●● ●● ●● ● ●● ●● ●● ●● ●●
●
●● ●● ●
●●
●● ● ●● ●●● ●●●● ● ●●●
●
● ●● ● ● ●●● ●● ● ●●● ●●● ● ●● ● ● ● ●●● ●● ●● ●● ● ●●● ●● ● ●●● ●● ●● ●●
●
●● ● ●●
●
●● ● ● ●● ●●● ●● ●●● ●●● ● ●● ●●● ●●●● ● ●● ● ● ●● ●●●● ●
●
●● ●● ● ●●●●● ●● ● ●● ●● ● ●● ● ●●● ● ●● ●●● ●● ●● ●● ●● ● ●● ●● ● ●● ●● ●● ●● ● ●● ● ●●●● ● ●●● ● ●● ●● ● ●● ●● ●● ●● ●●● ●● ● ● ●● ● ●●● ●●● ● ●●● ● ● ●●●
●
●
●
●●●● ●● ● ● ●● ● ●●● ●●● ●● ● ●●● ●●● ● ● ●●●● ●
●
●●● ● ●● ●●● ● ●● ●●●● ●● ● ●● ●●● ● ●● ●● ●●●●●● ● ●●● ●● ●● ●● ●● ● ●
●
●
●
●● ●● ● ●●● ●●●●● ● ● ● ●●● ● ● ●●● ●● ●● ●● ●● ●● ● ●
●
●●
●
●●●● ●●● ●
●
● ●●● ●
●
●●● ●●● ● ●●●●● ● ●● ●● ●● ●● ● ● ●● ●● ●● ●● ●● ●●● ●●● ● ●● ● ●●
●
●●● ● ●●● ●● ● ●●● ● ●●●● ●● ● ● ●● ●●●● ● ●● ●● ●● ●● ●● ● ●
●
●●● ● ● ●● ●●●●● ●● ●● ● ●
●
●● ● ●● ● ●● ●●●● ● ●●
●
● ●● ●● ●●● ●● ● ● ●●● ●● ●● ●●
●
●●●● ●●● ●●● ●● ●● ●● ●●● ●● ●● ●●● ●● ● ● ● ●●● ●● ●● ●●●●● ●● ● ●●● ● ●● ● ●
●
● ●● ●● ●
●
● ●● ● ● ●● ●● ● ●●●●● ●● ● ●● ●● ●● ●● ●● ● ●● ●● ●●● ●●
●
●● ●●● ●● ●● ●● ●●● ● ●● ●●●● ● ●●● ●● ●● ● ●
●
●● ● ●● ●● ●●● ● ●●● ●● ●●● ● ● ●●● ●●● ●● ●● ●●● ●● ●●● ●● ●● ●●●●
●
●●●
●
●●● ● ●● ●● ●● ●
●
●●● ●● ●●● ●●● ●● ● ●●●
●
●●● ●● ●● ●●● ●● ●
●
●● ●● ●● ● ●●● ●● ● ●● ● ●● ●
●
● ●● ●●● ● ● ●●● ●● ●●● ● ●● ● ●● ● ●● ● ● ●● ●● ●● ● ●● ●● ● ●●●
●
●
●
●●●● ● ●● ● ● ●● ● ●● ● ●●● ● ●●● ● ●● ● ●● ●● ●● ●● ●●● ●● ●●●● ●● ● ●●● ●● ●● ●● ●●● ●●
●
●●● ●● ● ●
●
● ● ●●● ● ●● ●● ●●●●● ●●● ●●● ●
●
●● ● ●●● ●●● ●●● ● ●●
●
●● ● ●● ●● ●●● ●● ● ●
●
● ● ●● ●●●●● ●●● ● ●● ●● ●●● ●● ●● ●●
●
●● ● ●
●
●●● ●● ● ●● ● ●● ● ● ●●●●● ● ●● ●●● ●● ●●●
●
●● ● ● ●●●● ● ● ●● ● ●● ● ●●●● ● ● ●● ● ●●● ● ●●●
●
●●●● ●● ●●● ●● ●●
●
●●● ●● ●
●
●● ● ●● ●● ●● ● ●● ● ●●●●●● ●
●
●● ●
●
●●● ● ● ●● ●●● ●
●
● ● ●●● ●●●●● ●●● ● ● ●● ●● ●●●
●
● ●● ● ●●● ●● ●● ●● ●● ● ● ●●● ●● ● ● ● ●●● ● ●● ●● ●● ●●●● ●● ●
●
● ●● ● ●●● ● ● ●● ●●● ●● ● ● ●●● ● ● ●●● ● ● ●●● ●●● ●●● ● ●
●
● ●● ● ●●● ●● ●●● ● ●● ●
●
● ●●● ● ●● ●●● ●●●
●
●●● ● ● ●● ●● ●● ●●●● ●●● ● ●●● ●●● ●●● ●● ●●●●● ● ●●● ●●●● ● ●● ●●● ● ●● ●● ● ●● ●●● ●● ●● ●● ●● ●● ●● ● ●● ●● ●● ●●●● ●● ●● ●● ●●● ●
●
●● ●● ●● ●●● ●●
●
●● ● ●●● ● ●● ●●● ●●● ● ● ● ●●● ● ●● ●● ●● ● ●●● ●●●● ●● ● ●● ●● ● ● ●●●● ● ●● ●●● ●● ● ●●● ●●● ●● ● ●● ● ● ● ●●● ●●
●
● ●●● ● ●● ● ● ● ●
●
●●●● ●● ●● ● ●●● ● ●● ●●●●●● ●● ●● ●● ●●● ●●● ● ●● ●●● ● ●●●● ●●● ● ●● ●● ●
●
● ●● ● ●● ●● ●● ●● ●● ●●● ● ●● ●● ●● ●● ● ●●● ●● ● ●● ●●● ●● ●● ●●●● ●●
●
●● ● ●●● ●● ●● ●● ●● ● ● ●●● ●●● ●●● ●● ●●● ●●●● ●●●●● ●
●
●●●● ● ● ●● ●●●● ●●● ●●● ●● ●● ●●● ●● ●● ●● ●● ●●●●● ●●● ●●● ●● ● ●● ●●●● ●●● ●
●
● ●●● ●● ●● ●● ●● ●● ●● ●●●●●● ●●●● ●● ●● ●
●
●●● ●● ●● ●● ●● ● ●●●
●
●● ●●● ● ●●● ●● ●●● ●● ●●●●● ●●● ● ● ●● ●●●● ●● ●● ● ●●● ●● ● ●● ●●● ● ● ●●●●● ● ●●● ●●● ●● ●●● ● ●● ● ● ●● ●● ●● ● ●● ●●●● ●●●
●
●●● ●● ●● ●● ●● ●● ●● ● ● ●● ●● ● ● ●● ● ●●● ●●● ● ● ●●● ●●
●
●● ●●● ●● ●●● ●● ● ●● ●● ●●● ●●●● ● ●●● ●● ●● ●●● ● ● ● ●●● ●● ● ●●● ●●●● ●● ●● ●●●● ●● ● ●● ● ●●● ●● ● ●● ● ●●● ●● ●● ●● ●● ●●● ●● ●●●● ●●● ●● ●●●●● ● ●● ●● ●
●
●● ●● ● ●●● ●● ●●
●
●● ● ● ●●●● ● ●●● ●●● ●●● ●● ●● ●● ●●● ●● ●● ●● ●●● ●● ●● ●●● ● ● ●●●●
●
●● ● ●●●● ●● ●● ●●
●
● ●●● ●
●
●● ●● ●●●●● ●● ● ●●● ●●● ●●● ●● ●● ● ●● ● ● ●●
●
●● ●● ●
●
●● ● ●●● ●● ●●●● ●●● ●● ●
●
●● ● ●●●●
●
●● ● ● ●● ● ●● ●●● ●●● ●● ● ●● ●
●
● ●● ●●● ● ●●●● ●●●● ●● ● ●●●●● ● ● ●
●
●● ●●● ●●●●
●
●●● ● ●● ●● ●●● ●● ●●●● ● ●● ●● ● ●● ●● ●● ● ●●● ●● ●
●
●● ●● ●● ● ●● ●●
●
● ●● ●●● ●●
●
● ●● ● ● ●●
●
●● ●● ● ●● ●
●
●● ●●●● ● ●●●●● ● ● ●● ● ● ●●●●●● ●● ●●● ●●● ●● ●● ●●●● ● ● ●● ●●●● ●● ●●
●
● ●
●
●●● ●●
●
● ●● ● ●
●
●● ●● ● ●● ● ● ●●●● ●● ● ● ●● ● ● ●● ●● ●● ●● ●● ● ●● ●●● ● ● ●●●● ● ●
●
● ●● ●● ●● ●● ●● ●● ●●● ● ● ●● ●● ●●● ●● ● ●●●● ● ●● ●●● ● ●●●● ●●●●●
●
● ● ●
●
● ● ●●● ● ●●●● ● ●● ●● ●● ●● ●● ●● ● ●● ● ●● ● ● ● ●● ●● ● ●● ● ●●●● ● ●● ● ●● ●● ● ●●● ● ●● ●● ●●● ●● ●● ●●●
●
● ●● ●●● ● ●● ●●● ●● ●● ●●● ● ●● ●●●● ●● ● ●● ● ●●
●
● ● ●●● ●●● ●● ● ●●●
●
●● ●●● ●● ●● ●● ● ● ●● ● ●●● ● ●● ●●● ● ●●
●
●● ●● ● ●● ● ● ●● ●●● ● ●●●● ●● ●● ● ●● ●●●●● ●● ●●● ●● ●●●● ●●● ●●● ●●● ● ●●● ●● ●●● ●●● ●● ●● ● ●●● ●
●
●● ●
●
● ●●●●● ● ●● ●●● ●● ●● ●●●● ● ●●● ●● ●● ● ● ● ●●● ● ●● ●●● ●●● ●●● ●●●● ●●● ●●● ●● ●● ● ●● ● ●
●
● ●● ● ●●● ●●● ●● ●● ●● ●●● ●● ●●● ● ●● ●● ● ● ●● ● ●● ●● ●● ● ●● ● ●●● ● ●● ●● ●● ●●● ●●● ●● ●● ● ●● ● ●●
●
● ●● ●●● ●● ●● ●●● ●●● ●●● ●● ● ●● ●
●
● ●● ● ●●● ●●● ●● ●●● ● ●●● ●● ●● ● ● ●●● ● ●●
●
● ● ●● ● ● ●
●
●● ● ●●● ●● ●● ● ● ●●● ● ● ●●● ● ● ●● ●● ●●●● ● ●● ●●
●
●● ● ● ●● ● ● ● ●●
●
● ●●● ● ● ●● ● ●● ●●● ●● ●● ● ●●● ● ●●● ●● ●●●● ● ●●● ●●● ●● ● ●● ●● ●●● ●●● ● ●●● ●●● ●●●●● ●●●● ●●● ● ● ●●●● ●●
●
● ●●●● ● ●● ● ●
●
●●● ●●● ●● ●● ●●
●
●● ●
●
●
●
●●● ●●● ● ●●●● ●● ●●● ● ●● ●●● ● ● ●● ●●● ●●
●
● ●●● ●● ●●●● ●● ● ●● ● ●● ●● ● ● ●●●● ●● ● ●●●
●
●●●●● ●● ● ●●●● ●●
●
● ●●● ●● ●
●
●● ●● ●● ●●●●● ● ● ●●● ● ●●● ● ●● ● ●●● ●● ● ●● ● ●● ● ● ●● ●●●
●
● ●● ●●●● ●●● ● ● ●
●
● ●● ●●●
●
●● ●● ● ●● ● ●●●●● ● ● ●●● ●● ●● ● ● ●●● ●● ●● ● ● ● ● ●● ●●● ● ●●●● ● ● ●● ● ●●●● ●● ● ●●● ● ●● ●●●● ● ● ●● ●●● ●●
●
●● ●● ● ●● ● ● ●● ● ●●● ●●● ●● ●● ● ● ●● ●● ● ●● ●● ●●● ●● ●● ●● ● ● ● ●● ● ●●●● ● ● ●● ●● ●●● ●
●
●● ●● ● ●● ●● ●● ●● ● ●●● ● ●● ●● ●●● ●●● ● ●● ●●● ●●
●
●● ●● ●● ●●
●
● ●● ●●● ●● ●● ● ●
●
● ●● ● ●●● ● ●●● ● ●● ●● ●●● ●● ●●●● ●● ●●● ●●
●
●● ●● ●● ●● ● ● ●●●
●
●● ●● ● ●●● ●● ●●● ●● ● ● ●● ●●●● ● ● ●● ●●● ●
●
● ● ●
●
● ●● ● ●●● ●● ● ● ●●● ●● ● ●● ●●● ●● ● ● ●● ● ● ●●● ● ●● ● ● ●●● ●● ●●● ● ●●● ●● ●●
●
●● ●● ●●● ●●● ●● ●● ●●● ●● ●
●●
●● ●
●
● ● ●● ● ●● ●● ● ●●● ●● ● ●●● ● ● ● ●● ● ●● ● ●● ● ● ●●●● ● ●●● ● ●●● ●●● ●●● ●● ● ●●● ●● ●● ●● ● ●● ●●●● ● ● ●●●● ●●● ●● ● ●●●● ●
●
●
●
● ●● ●● ●●●● ● ●● ●
●
●● ●● ●● ● ●●●
● ●
● ●●● ●●● ● ●● ● ● ● ●●●
●
● ●●● ● ●●● ●● ●● ●● ●● ●● ● ●●● ●● ● ●● ●●● ●●● ● ● ●● ●●●● ● ●●●●●
●
● ●● ● ●●● ●●● ●● ●● ● ● ●●●●● ●●●● ●● ●● ●● ●●● ● ●●● ●● ● ● ●● ● ●● ●● ●●●● ●● ● ●●● ● ●●● ● ●● ●●●● ● ●● ●●● ●●● ●●● ●● ● ●●● ● ●● ●●● ●● ●● ●●● ●● ●● ● ●●●● ●● ●●● ●● ●●● ● ●●● ●●● ● ●● ● ●● ●● ●● ●●● ● ●● ●●● ● ●● ● ●● ●●● ● ●●●● ● ●
●
● ● ●●●●● ● ●●
●
●● ●
●
●●●● ●● ●●●●●
●
●● ● ● ●● ●●●● ● ●● ●● ●●
●
●● ●●● ●● ●● ●● ●●● ●●●● ●● ●●● ● ●●●● ● ● ●
●
● ● ● ●●●● ●● ●●● ● ●●● ● ● ●● ●● ●
●
●● ● ●● ● ●● ● ●
●
● ● ●
●
●●● ● ●● ● ●●● ●● ●● ●● ●●● ●●●● ●● ●● ●●● ●● ●● ●●●
●
● ● ● ●● ● ●● ●●● ●●● ●●● ●●● ●● ●● ● ●●● ●● ● ●● ●● ●● ●●● ●● ●●● ● ●● ●●● ● ●● ●● ●●● ● ●● ●●●●● ● ●
●
●● ● ● ● ●●●● ●● ●●● ●● ●● ●● ●● ● ● ●● ●
●
●●● ● ●● ●● ●●● ●●● ●● ●●●
●
●● ●● ●●● ● ● ●●● ●●● ● ●● ●● ●● ●● ●● ●● ● ● ● ●●● ● ●● ● ● ●● ●● ● ● ●● ●●● ●● ●●● ● ●● ●● ● ●●●● ●● ●● ●●● ●● ●
●
●● ● ●● ● ● ●● ●●● ●●●● ●●● ● ● ●● ●●● ● ●● ●● ●● ●●●● ●● ●●● ●●● ●● ●● ●● ●● ●● ● ●●● ●●● ●●●● ● ●
●
● ●●● ● ●●● ●●● ●● ●● ●● ●●●● ●● ● ●●●●● ● ●● ● ●●●●● ● ●●
●
● ● ●● ●● ●●● ●● ● ●●●● ● ●●● ● ●● ●●● ●●● ● ● ●● ●
●
●● ●●● ●●
●
● ●● ● ●●● ●● ●● ●● ●●●● ●● ●●
●
●●● ● ●● ●●●● ●● ● ●● ●●● ●● ●● ● ●● ● ●●● ●● ●● ●●● ●●●● ●●● ●
●
●●● ●●● ●● ● ●● ●● ●● ● ●● ●●● ● ●●● ●● ●● ● ●●● ●●● ● ●●● ●●● ●●●● ● ●● ● ●● ●● ●●● ● ●● ●● ●●● ●
●
●● ● ●●● ●●● ● ●● ●● ●●●● ● ●● ●● ●●● ●● ● ●●● ● ●● ●● ●● ●● ● ● ●● ● ● ●● ● ● ●●●● ●● ●●● ● ● ●● ●● ●● ●●● ●● ●● ● ●
●
● ● ●●● ●● ●● ●● ●
●
● ●● ●● ●●●
●
● ● ●● ●●●● ●●● ● ●● ● ●●● ●● ●●● ●●● ●●● ● ●● ●● ●● ●● ●●●●●● ●● ● ●● ●● ● ●●● ●●● ● ● ●● ● ● ●● ●● ●●● ● ●●● ●● ●●●●● ● ●● ●●● ● ●●● ●●●● ● ●● ● ●● ●●● ●●
●
●●●●●● ● ●●● ●● ● ●● ●● ●● ●●● ●● ●● ●● ●● ● ● ●● ● ●●
●
●● ●● ●● ●● ●●● ● ●●● ●●● ●●● ●● ●● ●● ●● ● ●● ●● ●●
●
●●● ● ●● ●● ●●● ●●● ● ●● ●● ● ●● ●●● ● ●● ●● ●●
●
● ● ●● ● ●●● ●● ●● ● ● ●●● ● ●● ● ●●●● ●●●● ●● ●● ● ●● ● ● ●●● ● ●● ● ● ●●●● ●● ● ●●●● ● ●● ●● ● ●● ●● ● ●●● ●● ●● ● ●●● ●● ● ●● ●●● ●●●
●
● ●● ●● ●●●● ●● ●● ●●●● ● ●●● ●●●● ● ●●●● ●●●● ●● ●
●
●● ● ●● ● ● ●● ● ● ●
●
● ●●●●● ● ●●●●●● ● ●● ● ● ●● ●● ●● ●● ● ●● ●●● ●● ● ●● ●● ●● ●
●
●
●
● ●●● ● ●● ● ●●● ●●● ●●●● ●
●
●● ●● ●● ●● ●● ● ● ●● ● ●●● ● ● ● ●●
●
●● ●● ● ●● ● ●●●● ● ●●
●
● ●● ●●●● ●● ● ●●●●● ●● ●● ●●●● ● ● ●●● ●●● ● ●● ●●●● ●●● ●
●
● ●●●● ●● ● ●●
●
●● ●● ● ●●●● ● ●● ●●●●● ● ●● ● ●●● ● ● ●● ●● ● ● ● ●● ●●● ●●● ●● ● ● ●● ● ●●
●
●● ●●● ●
●
● ● ●● ●● ●●●● ●
●
●● ● ●●● ● ●● ●●● ●●● ●● ●● ●●● ● ●● ●● ● ●●● ●● ●● ● ●● ● ●● ●●●● ●● ●●● ●●● ●●● ●● ● ●●● ● ●● ●● ● ●●●
● ●
●●● ●● ●● ●● ● ●● ●●●● ● ●●●● ●● ●●● ●● ●● ● ●●● ●●
●
● ●● ●● ●●● ●● ●● ● ● ●●● ● ●● ● ●●●● ●●
●
●● ●●● ●● ● ●● ● ● ● ●● ● ●●● ● ●
●
● ●● ●● ●● ● ●● ●● ●● ● ●●● ●● ●●● ●● ●●
●
● ●● ● ●●●● ●●●
●
● ●●● ●● ●● ● ●● ●
●
● ●● ●●● ●● ● ●● ●● ●●●● ●● ● ●●● ● ●● ● ●● ● ●●● ● ●● ● ●● ●●●●● ●
●
●● ● ●● ●● ● ● ● ●●● ● ●● ●●●●
●
●
●
● ● ●● ●●●● ●●● ●●●● ●●●● ● ● ● ●●● ● ●● ● ●● ●● ● ●● ● ●●●● ● ●● ● ● ●●● ●● ●
●
●●●●
●
● ●●● ● ●●● ●●
●
● ●● ●● ●●● ●●● ●● ●●●● ●●● ●
●
●●● ●● ● ●●
●
●●● ● ● ●● ●●● ● ●● ●●●● ●● ● ●● ●●● ●● ●● ● ●●● ● ●●● ●● ●●●
●
●● ●●● ●● ●●● ● ●●● ●● ● ●● ● ●●● ● ●●● ● ●● ● ●●● ●●●● ●● ●● ●●●●● ● ●●● ● ●● ●● ●● ●● ● ●● ● ●●●●
●
●● ●●● ●● ●●● ● ● ●● ●● ● ●●● ●●●● ● ●
●
●● ● ● ●●● ●● ●●
●
● ●● ●● ●● ●
●
● ● ● ●● ● ●● ●●● ●●● ●● ● ●● ●● ●● ●●●
●
● ●● ●● ●●●●● ● ● ●● ●●
●
●●
●
●● ● ●● ●● ● ●●● ●● ● ●● ● ●●● ●
●
●● ● ●● ● ●●●
●
●● ● ●●●● ●● ●●● ● ●●● ● ● ●●● ●● ● ●● ●● ●● ● ● ●● ●●●● ●●
●
● ●● ● ●● ●● ● ●● ●●● ● ●●● ●●● ●●● ● ●●● ● ●● ● ●●● ●●●●● ● ● ● ●●
●
● ● ● ●● ● ●●● ●● ●● ●●
●
● ●● ●●●● ● ●●● ● ●●●● ●● ● ●●●● ●● ● ●●
●
●● ● ● ●●●●● ● ●● ●●● ●● ●● ●● ●●● ●●●● ●●●
●
● ● ● ●●● ●●●● ● ●● ●●●● ● ●● ● ● ●● ●● ● ● ●● ●● ●● ● ●●●●● ●●● ●●●
●
●● ●●● ●●● ●●
●
● ● ●● ● ●● ●●●●● ●●● ●● ●● ●● ●● ● ●●● ●● ● ● ● ● ●●
●
● ●●● ● ●● ●●●● ●● ●●● ●● ●●●● ●●● ●● ● ● ●●● ● ●●● ● ●● ●● ●● ● ●● ● ●● ● ●● ●● ● ●● ●
●
●●● ●● ●●●● ●●●●● ● ●● ● ●● ● ●● ●●●● ● ●● ● ●● ●● ●●●● ●● ●●● ●●
●
● ●● ●● ●● ●●● ●● ●● ● ●●●●● ●● ●● ● ●●● ●● ●●●● ● ●● ●●● ●●● ●● ●● ● ●●●● ●●● ●●● ●●● ●● ●●●● ● ● ●● ● ●● ●● ● ● ●● ● ● ●● ● ●● ●
●
●
●
●●● ● ● ●●● ●●● ●● ● ●● ● ●● ●●● ● ●
●
● ●●● ●● ●● ● ● ●● ●●● ● ● ● ●● ● ●● ●●● ●● ● ●● ●● ● ●● ●● ●● ●● ●● ●● ●● ●●● ● ●● ●● ●● ● ●● ●●●●
●
● ●●● ●●● ●
●
● ●●● ● ●● ● ● ●●●●● ● ●●● ●● ●● ●● ●●● ●● ● ●●● ● ●● ●● ●●● ●● ● ●● ● ●
●
● ●
●
●●● ●●●●● ● ●●●● ●● ●● ●●● ●● ● ●● ● ●● ●●● ● ●●
●
● ● ●●● ● ●●● ● ●●●● ●● ●● ● ●●●● ● ● ●●
●
●●● ● ● ●● ● ● ●●● ●● ● ●●● ●● ●●● ●● ●● ●●● ●●● ●●● ● ●●● ● ● ●● ●● ●●● ●● ● ●●● ●●●● ●● ●● ●●● ● ●●● ●●●● ●●●●● ●● ●●● ●● ●● ● ● ●●● ●● ●● ●● ●●●● ●●● ●●
●
●●● ●●● ●●● ● ●● ● ●●● ● ●● ● ● ●● ●●● ● ●● ●●●●● ● ●● ● ●●● ●● ● ● ●● ●●● ● ●●● ● ●●●● ●● ●●●● ● ● ●●
●
●●●●● ●● ● ● ●● ●● ●● ●●●●● ● ●●● ●● ●●● ●●● ● ●● ●● ●●● ● ●● ●● ●●● ●● ● ●
●
●● ● ●● ●●●● ●● ●●
●
●● ●● ● ● ●● ● ● ●●
●
●
●
●
●
●● ●● ● ●● ●● ●●
●
●●● ●● ●● ●● ● ●● ●●● ● ●● ● ● ●●● ● ●● ●● ●●●● ●●●● ●● ● ●●
●
● ●● ●● ● ●● ●● ●●● ● ● ●● ●●● ●● ●● ●● ● ● ● ●●●●
●
●● ●●● ●●● ●● ●● ●● ● ●● ●● ●● ● ● ●● ● ●● ● ●●● ● ●● ●●● ●● ● ●● ●●● ●● ● ●● ●● ●● ●● ●●● ●●● ● ● ●●● ●●● ● ●● ●● ●● ●● ● ●●●● ●● ●● ● ●● ●● ●●● ● ●● ● ●●●● ● ●● ● ●● ● ● ● ●● ●● ● ●● ●● ●●● ● ● ●●● ●●●● ● ●●● ●● ● ●● ●●● ● ●● ● ●●● ●● ●●● ●● ●● ●● ●●● ●● ● ●● ●● ●● ● ●● ●●●● ●● ● ●● ●● ●● ●●● ●● ●● ●●● ● ●● ●● ● ● ● ●● ●●●
●
●● ●● ●● ●●●●● ●● ● ●●●● ●
●
● ● ● ●● ● ● ● ●●●●●● ●●● ●● ● ● ●●● ● ●●● ● ●●● ●●●●● ● ● ● ●● ●●●● ● ●●
●
● ●●
●
● ● ●● ●● ●●● ●● ●● ●●● ●● ● ●● ●● ● ●●● ●● ●● ●● ●● ●● ●● ● ●● ● ●●● ●●
●
●● ● ● ●● ●● ● ●● ●●● ●●● ●● ●
●
●● ●●●● ● ●● ● ●● ●● ● ● ●● ● ●●●● ●● ●●● ●● ● ● ●● ● ●● ● ●● ●● ●●
●
● ● ●● ● ●●●● ● ●● ●● ● ●● ●●●● ●●●● ● ●● ● ●●●
●
●●●● ● ●●● ●● ● ● ●
●
● ● ●● ●●●
●
● ●●● ●●●● ● ● ●● ● ● ●●● ●● ● ● ●● ● ● ●● ● ●● ● ●● ●
●
●●● ●● ●●● ● ●
●
●●● ●● ●●● ●●● ●●● ●●
●
●● ● ●● ●● ●●●● ●●● ● ●● ●● ● ●●● ●● ● ●●
●
●●
●
● ●
● ●
●● ●●●●● ●● ● ●● ● ●●
●
● ●● ●●● ●● ●
●
●● ● ●●
●
● ●●●● ●● ● ●● ● ●●● ● ●●● ●●● ●●●● ●● ●● ●● ●●●● ● ●●● ● ●●● ●●●
●
● ●● ●● ● ● ●● ●●● ●● ● ●● ●●● ●● ●●●●● ● ●●●
●
●● ●●●● ● ●●● ● ●●●● ●●●● ●● ●● ●● ● ●●● ● ●●● ●●● ●● ● ●●● ● ●● ●●● ●● ●●● ● ● ● ●● ●●● ● ● ● ●● ●● ● ● ●● ●● ●● ●● ●● ● ●●● ● ●●● ●●● ● ●● ● ●●● ●● ● ●● ● ●● ●● ● ●●● ●●● ●● ●● ●● ● ●●●●● ● ●●
●
●● ●●●● ●● ●●● ●●● ● ●●●
●
●● ●● ● ● ●●● ● ● ●
●
● ● ●● ● ●● ●● ●●● ●● ●● ●● ● ●● ● ●● ●● ●● ● ● ● ●●● ●●●● ●● ● ●● ●●● ● ●● ●● ●● ●
●
●● ●● ●● ●● ●● ●●●●● ● ● ●● ●● ●●● ● ● ●●● ● ●●● ●●● ● ● ●
●
●●
●
● ● ●●● ●● ●● ●●● ●● ●● ●● ●● ●● ●● ● ●●●●● ●● ● ●● ●● ● ●● ●● ●● ● ●●●● ●● ●● ● ●●● ●● ● ● ●●● ●●● ●●● ●
●
●●● ●● ●●● ●● ●
●
●●● ●● ● ●● ●●● ●● ●●● ●●● ● ●● ● ●●● ●●● ●● ●●● ●●● ●● ● ● ● ●● ●● ● ●● ●● ●● ● ●●● ● ● ●● ●● ●● ● ●● ● ● ●●
●
●● ● ●● ●● ●● ●● ●●● ● ●● ●●●● ●●●● ●● ● ● ●●● ● ●● ● ●●● ● ●● ●● ● ●●
●
● ●●●
●
● ●● ●● ●● ● ●●●● ●● ●●● ● ●● ●●●●
●
●●● ● ●● ●●
●
● ●●●
●
● ● ●● ● ●●●●● ●●● ●● ●● ●● ● ● ● ●●● ● ● ●● ●●●● ●● ● ●●●●● ●●● ●●● ●●●●● ● ● ●● ●●● ●● ●● ●● ●●●● ●● ●● ● ●● ●●● ●● ●●●● ●●●● ● ● ● ●●
●
●● ●●● ●●● ●● ● ●● ● ●● ●●●● ●●●● ● ●● ●●● ●●● ●●●●●●● ●● ●●● ● ●● ● ●● ●●● ● ●● ●● ●● ●●●● ●● ●● ●● ● ●● ● ●
●
● ●● ●● ●● ● ●● ●●●●
●
● ●● ●●● ● ● ●● ●●● ●● ● ●●● ● ● ● ●
●
●●● ● ● ●●●● ●● ●● ●● ●● ● ●● ● ●●● ● ●● ● ●●● ●
●
● ●● ● ●● ●● ●●● ● ●● ● ● ●● ● ●●●● ●● ●● ●●● ● ●● ●●● ●●● ●
●
● ●● ●●● ●● ● ●●● ● ●● ● ●● ● ●●● ●●● ●● ●● ●●●● ●● ● ●● ●●● ●●● ● ●●● ●● ●● ●●●● ●●●●● ●
●
●●●●
●
● ●●●●● ●●● ●
●
● ● ●● ●●● ● ●
●
●● ● ●● ●●●●● ● ●●● ●● ● ●
●
● ●● ●● ●●
●
●●● ●● ● ● ●●●●●● ●
●
●●●● ● ●● ●●
●
●● ● ●
●
●●●●● ●
●
● ● ●● ●● ● ●●● ●● ● ●●
●
● ● ●●● ●● ●●● ●● ●●● ●● ●● ● ● ●● ●●● ● ●● ●●● ● ●● ●●●● ●●●●● ●● ● ●●●●● ● ● ●● ●● ●●● ● ●●● ● ●● ●● ●
●
●● ●● ●●● ●● ●● ●●● ● ●● ●● ●● ● ●● ●●●● ●● ●●● ● ●●●● ● ● ● ●●
●
●● ● ● ●● ●●● ● ●● ● ●● ●●● ●● ●●●●● ●●● ●● ● ●● ●● ●●● ●●● ●●● ●●● ●● ●● ●● ● ● ● ●●● ● ●● ●●● ●●● ●● ●●● ●●● ●● ●●● ● ●●● ●●● ●●●●●● ● ● ●● ● ●● ● ●●●● ●●● ● ● ●● ●● ● ●●● ●● ●●● ● ●● ●
●
●●
●
● ●●● ●● ●● ●
●
●● ●● ●●● ●●● ● ●● ●● ●
●
●● ●● ● ●●● ●●● ●● ● ●●●● ● ●● ●● ●●● ●● ●●●●● ●● ●●● ●● ●●
●
●● ●●●● ● ●● ●● ●● ●● ● ●● ● ●●● ●● ● ●
●
● ●●●● ●●● ●
●
● ●●● ●● ●●● ● ●●● ●●●●●
●
● ●●●●●● ●
●
● ● ●● ●●●● ●● ●●● ●● ●● ●●● ●● ●●●●●
●
●
●
● ● ●●● ●●● ● ● ●● ● ● ●●● ● ●● ● ● ●●● ●
●
● ●●●● ●●● ●● ●● ● ●●● ● ● ● ●●0.00
0.25
0.50
0.75
1.00
0 1000 2000
balance
P
ro
ba
bi
lid
ad
 d
ef
au
lt
Regresión logística
: , 23
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Evaluación del modelo
Aqúı se evalúa si el modelo propuesto es o no significativo, para esto se
hace una comparación entre el modelo estimado vs el modelo sólo con
intercepto.
Se definen las siguientes cantidades:
I D(β̂) = −2`(β̂), devianza del modelo ajustado o devianza residual.
I D(β̂0) = −2(n1 log(n1) + n0 log(n0)− nlog(n)), devianza del modelo
sin predictores o devianza nula. Aqúı n1 =
∑n
i=1 yi y n0 = n − n1.
: , 24
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Las hipótesis que se evalúan son:
H0 : El modelo no es significativo β1 = . . . = βp = 0,
vs
H1 : El modelo es significativo, algún βk 6= 0.
Se utiliza la siguiente función pivote para evaluar el modelo
G = D(β̂0)− D(β̂) = Devianza Nula− Devianza Residual ∼ χ2p
Si G > χ2p,1−α entonces el modelo es significativo. Recuerde que en un
test de hipótesis α es el nivel de riesgo o significancia (usualmente 0.05).
: , 25
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Observación: También se puede calcular el p-valor y decidir ese valor más
el umbral de significancia.
p-valor = Pr(χ2p > G ).
: , 26
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Utilizando el ejemplo del set de datos Default de la introducción se puede
determinar si el modelo es o no significativo utilizando la información de
las salidas:
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -1.065e+01 3.612e-01 -29.49 <2e-16 ***
balance 5.499e-03 2.204e-04 24.95 <2e-16 ***
---
Signif. codes: 0 ’***’ 0.001 ’**’ 0.01 ’*’ 0.05 ’.’ 0.1 ’ ’ 1
(Dispersion parameter for binomial family taken to be 1)
Null deviance: 2920.6 on 9999 degrees of freedom
Residual deviance: 1596.5 on 9998 degrees of freedom
AIC: 1600.5
La estad́ıstica G = 2920.6 − 1596.5 = 1324.1 y utilizando un riesgo de
α = 0.05 se compara con χ21,0.95 = 3.84.
: , 27
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Dado que G = 1324.1 > 3.84 = χ21,0.95 existe evidencia para rechazar la
hipótesis H0 con un nivel de riesgo de 0.05. Por lo tanto se concluye que
el modelo es significativo. Se puede utilizar la función anova()
> anova(modelo_logistico, test = "Chisq")
Analysis of Deviance Table
Model: binomial, link: logit
Response: default
Terms added sequentially (first to last)
Df Deviance Resid. Df Resid. Dev Pr(>Chi)
NULL 9999 2920.7
balance 1 1324.2 9998 1596.5 < 2.2e-16 ***
---
Signif. codes: 0 ’***’ 0.001 ’**’ 0.01 ’*’ 0.05 ’.’ 0.1 ’ ’ 1
: , 28
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Evaluación individual de las caracteŕısticas
Los parámetros estimados con el principio de máxima verosimilitud son:
I Consistentes.
I Eficientes.
I Satisfacen el teorema del ĺımite central (TLC):
β̂ =

β̂0
β̂1
...
β̂p
 aprox∼ Np


β0
β1
...
βp
 , (X tŴX )−1
 .
donde Ŵ es una matriz diagonal de elemento ω̂i = π̂i (1− π̂i ).
: , 29
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
De manera individual se evalúan las siguientes hipótesis;
H0 : βk = 0,
vs
H1 : βk 6= 0.
donde k toma los valores k = 1, 2, . . . , p. El parámetros βk del modelo son
significativos (βk 6= 0) si se cumple:
∣∣∣∣∣∣ β̂k√V̂ar(β̂k)
∣∣∣∣∣∣ > t1−α/2,n−1,
: , 30
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
donde
I α es el nivel de riesgo del test, usualmente 0.05.
I n es el tamaño muestral.
I t1−α/2,n−1 es el percentil de una distribución t−student que acumula
1− α/2 con n − 1 grados de libertad.
I V̂ar(β̂k) corresponde al k− ésimo elemento de la diagonal de la matriz
(X tWX )−1
: , 31
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Una forma más sencilla es tomar las decisiones con el p − valor de cada
parámetro βk estimado. Valores pequeños (menores a 0.05) del p − valor
indican que el parámetro es significativo (βk 6= 0).
: , 32
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
La función summary() entrega toda la información para evaluar cada ca-
racteŕıstica de manera individual,
glm(formula = default ~ balance, family = "binomial", data = datos)
Deviance Residuals:
Min 1Q Median 3Q Max
-2.2697 -0.1465 -0.0589 -0.0221 3.7589
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -1.065e+01 3.612e-01 -29.49 <2e-16 ***
balance 5.499e-03 2.204e-04 24.95 <2e-16 ***
---
Signif. codes: 0 ’***’ 0.001 ’**’ 0.01 ’*’ 0.05 ’.’ 0.1 ’ ’ 1
: , 33
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Los valores rojos de la salida anterior:
β̂0 = 10.65,
β̂1 = 0.0055,√
V̂ar(β0) = 0.3612,√
V̂ar(β1) = 0.0002,
p-valor(β̂0) < 2 · 10−16,
p-valor(β̂1) < 2 · 10−16.
El intercepto β0 y la pendiente β1 son significativos en el modelo.
: , 34
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Ajuste del Modelo Completo
Para ’Default’ se utilizan todos lo predictores vistos: ’income’, ’student’
y ’balance’:
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -1.087e+01 4.923e-01 -22.080 < 2e-16 ***
studentYes -6.468e-01 2.363e-01 -2.738 0.00619 **
balance 5.737e-03 2.319e-04 24.738 < 2e-16 ***
income 3.033e-06 8.203e-06 0.370 0.71152
---
Signif. codes: 0 ’***’ 0.001 ’**’ 0.01 ’*’ 0.05 ’.’ 0.1 ’ ’ 1
(Dispersion parameter for binomial family taken to be 1)
Null deviance: 2920.6 on 9999 degrees of freedom
Residual deviance: 1571.5 on 9996 degrees of freedom
AIC: 1579.5
: , 35
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
La única variable no significativa en el modelo es ’income’, la que pode-
mos quitar para y evaluar un nuevo ajuste:
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -1.075e+01 3.692e-01 -29.116 < 2e-16 ***
balance 5.738e-03 2.318e-04 24.750 < 2e-16 ***
studentYes -7.149e-01 1.475e-01 -4.846 1.26e-06 ***
---
Signif. codes: 0 ’***’ 0.001 ’**’ 0.01 ’*’ 0.05 ’.’ 0.1 ’ ’ 1
(Dispersion parameter for binomial family taken to be 1)
Null deviance: 2920.6 on 9999 degrees of freedom
Residual deviance: 1571.7 on 9997 degrees of freedom
AIC: 1577.7
: , 36
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Estimación según el modelo anterior:
π̂(xi ) =
e−10.7495+0.0057×balancei−0.7149×Iyes(studenti )
1 + e−10.7495+0.0057×balancei−0.7149×Iyes(studenti )
.
donde
Iyes(studenti ) =
{
1, si la i-ésima es estudiante,
0, en otro caso.
: , 37
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Selección de Variables
Cuando se ajusta un regresión loǵıstica se pueden aplicar los métodos tra-
dicionales de selección de variable:
I Forwards: Selección de variable hacia adelante.
I Backwards: Eliminación de variables hacia atrás
I Stepwise: Incluye y elimina variables de manera secuencial.
Los criterios pueden ser razón de verosimilitud (significancia) o AIC (pe-
naliza por el número de parámetros estimados).
: , 38
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
El criterio AIC utiliza la siguiente función de decisión:
AIC = −2 log
(
β̂(i)
)
+ 2p,
donde
I β̂(i) las estimación de los parámetros en la iteración i .
I “p′′ es el número de parámetros en la iteración i .
: , 39
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
La función step(), permite realizar la selección según criterio de menor
AIC. Para selección Backwards se debe ajustar un modelo completo
> backwards = step(modelo_full, direction = "backward")
Start: AIC=1579.54
default ~ student + balance + income
Df Deviance AIC
- income 1 1571.7 1577.7
<none> 1571.5 1579.5
- student 1 1579.0 1585.0
- balance 1 2907.5 2913.5
Step: AIC=1577.68
default ~ student + balance
Df Deviance AIC
<none> 1571.7 1577.7
- student 1 1596.5 1600.5
- balance1 2908.7 2912.7
: , 40
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Modelo Forward se debe indicar el modelo ḿınimo (donde inicial) y el
modelo final (todas las variables)
> forwards = step(modelo_null, scope = list(lower = formula(modelo_null),
upper = formula(modelo_full)), direction = "forward")
Start: AIC=2922.65
default ~ 1
Df Deviance AIC
+ balance 1 1596.5 1600.5
+ student 1 2908.7 2912.7
+ income 1 2916.7 2920.7
<none> 2920.7 2922.7
Step: AIC=1600.45
default ~ balance
Df Deviance AIC
+ student 1 1571.7 1577.7
+ income 1 1579.0 1585.0
<none> 1596.5 1600.5
: , 41
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Step: AIC=1577.68
default ~ balance + student
Df Deviance AIC
<none> 1571.7 1577.7
+ income 1 1571.5 1579.5
> summary(forwards)
Call:
glm(formula = default ~ balance + student, family = "binomial",
data = newdatos)
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -1.075e+01 3.692e-01 -29.116 < 2e-16 ***
balance 5.738e-03 2.318e-04 24.750 < 2e-16 ***
studentYes -7.149e-01 1.475e-01 -4.846 1.26e-06 ***
Ambos métodos de selección llegan al mismo resultado. Se excluye la va-
riable income.
: , 42
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Conceptos de Odds y Odds Ratio
Estos conceptos son relevante para interpretar los resultados de una regre-
sión loǵıstica. El Odds se define como la razón entre la probabilidad de
ocurrencia y no correncia de un evento (dicotómico):
Odds =
Pr(Y = 1)
1− Pr(Y = 1)
.
Esta medida se interpreta como las chances de ocurrencia de un evento.
: , 43
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
El concepto de Odds Ratio es una medida de asociación entre la ocurrencia
de un evento y la variaciones de una caracteŕıstica. Por ejemplo, suponga
que se dispone de un predictor X que tiene dos niveles {0, 1}
Odds(x = 1) =
Pr(Y = 1|X = 1)
1− Pr(Y = 1|X = 1)
,
Odds(x = 0) =
Pr(Y = 1|X = 0)
1− Pr(Y = 1|X = 0)
,
OR =
Odds(x = 1)
Odds(x = 0)
: , 44
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Por ejemplo: Suponga el modelo estimado para ’Default’ utilizando las
dos variables significativas ’balance’ y student. Las chances (Odds) que
un cliente incumpla con el pago de la TC dado que es estudiante:
Odds(bal = 1000, stud = ”yes”) =
π̂(bal = 1000, stud = ”yes”)
1− π̂(bal = 1000, stud = ”yes”)
=
e−10.7495+0.0057×1,000−0.7149
1+e−10.7495+0.0057×1,000−0.7149
1
1+e−10.7495+0.0057×1,000−0.7149
= e−10.7495+0.0057×1,000−0.7149
= 0.0031
: , 45
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Para cualquier nivel de balance, el OR está dado por
OR =
Odds(bal, stud = ”yes”)
Odds(bal, stud = ”no”)
=
e−10.7495+0.0057×balancei−0.7149
e−10.7495+0.0057×balancei
= e−0.7149
= 0.49
Las chances de un estudiante incumplir el pago en la TC disminuyen a la
mitad vs las chance de un no estudiante.
: , 46
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Test de Hosmer Lemeshow
Este test estad́ıstico evalúa la calidad de ajuste del modelo estimado rea-
lizando una comparación entre los eventos observados y los eventos espe-
rados.
H0 = El ajuste de la regresión loǵıstico es adecuado
vs
H1 = El ajuste de la regresión loǵıstico no es adecuado
: , 47
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
El procedimiento de test es el siguiente:
I Calcular π̂(xi ) para toda la muestra. Generar 10 agrupaciones según
los deciles de π̂(xi ).
I Calcular el total de eventos {Yi = 1} y el total esperado.
I Calcular el estad́ıstico
HL =
10∑
k=1
[
(o1k − ê1k)2
ê1k
+
(o0k − ê0k)2
ê0k
]
∼ χ28,
donde en cada grupo o1k =
∑mk
i=1 yi , o0k = mk−o1k , ê1k =
∑mk
i=1 π̂(x i )
y ê0k = mk − ê1k
: , 48
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Dado un nivel de riesgo α, se rechaza la hipótesis nula si HL > χ21−α,8.
El número de grupos sugeridos es g = 10 cuando el tamaño muestral es
n < 1000 y se tiene pocos predictores.
Si se dispone de más de 1000 observaciones, el número de grupos sugeridos
es
g = máx
(
10, ḿın
{
n1
2
,
n − n1
2
, 2 + 8×
(
n
1000
)2})
,
donde n1 =
∑n
i=1 yi .
: , 49
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
La libreŕıa ’ResourceSelection’ cuenta con la función ’hoslem.test()’
que permite realizar el test de bondad de ajuste, como parámetro se debe
entregas los valores observados, estimados y en número de grupos:
> library(ResourceSelection)
> hoslem.test(forwards$y, fitted(forwards), g=10)
Hosmer and Lemeshow goodness of fit (GOF) test
data: forwards$y, fitted(forwards)
X-squared = 3.3586, df = 8, p-value = 0.9099
Si se considera un α = 0.05 y con el p-value = 0.90, no existe evidencia
para rechazar H0. El ajuste es correcto.
: , 50
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
En el ejemplo anterior se utilizaron 10 grupos, pero para el tamaño mues-
tral se debe calibrar el número de grupos
> G = max(10,min(n1/2,(n-n1)/2,2+8*(n/1000)^2))
> floor(G)
[1] 166
>
> hoslem.test(forwards$y, fitted(forwards), g=floor(G))
Hosmer and Lemeshow goodness of fit (GOF) test
data: forwards$y, fitted(forwards)
X-squared = 104.41, df = 164, p-value = 0.9999
Utilizando 166 grupos y un riesgo α = 0.05, no existe evidencia para
rechazar H0 (p.value = 0.99 > 0.05), el ajuste es adecuado.
: , 51
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Clasificación
Una estrategia útil para construir un clasificador binario es la siguiente:
I Calcular las probabilidades estimadas. Generar una grilla de valores
cutoff de probabilidad entre 0 y 1.
I Para cada punto de corte cutoff generar un clasificador, determinar
la matriz de confusión con los valores observados y clasificados.
I Para cada matriz de confusión determinar la especificidad y la sensi-
bilidad.
I Elegir el punto donde se intersectan la especificidad y la sensibilidad,
ese punto será el clasificador
: , 52
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Suponga un clasificador por defecto en 0.5
Clasificadori =
{
1, si π̂(xi ) > 0.5,
0, en otro caso.
Con eso se tiene la siguiente matriz de confusión:
> conf_matrix
observaciones
predicciones 0 1
0 9628 228
1 39 105
> sensitivity(conf_matrix)
[1] 0.9959657
> specificity(conf_matrix)
[1] 0.3153153
: , 53
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Gráfico de la matriz de confusión:
observaciones
pr
ed
ic
ci
on
es
1
0
0 1
Los no incumplidos se encuentran bien clasificados, pero los incumplidos
mal clasificados.
: , 54
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Para una grilla de valores de cutoff se realiza el mismo ejercicio y se iden-
tifica donde se intersectan las curvas:
0.4
0.6
0.8
1.0
0.0 0.1 0.2 0.3 0.4 0.5
cutoff
S
en
si
tiv
ity
 a
nd
 S
pe
ci
fic
ity
curva
sensitivity
specificity
Cutoff Óptimo
El punto cutoff donde se cruzan las curvas es 0.039
: , 55
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
El clasificador óptimo está dado por:
Clasificadori =
{
1, si π̂(xi ) > 0.039,
0, en otro caso.
La nueva matriz de confusión:
> conf_matrix
observaciones
predicciones 0 1
0 8504 40
1 1163 293
>
> sensitivity(conf_matrix)
[1] 0.8796938
> specificity(conf_matrix)
[1] 0.8798799
: , 56
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Gráfico de la matriz de confusión final:
observaciones
pr
ed
ic
ci
on
es
1
0
0 1
Los dos grupos se encuentran bien clasificados 88 %.
: , 57
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Métricas Finales
Para el modelo final se entrega el area bajo la curva de ROC y/o coeficiente
de GINI:
> target = modelo_reducido$y
> prediccion = predict(modelo_reducido,type="response")
>
> roc(target, prediccion)
Call:
roc.default(response = target, predictor = prediccion)
Data: prediccion in 9667 controls (target 0) < 333 cases (target 1).
Area under the curve: 0.9495
> gini(target, prediccion)[1] 0.8990951
: , 58
Regresión Loǵıstica
Contenidos: Metodoloǵıa y Aplicación
Gráfico de la curva de ROC
0%
25%
50%
75%
100%
0% 25% 50% 75% 100%
False Positive Rate (1 − Specificity)
Tr
ue
 P
os
iti
ve
 R
at
e 
(S
en
si
vi
ty
 o
r 
R
ec
al
l)
: , 59
Regresión Loǵıstica
Contenidos
Credit Scorecard
: , 60
Regresión Loǵıstica
Contenidos
Credit Scorecard
I Introducción.
I WOE e Information Value.
I Scorecard
: , 61
Regresión Loǵıstica
Contenidos: Introducción Credit Scorecard
La regresión loǵıstica es uno de los modelos más populares para clasi-
ficación binaria. Por su simplicidad y buen desempeño es una excelente
herramienta para calificar el comportamiento crediticio.
Mediante una transformación de las variables y un procedimiento estándar
al regresión loǵıstica se puede transformar en una Scorecard (tarjeta de
puntuación), fácil de interpretar y utilizar.
: , 62
Regresión Loǵıstica
Contenidos: Introducción Credit Scorecard
Esta técnica es aplicable a cualquier problema de clasificación donde se
utilice una regresión loǵıstica.
Mediante transformaciones de las variables independientes en modelo y por
medio de una transformación lineal de las chances del modelo final se puede
determinar un puntaje que tiene directa relación con las probabilidades de
clasificación.
: , 63
Regresión Loǵıstica
Contenidos: Introducción Credit Scorecard
Ilustración de una tarjeta de puntuación, donde a mayor puntaje, mejor
comportamiento de crédito. La libreŕıa scorecard en R permite desarrollar
todos los pasos para construir una tarjeta de puntuación.
: , 64
Regresión Loǵıstica
Contenidos
Credit Scorecard
I Introducción.
I WOE e Information Value.
I Scorecard
: , 65
Regresión Loǵıstica
Contenidos: WOE e Information Value
Weight of Evidence
El weight of evidence (WOE) corresponde a una metodoloǵıa de transfor-
mación de las variables independientes ampliamente utilizada en el mundo
del riesgo crediticio.
Esta transformación se basa en técnicas de la disciplina de teoŕıa de la
información
: , 66
Regresión Loǵıstica
Contenidos: WOE e Information Value
Considera una variable independiente X discreta que posee K categoŕıas
{x1, x2, . . . , xk} y una variable respuesta es dicotómica, donde 1 representa
a los deudores que no cumplieron con sus obligaciones crediticias y 0 a los
que cumplieron.
En este contexto, los 1’s en la muestra representan a los malos pagadores
y los 0’s a los buenos pagadores.
: , 67
Regresión Loǵıstica
Contenidos: WOE e Information Value
Para cada categoŕıa xi de la variable independiente X el WOE de la cate-
goŕıa xi se define
Woe(xi ) = ln
(
Dist buenos en xi
Dist malos en xi
)
= ln
(
P̂r(X = xi |Y = 0)
P̂r(X = xi |Y = 1)
)
WOE se interpreta como el nivel de separación entre la distribución de
buenos y malos pagadores.
: , 68
Regresión Loǵıstica
Contenidos: WOE e Information Value
Las transformación WOE:
I Permite tratar los valores missing en una categoŕıa sin imputación.
I Permite detectar relaciones lineales o no lineales entre la variable in-
dependiente y la variable respuesta.
I Estandariza todas las variables independientes a una misma escala.
I Reduce la dimensión del modelo y evita problemas de colinealidad.
: , 69
Regresión Loǵıstica
Contenidos: WOE e Information Value
Ejemplo:
: , 70
Regresión Loǵıstica
Contenidos: WOE e Information Value
La libreŕıa ’scorecard’ cuenta con varias funciones útiles para construir
una tarjeta de puntuación, también incluye métricas para medir el desem-
peño de las variables independientes en un análisis bivariado.
: , 71
Regresión Loǵıstica
Contenidos: WOE e Information Value
Función woebin
Esta función construye transformación WOE de las variables independien-
tes, utilizando una árbol de clasificación permite segmentar las variables
cuantitativas o agrupar las variables cualitativas, utilizando una variable
objetivo dicotómica.
La forma general de la sentencia woebin():
woebin(dt, y, x = NULL, breaks_list = NULL,
max_bin_num = 5, positive = "bad|1")
: , 72
Regresión Loǵıstica
Contenidos: WOE e Information Value
donde:
I dt: Corresponde al data frame.
I y: Se indica la variable respuesta.
I x: La o las variables independientes para transformar.
I breaks_list: Una lista con los puntos de corte de las variables in-
dependientes.
I max_bin_num: El número máximo de grupos.
I positive: Se indica la categoŕıa positiva de la variable respuesta.
: , 73
Regresión Loǵıstica
Contenidos: WOE e Information Value
Ilustración: Se utilizará el set de datos ’Default’ de los ejemplos ante-
riores:
Variable Descripción
’default’ Variable que indica si el cliente incumplió (Śı o No)
con el pago de su deuda en la TC
’student’ Variable que indica si el cliente es un estudiante (Śı o No)
’balance’ El saldo promedio que el cliente tiene en su tarjeta de crédito
después de realizar su pago mensual
’income’ Ingresos del cliente
: , 74
Regresión Loǵıstica
Contenidos: WOE e Information Value
En la ilustración se divide la muestra en un 80 % de entrenamiento y un
20 % de validación.
> newdatos = Default
> newdatos$default = ifelse(newdatos$default == "No",0,1)
>
> head(newdatos)
default student balance income
1 0 No 729.5265 44361.625
2 0 Yes 817.1804 12106.135
3 0 No 1073.5492 31767.139
4 0 No 529.2506 35704.494
5 0 No 785.6559 38463.496
6 0 Yes 919.5885 7491.559
: , 75
Regresión Loǵıstica
Contenidos: WOE e Information Value
> set.seed(12345)
>
> train = sample(nrow(newdatos),8000)
>
> newdatos_train = newdatos[train,]
> newdatos_valid = newdatos[-train,]
> newdatos_train = as.data.frame(newdatos_train)
>
> bin_income = woebin(newdatos_train, y = "default", x = "income", positive = 1)
[INFO] creating woe binning ...
$income
variable bin count count_distr good bad badprob woe
1: income [-Inf,28000) 2980 0.372500 2855 125 0.04194631 0.233622475
2: income [28000,34000) 932 0.116500 912 20 0.02145923 -0.457771857
3: income [34000,40000) 1311 0.163875 1267 44 0.03356217 0.001918313
4: income [40000, Inf) 2777 0.347125 2698 79 0.02844797 -0.168682324
: , 76
Regresión Loǵıstica
Contenidos: WOE e Information Value
Se debe tener cuidado, porque la función woebin calcula el WOE de mane-
ra invertida a la definición estándar. Por ejemplo, en el grupo [40000, Inf)
el WOE es -0.1687, sin embargo si utilizamos los datos de la tabla
WOE[40000, Inf ) = log
(
2698
7732
79
268
)
= 0.1687
Los WOE de la función están con signo cambiado porque está calculando
el logaritmo la distribución de los malos sobre los buenos sobre los malos.
: , 77
Regresión Loǵıstica
Contenidos: WOE e Information Value
Una forma de solucionar esto es utilizar la opción positive = 0.
> bin_income = woebin(newdatos_train, y = "default", x = "income", positive = 0)
[INFO] creating woe binning ...
$income
variable bin count count_distr good bad badprob woe
1: income [-Inf,28000) 2980 0.372500 125 2855 0.9580537 -0.233622475
2: income [28000,34000) 932 0.116500 20 912 0.9785408 0.457771857
3: income [34000,40000) 1311 0.163875 44 1267 0.9664378 -0.001918313
4: income [40000, Inf) 2777 0.347125 79 2698 0.9715520 0.168682324
: , 78
Regresión Loǵıstica
Contenidos: WOE e Information Value
Recuerde que las variables independientes deben tener un sentido lógico
en relación a la tasa de incumplimiento o al evento de interés, para tener
verificación gráfica, se puede utilizar la función ’woebin_plot()’ para
gráficas las variables transformadas vs la tasa de incumplimiento o el WOE
de cada categoŕıa.
: , 79
Regresión Loǵıstica
Contenidos: WOE e Information Value
37.2%, 2980
11.7%, 932
16.4%, 1311
34.7%, 2777
●
●
●
●
−0.23
0.46
0
0.17
0.
0
0.
1
0.
2
0.
3
0.
4
−
0.
25
0.
00
0.
25
[−Inf,28000) [28000,34000) [34000,40000) [40000, Inf)
B
in
 c
ou
nt
 d
is
tr
ib
ut
io
n
w
oe
bad good
income (iv:0.0517)
37.2%, 2980
11.7%,932
16.4%, 1311
34.7%, 2777
●
●
●
●
4.2%
2.1%
3.4%
2.8%
0.
0
0.
1
0.
2
0.
3
0.
4
0.
00
0.
05
0.
10
0.
15
0.
20
[−Inf,28000) [28000,34000) [34000,40000) [40000, Inf)
B
in
 c
ou
nt
 d
is
tr
ib
ut
io
n
B
ad probability
bad good
income (iv:0.0517)
: , 80
Regresión Loǵıstica
Contenidos: WOE e Information Value
Recuerde que las variables independientes deben tener un sentido lógico
en relación a la tasa de incumplimiento o al evento de interés, para tener
verificación gráfica, se puede utilizar la función ’woebin_plot()’ para
gráficas las variables transformadas vs la tasa de incumplimiento o el WOE
de cada categoŕıa.
: , 81
Regresión Loǵıstica
Contenidos: WOE e Information Value
En caso de no observar una tendencia lógica en el gráfico, se puede utilizar
la opción breaks_list para entregar una lista de las variables con los
puntos de corte:
> woebin(newdatos_train, y = "default", x = "income",
breaks_list = list(income = c(28000)), positive = 1)
[INFO] creating woe binning ...
> bin_income[[1]]$woe = -1*bin_income[[1]]$woe
> bin_income
$income
variable bin count count_distr good bad badprob woe
1: income [-Inf,28000) 2980 0.3725 2855 125 0.04194631 -0.2336225
2: income [28000, Inf) 5020 0.6275 4877 143 0.02848606 0.1673051
: , 82
Regresión Loǵıstica
Contenidos: WOE e Information Value
37.2%, 2980
62.7%, 5020
●
●
−0.23
0.17
0.
0
0.
2
0.
4
0.
6
−
0.
2
−
0.
1
0.
0
0.
1
[−Inf,28000) [28000, Inf)
B
in
 c
ou
nt
 d
is
tr
ib
ut
io
n
w
oe
bad good
income (iv:0.039)
37.2%, 2980
62.7%, 5020
●
●
4.2%
2.8%
0.
0
0.
2
0.
4
0.
6
0.
00
0.
05
0.
10
0.
15
0.
20
[−Inf,28000) [28000, Inf)
B
in
 c
ou
nt
 d
is
tr
ib
ut
io
n
B
ad probability
bad good
income (iv:0.039)
: , 83
Regresión Loǵıstica
Contenidos: WOE e Information Value
Métricas para respuesta Dicotómica
Kolmogorov Smirnov (KS): Esta estad́ıstica mide la máxima diferencia
entre las funciones de distribución acumuladas de cada grupo. La debilidad
de este método es que la separación máxima se mide solo en un punto.
F̂n1 (x |Y = 1) =
1
n1
n1∑
i=1
I[−∞,x](Xi |Y = 1)
F̂n0 (x |Y = 0) =
1
n0
n0∑
i=1
I[−∞,x](Xi |Y = 0)
Note que Y es la variable respuesta y X es un predictor cuantitativo,
además n = n0 + n1 es el tamaño muestral
: , 84
Regresión Loǵıstica
Contenidos: WOE e Information Value
La estad́ıstica KS está dada por:
Dn1,n0 = máx
x∈S
∣∣F̂n1 (x |Y = 1)− F̂n0 (x |Y = 0)∣∣,
donde S es el soporte de la variable X .
: , 85
Regresión Loǵıstica
Contenidos: WOE e Information Value
Information Value: Es una métrica que proviene del valor de la información
y mide el grado de diferencia de la función de probabilidad de una variable
según algún criterio de clasificación binaria.
IV =
k∑
i=1
(
P̂r(X = xi |Y = 0)− P̂r(X = xi |Y = 1)
)
ln
(
P̂r(X = xi |Y = 0)
P̂r(X = xi |Y = 1)
)
,
Las variables independientes deben ser discretas, en el caso de ser continuas
deben ser discretizadas apriori.
: , 86
Regresión Loǵıstica
Contenidos: WOE e Information Value
En la literatura existe una regla para medir el poder de discriminación de
una variable independiente según su IV
I IV < 0.02: No discriminadora
I 0.02 ≤ IV < 0.1 Débilmente discriminadora
I 0.1 ≤ IV < 0.3 Nivel medio de discriminación
I IV ≥ 0.3 Fuertemente discriminadora
: , 87
Regresión Loǵıstica
Contenidos: WOE e Information Value
La función ’woebin_ply’ de la libreŕıa scorecard permite aplicar las
transformaciones WOE en el data frame, un vez realizado esto se pueden
calcular los IV o KS de cada variable independientes:
> income_bin <- woebin(newdatos_train, y = "default", x = "income",
breaks_list = list(income = c(28000)), positive = 1)
> income_bin[[1]]$woe <- -1*income_bin[[1]]$woe
> df_train_woe <- as.data.frame(woebin_ply(newdatos_train, income_bin))
> df_train_woe <- cbind(df_train_woe,income = newdatos_train$income)
> head(df_train_woe)
default student balance income_woe income
1 0 Yes 311.32186 -0.2336225 22648.76
2 0 Yes 697.13558 -0.2336225 18377.15
3 0 Yes 470.10718 -0.2336225 16014.11
4 0 No 1200.04162 0.1673051 56081.08
5 0 No 553.64902 0.1673051 47021.49
6 0 No 10.23149 -0.2336225 27237.38
: , 88
Regresión Loǵıstica
Contenidos: WOE e Information Value
Aplicando la función a toda la data
> head(df_train_woe)
default income_woe income student_woe student balance_woe balance
1 0 -0.2336225 22648.76 -0.2816383 Yes 3.9356324 311.32186
2 0 -0.2336225 18377.15 -0.2816383 Yes 3.9356324 697.13558
3 0 -0.2336225 16014.11 -0.2816383 Yes 3.9356324 470.10718
4 0 0.1673051 56081.08 0.1446659 No 0.1855172 1200.04162
5 0 0.1673051 47021.49 0.1446659 No 3.9356324 553.64902
6 0 -0.2336225 27237.38 0.1446659 No 3.9356324 10.23149
: , 89
Regresión Loǵıstica
Contenidos: WOE e Information Value
La función iv() de la libreŕıa scorecard
> iv(df_train_woe, y = "default", positive = "0", order = TRUE)
variable info_value
1: balance_woe 4.3287
2: balance 0.2963
3: student_woe 0.0406
4: student 0.0406
5: income_woe 0.0390
6: income 0.0000
: , 90
Regresión Loǵıstica
Contenidos
Credit Scorecard
I Introducción.
I WOE e Information Value.
I Scorecard
: , 91
Regresión Loǵıstica
Contenidos: Scorecard
Construir la tarjeta de puntuación “scorecard” es habitual en los modelos
de evaluación de crédito, y se hace por los siguientes motivos:
I Este formato “scorecard” es el más fácil de interpretar, y hace que
muchos de Administradores de Riesgos y analistas que no tienen co-
nocimientos avanzados de estad́ıstica o la mineŕıa de datos lo puedan
utilizar.
I Razonable para explicar puntuaciones altas y bajas de los clientes de
una cartera a los auditores, reguladores y alta dirección en términos
del negocio.
: , 92
Regresión Loǵıstica
Contenidos: Scorecard
I El proceso de desarrollo de las “scorecard” no es una caja negra, y
es ampliamente entendido, de esta forma, puede satisfacer cualquier
requisito reglamentario de forma transparente.
I Las tarjetas de puntuación “scorecard” son fáciles de diagnosticar y
monitorear, mediante informes estándar. La scorecard pueden utili-
zarse por los analistas y realizar seguimiento sin tener un profundo
conocimiento estad́ıstico, esto hace que sea una importante herra-
mienta para gestionar el Riesgo.
: , 93
Regresión Loǵıstica
Contenidos: Scorecard
Construcción Scorecard
Primero se asume que todas las variables independientes fueron transfor-
madas anteriormente en WOE. Se definen las chances “Odds”,
Odds(Woe(xi )) =
Pr(Y = 1|Woe(xi ))
1− Pr(Y = 1|Woe(xi ))
= exp (Woe(xi )
′β) ,
Los “Odds” o chances, corresponde a cuantas veces es más probable que
el individuo i sea default vs no default,
: , 94
Regresión Loǵıstica
Contenidos: Scorecard
Una vez realizado el ajuste de la regresión loǵıstica con las variables WOE,
se pueden estimar las probabilidades π̂(Woei ). La scorecard debe ser lineal
en el logaritmo de las chances, entonces se utiliza la siguiente transforma-
ción:
Score = Offset + factor log (Odds)
Ahora se debe definir el “Pdo”, que corresponde a los puntos que duplican
las chances (Odds).
: , 95
Regresión Loǵıstica
Contenidos: Scorecard
El “Offset” y el “factor” pueden obtenerse de manera sencilla utilizando
el “Pdo” y un “Score” dado, y dos ecuaciones simultáneas:
Score = Offset + factor log (Odds) ,
Score + Pdo = Offset + factor log (2 · Odds)
: , 96
Regresión Loǵıstica
Contenidos: Scorecard
Resolviendo este sistema de ecuaciones, con un Pdo y Score conocido, se
tiene que:
factor =
Pdo
log(2)
,
Offset = Score− factor · log (Odds)
: , 97
Regresión Loǵıstica
Contenidos: Scorecard
Valores usuales: A 500 puntos de Score tenemos las mismas chances 1:1
y consideramos un Pdo de 30 puntos, es decir, cada 30 puntos ganados se
duplican las chances, aśı, los valores de factor y Offset son
Offset = 500,
factor =
30
log(2)
= 43.28085
Finalmente
Score = 500 + 42.28 log (Odds) ,
: , 98
Regresión LoǵısticaContenidos: Scorecard
Se desea que a peor Score más chance tenga el cliente de caer en incum-
plimiento, por lo tanto invertimos las chances
Score = Offset + factor log (Odds) ,
= −
 p∑
j=1
ki∑
i=1
Woeijβj + β0
 factor + Offset,
=
p∑
j=1
ki∑
i=1
(
−
(
Woeijβj +
β0
p
)
factor +
Offset
p
)
,
: , 99
Regresión Loǵıstica
Contenidos: Scorecard
La puntuación de la variable j en la i ésima categoŕıa corresponde a
−
(
Woeijβj +
β0
p
)
factor +
Offset
p
Este procedimiento es fácil de realizar.
: , 100
Regresión Loǵıstica
Contenidos: Scorecard
La función scorecard de la libreŕıa scorecard permite construir una tar-
jeta de puntuación.
La forma general de la función:
scorecard(bins, model, points, pdo)
donde bins es un objeto woebin, model es un objeto glm, points es el
puntaje base.
: , 101
Regresión Loǵıstica
Contenidos: Scorecard
> card = scorecard(bin_train, ajuste.final,points = 500, pdo = 20)
> card
$basepoints
variable bin woe points
1: basepoints NA NA 512
$balance
variable bin count count_distr good bad badprob woe points
1: balance [-Inf,900) 4434 0.554250 4431 3 0.000676590 3.9356324 175
2: balance [900,1100) 1224 0.153000 1217 7 0.005718954 1.7960981 80
3: balance [1100,1450) 1465 0.183125 1424 41 0.027986348 0.1855172 8
4: balance [1450,1650) 437 0.054625 388 49 0.112128146 -1.2929508 -57
5: balance [1650, Inf) 440 0.055000 272 168 0.381818182 -2.8802978 -128
$income
variable bin count count_distr good bad badprob woe points
1: income [-Inf,28000) 2980 0.3725 2855 125 0.04194631 -0.2336225 -5
2: income [28000, Inf) 5020 0.6275 4877 143 0.02848606 0.1673051 4
$student
variable bin count count_distr good bad badprob woe bin_iv points
1: student No 5632 0.704 5468 164 0.02911932 0.1446659 0.01377951 -10
2: student Yes 2368 0.296 2264 104 0.04391892 -0.2816383 0.02682622 19
: , 102
Regresión Loǵıstica
Contenidos: Scorecard
> card = scorecard(bin_train, ajuste.final,points = 500, pdo = 20)
> card
$basepoints
variable bin woe points
1: basepoints NA NA 512
$balance
variable bin count count_distr good bad badprob woe points
1: balance [-Inf,900) 4434 0.554250 4431 3 0.000676590 3.9356324 175
2: balance [900,1100) 1224 0.153000 1217 7 0.005718954 1.7960981 80
3: balance [1100,1450) 1465 0.183125 1424 41 0.027986348 0.1855172 8
4: balance [1450,1650) 437 0.054625 388 49 0.112128146 -1.2929508 -57
5: balance [1650, Inf) 440 0.055000 272 168 0.381818182 -2.8802978 -128
$income
variable bin count count_distr good bad badprob woe points
1: income [-Inf,28000) 2980 0.3725 2855 125 0.04194631 -0.2336225 -5
2: income [28000, Inf) 5020 0.6275 4877 143 0.02848606 0.1673051 4
$student
variable bin count count_distr good bad badprob woe bin_iv points
1: student No 5632 0.704 5468 164 0.02911932 0.1446659 0.01377951 -10
2: student Yes 2368 0.296 2264 104 0.04391892 -0.2816383 0.02682622 19
: , 103
Regresión Loǵıstica
Contenidos: Scorecard
Distribución del puntaje para ambos grupos
: , 104
Regresión Loǵıstica
Contenidos: Scorecard
Gráficos relevantes:
●
0.0
0.2
0.4
0.6
0.8
1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−Specificity / FPR
S
en
si
tiv
ity
 / 
T
P
R
dat, AUC=0.9384
p=520.00, (0.10,0.82)
ROC
Figura: ROC Entrenamiento
●
0.0
0.2
0.4
0.6
0.8
1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−Specificity / FPR
S
en
si
tiv
ity
 / 
T
P
R
dat, AUC=0.9560
p=520.00, (0.10,0.88)
ROC
Figura: ROC Validación
: , 105
Regresión Loǵıstica
Contenidos: Scorecard
Gráficos Lift: Esta curva también se conoce por la curva de concentración
y compara el % de respuesta positiva predicha para los percentiles acumu-
lados de un scoring o variable independiente (siempre que tenga orden) vs
el % de respuesta positiva en la muestra,
Lift =
% de positivos predichos
% positivos en la muestra
: , 106
Regresión Loǵıstica
Contenidos: Scorecard
0.0
5.0
10.0
15.0
0.0 0.2 0.4 0.6 0.8 1.0
% of population
Li
ft
dat
Lift
Figura: Lift Entrenamiento
0.0
5.0
10.0
15.0
0.0 0.2 0.4 0.6 0.8 1.0
% of population
Li
ft
dat
Lift
Figura: Lift Validación
: , 107
Regresión Loǵıstica
Contenidos: Scorecard
Resumen
Variable KS Gini Roc
Entrenamiento 0.72 0.88 0.94
Test 0.78 0.91 0.96
: , 108