2.3. Vecinos Cercanos K NN

Vista previa del material en texto

1
Vecinos Cercanos
K-NN
Curso Minería de Datos
Fuente Img. 0: Creación Propia
Img. 0 Clasificación 
de Objetos
2
online.ing.puc.cl
Motivación
◉ Clasificar un dato nuevo a 
partir de casos más parecidos.
V1
V2
?
Clase 1
Clase 2
online.ing.puc.cl
1 Vecino Cercano
◉ Usando los ejemplos del set de 
entrenamiento se calcula el dato 
más cercano/similar para 
predecir la clase.
V1
V2
?
3
online.ing.puc.cl
1 Vecino Cercano
V1
V2
?
d3
d2
d1
Concepto de distancia
◉ ¿Dato más similar?
◉ Necesitamos medir distancias 
contra todos los datos
online.ing.puc.cl
1 Vecino Cercano
V1
V2
(V1a,V2a)
(V1b,V2b)
Concepto de distancia
◉ Distancia Euclidiana:
4
online.ing.puc.cl
1 Vecino Cercano
V1
V2
?d3
d2
d1
◉ Volviendo al ejemplo:
online.ing.puc.cl
1 Vecino Cercano
V1
V2
?
◉ Vecino más cercano
5
online.ing.puc.cl
1 Vecino Cercano
V1
V2
◉ La clasificación que hace el 
modelo corresponde a la misma 
clase del vecino cercano:
online.ing.puc.cl
K Vecinos Cercanos
V1
V2
?
◉ En este caso se considera el 
voto de la mayoría de las K 
instancias que más se parece.
6
online.ing.puc.cl
K Vecinos Cercanos
V1
V2
?
◉ Ejemplo: K = 3
online.ing.puc.cl
K Vecinos Cercanos
V1
V2
◉ Ejemplo: K = 3
◉ Clasificación = Verde
7
online.ing.puc.cl
K Vecinos Cercanos
◉ Otro ejemplo: K = 6
V1
V2
?
online.ing.puc.cl
K Vecinos Cercanos
◉ Otro ejemplo: K = 6
V1
V2
?
8
online.ing.puc.cl
K Vecinos Cercanos
◉ Otro ejemplo: K = 6
◉ Clasificación = Rojo
V1
V2
online.ing.puc.cl
K Vecinos Cercanos
◉ Ejemplo: Clasificación más 
difícil
V1
V2
?
9
online.ing.puc.cl
K Vecinos Cercanos
◉ Ejemplo: Clasificación más 
difícil
V1
V2
?
Ej: K = 2
online.ing.puc.cl
K Vecinos Cercanos
◉ Ejemplo: Clasificación más 
difícil
V1
V2
?
Ej: K = 2
10
online.ing.puc.cl
Resumen
◉ Algoritmo de clasificación.
◉ Usa los datos más similares 
para clasificar.
◉ Requiere de una medida de 
distancia y un valor de K.
online.ing.puc.cl
Consideraciones
◉ Sólo usa tiempo computacional 
a la hora de realizar la 
clasificación
11