Big Data en negocios e instituciones

Vista previa del material en texto

Big Data en negocios e instituciones
Ciencia 
Medicina
Ciencias Sociales y Humanidades 
Negocio, Comercio e Industria 
Entretenimiento y Ocio
Nuestro mundo gira en torno a los datos
Exabytes: 1018 bytes.
La explosión de los datos
La explosión de los datos
Zettabyes: 1021 bytes.
El progreso y la innovación ya no se ven obstaculizados por la capacidadde 
recopilar datos, sino por la capacidad de:
• Extraer el valor de los datos
• Convertir datos en conocimiento
¿Qué hacemos con estos datos?
El valor de la información
El reto del “Big Data”
 ¿Por qué Big Data? Tecnologías para Big Data y 
Big Data Analytics. Ciencia de Datos
 El poder de los datosy su impacto en la 
sociedad
¿Por qué Big Data ?
¿Cómo podemos procesar 1000 TB(1 PB) ó 10000 TB?
Propuesta de Google 2004:
Paradigma MapReduce
(aproximación más popular a big data)
• Problema: Escalabilidad de grandes cantidades de datos
• Ejemplo:
• Exploración 100 TB en 1 nodo @ 50 MB/sec =23 días
• Solución Divide-Y-Vencerás
– Exploración en un clúster de 1000 nodos = 33 minutos
Fragmentación Datos 
Procesamiento Paralelo 
Fusión de Modelos
Big Data en 3 V’s
Volumen
VelocidadVariedad
Doug Laney, Gartner Feb. 6, 2011
3-D Data Management: Controlling Data Volume, Velocity andVariety.
Big Data
Some Make it 4V’s: Veracity
¿Qué es Big Data ?
“Big Data” son datos 
cuyo volumen, 
diversidad y 
complejidad requieren 
nueva arquitectura, 
técnicas, algoritmos 
y análisis para 
gestionar y extraer 
valor y conocimiento 
oculto en ellos ...
3 V’s de Big Data
10
2001
3V’s
Gartner
Doug Laney
2004
MapReduce
Google
Jeffrey Dean
2008
Hadoop 
Yahoo!
Doug 
Cutting
Big 
Data
2010 Spark
U Berckeley
Apache Spark 
Feb. 2014
Matei Zaharia
2009-2013 Flink
TUBerlin
Flink Apache 
(Dec. 2014)
Volker Markl
2010-2015:
Big Data 
Analytics: 
Mahout, MLLib, …
Hadoop 
Ecosystem
Aplicaciones 
Nuevas
Tecnologías
Big Data: Cronología
2001-2010
2010-2015
Clustering
Recommendation 
Systems
Classification
Association
Real Time Analytics/ 
Big Data Streams
Social Media Mining 
Social Big Data
Big Data Analytics
Potentiales escenarios
Ámbito del conocimiento que engloba las habilidades asociadas al 
análisis inteligente de datos, incluyendo Big Data
Ciencia de Datos
Científico de datos
 ¿Por qué Big Data ? Tecnologías para Big Data y 
Big Data Analytics. Ciencia de Datos
 El poder de los datos y su impacto en
la sociedad
El valor de la información: el reto del “Big Data”
Críticos y editores literarios 
La voz de Amazon (1995)
El poder de losdatos
Análisis de transacciones
Amazon: Sistema de recomendación
Los datos incrementaron 
tremendamente las ventas
Ahora más de 1/3 de las ventas son 
gracias a las recomendaciones
Dilema: ¿Lo que 
los clics decían 
o lo que
opinaban los 
críticos?
Greg Linde (1997) propuso 
un sistema de 
recomendaciones, filtrado 
colaborativo
“artículo a artículo”
Fuente: Big Data. La revolución de los datos masivos. Pag. 69. The power of habit, Charles Duhigg. Feb. 2012
Fuente: Big Data. La revolución de los datos masivos. Pag. 77
v
Descubrimiento: Cremas sin 
perfume al tercer mes. Dos 
docenas de productos
Predicción de fecha parto
Modelo de predicción de 
clientes embarazadas por 
medio de sus patronesde 
compra.
Acción: Envío de 
cupones para cada 
fase del embarazo
Disculpas Empresa. 
Disculpas del padre, 
confirmación del 
embarazo de la hija
Enfado de un padre: Su Hija 
recibe publicidad de 
productos para
embarazadas
El poder de losdatos
Análisis de transacciones
Target (cadena de grandes almacenes) 
que utiliza el análisis de transacciones y asociaciones.
Unos días después el director llamó al padre para 
disculparse.
Respuesta conciliadora del padre:
“He estado hablando con mi hija –dijo el padre–
Resulta que en mi casa han tenido lugar ciertas 
actividades de las que yo no estaba del todo 
informado. Mi hija sale de cuentas en agosto. Soy
yo el que les debe una disculpa”.
Fuente: Big Data. La revolución de los datos masivos. Pag. 77.
El poder de losdatos
Análisis de transacciones
Un chivo expiatorio
Analizando Twitter para medir la Salud Pública
Se obtienen 13 grupos coherentes de mensajes correlacionados
- Gripe estacional (r= 0.689) y alergias (r = 0.810)
- Ejercicio y obesidad relacionados con datos geográficos, ..
Discovering Health Topics in Social Media Using TopicModels
Michael J. Paul, Mark Dredze, Johns Hopkins University, Plos One 9(8) e103408, 2014 doi:10.1371/journal.pone.0103408
You Are What You Tweet
Un sistema de filtrado de datos de Twitter puede inferir 
aspectos de salud analizando 144M de tuits (2014-2016)
http://elpais.com/elpais/2015/01/29/ciencia/1422520042_066660.html
http://www.sciencemag.org/content/347/6221/536
Banca: Identificación de personas con las compras de TDC
Identificación por el número de compras
Identificación por el género
Identificación por el 
poder adquisitivo
Banca: Identificación de personas con las compras de TDC
Salud
Redes sociales como fuente de datos 
Industria, comercio, banca, …
Ocio y cultural (Ej. Recomendaciones) 
Política
Bien social (Social good)
Impacto en la sociedad
http://www.elmundo.es/elmundo/2013/09/03/navegante/137
ml
8243782.ht
Big Data: Gran Impacto en la Sociedad y 
presencia en losmedios de comunicación
http://economia.elpais.com/economia/2013/09/27/actualidad/1380 
283725_938376.html
La demanda de profesionales 
formados en Ciencia de Datos y Big 
Data es enorme.
Se estima que la conversión de 
datos en información útil generó un 
mercado de 132.000 millones de 
dólares en 2015 y que se crearán más 
de 4.4 millones de empleos.
España necesitaba para 2015 más de
60.000 profesionales con formación en 
Ciencia de Datos y Big Data.
Impacto Económico
Capítulo 3.
http://issuu.com/secacult_uja/docs/libro_francisco_herrera.indd
El valor de la información: el Big Data
Lecturas rápida: Tecnología y sobre el poder 
de los datos