Descarga la aplicación para disfrutar aún más
Vista previa del material en texto
Darrell Huff Cómo mentir con estadísticas 2 INDICE PREFACIO ..................................................................................................................................................... 3 INTRODUCCIÓN ............................................................................................................................................. 4 1. LA MUESTRA CON EL SESGO INCORPORADO ....................................................................................................... 6 2. EL PROMEDIO BIEN ELEGIDO........................................................................................................................ 18 3. LAS PEQUEÑAS CIFRAS QUE FALTAN .............................................................................................................. 26 4. MUCHO RUIDO Y PRÁCTICAMENTE POCAS NUECES ............................................................................................ 36 5. EL GRÁFICO FANTÁSTICO ............................................................................................................................ 41 6. GRÁFICOS CON PERSONAJES ........................................................................................................................ 46 7. EL NÚMERO SEMI RELACIONADO .................................................................................................................. 53 8. EL REGRESO DEL "POST HOC" ...................................................................................................................... 63 9. COMO ESTADISTICULAR ............................................................................................................................. 72 10. CÓMO RESPONDER A LAS ESTADÍSTICAS ....................................................................................................... 85 Darrell Huff Cómo mentir con estadísticas 3 Prefacio Darrell Huff (1913-2001) nació en Gowrie (Iowa) y se educó en la universidad de ese estado. Fue el editor de dos revistas antes de dedicarse por completo a escribir como autor independiente una cantidad numerosa de artículos sobre el tema de "Cómo hacer . . . " (o "How to" en inglés) además de 16 libros sobre diversas cuestiones. Su obra más conocida es la que presentamos a continuación. How to Lie with Statistics – Cómo Mentir con Estadísticas – se ha convertido a lo largo del tiempo en un verdadero clásico para quienes desean desentrañar los vericuetos y los trucos empleados por quienes pretenden describir la realidad mediante el método estadístico … no siempre con intenciones enteramente confesables. Publicado en 1954, la obra no ha perdido actualidad al día de hoy y sigue siendo utilizada como texto básico en muchas aulas. Sin pecar de superficial, Huff no se interna en el complejo formuleo matemático concentrándose en darle al lector una visión clara, práctica y concisa acerca de la forma de entender – y dado el caso desenmascarar – las estadísticas que usualmente se pueden encontrar en diarios, revistas y hasta en algunas publicaciones profesionales. En la traducción hemos prestado especial atención a mantener el tono coloquial, no exento de un formidable sentido del humor, con el cual el autor ha hecho por demás llevadera una materia que, de otro modo, sufriría de la aridez que tienen todos los trabajos relacionados con las matemáticas. Darrell Huff Cómo mentir con estadísticas 4 Las notas incluidas en el texto, salvo indicación en contrario, son del traductor. Las ilustraciones están adaptadas del original de 1954 y pertenecen a Irving Geis. Introducción "Hay una gran cantidad de crímenes por aquí", dijo mi suegro poco después de haberse mudado de Iowa a California. Y así era — en el diario que leía. Ese diario es uno de ésos que no pasa por alto ningún crimen en su propia área y tiene fama de prestar más atención a un asesinato en Iowa que el mismo diario principal de esa localidad. La conclusión de mi suegro fue estadística, aunque de un modo informal. Estaba basada en una muestra y, si vamos al caso, en una muestra notoriamente distorsionada. Como muchas de las estadísticas más sofisticadas, era tendenciosa: presuponía que el espacio dado por el diario a la información sobre los crímenes cometidos es una medida de la tasa de criminalidad. Hace un par de inviernos una docena de investigadores informaron independientemente cifras sobre píldoras antihistamínicas. Cada una de de esas investigaciones mostraba que un porcentaje considerable de los resfríos cedía después del tratamiento. Se produjo un gran alboroto, al menos en los anuncios comerciales, y la campaña de productos médicos tuvo su auge. Esa campaña estuvo basada sobre la eterna esperanza y también sobre una curiosa negativa a mirar más allá de las estadísticas y ver un hecho que se conoce desde hace mucho tiempo. Tal como Henry G. Felsen – un humorista y para nada una autoridad en medicina – señaló ya hace bastante tiempo, con tratamiento un resfrío dura siete días; sin tratamiento dura una semana. Lo mismo sucede con muchas cosas que usted lee y oye. Los promedios, las relaciones, las tendencias y los gráficos no siempre son lo que parecen. Pueden contener más de lo que se ve, y también pueden contener bastante menos. Darrell Huff Cómo mentir con estadísticas 5 El lenguaje secreto de las estadísticas, tan atrayente en una cultura orientada a los hechos, se emplea para el sensacionalismo, para exagerar, confundir y sobre-simplificar. Los métodos y los términos estadísticos son necesarios en los informes que tratan el cúmulo de datos que hacen a las tendencias sociales y económicas, a las condiciones comerciales, a las encuestas de "opinión" y a los censos. Pero en ausencia de redactores que empleen las palabras con honestidad y entendimiento, y careciendo de lectores que sepan lo que significan, el resultado solo puede ser un sinsentido semántico. En la literatura popular sobre cuestiones científicas el abuso estadístico resalta la figura del héroe de guardapolvo blanco trabajando horas-extras por falta de tiempo en un mal iluminado laboratorio. Al igual que "un toque de maquillaje y un poco de carmín" las estadísticas hacen que un hecho importante "parezca ser lo que ella no es" gracias al maquillaje. Una estadística bien empaquetada es hasta mejor que la "gran mentira" del dictador: engaña, pero nadie lo puede acusar de engaño. Este libro es una especie de guía sobre cómo usar estadísticas para engañar. Puede ser que se parezca demasiado a un manual para estafadores. Quizás pueda justificarlo en la forma en que lo hizo el ladrón retirado cuyas memorias publicadas terminaron siendo un curso avanzado sobre como violentar una cerradura y amortiguar el ruido de una pisada: los ladrones ya conocen esos trucos; las personas honestas tienen que aprenderlos en defensa propia. Darrell Huff Cómo mentir con estadísticas 6 1. La muestra con el sesgo incorporado La revista Time publicó en cierta oportunidad que "el egresado promedio de Yale, de la promoción 1924, gana $25.111 por año". 1 Bueno, ¡felicitaciones! Pero esperen un minuto. ¿Qué significa esta cifra tan impresionante? Tal como está, parecería ser la prueba de que, si usted envía a su hijo a estudiar a Yale, no tendrá que trabajar cuando sea viejo, y su hijo tampoco. Ya a primera vista hay dos cosas sospechosas en cuanto a la cifra. Por de pronto es sorprendentemente precisa. Y es muy improbable que esté limpia. Es muy poco probable que el ingreso promedio de cualquier grupo numeroso pueda ser jamás conocido con una precisión exacta. Incluso no es muy probable que usted mismo conozca su propio ingreso del año pasado de una manera tan exacta, a menos que todo ese ingreso haya provenido de un salario fijo. Por otra parte, ingresos del orden de los $25.000 nosuelen representar solamente salarios; es muy probable que las personas de ese nivel tengan también inversiones bien diversificadas. Más allá de eso, este hermoso promedio está sin duda alguna calculado sobre la base de los montos que los egresados de Yale dijeron haber ganado. Incluso si en New Haven se empleaba ya el sistema del honor en 1924, no podemos estar seguros de que este sistema siga funcionando tan bien después de un cuarto de siglo y que todos estos informes sean honestos. Algunas personas, cuando se les pregunta acerca de sus ingresos, exageran por vanidad o por optimismo. Otros minimizan, especialmente si los ingresos son 1 Serían equivalentes a unos $ $327.563 de 2012 aproximadamente. (Cf. http://www.dollartimes.com/calculators/inflation.htm Consultado el 2/9/2012) (N. del T.) Darrell Huff Cómo mentir con estadísticas 7 imponibles, y habiendo mentido una vez prefieren no contradecirse. ¿Quién sabe qué es lo que puede llegar a ver la autoridad impositiva? Es posible que estas dos tendencias – la de presumir y la de minimizar – se cancelen mutuamente, pero es improbable. Una de las tendencias puede ser mucho más fuerte que la otra y no sabemos cuál de las dos podría ser. Estamos empezando a explicarnos una cifra de la que ya el sentido común nos dice que difícilmente sea cierta. Pues bien, pongamos ahora el dedo sobre la probable fuente del mayor error; una fuente que puede producir la cifra de $ 25.111 como el "ingreso promedio" de personas cuyo promedio real podría muy bien estar más cerca de la mitad de ese número. Esta fuente es el método del muestreo que constituye la columna vertebral de la gran mayoría de las estadísticas que usted puede encontrar sobre toda una serie de temas. Su principio es muy simple, aun cuando en la práctica sus refinamientos han conducido a toda clase de caminos laterales, algunos de ellos muy poco respetables. Si tenemos un barril lleno de bolitas, algunas rojas y otras blancas, hay un solo método para saber exactamente cuántas de cada color tenemos: contándolas. Sin embargo, podemos averiguar aproximadamente cuantas rojas hay de un modo mucho más simple: sacando un puñado de bolitas, contando cuántas hay solamente en ese puñado y presuponiendo, además, que la proporción será la misma en todo el barril. Si la muestra es lo suficientemente grande y ha sido seleccionada adecuadamente, representará a la totalidad de un modo bastante satisfactorio para la mayoría de los propósitos. Pero, si no lo es, puede llegar a ser por lejos menos confiable que una estimación inteligente y no se justificará más que con un espurio aire de precisión científica. Desgraciadamente la verdad es que, detrás de gran parte de lo que leemos o creemos saber, no hay sino conclusiones sacadas de muestras que están sesgadas, o son demasiado pequeñas, o ambas cosas a la vez. El informe sobre los egresados de Yale está basado sobre una muestra. Podemos estar bastante seguros de ello porque ya la razón nos dice que nadie puede tomar contacto con todos los miembros Darrell Huff Cómo mentir con estadísticas 8 vivos de la promoción de 1924. Después de 25 años, forzosamente tienen que existir muchos cuyas direcciones particulares se desconocen. Y de aquellos cuyas direcciones son conocidas, muchos no querrán contestar, especialmente tratándose de una cuestión muy personal. Para ciertos tipos de cuestionario una tasa de respuesta del 5% al 10% ya se considera bastante alta. El que estamos comentando podrá haber tenido un resultado mejor, pero nada parecido a un 100%. De modo que llegamos a la conclusión que la cifra del ingreso está basada sobre una muestra compuesta por todos los miembros de la promoción cuyas direcciones eran conocidas y que, además, contestaron el cuestionario. ¿Es representativa esta muestra? Esto es: ¿puede considerarse que este grupo tenía los mismos ingresos que el otro formado por aquellos cuya dirección ya no se conocía, más aquellos que no quisieron contestar? ¿Quiénes son las ovejas perdidas de Yale que figuran en las listas con "dirección desconocida"? ¿Acaso son los poseedores de grandes ingresos, los hombres de Wall Street, los directores corporativos, los ejecutivos de la industria y los servicios? No; las direcciones de los ricos no serán difíciles de conseguir. Muchos de los miembros más prósperos de la promoción pueden ser hallados consultando el Quién es Quién en América 2 y otras fuentes de referencia, incluso si no se han mantenido en contacto con la oficina de ex-alumnos. La suposición más probablemente cierta es que los nombres perdidos pertenecen a quienes, 25 años después de obtener su licenciatura, no llegaron a cumplir con ninguna brillante promesa. Son los oficinistas, los mecánicos, los vagos, los alcohólicos desempleados, los artistas y los escritores que apenas si consiguen sobrevivir … personas de las que habría que juntar una docena, o más, para llegar a un ingreso anual de $25.111. Estas personas no suelen aparecer en 2 El Quién es Quién (o bien Who's Who por su nombre en inglés) es el título de una serie de publicaciones de referencia que incluye las biografías de personalidades famosas. La publicación más antigua y conocida es la publicación anual británica de ese nombre. (N. del T.) Darrell Huff Cómo mentir con estadísticas 9 las reuniones de ex-alumnos aunque más no sea porque no pueden solventar el costo del viaje y la estadía. ¿Quiénes son los que tiraron el cuestionario al tacho de basura más cercano? No podemos estar tan seguros acerca de éstos, pero sería al menos una suposición razonable pensar que son aquellos que no están haciendo suficiente dinero como para vanagloriarse de ello. Son un poco como el sujeto que se encontró con una nota anexada al cheque de su sueldo en la que se le aconsejaba tratar la suma de su salario como algo confidencial que no debía ser comentado entre sus colegas. "No se preocupe" – le dijo al jefe – "Estoy por lo menos tan avergonzado de este sueldo como lo está usted". Así se vuelve bastante evidente que la muestra ha omitido dos grupos que tenían una alta probabilidad de bajar el promedio. La cifra de $ 25.111 está empezando a explicarse. Si es una cifra real en absoluto, lo es meramente para ese grupo especial de la promoción de 1924 cuyas direcciones eran conocidas y cuyos integrantes estuvieron dispuestos a manifestar cuanto ganaban. Además, incluso eso requiere presumir que esos caballeros dijeron la verdad. Y una presunción así no es para hacerla a la ligera. La experiencia obtenida de una clase especial de estudio por muestreo – el llamado "estudio de mercado" – sugiere que difícilmente se la pueda hacer en absoluto. Una vez se hizo un relevamiento casa-por-casa para analizar las preferencias de los lectores de revistas en el cual la pregunta clave fue: "¿Qué revistas se leen en su casa?" Después de tabular y analizar las respuestas pareció ser que una gran cantidad de gente prefería Harper's 3 y no muchos leían True Story. 4 Ahora 3 Harper's Magazine es una revista mensual norteamericana que, desde una perspectiva generalmente liberal (en sentido norteamericano) trae noticias sobre literatura, política, cultura, economía y artes. Es la segunda revista más antigua de los Estados Unidos después del Cientific American. (N. del T.) 4 True Story (Historia Verdadera) fue una revista que, supuestamente, publicaba historias de la vida real bajo el subtítulo de "la verdad es más extraña que la ficción". No obstante, muchos de sus artículos estaban escritos por escritores profesionales y no eran más que fantasías sensiblemente alejadas de la realidad pero que agradaban a un gran público ávido de romanticismos y sensacionalismos. (N. del T.) Darrell Huff Cómo mentir con estadísticas10 bien, existían por la misma época cifras de circulación publicadas que claramente indicaban que True Story distribuía millones de ejemplares 5 mientras que Harper's solo tenía una circulación de cientos de miles. Los diseñadores de la encuesta se dijeron: "Quizás entrevistamos a la gente equivocada". Pero no, el cuestionario había sido utilizado en toda clase de vecindarios y a lo largo y ancho de todo el país. La única conclusión razonable fue que los entrevistados simplemente no dijeron la verdad. Casi todo lo que la entrevista reveló fue nada más que el esnobismo de los entrevistados. Al final se llegó a la conclusión de que, si uno quiere saber qué es lo que leen determinadas personas, no tiene ningún sentido hacerle preguntas a los lectores. Uno podría llegar a saber mucho más yendo a sus casas ofreciéndoles comprar sus revistas viejas y todas las publicaciones que hayan comprado. Después de eso, lo único que habría que hacer es contar cuantas Yale Review 6 y cuantas Love Romance 7 hay. Y, por supuesto, incluso este recurso algo dudoso no nos diría qué lee la gente; solo nos diría qué es lo que ha comprado. De un modo similar, la próxima vez que lea que el Norteamericano Promedio (se oye hablar de él un buen montón estos días y la mayor parte de lo que se dice es solo tenuemente probable) se lava los dientes 1.02 veces al día – una cifra que acabo de inventar pero que podría ser tan buena como cualquier otra – hágase la siguiente pregunta: "¿Cómo pudo alguien averiguar una cosa así? Una mujer que, en innumerables anuncios comerciales, ha leído que las personas que no se lavan los dientes prácticamente atentan contra la convivencia social, ¿le confesaría a un extraño que no se lava los dientes en forma regular? Esa estadística puede llegar a tener sentido para alguien que quiere saber qué dicen las personas acerca del lavarse los dientes. Pero no 5 Hacia 1929 True Story tenía una circulación de cerca de 2 millones de ejemplares. (N. del T.) 6 Revista literaria publicada por la Universidad de Yale. (N. del T.) 7 "Romances de Amor" - quizás un título de revista inventado por el autor. Darrell Huff Cómo mentir con estadísticas 11 revelará gran cosa acerca de la frecuencia con la cual esas mismas personas efectivamente se cepillan la dentadura. Se nos dice que un río no puede subir por sobre el nivel de su fuente. Es cierto . . . pero puede parecer que lo hace si hay una estación de bombeo por algún lado. También es igualmente cierto que ningún estudio por muestreo es mejor que la muestra sobre la que se basa. Para cuando los datos han sido filtrados a través de capas de manipulación estadística y reducidos a un promedio expresado con decimales, el resultado empieza a adquirir un aura de persuasión que quedaría desmentida por una mirada más atenta al muestreo. El diagnóstico temprano del cáncer, ¿salva vidas? Probablemente. Pero de las cifras que usualmente se utilizan para demostrarlo lo mejor que se puede decir es que no lo demuestran. Estas cifras, recopiladas por el Connecticut Tumor Registry, se remontan a 1935 y parecen mostrar un aumento sustancial en la tasa de supervivencia original de cinco años durante el período 1935/1941. En realidad, sin embargo, los datos comenzaron a registrarse efectivamente en 1941 y todo lo anterior se obtuvo rastreando para atrás. Muchos de los pacientes ya se habían mudado de Connecticut y no se pudo saber si habían sobrevivido o fallecido. De acuerdo con Leonard Engel, el sesgo así creado es "suficiente como para explicar la totalidad del supuesto aumento de la tasa de mejora". Para ser útil, un informe basado sobre una muestra tiene que partir de una muestra representativa y una muestra representativa es aquella en la cual se han eliminado todas las fuentes de distorsión o sesgo. Ahí es donde nuestra cifra de Yale demuestra su inutilidad. Y en esto mismo revelan su falta de sentido una gran cantidad de cosas que podemos leer en los diarios y revistas. Cierta vez un psiquiatra manifestó que prácticamente todo el mundo es neurótico. Dejando de lado que semejante utilización del término destruye cualquier significado que la palabra "neurótico" pueda tener, péguele un vistazo a la muestra que usó el hombre. Esto es: ¿a quién estuvo observando ese psiquiatra? Resulta que llegó a esa edificante conclusión estudiando a sus propios pacientes que están a Darrell Huff Cómo mentir con estadísticas 12 años luz de constituir una muestra representativa de toda la población. Si una persona es normal, nuestro psiquiatra jamás se encontraría con ella. Échele esa clase de segunda mirada a las cosas que lee y no podrá evitar darse cuenta de que todo un montón de cosas no son lo que se dice de ellas. Vale la pena tener en mente que la confiabilidad de una muestra puede ser destruida no solamente por esta clase de fuentes visibles sino – y con la misma facilidad – por fuentes invisibles de distorsión. Es decir: aún si no encuentra una fuente con sesgo demostrable, permítase algún grado de escepticismo en cuanto a los resultados mientras exista la posibilidad de que haya cierto sesgo en alguna parte. Siempre lo hay. Y si quedase alguna duda sobre esto, las elecciones presidenciales de 1948 y 1952 bastan para demostrarlo. Para mayores datos, retrocedamos hasta el año 1936 y recordemos el sonado fiasco del Literary Digest. Los diez millones de encuestados, entre llamadas telefónicas y suscriptores del Digest, le aseguraron a esa ya desaparecida revista que Landon obtendría 370 votos y Roosevelt 161. La lista de personas a encuestar fue la misma que había sido utilizada para predecir con toda exactitud la elección de 1932. ¿Cómo pudo haber un sesgo en una lista que ya había sido utilizada con éxito? Por supuesto que hubo un sesgo, tal como después, ex post facto, demostraron varios estudios académicos y otros análisis. Las personas que en1936 podían darse el lujo de tener un teléfono y de suscribirse a una revista, no constituían una muestra representativa de todos los votantes. Económicamente, formaban una clase especial de personas y la muestra se hallaba sesgada porque resultó ser que estaba cargada con votantes republicanos. La muestra eligió a Landon, pero el electorado no estuvo de acuerdo. La muestra básica es la llamada "aleatoria". Se la extrae completamente al azar de la "población", una palabra que los técnicos en estadísticas utilizan para referirse a la totalidad de la cual Darrell Huff Cómo mentir con estadísticas 13 la muestra es una parte. Por ejemplo, se extrae cada décimo nombre de un conjunto de fichas. O se sacan cincuenta tarjetas de un sombrero lleno de ellas. O se entrevista a una de cada 20 personas que transitan por la calle Market Street. (Pero recuerde que esto último no es una muestra de la población mundial, ni de los Estados Unidos, ni tampoco de San Francisco, sino únicamente de las personas que estaban en Market Street y en ese momento). Una de las encuestadoras de cierta agencia dijo que se dedicaba a encuestar a la gente de una estación ferroviaria porque "en una estación de tren uno encuentra a toda clase de personas". Hubo que aclararle que madres con niños muy pequeños podían no estar adecuadamente representadas en ese lugar. La verificación de la calidad de una muestra al azar se hace preguntando: ¿Cada objeto o persona del grupo total tiene las mismas probabilidades de estar en la muestra? La muestra enteramente aleatoria es la única que puede ser analizada con entera confianza con las herramientas estadísticas, pero hay un problema con ella. Es tan difícil y cara de obtener que ya la mera cuestión del costo hace que sea descartada. Un sustituto más económico, que se usa casi universalmente en áreas tales como encuestas de opinión y análisis de mercado, es la llamada muestra al azar por estratos.Para obtener esta muestra estratificada se divide a la población total en varios grupos respetando en la integración de cada grupo la proporcionalidad que tiene en el conjunto total. Y ahí es donde pueden empezar los problemas: la información que se dispone sobre esa proporcionalidad puede no ser correcta. Lo que se hace es decirle a los entrevistadores que entrevisten – pongamos por caso – a una cantidad X de negros, a N% de personas de cada una de varias bandas salariales, a un número determinado de granjeros, y así sucesivamente. Además, supongamos que cada grupo debería estar compuesto en partes iguales por personas de más de 40 y menos de 40 años de edad. Darrell Huff Cómo mentir con estadísticas 14 Suena muy bien, pero ¿qué pasa? En materia de negro o blanco el encuestador juzgará correctamente la mayoría de las veces. En materia de salarios ya cometerá más errores. Y, en cuanto a granjeros, ¿cómo clasificaría usted a una persona que trabaja parte de su tiempo en la granja pero que también trabaja en la ciudad? Hasta la cuestión de la edad presenta algunos problemas que pueden resolverse fácilmente seleccionando entrevistados que estén notoriamente o bien por encima, o bien por debajo de los 40 años. Pero en ese caso la muestra va a estar sesgada por la virtual ausencia de personas de entre, digamos, 37 y 43 años. No hay escapatoria. Para colmo de males, ¿cómo obtener una muestra al azar dentro de la estratificación? Lo más obvio sería empezar con una lista que incluya a todo el mundo y extraer de ella nombres al azar; pero esto resultaría demasiado caro. De modo que el encuestador sale a la calle – y sesga su muestra con las personas que se han quedado en casa. Yendo de casa en casa se pierde la enorme mayor parte de los que salieron a trabajar. Si opta por hacer sus entrevistas a la tarde, después del horario laboral, se perderá a los que se fueron al cine o a un club nocturno. En última instancia, la realización de una encuesta se convierte en una constante lucha contra fuentes de distorsión y es una lucha que libran constantemente todas las encuestadoras serias. Lo que el lector de dichas encuestas tiene que saber es que en esa lucha no se gana nunca. Una conclusión al estilo de "el 67% de los norteamericanos está en contra de" una cosa u otra, jamás debería ser leída sin hacerse la pregunta: "¿El 67% de cuales norteamericanos?". Pasó con el "Informe sobre la Mujer Norteamericana" del doctor Alfred C. Kinsey. El problema, como en todo lo basado sobre muestreos, es el de cómo leerlo (o cómo leer un resumen simplificado del mismo) sin aceptar demasiadas cosas que no necesariamente son tal como se las presenta. En este caso tenemos tres niveles del muestreo a considerar. Las muestras de la población utilizadas por el Dr. Kinsey (primer nivel) están lejos de haber sido tomadas al azar y no son particularmente representativas, si bien son Darrell Huff Cómo mentir con estadísticas 15 muy grandes en comparación con cualquier otro estudio hecho en este campo y sus números tienen que ser aceptados como reveladores e importantes, si bien tampoco es cuestión de tomarlos al pie de la letra. Posiblemente más importante que eso es recordar que cualquier cuestionario es solamente una muestra (segundo nivel) de todas las preguntas posibles y que las respuestas dadas por una mujer no son más que una muestra (tercer nivel) de sus actitudes y experiencias en lo referido a cada pregunta. Las personas que forman el equipo de encuestadores también pueden matizar el resultado de una manera interesante. Hace algunos años, durante la Segunda Guerra Mundial, el National Opinion Research Center envió a dos grupos de encuestadores a hacerle tres preguntas a 500 negros de una ciudad del Sur de los EE.UU. Uno de los grupos estuvo integrado por encuestadores negros, el otro por blancos. Una de las preguntas fue: "Los negros ¿serían tratados aquí mejor o peor si los japoneses conquistaran a los Estados Unidos?" Los encuestadores negros informaron que el 9% de los entrevistados respondió: "mejor". Los encuestadores blancos hallaron solo un 2% de entrevistados que contestaron del mismo modo. Además, mientras que a los encuestadores negros solo un 25% les respondió: "peor", a los encuestadores blancos un 45% les dio la misma respuesta. Cuando se sustituyó la palabra "japoneses" por la de "nazis", los resultados fueron similares. La tercera de las preguntas se dirigía hacia actitudes que podían obedecer a sentimientos revelados por las dos anteriores. "¿Qué piensa usted que es más importante; concentrarse en vencer al Eje o hacer que la democracia funcione mejor aquí en nuestro país?" Según los encuestadores negros la respuesta del 39% de los entrevistados fue: "vencer al Eje". Según los encuestadores blancos, el 62% dio esa misma respuesta. Aquí tenemos un sesgo introducido por factores desconocidos. Parece ser probable que el factor más importante haya sido una Darrell Huff Cómo mentir con estadísticas 16 tendencia que siempre tiene que ser tenida en cuenta al evaluar resultados de encuestas: el deseo de dar una respuesta que agrade al que hace la pregunta. No sería ningún milagro si, en tiempos de guerra, un negro del Sur le dijese a un hombre blanco algo que suena bien en lugar de lo que cree realmente. También es posible que los diferentes grupos de encuestadores eligieron diferentes clases de personas para entrevistar. En todo caso, los resultados están tan obviamente sesgados que la encuesta es inservible. Puede ahora usted juzgar por sí mismo y hacerse una idea de cuantas conclusiones basadas sobre encuestas están exactamente tan sesgadas y son exactamente tan inservibles – solo que usted no tiene la posibilidad de verificarlas y descubrir la distorsión. No obstante, tendrá una base de partida bastante sólida para formarse una opinión si sospecha que, en general, las encuestas están sesgadas en una dirección específica, como – por ejemplo – la dirección del error del Literary Digest. Este sesgo apunta hacia la persona con más dinero, más educación, más información, más lucidez, mejor apariencia, mayor comportamiento convencional, y hábitos más arraigados que las personas a las que debería representar. Es fácil de ver lo que esto produce. Supongamos que usted es un encuestador parado en una esquina al que le han asignado la tarea de realizar una sola entrevista. De pronto ve a dos personas que caen dentro de la categoría que le han asignado: más de cuarenta años, negro, urbano. Uno de ellos es de buen aspecto, bien vestido y pulcro. El otro está todo sucio y tiene un aire de abandono. Para cumplir con lo asignado, es mucho más probable que usted se dirija a la persona de aspecto agradable. Y los demás entrevistadores también tomarán una decisión similar a la suya. Algunas de las críticas más fuertes en contra de las encuestas de opinión pública provienen de los círculos de izquierda en los cuales es usual creer que las encuestas están generalmente amañadas. Detrás de esto está el hecho que las encuestas fallan con tanta Darrell Huff Cómo mentir con estadísticas 17 frecuencia en coincidir con la opinión y los deseos de personas cuyo pensamiento difiere de la tendencia conservadora. Estas personas señalan que las encuestas parecen elegir siempre a republicanos, incluso cuando los votantes hacen lo contrario poco después de su publicación. En realidad, tal como hemos visto, no es necesario que una encuesta esté amañada – es decir: que los resultados se distorsionen en forma deliberada – para crear una falsa impresión. Una tendencia en la muestra misma, sesgada en una dirección determinada, puede amañar la encuesta automáticamente. Darrell Huff Cómo mentir con estadísticas 18 2. El promedio bien elegido No creo que usted sea un esnob del mismo modo en que yo, por cierto, no estoyen el negocio inmobiliario. Pero supongamos por un momento que usted lo es y yo me dedico a vender inmuebles. Hagamos de cuenta, además, que está usted buscando comprar una vivienda situada sobre una ruta no muy lejos del valle de California que es donde yo vivo. Pues bien; habiéndolo semblanteado y descubierto su esnobismo, me tomo un gran trabajo en explicarle que el ingreso promedio de las personas de este vecindario está en el orden de los $15.000 anuales. Es probable que eso despierte su interés en vivir aquí. Sea como fuere, supongamos que usted me compra una vivienda y esa atractiva suma le queda grabada en la mente. Algo que es más que probable, desde el momento en que estamos suponiendo que usted es al menos un poco esnob y no se va a privar de mencionarlo de un modo pretendidamente casual cuando le diga a sus amigos donde está viviendo. Un año o algo así más tarde nos volvemos a encontrar. Pero esta vez soy miembro de un comité de contribuyentes y estoy haciendo circular una petición para reducir impuestos, o para reducir el monto de las valuaciones fiscales o para solicitar una rebaja en los costos del transporte. En esa petición, mi argumento es que no podemos solventar un aumento ya que, después de todo, el ingreso promedio del vecindario es de $3.500 al año. Quizás usted me acompañe en la petición y en mi comité – supongamos que no solo es esnob sino también algo tacaño – pero no podrá evitar sorprenderse de escuchar esa miserable suma de $3.500 anuales. ¿Estoy mintiendo ahora o le mentí el año pasado? No puede usted demostrar que lo hice, ni ahora ni antes. Esa es la belleza esencial del mentir con estadísticas. Ambas cifras son promedios legítimos, calculados legalmente. Ambas representan los Darrell Huff Cómo mentir con estadísticas 19 mismos datos, las mismas personas y los mismos ingresos. Aun así es obvio que al menos una de las dos tiene que ser tan engañosa que bordea lo que sería una mentira flagrante. Mi truco consistió en usar un promedio distinto en cada una de las dos oportunidades, siendo que la palabra "promedio" tiene un significado muy elástico. Es un truco usado frecuentemente, a veces de un modo inocente pero la mayoría de las veces con culpabilidad, por sujetos que desean influir sobre la opinión pública o vender espacio publicitario. Cuando le digan que algo es un promedio, seguirá sin saber demasiado a menos que le digan también cual de los promedios más comunes fue el utilizado. ¿Fue una "media", una "mediana" o una "moda"? La cifra de $15.000 que utilicé cuando quise una cantidad grande es una media, es decir: es la media aritmética de todos los ingresos de todas las familias del vecindario. Se obtiene sumando todos los ingresos y dividiéndola por la cantidad de personas involucradas. La cifra menor es una mediana. Nos está diciendo que la mitad de las familias en cuestión tiene un ingreso anual mayor de $3.500 mientras que la otra mitad vive con un ingreso anual menor de $3.500. También podría haber usado la moda estadística, que es el número que aparece con mayor frecuencia en una serie de números. Por ejemplo, si en nuestro vecindario hay más personas con ingresos de, digamos, $5.000 que personas con ingresos de cualquier otro monto, pues entonces $5.000 será el ingreso modal de la población. En el caso que estamos viendo, al igual que en la mayoría de los casos referidos a ingresos anuales, un "promedio" no explicitado carece virtualmente de significado. Uno de los factores que contribuye a aumentar la confusión es que, en determinadas clases de información, todos los diferentes tipos de promedio arrojan resultados tan similares que, a los efectos prácticos, puede no ser tan importante mencionar cual se ha aplicado. Darrell Huff Cómo mentir con estadísticas 20 450,00 61,00 870,00 930,00 650,00 870,00 15.000,00 200,00 650,00 Media Aritmética 2.168,78 Mediana 650,00 Media Geométrica 662,22 Moda 870,00 Diferencia entre media, mediana, media geométrica y moda. Observe como un solo número con gran desvío (15.000) lleva la media aritmética a más del triple de la mediana. La moda es el número más frecuente de la serie (870 es el número que figura más veces). 8 Si leemos que la estatura promedio de los hombres de determinada tribu primitiva es tan solo de 1.5 metros, podemos llegar a tener una idea bastante concreta de la estatura de estas personas. No vamos a tener que preguntar si ese promedio es una media, una mediana o una moda; los tres promedios arrojarían aproximadamente el mismo resultado. (Por supuesto, si estamos en el negocio de la fabricación de ropa, solicitaríamos más información que la dada por cualquier promedio. Esto tiene que ver con rangos y desviaciones, algo a lo cual nos dedicaremos en el próximo capítulo). Los distintos promedios arrojan resultados similares cuando se trata de datos que nos hacen el favor de aproximarse a lo que se llama una distribución normal como lo son, por ejemplo, los relacionados con muchas características humanas. Si graficamos estos datos mediante una curva, la misma se parece a una campana y la media, la mediana y la moda se ubican prácticamente en el mismo punto. 8 Para evitarse engorrosos cálculos puede utilizar sencillamente una planilla de Microsoft Excel empleando las funciones estadísticas que ofrece dicha aplicación. Las funciones en castellado y en ingles son Media = PROMEDIO (AVERAGE); Mediana = MEDIANA (MEDIAN); Media Geométrica = MEDIA.GEOM (GEOMEAN) y Moda = MODA (MODE). (N. del T) Darrell Huff Cómo mentir con estadísticas 21 Por consiguiente un promedio será tan bueno como cualquier otro para describir la estatura de las personas, pero no lo es para describir los libros de cierto tamaño que esas personas compraron. Si listáramos todos los ingresos anuales de todas las familias de una ciudad determinada, podríamos hallar que van desde casi nada hasta $50.000 o algo así y hasta podríamos toparnos con unos pocos realmente muy grandes. Más del 95% de los ingresos estaría por debajo de $10.000, con lo que quedarían muy hacia la izquierda de la curva. La campana, en vez de ser simétrica, estaría sesgada. Su contorno sería como el de un tobogán, con la parte izquierda subiendo empinadamente hasta un punto máximo y el resto bajando suavemente en pendiente. La media se hallaría a bastante distancia de la mediana. Es fácil ver lo que esto implicaría para la validez de una comparación entre el "promedio" (media) de un año contra un "promedio" (mediana) de otro. Darrell Huff Cómo mentir con estadísticas 22 En el vecindario en el que le vendí a usted una casa los dos promedios están particularmente lejos el uno del otro porque la distribución está marcadamente sesgada. Sucede que la mayoría de los vecinos son pequeños granjeros, o personas asalariadas, o personas de edad que viven de pensiones. Pero tres de los habitantes son millonarios que vienen los fines de semana y estos tres empujan enormemente la media aritmética para arriba. Lo empujan a una cifra que prácticamente nadie en el vecindario gana. Lo que se obtiene en realidad suena como una broma o solo una forma de hablar: casi todo el mundo está por debajo del promedio. Por eso es que, cuando lea el anuncio del ejecutivo o del dueño de una corporación afirmando que el sueldo promedio de las personas que trabajan en esa empresa es de tal o cual monto, la cifra mencionada puede significar algo y también puede no significar nada. Si el promedio es una mediana, podrá usted extraer algo significativo de ella: la mitad de los empleados gana más que eso y la otra mitad gana menos. Pero si es una media (y créame, es muy posible que lo sea si no se dice nada al respecto), lo que le están diciendo no es nadamás revelador que el promedio entre un salario de $45.000 – el del propietario – y los salarios del montón de trabajadores mal retribuidos. Un "sueldo promedio anual de $5.700" puede estar escondiendo la suma de los salarios anuales de $2.000 Darrell Huff Cómo mentir con estadísticas 23 de la mayor parte de los empleados a la cual se le han sumado los beneficios del propietario calculados como un salario sensacional. Echémosle un vistazo a este último. La página principal nos muestra cuantas personas ganan cuanto de sueldo. Al patrón le gustará expresar la situación como un "sueldo promedio de $5.700" – utilizando la media engañosa. La moda, sin embargo, es más reveladora: el sueldo más frecuente en esta empresa es de $2.000 al año. Como de costumbre, la mediana nos dice más acerca de la situación que cualquier otro número tomado aisladamente: la mitad de los empleados gana más de $3.000 y la otra mitad gana menos. Con mucha facilidad esto se puede convertir en todo un sistema en donde, mientras peor sea la situación real, mejor aparecerá en algunos informes. Intentémoslo con una pequeña prueba. Supongamos que usted es uno de los tres socios propietarios de una pequeña empresa manufacturera. Está al final de un muy buen año. Le ha pagado $198.000 a los 90 empleados que hacen el trabajo de fabricar y vender las sillas, o lo que sea que la empresa fabrica. Tanto usted como sus socios se han asignado $11.000 cada uno en concepto de salario. También hay $ 45.000 de beneficio neto anual a distribuir entre los tres socios y en partes iguales. ¿Cómo describiría usted la situación? Para que sea fácil de entender, decide expresarla en promedios. Desde el momento en que todos los empleados hacen aproximadamente el mismo trabajo por un salario similar, no habrá mucha diferencia usando una media o una mediana. Y esto es lo que usted calcula: Sueldo Promedio de los empleados........... : $ 2.200 Sueldo promedio + ganancia de los socios: $ 26.000 Se ve horrible ¿no es cierto? Probemos de otra forma. Quite $30.000 de las ganancias y distribuya esta cantidad entre los tres socios en concepto de premios extraordinarios. Y esta vez, cuando haga el promedio de los salarios, incluya el suyo y el de sus socios. Y asegúrese de usar una media. Darrell Huff Cómo mentir con estadísticas 24 Sueldo Promedio o salario........................... : $ 2.806,45 Ganancia promedio de los dueños..............: $ 5.000,00 Ahora sí. Esto ya tiene mejor aspecto. No tan bueno como se lo podría presentar pero suficientemente bueno de todos modos. Menos del 6% del dinero disponible se ha distribuido en ganancias y, si usted quiere, se podría ir más lejos todavía mostrando eso también. De todos modos, se han obtenido números que se pueden publicar o usar para regateos. Lo expuesto es algo crudo porque el ejemplo está simplificado, pero no es nada comparado con lo que se ha hecho en nombre de la contabilidad. Dada una corporación compleja con jerarquías que van desde el aprendiz de oficinista hasta el presidente con un premio anual de varios cientos de miles de dólares, se puede cubrir toda una serie de cosas de esta manera. De modo que, cuando vea una cifra referida al salario promedio, pregúntese primero: ¿Promedio de qué? ¿Quién está incluido? La United States Steel Corporation 9 afirmó una vez que el salario semanal promedio de sus empleados había aumentado en un 107% entre 1940 y 1948. Realmente, fue así. Pero parte de lo espectacular del aumento se desvanece cuando uno se da cuenta de que la cifra de 1940 incluye una cantidad mucho mayor de personas empleadas a media jornada. Si usted trabaja a media jornada durante un año y a jornada completa al año siguiente, sus ingresos se duplicarán pero eso no indica absolutamente nada acerca del nivel real de su salario. Quizás haya leído en el diario que el ingreso de la familia norteamericana promedio era de $3.100 en 1949. No debería tratar de hacer mucho con ese número a menos que sepa qué es lo que se quiso decir con "familia" así como qué clase de promedio se utilizó en el cálculo. (Y quién es el que lo dice, cómo lo sabe, y qué tan exacto es ese número). 9 Corporación Norteamericana del Acero (N. del T.) Darrell Huff Cómo mentir con estadísticas 25 El que acabamos de mencionar proviene casualmente de la Oficina del Censo. Si dispone usted del informe de la Oficina, no tendrá dificultad en encontrar justo allí el resto de la información que necesita: es una mediana y "familia" significa "dos o más personas relacionadas entre sí y que conviven". (Si incluye en el grupo a las personas que viven solas la mediana baja a $2.700, lo que ya es algo bastante diferente). Si vuelve a las tablas y lee con atención, también se enterará de que la cifra está basada sobre una muestra con un tamaño tal que existe una probabilidad de 19 sobre 20 de que el promedio estimado – que fue de $3.107 antes del redondeo – es correcto con un margen de, más/menos $59. Esa probabilidad y ese margen indican una estimación bastante buena. La gente del Censo tiene suficiente dinero y conocimientos profesionales como para llevar su muestra a un aceptable grado de precisión. Presumiblemente tampoco tienen algún interés creado. No todas las cifras que se ven han nacido en circunstancias tan felices, y tampoco están acompañadas de información alguna en absoluto para mostrar qué tan precisas o imprecisas pueden ser. Nos referiremos a esto último en el capítulo siguiente. Mientras tanto, quizás usted quiera ejercitar su escepticismo con algunos puntos de "Una carta del editor" de la revista Time. De los suscriptores nuevos se dice: "La mediana de su edad es de 34 años y el ingreso familiar anual promedio es de $7.270". Una encuesta anterior hecha a antiguos suscriptores del Time reveló que, entre éstos, la "la mediana de la edad fue de 41 años . . . el ingreso promedio de $9.535 . . ." Naturalmente, la pregunta es por qué se indica en ambos casos la mediana cuando se trata de la edad y se calla cuidadosamente el tipo de promedio empleado para calcular el ingreso. ¿Será que se utilizó la media porque es mayor y con ello se le está ofreciendo un público lector más adinerado a los anunciantes a modo de carnada? También podríamos jugar al juego de qué-clase-de-promedio-se-usó con la supuesta prosperidad de los ex-alumnos de Yale de 1924 mencionada al principio del Capítulo 1. Darrell Huff Cómo mentir con estadísticas 26 3. Las pequeñas cifras que faltan El gran titular dice: "Usuarios informan 23% menos de caries con dentífrico Doakes". Puesto que le vendría muy bien un 23% menos de dolor de muelas, usted sigue leyendo. Encuentra que esos resultados provienen de un laboratorio garantidamente "independiente" y que el informe se halla certificado por un contador público registrado. ¿Qué más quiere? Aun así, si no es extraordinariamente crédulo u optimista, recordará por experiencia que un dentífrico rara vez es mucho mejor que cualquier otro. Si esto es así, ¿cómo puede la gente de Doakes anunciar semejantes resultados? ¿Pueden tener éxito mintiendo, y con mentiras de semejante magnitud? No. Pero tampoco tienen que hacerlo. Hay formas más fáciles y más efectivas de hacerlo. El comodín principal en este caso es la muestra inadecuada; vale decir: estadísticamente inadecuada; para Doakes es adecuada por demás. El grupo entrevistado, como se puede descubrir leyendo la letra chica, estuvo integrado por escasamente una docenas de personas. Hay que hacerle justicia a Doakes por ser tan deportivamente equitativo y darnos ese dato. Algunos anunciantes omitirían esa información y dejarían hasta a los expertos en estadísticas con tan solo la posibilidad de adivinar qué clase de chicana se utilizó. La muestra de una docena, al fin y al cabo, no es tan mala después detodo, considerando como se hacen estas cosas. Algo llamado "Polvo Dental del Dr. Cornish" salió al mercado hace unos años pretendiendo haber obtenido "un éxito considerable en la corrección de . . . caries dentales". La idea era que el polvo contenía urea, la cual supuestamente había demostrado su utilidad para ese propósito en estudios de laboratorio. El sinsentido de esto de esto fue que ese trabajo había sido puramente preliminar y se había efectuado sobre exactamente seis casos. Pero volvamos al caso de Doakes para ver qué tan fácil les resultó obtener un gran titular sin falsedades y con todo certificado para colmo. Dejen que cualquier grupo pequeño lleve la cuenta de sus Darrell Huff Cómo mentir con estadísticas 27 caries durante seis meses y luego cambien a Doakes. Sucederá una de tres cosas: el grupo tendrá más caries, menos caries o aproximadamente la misma cantidad de caries. Si ocurre la primera o la última de las posibilidades, Doakes y Cía. archiva los resultados (en alguna parte, bien lejos de la vista del público) y lo intenta de nuevo con otro grupo. Tarde o temprano, por mero azar, un grupo testigo mostrará una gran mejora digna de un gran titular y quizás de toda una campaña publicitaria. Y esto hubiera sucedido incluso si el grupo adoptaba Doakes, polvo de hornear o simplemente hubiera seguido usando el mismo antiguo dentífrico. La importancia de usar un grupo pequeño es ésta: en un grupo grande, cualquier diferencia producida por el azar será probablemente pequeña y difícilmente merecedora de una gran tipografía. Una supuesta mejora del 2% no vendería gran cantidad de dentífrico. El modo en que se pueden producir por puro azar resultados que no son indicativos de nada – dada una pequeña cantidad de casos – es algo que usted mismo puede verificar a muy bajo costo. Simplemente empiece a tirar una moneda al aire. ¿Cuántas veces caerá de "cara"? La mitad de las veces, por supuesto. Todo el mundo sabe eso. Bueno; verifiquemos eso y veamos. . . . Acabo de hacer la prueba con diez lanzamientos y obtuve "cara" ocho veces, lo cual demuestra que las monedas caen con la cara para arriba en el 80% de los casos. Bueno, al menos lo hacen así en las estadísticas de los dentífricos. Ahora inténtelo usted. Puede que obtenga un resultado de igual cantidad de "caras" que de "cecas", pero no es muy probable que le resulte así. El resultado de usted, al igual que el mío, tiene buenas probabilidades de quedar lejos del 50%. Pero si tiene la suficiente paciencia de lanzar la moneda mil veces puede usted estar casi (pero no totalmente) seguro de arribar a un resultado muy cercano a la misma cantidad de "caras" que de "cecas", lo cual constituye la probabilidad real. La ley de los promedios es útil para describir o predecir solamente cuando hay una cantidad sustancial de casos o eventos. Darrell Huff Cómo mentir con estadísticas 28 ¿Cuántos son suficientes? Ésa es otra pregunta capciosa. Depende, entre otras cosas, de qué tan grande y de cuán variada es la población que se está estudiando por muestreo. Y a veces el número de la muestra no es lo que parece ser. Un caso notorio de esto apareció hace algunos años en relación con la prueba de una vacuna contra la poliomielitis. Pareció ser un impresionante experimento a gran escala considerando lo usual en materia de estudios médicos. Se vacunó a 450 niños de una comunidad y se dejó sin vacunar a 680 como grupo de control. Poco después la comunidad fue atacada por una epidemia. Ni uno de los niños vacunados tuvo un caso demostrado de poliomielitis. Tampoco lo tuvo ninguno del grupo de control. Lo que los experimentadores habían pasado por alto, o fallado en entender, al diseñar su proyecto fue la baja incidencia de la parálisis infantil. Con la tasa actual, solo se hubieran podido esperar dos casos en un grupo de esos tamaños, por lo cual el experimento estuvo condenado al fracaso desde el principio. Se hubieran necesitado al menos grupos de un tamaño entre quince a veinte veces mayor para obtener un resultado que significara algo en absoluto. Más de un gran – aunque efímero – descubrimiento médico ha sido lanzado de un modo similar. Tal como lo dijo uno de los médicos: "Apúrense a usar un nuevo remedio antes de que sea tarde". La culpa no recae únicamente sobre la profesión médica. La presión del público y un periodismo ansioso muchas veces lanzan un tratamiento que no está debidamente probado, particularmente cuando la demanda es grande y el respaldo estadístico es nebuloso. Sucedió con las vacunas contra el resfrío que fueron populares hace algunos años y con los antihistamínicos más recientemente. Buena parte de la popularidad de estas "curaciones" fallidas provino de la naturaleza errática de la enfermedad y de una falla de lógica. Si le damos tiempo, un resfrío se cura solo. ¿Cómo puede uno evitar ser engañado por resultados que no demuestran lo que pretenden demostrar? ¿Es necesario que cada persona se convierta en un experto en estadística y estudie por su Darrell Huff Cómo mentir con estadísticas 29 propia cuenta todos los datos recibidos "en crudo"? No es tan terrible; hay una prueba de significación que es fácil de entender. Es simplemente el modo de informar sobre la probabilidad de que la cifra de la estadística represente algo real en lugar de algo producido por el azar. Esta es la pequeña cifra que falta y de la que se presume que usted – el lector profano – no la comprendería. O que sí lo haría si hay algo para ocultar. Si la fuente de información también expresa el grado de significado, tendrá usted una idea mejor acerca de dónde está parado. La forma más simple de expresar este grado de significado es mediante una probabilidad, como cuando la Oficina del Censo nos decía que existía una probabilidad de 19 entre 20 de que sus cifras tuviesen un determinado grado de precisión. Para la mayoría de los casos prácticos no más importantes que éste, un significado del 5% es aceptable. Para otros, el nivel exigido es del 1% lo cual quiere decir que existe una probabilidad de 99 entre 100 de que el resultado se condice con la realidad. Cualquier cosa que tenga esta probabilidad se considera como "prácticamente cierto". Además, existe otra clase de pequeña cifra que generalmente falta, y es una cifra cuya ausencia puede ser igual de dañina. Es la que nos informa sobre el rango de las cosas, o su desvío de la media o la mediana que se está comunicando. Con frecuencia un promedio – sea media o mediana – es una simplificación tan abusiva que resulta peor que inservible. El no saber nada acerca de un asunto frecuentemente es más saludable que saber lo que no es así y una información parcial puede ser una cosa peligrosa. Por ejemplo, gran parte de la reciente planificación de viviendas en los Estados Unidos ha sido diseñada para la familia promedio estadística de 3.6 personas. Lo cual, traducido al lenguaje real, significa tres o cuatro personas; lo cual, a su vez, implica dos dormitorios. Y la familia de este tamaño, aunque sea el "promedio", constituye en realidad una minoría entre todas las familias. Los constructores dicen: "Construimos casas promedio para las familias promedio" – y dejan de lado a la mayoría compuesta por familias que son, o bien más grandes, o bien más pequeñas. Como Darrell Huff Cómo mentir con estadísticas 30 consecuencia, en algunas áreas sobran casas con dos dormitorios y faltan casas con menos y con más dormitorios. De modo que aquí tenemos una estadística cuyas engañosas falencias han tenido consecuencias muy caras. Al respecto, la American Public Health Association 10 ha dicho: "Si miramos más allá del promedio aritmético y vemos el rango real al que falsamente describe, hallamos que las familias de tres o cuatro personas constituyen solamente el 45% del total. Un 35% de la necesidad de viviendas es para una o dos personas,y el 20% de las familias está compuesta por más de cuatro personas." Parece ser que el sentido común claudicó ante ese convincente y autoritariamente exacto 3.6. De algún modo pesó más que lo que todo el mundo sabe por simple observación directa: que muchas familias son pequeñas y relativamente pocas son grandes. De una manera similar, las pequeñas cifras que faltan de las llamadas "normas de Gesell" han ocasionado dolor en padres y madres. Dejen que un padre lea, como lo han hecho muchos en lugares tales como la revista de los sábados, que "un niño" aprende a sentarse erguido a la edad de tantos o cuantos meses y el padre inmediatamente pensará en su propio hijo. Si el niño no llega a sentarse erguido al tiempo indicado, el padre no tendrá más remedio que pensar que su hijo es "retardado" o "anormal". Desde el momento en que probablemente la mitad de los niños no llegará a sentarse así al tiempo mencionado, una buena cantidad de padres se sentirán desdichados. Por supuesto que, hablando en términos matemáticos, esta desdicha se contrarrestará con la alegría del otro 50% de los padres que descubrirán que sus hijos están "avanzados". Pero el esfuerzo que harán los padres desdichados para forzar a sus hijos a actuar de acuerdo con la norma puede producir sus daños. Todo esto no es culpa del Dr. Gesell ni de sus métodos. La culpa reside en el proceso de filtrado que va desde el investigador, pasa por el desinformado o sensacionalista escritor y termina en el lector que 10 Asociación de Salud Pública Norteamericana (N. del T.) Darrell Huff Cómo mentir con estadísticas 31 no llega a echar de menos las cifras que han desaparecido durante el proceso. Se puede evitar una buena cantidad de desinformación si a la "norma" o promedio se le agrega una indicación acerca del rango. Los padres que vean que sus niños caen dentro de ese rango dejarán de preocuparse por pequeñas y poco significativas diferencias. Difícilmente cualquiera de nosotros es exactamente "normal" en cualquier sentido, de la misma manera en que una moneda lanzada al aire 100 veces raramente caerá exactamente 50 veces de "cara" y 50 veces de "seca". El confundir "normal" con "deseable" solo lo hace peor. El Dr. Gesell simplemente afirmó hechos observados; fueron los padres quienes, leyendo los libros y los artículos, concluyeron que el niño que tarda un día o un mes en aprender a caminar tiene que ser inferior. Una buena parte de la crítica estúpida al muy conocido (pero mucho menos correctamente leído) informe del Dr. Kinsey provino de entender lo "normal" como equivalente a "bueno", "correcto" o "deseable". Kinsey fue acusado de corromper a la juventud dándole ideas inadecuadas y, en especial, por catalogar de normal a toda clase de prácticas sexuales populares pero socialmente desaprobadas. Sin embargo, lo único que dijo fue que encontró que esas prácticas eran usuales, que es lo que "normal" significa, y no las etiquetó con ningún sello de aprobación. Si eran escabrosas, o no, eso fue algo que el Dr. Kinsey consideró que estaba fuera de su ámbito. Consecuentemente, chocó contra algo que le ha agriado la vida a más de un observador: es peligroso mencionar cualquier cosa con alto contenido emocional sin rápidamente aclarar que uno está a favor o en contra del asunto. Lo decepcionante de la pequeña cifra que no aparece es que su ausencia pasa desapercibida con tanta frecuencia. Ése, por supuesto, es el secreto de su éxito. Los críticos del periodismo tal como hoy se practica han deplorado la falta de ese antiguo y bien probado "caminar la calle" lamentando ácidamente que hoy "los corresponsales de escritorio" vivan copiando sin crítica alguna los boletines informativos del gobierno. Como ejemplo de este periodismo sin compromisos vea este caso tomado de una lista de Darrell Huff Cómo mentir con estadísticas 32 "nuevos desarrollos industriales" en la revista de noticias: "un nuevo baño frío de temple que triplica la dureza del acero, de Westinghouse." Bueno, eso sí que suena a desarrollo . . . hasta que uno trata de entender qué significa en realidad. Porque, cuando se quiere poner el dedo en lo esencial, toda la noticia se escurre como una bolita de mercurio. Ese nuevo baño de temple ¿hace que el acero se vuelva tres veces más duro que cualquier acero anterior? ¿O qué hace? Parece ser que el periodista repitió unas cuantas palabras sin preguntar qué significan y se espera que usted las lea tan acríticamente por la sola feliz ilusión de creer que ha aprendido algo. Recuerda demasiado a la vieja definición del método de enseñanza antiguo según el cual el contenido del manual del profesor pasaba al cuaderno del alumno sin hacer escala en la mente de ninguno de los dos. Hace unos minutos, mientras estaba tratando de encontrar algo en el Time, descubrí otra de esas afirmaciones que se derrumban cuando uno la considera dos veces. Apareció en un anuncio comercial de 1948 publicado por un grupo de compañías de electricidad. "Hoy en día, las tres cuartas partes de las granjas norteamericana tienen corriente eléctrica a su disposición." Suena muy bien. Esas compañías de electricidad sí que trabajan fuerte. Por supuesto, si quisiera ser cáustico diría que se podría parafrasear la noticia diciendo: "una cuarta parte de las granjas norteamericanas todavía no tiene electricidad a su disposición". El verdadero truco, sin embargo, está en el concepto de "tener a disposición" Al utilizarlo, las compañías de electricidad han quedado habilitadas para decir casi cualquier cosa que se les ocurra. Obviamente, lo anunciado no significa que todos esos granjeros tienen, efectivamente, la electricidad conectada a sus granjas porque, de haber sido ése el caso, lo hubieran destacado con precisión. Los granjeros simplemente tienen "a su disposición" la electricidad y eso, por todo lo que sé, podía significar que los cables pasan al lado de las granjas o hasta que están a cien kilómetros de ellas. Permítanme citar el titular de un artículo de 1952 publicado en el Collier's: "SEPA AHORA QUE ESTATURA TENDRÁ SU HIJO." Darrell Huff Cómo mentir con estadísticas 33 Junto al artículo aparecen conspicuamente dos tablas, una para niñas y otra para varones, mostrando a qué porcentaje de su estatura final llegan los niños a determinada edad. "Para determinar la estatura que tendrá su hijo cuando llegue a la edad adulta" – dice un subtítulo – "compare su estatura actual con la que figura en la tabla". Lo gracioso de todo esto es que el artículo mismo – si uno sigue leyendo – advierte sobre la fatal debilidad que tienen las tablas. No todos los niños crecen de la misma forma. Algunos empiezan de a poco y luego pegan el estirón; otros arrancan con estaturas altas y luego se estabilizan de a poco; para otros más, el proceso es gradual y sostenido. La tabla, como habrá adivinado usted, está basada sobre promedios tomados de un gran número de mediciones. Entendida como el promedio de estatura de unos 100 jóvenes seleccionados al azar es, sin duda, bastante precisa. Pero un padre está interesado solamente en una estatura puntual y, para eso, la tabla es poco menos que inservible. Si desea conocer la estatura a la que llegará su hijo, probablemente podrá adivinarla mucho mejor echándole una mirada a sus padres y a sus abuelos. Este método no es tan científico y numéricamente tan preciso como la tabla, pero es por lo menos tan confiable. Me causa gracia al comprobar que, si tomo mi propia estatura cuando ingresé en un liceo militar a la edad de 14 años y terminé entre los más bajos del escuadrón, según la tabla tendría que haber terminado teniendo una estatura de 1.72 metros. En realidad, hoy mido 1.78 metros de altura. Seis centímetros de error en materia de estaturas humanas significan que la estimación predictiva fue por demás pobre. Tengo ante mí doscajas de copos de avena. Son de dos ediciones levemente diferentes, tal como indican sus etiquetas: una menciona a "Pete dos pistolas" y la otra dice: "Si quieres ser como Hoppy . . . ¡tienes que comer como Hoppy!". Ambas tienen gráficos para mostrar ("¡Los científicos demostraron que es cierto!") que estos copos "¡empiezan a darte energía en 2 minutos!" En uno de los casos, el gráfico escondido detrás de este bosque de exclamaciones tiene números en uno de sus lados; en el otro los números han sido Darrell Huff Cómo mentir con estadísticas 34 omitidos. En realidad, da lo mismo porque de cualquier manera en ninguno de los dos casos está explicado qué es lo que esos números significan. Ambos gráficos muestran una empinada línea roja ("liberación de energía"), pero uno de ellos empieza un minuto después de haber comido los copos de avena y el otro dos minutos después. También, una de las líneas es el doble de empinada que la otra, lo que sugiere que ni el dibujante pensó que estos gráficos significaban algo en absoluto. Por supuesto, semejante tontería se puede encontrar solamente en gráficos orientados a los ojos de un adolescente o a los semi- dormidos ojos mañaneros de sus padres. Nadie insultaría la inteligencia de un gran hombre de negocios con semejante bobada estadística . . . ¿o sí? Déjeme contarle acerca de un anuncio utilizado por una agencia de publicidad publicado en las supuestamente especializadas páginas de la revista Fortune. La línea de este gráfico mostraba la impresionante tendencia hacia arriba del crecimiento anual de la agencia. Pero no mostraba ningún número aparte de los años. Darrell Huff Cómo mentir con estadísticas 35 Con la misma honestidad, este gráfico podría haber representado tanto un tremendo crecimiento, con un ingreso duplicándose o creciendo en millones de dólares al año, o bien el lento arrastrarse de una pequeña empresa estática que agrega un dólar o dos a su facturación anual. Pero como dibujo, no deja de ser impresionante. Otorgue poca fe a un promedio, a un gráfico, o a una tendencia cuando esas importantes cifras no están presentes. De otro modo estará usted tan ciego como la persona que elije un lugar para acampar basándose solamente en el informe meteorológico que informa sobre la temperatura media del sitio. Podría considerar 16°C como una media anual agradable, lo cual en California le daría a elegir entre dos lugares tan diferentes como el desierto y la isla de San Nicolás sobre la costa Sur. Pero puede congelarse, o asarse al spiedo, si desconoce el rango. En San Nicolás las temperaturas oscilan en un rango de 8.3°C a 30.5°C mientras que en el desierto las temperaturas van de –9.4°C a +40°C. La Ciudad de Oklahoma presenta una temperatura anual promedio similar durante los últimos 60 años: 15.6°C. Pero, como puede ver en cualquier tabla meteorológica seria, esa agradable y confortable cifra oculta un rango de 54.4°C entre un extremo y otro. Darrell Huff Cómo mentir con estadísticas 36 4. Mucho ruido y prácticamente pocas nueces Si no se ofende, comenzaremos por adjudicarle un hijo y una hija. Los llamaremos Peter y Linda (aunque podríamos haberlos bautizado con nombres más de moda). Ambos han completado tests de inteligencia, tal como sucede con muchos niños en edad escolar. Ahora bien, el test de aptitud mental, de cualquier variedad que sea, es uno de los principales fetiches brujos de nuestro tiempo, de modo que tendrá que discutir un poco si quiere que le expliquen los resultados. Esta información es tan esotérica que muchas veces se la considera segura solamente en las manos de psicólogos y docentes. Y puede ser que tengan razón en eso. De todos modos, un buen día usted se entera que el Cociente Intelectual (CI) de Peter es de 98 y el de Linda es de 101. Por supuesto, usted sabe que el CI se basa sobre un promedio de 100, que es lo que se considera "normal". ¡Ajá! De modo que Linda es su retoño más inteligente. Además, está por sobre el promedio. Peter está debajo del promedio pero no nos amarguemos por eso. Cualquier conclusión como la que acabo de hacer es pura tontería. Tanto como para despejar el ambiente, empecemos por apuntar que, sea lo que fuere que miden los tests de inteligencia, no es exactamente lo que muchas veces entendemos como producto de la inteligencia. Por ejemplo, no miden cosas tan importantes como capacidad de liderazgo ni creatividad imaginativa. No reflejan valoración social, ni aptitudes musicales o artísticas, para no mencionar aspectos de la personalidad tales como esmero o equilibrio emocional. Para colmo, los tests que se hacen en las escuelas son con frecuencia del tipo barato-y-rápido que dependen fuertemente de la lectura. Sea lúcido o no, el lector mediocre no tiene posibilidades. Supongamos que hemos descubierto todo eso y que estamos de acuerdo en considerar al CI simplemente como una medida de algo Darrell Huff Cómo mentir con estadísticas 37 definido como la capacidad para resolver problemas dados. Y que Peter y Linda completaron al test que se considera que es el mejor de todos, el de Stanford-Binet corregido, que se completa en forma individual y que no requiere ninguna aptitud especial en materia de lectura. Ahora bien, lo que el CI pretende ser es una muestra de la capacidad intelectiva. Como cualquier otro resultado del método de muestreo, el CI es una número que contiene un error estadístico siendo que este error estadístico expresa la precisión, o confiabilidad, del número. El hacer las preguntas que contiene el test es aproximadamente lo mismo que uno haría para estimar la calidad del maíz en un sembradío recorriéndolo y arrancando una mazorca aquí y otra allá al azar. Pelando y observando de este modo, digamos, unas cien mazorcas, uno podría llegar a tener una idea bastante aproximada de la calidad del maíz en todo el campo. La información así obtenida sería lo suficientemente exacta para hacer una comparación con otro campo de trigo – suponiendo que los dos campos no fuesen muy similares. Si lo fuesen, tendríamos que analizar muchas más mazorcas, calificándolas según algún criterio preciso de calidad. En qué medida nuestra muestra representa con suficiente precisión a todo el campo es algo que puede expresarse en dos números: el error probable y el error estándar. Para entenderlo, supongamos que debe usted medir el largo de unos cuantos campos caminando y contando los pasos que da. Lo primero que podría hacer es recorrer algunos de ellos, contar los pasos que dio, calcular la distancia según los pasos dados y medir después los largos reales con una cinta métrica. Probablemente encontraría que, midiendo el largo en pasos, en promedio se ha equivocado usted por una mediana de 2.7 metros. Esto es: en la mitad de los casos, dando pasos, usted calculó una distancia 2.7 metros menor que la real y, en la otra mitad de los casos, una distancia 2.7 metros mayor que la efectivamente medida con la cinta métrica. Darrell Huff Cómo mentir con estadísticas 38 Supongamos que todas las distancias que usted midió a pasos de hombre tenían, en realidad, 100 metros de largo. Su error probable sería entonces de 2.7 metros en 100, es decir, algo así como del 3% a los efectos prácticos. Por consiguiente, la próxima vez que mida esa distancia dando pasos podría registrarla como 100 ±3 metros. (La mayoría de los expertos en estadística prefieren ahora utilizar otro error, similar al que acabamos de ver, llamado error estándar. Toma aproximadamente dos tercios de los casos, en lugar de exactamente la mitad como acabamos de hacer y es considerablemente más práctica en un sentido matemático. Para nuestros propósitos, nos quedaremos con el error probable, que es el que generalmente se utiliza al aplicar el test de Stanford-Binet). Al igual que en el caso hipotético de nuestra medición por pasos,se ha hallado que el error probable del Stanford-Binet es de un 3%. Esto no tiene nada que ver con qué tan bueno es el test básicamente. Solo tiene que ver con la consistencia de sus mediciones. De modo que el CI de Peter podría ser más correctamente expresado como 98 ±3 y el de Linda como 101 ±3. Esto significa que el CI de Peter podría, en realidad, caer entre 95 y 101 con la misma probabilidad de un 50% con la que el de Linda podría estar entre 98 y 104. A partir de esto, no es muy difícil de ver que hay una posibilidad en cuatro de que el CI real de Peter sea de más de 101 y el real de Linda caiga por debajo de 98. En ese caso Peter no estaría por debajo de Linda sino que la sobrepasaría, y por un margen de cualquier valor desde 3 puntos o más. A lo que nos conduce todo esto es a que la única manera de pensar en Cocientes Intelectuales y en los resultados de muchas otras muestras es en rangos. Lo "normal" no es 100 sino el rango entre, digamos, 95 y 105 y tendría sentido comparar un niño de este rango con otro de un rango superior o inferior. Pero comparaciones entre números con pequeñas diferencias carecen de sentido. Debería usted tener siempre en mente ese "más/menos", incluso (y especialmente) cuando no está explicitado. Darrell Huff Cómo mentir con estadísticas 39 El ignorar estos errores, que están implícitos en todos los estudios por muestreo, ha llevado a algunos comportamientos notoriamente estúpidos. Existen editores de revistas para los cuales las encuestas de lectores son la Biblia, principalmente porque no las entienden. Con 40% de lectores masculinos informados para un artículo y sólo 35% para otro, salen a exigir más artículos como el primero. La diferencia entre un 35% y un 40% de lectores puede ser importante para una revista, pero como diferencia de encuesta puede no ser real. Cuestiones de presupuesto con frecuencia limitan las muestras de lectores a unos pocos centenares de personas, en especial después de haber eliminado a todos los que no leen esa revista en absoluto. Para una revista que se orienta especialmente a las mujeres, los hombres en la muestra pueden ser muy pocos. Para cuando estos pocos han sido divididos entre quienes responden que han "leído todo", los que han "leído la mayor parte", los que han "leído algo" y los que "no han leído" el artículo en cuestión, la conclusión del 35% puede estar basada tan solo en un puñado de personas. El error probable, oculto detrás del sonoro porcentaje, puede ser tan grande que el editor que confía en el número está, en realidad, moviéndose al borde de un precipicio. Darrell Huff Cómo mentir con estadísticas 40 A veces se hace un gran escándalo a raíz de una diferencia que es matemáticamente real y demostrable pero tan pequeña que no tiene ninguna importancia. Esto desafía el antiguo dicho que dice que una diferencia es una diferencia solo si hace la diferencia. Un caso como ése, de una grana batahola por prácticamente nada, fue el impulsado de un modo tan efectivo como rentable por la gente de los cigarrillos Old Gold. Comenzó de un modo inocente con el editor del Reader's Digest, que fuma cigarrillos pero, con todo, no los tiene en gran estima. Su revista se puso a trabajar y contrató a una serie de gente de laboratorio para analizar el humo y todo lo demás de varias marcas de cigarrillos. La revista publicó luego los resultados y lo que resultó de los números publicados fue que todas las marcas eran virtualmente idénticas y que no había ninguna diferencia en fumar la una o la otra. Ahora bien, uno pensaría que ése fue un duro golpe para los fabricantes de cigarrillos y para los sujetos dedicados a crear nuevos enfoques de publicidad en las agencias. Uno hubiera creído que haría explotar todos los anuncios acerca de gargantas secas y dientes manchados. Pero alguien descubrió algo. En la lista de venenos casi idénticos, un cigarrillo tenía que estar al principio y otro al final, y el que quedó al final fue Old Gold. Salieron los telegramas e inmediatamente aparecieron grandes anuncios en los diarios con la tipografía más grande disponible. Los títulos y los artículos decían simplemente que, de todos los cigarrillos analizados por esa gran revista de alcance nacional, Old Gold tenía la menor cantidad de cosas indeseables en su humo. Por supuesto: se excluyeron todos los números y cualquier pista sobre el hecho de que la diferencia era despreciable. Al final, a la gente de Old Gold se le ordenó que "cesara y desistiera" de una publicidad tan engañosa. Lo cual, por supuesto, no cambió la situación en nada; el beneficio ya había sido cosechado hacía mucho. Tal como lo dijo la publicación New Yorker: siempre habrá alguien de publicidad a mano. Darrell Huff Cómo mentir con estadísticas 41 5. El gráfico fantástico Los números causan terror en alguna medida. En "Alicia en el País de las Maravillas", la confianza de Humpty-Dumpty al decirle a Alicia que él era el Señor de las palabras que usaba no se contagiaría a muchas personas tratándose de números. Quizás sufrimos de un trauma inducido por la aritmética de la escuela primaria. Sea cual fuere la causa, ese miedo le crea un problema al escritor que quiere ser leído, al hombre de publicidad que quiere vender un producto, al editor que quiere que sus libros y revistas se hagan populares. Pero cuando los números en forma tabulada se vuelven tabú y las palabras no alcanzan para lograr el objetivo, como es el caso con frecuencia, siempre queda todavía un recurso posible: dibujar un gráfico. Probablemente el dibujo estadístico, o gráfico, más simple es del tipo lineal. Es muy útil para mostrar tendencias, algo que prácticamente todo el mundo está interesado en mostrar, o en saber, o en lamentar, o en predecir. Bueno, hagamos que nuestro gráfico muestre cómo el ingreso nacional ha aumentado un 10% en un año. Comience con un papel cuadriculado. Ponga el nombre de los meses abajo en forma horizontal. Indique billones de dólares sobre el costado izquierdo en forma vertical. Ubique los puntos de las cantidades mensuales y únalos por una línea. Su gráfico tendrá este aspecto: Darrell Huff Cómo mentir con estadísticas 42 Bien. Esto quedó bastante claro. Muestra lo que sucedió durante el año y lo muestra mes por mes. El que lo mire puede ver y comprender, porque todo el gráfico es proporcionado y hay un línea de cero en la base para comparar. Nuestro 10% parece un 10%, es decir: una tendencia ascendente que podrá ser importante pero nada tan extraordinario. Y eso está muy bien si todo lo que queremos hacer es transmitir información. Pero supongamos que queremos ganar una discusión, o asombrar a un lector, o moverlo a que tome una decisión, o venderle algo. Para todo eso a este gráfico le falta salero. Así que, eliminemos la parte inferior. Bueno, eso parece mejor. (También ahorramos papel, lo cual no deja de ser otro argumento si algún sujeto insufrible objeta el manipuleo de nuestro gráfico). Los números son los mismos y la curva también es la misma. Es el mismo gráfico. Nada ha sido falsificado . . . Darrell Huff Cómo mentir con estadísticas 43 excepto la impresión que causa. Lo que el lector superficial ve ahora es una línea del ingreso nacional que sube por una pendiente pronunciada en doce meses, y todo ello porque la mayor parte del gráfico ya no está. Es como la parte faltante de una oración de las que se estudian en las clases de gramática: queda "sobreentendida". Por supuesto, el ojo no "sobreentiende" lo que no está allí y, visualmente, un pequeño aumento se ha convertido en un aumento importante. Bien, ahora que hemos aprendido a engañar, ¿por qué limitarnos a truncar? Tenemos un truco adicional que vale por una docena del que ya aplicamos. Hará que nuestro modesto 10% aparezca como algo más extraordinario de lo que hasta un 100% está
Compartir