Análisis cuantitativo: mucho más que números

2997
Fotografía: Pixabay.

No basta con procesar datos y observar resultados. El análisis cuantitativo —popularizado por expresiones como data science, machine learning y big data— se basa en mucho más que números. Sus ideas y conceptos deben formar parte del lenguaje del gerente, aunque no trabaje directamente con datos.


La abundancia de información y el éxito que algunos procesos y algoritmos han tenido —en clasificación, agrupamiento y predicción de vínculos y similitudes— han contribuido al uso masivo del análisis cuantitativo como ingrediente fundamental de las decisiones. Por ejemplo, el proceso que Amazon utiliza para sugerir productos adicionales a cada cliente (item-item collaborative filtering) cumple un papel tan importante en sus operaciones que se considera una de las principales razones por las que las ventas aumentaron 29 por ciento durante el segundo trimestre de 2012, en comparación con el mismo período del año anterior (Mangalindan, 2012).

El Music Genome Project utilizado por Pandora, la compañía de radio por internet, asocia cada canción de su base de datos con una lista de alrededor de 400 atributos numéricos, mediante la cual define una noción de cercanía entre canciones. Cuando un usuario indica que le gusta una canción, Pandora selecciona automáticamente una nueva canción cercana para ser reproducida a continuación, y excluye de la lista de reproducción canciones cercanas a otras que al usuario no le hayan gustado. De esta forma, Pandora creó una forma de descubrir música adaptada a los gustos de cada usuario y se ha convertido en una empresa con ingresos de miles de millones de dólares.

Al parecer, los números que van registrando las acciones de los usuarios en los mares de la información son capaces de describir adecuadamente sus preferencias. Muchas personas se han dado cuenta de ello y se han dedicado a adaptar ideas y contenidos en términos tales como data science, machine learning y big data para traducir esa información en oportunidades para producir ganancias.

La abundancia de información y la facilidad de acceso han promovido la aparición de preguntas que eran impensables en el pasado reciente

Pero el éxito de estos procesos depende de una serie de supuestos que van más allá de los resultados de un algoritmo o una prueba estadística. Implícitamente, en cada área aparece un conjunto de elementos que no requieren una comprensión profunda de conceptos matemáticos o computacionales, pero que todo gerente debe tener en cuenta, aun cuando no tenga intenciones de usar directamente algún algoritmo.

 

El paso más importante: una pregunta bien formulada

Todo empieza con una buena pregunta. Pero, ¿qué es «una buena pregunta»? Esta es la parte más difícil del problema, pues requiere una combinación de conocimientos y mucha creatividad.

Una buena pregunta tiene un objetivo claro, preferiblemente con metas específicas. Por ejemplo, «¿Cómo podemos aumentar las ventas?» puede parecer una pregunta razonable, sobre todo en las primeras etapas del planteamiento del problema. Pero la pregunta «¿Cómo podemos ofrecer un sistema de recomendaciones adaptado a cada cliente?» puede resultar preferible.

Formular una buena pregunta es un proceso iterativo, que descubre paulatinamente los elementos centrales del problema. La formación de equipos multidisciplinarios es, generalmente, un factor clave en la construcción de una buena pregunta, pues promueve la formulación de objetivos alcanzables, ahorra tiempo y estimula la planificación integrada.

También es muy importante analizar los avances alcanzados en otras áreas: «¿En qué se parece el problema que quiero resolver a problemas que han sido resueltos con éxito?». Piense, por ejemplo, en la pregunta «¿Cómo podemos definir un proceso automatizado, parecido al sistema de recomendaciones usado por Amazon, para ofrecer créditos y otros productos a los clientes de un banco?».

La abundancia de información y la facilidad de acceso han promovido también la aparición de preguntas que eran impensables en el pasado reciente. Por ejemplo, las reseñas en línea de hoteles y restaurantes, entre otros productos y servicios, han cambiado la forma de consumir estos bienes: este tipo de reseñas impacta a más del sesenta por ciento de los consumidores y el efecto negativo de unas pocas malas reseñas puede ser notable (Hinckley, 2015). Hoy es posible usar la información contenida en las reseñas en línea para formular preguntas, de mucho provecho para la empresa, relacionadas con servicios de atención al cliente, control de calidad o hasta la forma de presentarse en redes sociales.

Un fascinante artículo de la revista del The New York Times (Duhigg, 2012) narra cómo Target, la tienda por departamentos de Estados Unidos, logró responder de forma automática la pregunta «¿Cómo podemos identificar cuándo alguna de nuestras clientes se encuentre en los primeros meses de embarazo, aun cuando no tenga intenciones de revelarlo?». La solución dependía de los datos personales de cada cliente y, además, de la aparición de ciertos productos —como lociones sin aroma, motas de algodón o vitaminas— en su lista de consumos recientes. A diferencia de sus competidores, que se concentraban en ofrecer descuentos y cupones a los pocos días del nacimiento del bebé, Target desarrolló un modelo que, con una alta probabilidad, podía predecir el mes de nacimiento del bebé. La respuesta a esta pregunta aporta un dato clave sobre la posible modificación de rutinas y hábitos de consumo de los futuros padres: la atención requerida por un recién nacido y el cansancio inherente a su cuidado hacen que preferencias a ciertas marcas o a lugares de consumo cedan ante la posibilidad de comprar muchos tipos de productos en un mismo sitio. Las tiendas por departamentos como Target pueden sacar mucho provecho de esta información.

El análisis cuantitativo forma parte de cualquier proceso orgánico de decisión, en el cual la creatividad, la curiosidad y la evaluación intelectual de los resultados desempeñan un papel tan importante como el uso de las herramientas computacionales

Como ha ocurrido a lo largo de la historia, las respuestas a algunas preguntas han conducido a más preguntas relevantes. El éxito del modelo de predicción de embarazo encontrado por Target suscitó algunas preguntas relacionadas con la sensación de invasión de la privacidad que podían experimentar algunos clientes. Al introducir cambios que producen un impacto notable se modifica también el entorno original del problema, lo que da lugar a nuevos retos y problemas.

Suscríbase al boletín de novedades aquí. 

 

El ingrediente básico: datos que aporten la información adecuada

No todos los conjuntos de datos son adecuados para contestar preguntas de interés. Aunque pueda parecer increíble, por el vasto universo de información disponible, es posible que no existan los datos necesarios para obtener resultados satisfactorios y haya que pagar por ellos. Considere, por ejemplo, los inicios de Capital One. Hace cerca de treinta años sus fundadores, Richard Fairbanks y Nigel Morris, tuvieron la idea de emitir tarjetas de crédito con costos y términos de uso basados no solo en la probabilidad de incumplimiento de pago, sino también en la rentabilidad esperada de cada cliente. Pero no contaban con la información adecuada y tuvieron que pagar un precio para obtenerla. Esta inversión trajo grandes beneficios y, hoy, Capital One es la tercera compañía de emisión de tarjetas de crédito más grande de Estados Unidos. Una historia similar ocurrió con Pandora más recientemente.

Target complementa la información que recoge de los consumos realizados por sus clientes con información que compra a otras fuentes (Duhigg, 2012). La calidad de un conjunto de datos depende de lo bien que represente a la población de referencia: el conjunto de posibles clientes de un servicio o los consumidores de un producto. Por ello, es muy importante conocer el origen de los datos y lo que representa cada medición. Esto incluye el criterio que se usó para seleccionar la muestra y la forma de medir las variables.

Una pregunta de interés puede contener elementos novedosos intrínsecos, pero muchas veces es posible descomponerlos en problemas y ubicarlos en dos categorías: 1) clasificación o predicción y 2) agrupamiento, reglas de asociación, vínculos o similitud. El tipo de análisis que se realizará determina, en muchos casos, el tipo de datos necesario y la forma de hacer las mediciones.

El análisis de los resultados

Cada herramienta empleada en el análisis cuantitativo de datos descansa sobre una base teórica, compuesta por supuestos o condiciones, de forma que los resultados obtenidos en una muestra puedan extrapolarse a la población de referencia. Es importante entender cuáles son esos supuestos y cómo pueden verificarse, para evitar errores del tipo «falso positivo»; es decir, efectos espurios que pueden costar dinero, esfuerzo y tiempo.

Durante los últimos años se han publicado artículos sobre cómo la negligencia en la verificación de supuestos, necesarios para validar los resultados de pruebas estadísticas, ha producido una proliferación de falsos positivos. Un ejemplo reciente se refiere a las pruebas A/B, ampliamente usadas en el mercadeo en línea. Por ejemplo, una compañía quiere determinar la efectividad de una nueva propuesta de anuncio publicitario en internet. Para ello, muestra el anuncio tradicional a un conjunto de personas (grupo control o grupo A) y, simultáneamente, muestra la nueva propuesta a un conjunto distinto de personas (grupo B). Luego compara el número de clics registrados con ambos grupos y determina si hubo diferencias estadísticamente significativas entre los efectos de ambos anuncios. Usualmente se observa el tamaño de uno de los productos de la prueba: el valor-p, que expresa la probabilidad de encontrar datos como los hallados en la muestra, si se asume la veracidad de ciertos supuestos.  Si este número es menor que un margen de tolerancia establecido (por ejemplo, diez por ciento) y se verifican los supuestos de la prueba, entonces se considera que se ha encontrado una evidencia estadísticamente significativa a favor de una diferencia entre los efectos de los anuncios.

Una condición necesaria para que los resultados de la prueba A/B sean válidos es muy fácil de establecer: el tamaño de cada grupo debe ser determinado de antemano. Antes de empezar a contar clics se debe saber cuántas personas tendrán los grupos A y B. Muchas plataformas que ofrecen el servicio de prueba A/B permiten al investigador observar cómo evoluciona el número de clics de cada grupo en tiempo real; es decir, con la cantidad de personas que han sido expuestas a los anuncios hasta ese momento. También es posible observar cómo cambia el valor-p a medida que aumenta el número de personas en cada grupo. Esto ha incitado a algunos investigadores a terminar la prueba cuando el valor-p cae por debajo del nivel de tolerancia establecido. Esta práctica se conoce como p-hacking. Berman, Pekelis, Scott y van den Bulte (2018), en un estudio de más de dos mil pruebas A/B en categorías tales como turismo, finanzas, tecnología, ventas al detal, entretenimiento, comunicaciones y otras, alrededor del 57 por ciento de las veces hubo p-hacking y esto aumentó la tasa de falsos positivos a 42 por ciento, aproximadamente, en pruebas con una tolerancia de diez por ciento. En otras palabras, una cantidad importante de los cambios sugeridos por estas pruebas no eran consecuencia de una mejora observable. Simmons, Nelson y Simonsohn (2011) reportaron un resultado similar en investigaciones psicológicas.

Ningún análisis cuantitativo puede concentrarse, de forma miope, en los valores obtenidos con un puñado de números. El uso indiscriminado del valor-p como único elemento referencial en pruebas estadísticas motivó a la Asociación Estadounidense de Estadística a publicar un comunicado sobre el concepto de significación estadística y el valor-p (Wasserstein, 2016). Una discusión más amplia sobre este punto aparece en Wasserstein y Lazar (2016). Simmons, Nelson y Simonsohn (2011) propusieron una serie de requisitos para garantizar la validez de los resultados en cualquier análisis estadístico y, con ello, disminuir la frecuencia de falsos positivos. Si bien es cierto que están dirigidas a investigadores académicos, estas recomendaciones aportan una guía valiosa para cualquier tipo de investigaciones que apliquen técnicas cuantitativas.

Una vez obtenidos los resultados del análisis es muy importante vigilar el desempeño de las variables de interés después de que el modelo, el proceso o los cambios sugeridos entren en acción. Ello permite no solo validar que se produzca el efecto deseado, o controlar el margen de error, sino también identificar cuándo ocurren cambios en las variables de entrada que pudieran sugerir nuevos experimentos.

Análisis y decisiones

El análisis cuantitativo, en cualquiera de sus formas y presentaciones, es mucho más que números. Comienza mucho antes de observar el primer dato. Primero requiere una disposición abierta a las preguntas. La pregunta determina el análisis que se llevará a cabo y es la guía natural para la solución del problema. Luego, la obtención de un buen conjunto de datos es crucial para la validez del análisis. Este punto es comúnmente menospreciado y ha dado lugar a resultados contradictorios. Finalmente, para asegurar la validez del análisis es necesario cumplir los requisitos y supuestos teóricos que lo sustentan. Es muy importante el trabajo de un equipo multidisciplinario a lo largo de este proceso, lo cual requiere que los conceptos del análisis cuantitativo formen parte del lenguaje común de ese equipo. Como apasionadamente expresa la reconocida analista de datos Michele Kiss (2015):

Creo en el uso informado de los datos. Los datos son valiosos solamente cuando a) sus definiciones y b) su contexto son entendidos claramente. No creo que se le pueda dar una montaña de datos a un analista y, que mágicamente, extraiga de ella conocimientos útiles.

El análisis cuantitativo forma parte de cualquier proceso orgánico de decisión, en el cual la creatividad, la curiosidad y la evaluación intelectual de los resultados desempeñan un papel tan importante como el uso de las herramientas computacionales adecuadas para el análisis de los datos.

Referencias

  • Berman, R., Pekelis, L., Scott, A. y van den Bulte, C. (2018): «p-hacking and false discovery in A/B testing». Social Science Research Network: https://ssrn.com/abstract=3204791
  • Duhigg, C. (2012): «How companies learn your secrets». The New York Times Magazine: https://www.nytimes.com/2012/02/19/magazine/shopping-habits.html
  • Hinckley, D. (2015): «New study: data reveals 67 por ciento of consumers are influenced by online reviews». Moz: https://moz.com/blog/new-data-reveals-67-of-consumers-are-influenced-by-online-reviews
  • Kiss, M. (2015): «I believe in data». Analytics Demystified: https://analyticsdemystified.com/analysis/i-believe-in-data/
  • Mangalindan, J. (2012): «Amazon’s recommendation secret». Fortune: http://fortune.com/2012/07/30/amazons-recommendation-secret/
  • Simmons, J. P., Nelson, L. D. y Simonsohn, U. (2011): «False-positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant». Psychological Science. Vol. 22. No. 11: 1359-1366. doi:10.1177/0956797611417632
  • Wasserstein, R. L. (2016): «American Statistical Association releases statement on statistical significance and p-values». American Statistical Association: https://www.amstat.org/asa/files/pdfs/P-ValueStatement.pdf
  • Wasserstein, R. L. y Lazar, N. A. (2016): «The ASA’s statement on p-values: context, process, and purpose». The American Statistician. Vol. 70. No. 2: 129-133, DOI: 10.1080/00031305.2016.1154108

Alfredo J. Ríos, profesor del IESA.