Cómo evitar el ruido en la toma de decisiones

En una firma global de servicios financieros con la que trabajamos, un cliente de toda la vida presentó accidentalmente el mismo archivo de solicitud a dos oficinas. Aunque se suponía que los empleados que revisaban el archivo seguían las mismas pautas y, por lo tanto, llegaban a resultados similares, las oficinas separadas devolvieron presupuestos muy diferentes. Sorprendido, el cliente dio el negocio a un competidor. Desde el punto de vista de la empresa, los empleados con el mismo rol deberían haber sido intercambiables, pero en este caso no lo fueron. Desafortunadamente, este es un problema común.

Los profesionales de muchas organizaciones se asignan arbitrariamente a casos: tasadores en agencias de calificación crediticia, médicos en salas de emergencia, aseguradores de préstamos y seguros, etc. Las organizaciones esperan consistencia de estos profesionales: los casos idénticos deben tratarse de manera similar, si no idénticamente. El problema es que los humanos no son responsables de la toma de decisiones. Sus juicios están muy influenciados por factores irrelevantes, como su estado de ánimo actual, el tiempo transcurrido desde su última comida y el clima. Llamamos ruido a la variabilidad casual de los juicios. Es un impuesto invisible en la línea de fondo de muchas compañías.

Algunos trabajos están libres de ruido. Los empleados de un banco o una oficina postal realizan tareas complejas, pero deben seguir estrictas reglas que limitan el juicio subjetivo y garantizan, por diseño, que los casos idénticos se traten de manera idéntica. Por el contrario, los profesionales médicos, los oficiales de crédito, los directores de proyectos, los jueces y los ejecutivos hacen juicios, que se rigen por la experiencia informal y los principios generales en lugar de reglas rígidas. Y si no alcanzan exactamente la misma respuesta que cualquier otra persona en su rol, eso es aceptable. Esto es a lo que nos referimos cuando decimos que una decisión es “una cuestión de juicio”. Una empresa cuyos empleados ejercen su juicio no espera que las decisiones estén libres de ruido en su totalidad. Pero a menudo el ruido está muy por encima del nivel que los ejecutivos considerarían tolerable y no lo saben por completo.

La prevalencia del ruido se ha demostrado en varios estudios. Investigadores académicos han confirmado repetidamente que los profesionales a menudo contradicen sus propios juicios previos cuando se les dan los mismos datos en diferentes ocasiones. Por ejemplo, cuando se solicitó a los desarrolladores de software en dos días separados que estimaran el tiempo de finalización de una tarea determinada, las horas que proyectaban diferían, en promedio, en un 71%. Cuando los patólogos realizaron dos evaluaciones de la gravedad de los resultados de la biopsia, la correlación entre sus calificaciones fue de solo 0,61 (de un valor perfecto de 1,0), indicando que hicieron diagnósticos inconsistentes con bastante frecuencia. Los juicios hechos por diferentes personas tienen incluso más probabilidades de divergir. La investigación ha confirmado que, en muchas tareas, las decisiones de los expertos son muy variables: valorar las acciones, evaluar los bienes inmuebles, sentenciar a los delincuentes, evaluar el desempeño laboral, auditar los estados financieros, etc. La conclusión inevitable es que los profesionales a menudo toman decisiones que se desvían significativamente de las de sus compañeros, de sus propias decisiones previas y de las reglas que ellos mismos afirman seguir.

El ruido suele ser traicionero. Incluso las empresas exitosas pierden cantidades sustanciales de dinero sin darse cuenta. Pero, ¿cuánto pueden llegar a perder? Para obtener una estimación, preguntamos lo siguiente a los ejecutivos de una de las organizaciones que estudiamos: “Supongamos que la evaluación óptima de un caso es de 100.000 dólares (cerca 83.000 de euros). ¿Cuál sería el coste para la organización si el profesional a cargo del caso evaluara un valor de 115.000 dólares (alrededor de 96.000 euros)? ¿Cuál sería el coste de evaluarlo en 85.000 (unos 71.000 euros) dólares?”. Las estimaciones de coste fueron altas. Agregado a las evaluaciones hechas cada año, el precio del ruido se midió en miles de millones, un número inaceptable incluso para una gran empresa global. El valor de reducir el ruido incluso en unos pocos puntos porcentuales sería de decenas de millones. Sorprendentemente, la organización había ignorado por completo la cuestión de la coherencia hasta entonces.

Se sabe desde hace tiempo que las predicciones y decisiones generadas por algoritmos estadísticos simples a menudo son más precisas que las hechas por expertos, incluso cuando los expertos tienen acceso a más información que la que usan las fórmulas. Casi no se conoce que la ventaja clave de los algoritmos es que no tienen ruido: a diferencia de los humanos, una fórmula siempre devolverá la misma salida para cualquier entrada dada. La consistencia superior permite incluso algoritmos simples e imperfectos para lograr una mayor precisión si se comparan con los profesionales humanos. Por supuesto, hay ocasiones en que los algoritmos serán inviables desde el punto de vista operativo o político, como discutiremos.

En este artículo explicamos la diferencia entre el ruido y el sesgo y observamos cómo los ejecutivos pueden auditar el nivel y el impacto del ruido en sus organizaciones. A continuación, describimos un método económico y subutilizado para construir algoritmos que remedian el ruido, y esbozamos procedimientos que pueden promover la consistencia cuando los algoritmos no son una opción.

Ruido vs Sesgo:

Cuando las personas consideran los errores en el juicio y la toma de decisiones, lo más probable es que piensen en sesgos sociales como el estereotipo de las minorías o en sesgos cognitivos como el exceso de confianza y el optimismo infundado. La variabilidad inútil que llamamos ruido es un tipo diferente de error. Para apreciar la distinción, piense en su báscula de baño. Diríamos que la escala es parcial si sus lecturas son generalmente demasiado altas o demasiado bajas. Si su peso parece depender de dónde coloque los pies, la balanza es ruidosa. Una escala que constantemente subestima el peso verdadero en exactamente cuatro libras (unos 1,80 kilos) es muy parcial, pero está libre de ruido. Una escala que da dos lecturas diferentes cuando la pisa dos veces es ruidosa. Muchos errores de medición surgen de una combinación de sesgo y ruido. La mayoría de las básculas de baño de bajo coste son algo parciales y bastante ruidosas.

Para ilustrar visualmente la distinción, considere las dianas de la imagen Cómo el ruido y el sesgo afectan la precisión. La imagen muestra los resultados de la práctica de tiro para equipos de cuatro personas en los que cada individuo dispara una vez. El Equipo A es exacto: los tiros de los compañeros del equipo están a la altura y cerca el uno del otro. Los otros tres equipos son inexactos, pero en diferentes formas. El equipo B es ruidoso: los tiros de sus miembros están cerca del blanco, pero están muy dispersos. El Equipo C es parcial: ningún tiro dio en el blanco, pero están todos agrupados. El equipo D es ruidoso y parcial.

Como lo ilustra una comparación de los equipos A y B, un aumento en el ruido siempre afecta la precisión cuando no hay sesgo. Cuando hay prejuicios, aumentar el ruido en realidad puede causar un golpe de suerte, como sucedió con el equipo D. Por supuesto, ninguna organización confiaría en la suerte. El ruido siempre es indeseable y, a veces, desastroso.

Obviamente, tener conocimientos del sesgo y el ruido en las decisiones de sus empleados es útil para una organización, pero recopilar esa información no es sencillo. Al medir estos errores, surgen diferentes problemas. Un problema importante es que los resultados de las decisiones a menudo no se conocen hasta después, si es que lo llegan a hacer. Los funcionarios de préstamos, por ejemplo, con frecuencia deben esperar varios años para ver cómo se resolvieron los préstamos que aprobaron, y casi nunca saben qué le sucede a un solicitante que rechazan.

Donde hay juicio, hay ruido, y por lo general hay más de lo que piensa.

A diferencia del sesgo, el ruido puede medirse sin saber qué respuesta exacta sería. Para ilustrarlo, imagine que los objetivos a los que apuntaban los tiradores se borraron de la muestra. No sabría nada acerca de la precisión general de los equipos, pero podría estar seguro de que algo andaba mal con los tiros dispersos de los equipos B y D: dondequiera que estuviese el blanco, no todos estuvieron cerca de dar en el blanco. Todo lo que se necesita para medir el ruido en los juicios es un experimento simple en el que varios profesionales evalúan de forma independiente algunos casos reales. Aquí de nuevo, la dispersión de los juicios se puede observar sin conocer la respuesta correcta. Llamamos a tales experimentos auditorías de ruido.

Realizando una auditoría de ruido:

El objetivo de una auditoría de ruido no es generar un informe. El objetivo final es mejorar la calidad de las decisiones, y una auditoría solo puede tener éxito si los líderes de la unidad están preparados para aceptar resultados desagradables y actuar en consecuencia. Tal aceptación se logra más fácil si los ejecutivos ven el estudio como su propia creación. Con ese fin, los casos deben ser compilados por miembros respetados del equipo y deben cubrir la gama de problemas que se encuentran normalmente. Para que los resultados sean relevantes para todos, todos los miembros de la unidad deben participar en la auditoría. Un científico social con experiencia en la realización de experimentos conductuales rigurosos debe supervisar los aspectos técnicos de la auditoría, pero la unidad profesional debe ser la propietaria del proceso.

Hace poco ayudamos a dos organizaciones de servicios financieros a realizar auditorías de ruido. Los deberes y la experiencia de los dos grupos que estudiamos eran bastante diferentes, pero ambos requerían la evaluación de materiales moderadamente complejos y, a menudo, implicaban decisiones sobre cientos de miles de dólares. Seguimos el mismo protocolo en ambas organizaciones. Primero, solicitamos a los gerentes de los equipos profesionales involucrados que construyeran varios archivos de casos realistas para su evaluación. Para evitar que se filtrara la información sobre el experimento, todo el ejercicio se realizó el mismo día. Se les pidió a los empleados que pasaran la mitad del día analizando de dos a cuatro casos. Debían decidir una cantidad en dólares para cada uno, como en su rutina normal. Para evitar la colusión, no se les dijo a los participantes que el estudio estaba relacionado con la fiabilidad. En una organización, por ejemplo, se describieron los objetivos como la comprensión del pensamiento profesional de los empleados, el aumento de la utilidad de sus herramientas y la mejora de la comunicación entre colegas. Participaron unos 70 profesionales de la organización A y unos 50 en la organización B.

Construimos un índice de ruido para cada caso, que respondió la siguiente pregunta: “¿En qué medida difieren los juicios de dos empleados elegidos al azar?” Expresamos esta cantidad como un porcentaje de su promedio. Supongamos que las evaluaciones de un caso por dos empleados son de 600 y 1.000 dólares (de 500 y 800 euros). El promedio de sus evaluaciones es de 800 dólares (cerca de 670 euros), y la diferencia entre ellos es de 400 dólares (alrededor de 330 euros), así que el índice de ruido es del 50 % para este par. Realizamos el mismo cálculo para todos los pares de empleados y luego calculamos un índice de ruido promedio general para cada caso.

Las entrevistas previas a la auditoría con ejecutivos de las dos organizaciones indicaron que esperaban que las diferencias entre las decisiones de sus profesionales tuvieran una variación de entre el 5% y el 10%, un nivel que consideraban aceptable para “cuestiones de juicio”. Los resultados fueron un shock. El índice de ruido varió del 34% al 62% para los seis casos en la organización A, y el promedio general fue del 48%. En los cuatro casos en la organización B, el índice de ruido varió de 46% a 70%, con un promedio de 60%. Tal vez lo más decepcionante es que la experiencia en el trabajo no pareció reducir el ruido. Entre los profesionales con cinco o más años en el trabajo, el desacuerdo promedio fue del 46% en la organización A y del 62% en la organización B.

Nadie había visto esto venir. Pero debido a que eran los dueños del estudio, los ejecutivos de ambas organizaciones aceptaron la conclusión de que los juicios de sus profesionales no eran confiables en un grado que no podía tolerarse. Todos acordaron rápidamente que había que hacer algo para controlar el problema.

Debido a que los hallazgos fueron consistentes con investigaciones previas sobre la baja fiabilidad del juicio profesional, no nos sorprendieron. El principal enigma para nosotros fue el hecho de que ninguna organización había considerado la fiabilidad como un problema.

El problema del ruido es efectivamente invisible en el mundo de los negocios. Hemos observado que las audiencias están bastante sorprendidas cuando se menciona la confiabilidad del juicio profesional como un problema. ¿Qué impide que las empresas reconozcan que los juicios de sus empleados tienen ruido? La respuesta radica en dos fenómenos familiares: los profesionales experimentados tienden a tener una gran confianza en la precisión de sus propios juicios y también tienen gran consideración por la inteligencia de sus colegas. Esta combinación conduce inevitablemente a una sobreestimación del acuerdo. Cuando se les preguntó acerca de lo que dirían sus colegas, los profesionales esperaban que los juicios de los demás fueran mucho más cercanos a los suyos de lo que realmente eran. La mayoría de las veces, por supuesto, los profesionales con experiencia no se preocupan por lo que otros puedan pensar y simplemente suponen que su argumento es la mejor respuesta. Una razón por la cual el problema del ruido es invisible es que las personas no pasan por la vida imaginando alternativas plausibles a cada juicio que hacen.

A veces la expectativa de que los demás estén de acuerdo con usted está justificada, particularmente cuando los juicios son tan hábiles que son intuitivos. El ajedrez de alto nivel y la conducción son ejemplos estándar de tareas que se han practicado casi a la perfección. Los jugadores maestros que observan una situación en un tablero de ajedrez tendrán evaluaciones muy similares del estado del juego si la reina blanca está en peligro o la defensa del rey es débil. Lo mismo pasa con los conductores. Gestionar el tráfico sería increíblemente peligroso si no pudiéramos asumir que los conductores que nos rodean comparten nuestra comprensión de las prioridades en las intersecciones y las rotondas. Hay poco o nada de ruido en los niveles altos de habilidad.

La alta habilidad se desarrolla en el ajedrez y la conducción a través de años de práctica en un entorno predecible, en el que las acciones son seguidas por comentarios que son tanto inmediatos como claros. Desafortunadamente, pocos profesionales operan en un mundo así. En la mayoría de los trabajos, las personas aprenden a emitir juicios al escuchar a los directores y colegas explicar y criticar, esto es una fuente de conocimiento mucho menos confiable que aprender de los propios errores. La larga experiencia en un trabajo siempre aumenta la confianza de las personas en sus juicios, pero en ausencia de una respuesta rápida, la confianza no es garantía de exactitud o consenso.

Ofrecemos este aforismo como resumen: donde hay juicio, hay ruido y, por lo general, hay más de lo que piensa. Como regla general, creemos que ni los profesionales ni sus gerentes pueden adivinar la fiabilidad de sus juicios. La única forma de obtener una evaluación precisa es realizando una auditoría de ruido. Al menos en algunos casos el problema será lo suficientemente grave como para requerir una acción.

Sintonizar el ruido:

La solución más radical al problema del ruido es reemplazar el juicio humano por reglas formales, conocidas como algoritmos, que usan los datos sobre un caso para producir una predicción o una decisión. Las personas han competido contra los algoritmos en varios cientos de concursos de precisión en los últimos 60 años, en tareas que van desde predecir la esperanza de vida de los pacientes con cáncer hasta predecir el éxito de los estudiantes de posgrado. Los algoritmos eran más precisos que los profesionales humanos en aproximadamente la mitad de los estudios, y en los otros estaban aproximadamente vinculados con los humanos. Los vínculos también deberían contar como victorias para los algoritmos, que son más rentables.

En muchas situaciones, por supuesto, los algoritmos no serán prácticos. La aplicación de una regla puede que no sea factible cuando las entradas son idiosincrásicas o difíciles de codificar en un formato consistente. También es menos probable que los algoritmos sean útiles para emitir juicios o decisiones que implican múltiples dimensiones o dependen de la negociación con otra parte. Incluso cuando una solución algorítmica está disponible en principio, las consideraciones organizacionales a veces impiden la implementación. El reemplazo de los empleados existentes por software es un proceso doloroso que encontrará resistencia a menos que traslade a esos empleados a tareas más placenteras.

No obstante, si las condiciones son las adecuadas, desarrollar e implementar algoritmos puede ser sorprendentemente fácil. La suposición común es que los algoritmos requieren análisis estadísticos de grandes cantidades de datos. Por ejemplo, la mayoría de las personas con las que hablamos creen que se necesitan datos sobre miles de solicitudes de préstamos y sus resultados para desarrollar una ecuación que prediga los valores predeterminados de préstamos comerciales. Muy pocos saben que se pueden desarrollar algoritmos adecuados sin ningún tipo de datos de resultados y solo con la información de entrada en un pequeño número de casos. Llamamos “reglas razonadas” a las fórmulas predictivas que se construyen sin datos de resultado porque se basan en el razonamiento de sentido común.

La construcción de una regla razonada comienza con la selección de unas pocas variables (quizás de seis a ocho) que están indiscutiblemente relacionadas con el resultado que se predice. Por ejemplo, si el resultado es el incumplimiento del préstamo, los activos y pasivos seguramente se incluirán en la lista. El siguiente paso es asignar a estas variables el mismo peso en la fórmula de predicción, estableciendo su signo en la dirección obvia (positivo para los activos, negativo para los pasivos). La regla puede ser construida con unos simples cálculos.

Cómo construir una regla razonada:

No necesita datos de resultado para crear algoritmos predictivos útiles. Por ejemplo, puede construir una regla razonada que prediga los incumplimientos de préstamos con bastante eficacia sin saber qué sucedió con los préstamos anteriores; todo lo que necesita es un pequeño conjunto de solicitudes de préstamos recientes. Estos son los siguientes pasos:

1. Seleccione de seis a ocho variables que son distintas y que obviamente estén relacionadas con el resultado previsto. Los activos e ingresos (ponderados positivamente) y los pasivos (ponderados negativamente) seguramente se incluirían, junto con algunas otras características de las solicitudes de préstamos.

2. Tome los datos de su conjunto de casos (todas las solicitudes de préstamos del año pasado) y calcule la media y la desviación estándar de cada variable en ese conjunto.

3. Para cada caso en el conjunto, calcule una “puntuación estándar” para cada variable: la diferencia entre el valor en el caso y la media del conjunto completo, dividido por la desviación estándar. Con puntuaciones estándar, todas las variables se expresan en la misma escala y se pueden comparar y hacer un promedio.

4. Calcule una “puntuación de resumen” para cada caso, el promedio de las puntuaciones estándar de sus variables. Este es el resultado de la regla razonada. La misma fórmula se utilizará para casos nuevos, utilizando la media y la desviación estándar del conjunto original y actualizándolo periódicamente.

5. Ordene los casos en el conjunto de calificaciones altas a bajas y determine las acciones apropiadas para diferentes rangos de puntuaciones. Con las solicitudes de préstamos, por ejemplo, las acciones podrían ser “el 10% superior de los solicitantes recibirán un descuento” y “el 30% inferior será rechazado”.

Ahora está listo para aplicar la regla a casos nuevos. El algoritmo calculará una calificación resumida para cada caso nuevo y generará una decisión.

El sorprendente resultado de muchas investigaciones es que, en muchos contextos, las reglas razonadas son tan precisas como los modelos estadísticos construidos con datos de resultados. Los modelos estadísticos estándar combinan un conjunto de variables predictivas, a los que se asignan ponderaciones basadas en su relación con los resultados previstos y entre sí. En muchas situaciones, sin embargo, estos pesos son estadísticamente inestables y prácticamente sin importancia. Es probable que una regla sencilla que asigna pesos iguales a las variables seleccionadas sea igual de válida. Los algoritmos que ponderan las variables por igual y no se basan en los datos de resultados han demostrado ser exitosos en la selección de personal, predicciones de elecciones, predicciones sobre partidos de fútbol y otras aplicaciones.

La conclusión es que, si usted planea usar un algoritmo para reducir el ruido, no necesita esperar los datos de resultado. Puede obtener la mayoría de los beneficios utilizando el sentido común para seleccionar variables y la regla más simple posible para combinarlas.

Los estudios demuestran que los algoritmos funcionan mejor que los humanos en la toma de decisiones.

Está claro que no importa qué tipo de algoritmo se emplee, la gente siempre debe tener el control final. Los algoritmos deben ser monitoreados y ajustados para cambios ocasionales en los diferentes casos. Los gerentes también deben de estar atentos a las decisiones individuales y tienen la autoridad para anular el algoritmo en casos claros. Por ejemplo, la decisión de aprobar un préstamo debe revertirse provisionalmente si la empresa descubre que el solicitante ha sido arrestado. Lo más importante es que los ejecutivos deben determinar cómo traducir los resultados del algoritmo en acción. El algoritmo puede decirle qué préstamos prospectivos se encuentran en el 5% superior o en el 10% inferior de todas las solicitudes, pero alguien debe decidir qué hacer con esa información.

Los algoritmos se utilizan a veces como una fuente intermedia de información para profesionales que toman las decisiones finales. Un ejemplo es la Evaluación de Seguridad Pública, una fórmula que se desarrolló para ayudar a los jueces de Estados Unidos a decidir si un acusado puede ser liberado de forma segura en espera del juicio. En sus primeros seis meses de uso en Kentucky (EE. UU.), el crimen entre los acusados ​​en libertad provisional cayó aproximadamente un 15%, mientras que el porcentaje de personas liberadas antes del juicio aumentó. Es obvio en este caso que los jueces humanos deben tener la autoridad final para las decisiones: el público se sorprendería al ver que la justicia se impone mediante una fórmula.

Aunque las personas puedan estar incómodas con la idea, los estudios han demostrado que, si bien los humanos pueden proporcionar información útil para las fórmulas, los algoritmos funcionan mejor en la toma de decisiones finales. Si el único criterio es evitar errores, se debe recomendar encarecidamente a los administradores que anulen el algoritmo solo en circunstancias excepcionales.

Llevando la disciplina al juicio:

Reemplazar las decisiones humanas con un algoritmo debería cuando los juicios profesionales tengan ruido, pero en la mayoría de los casos esta solución será demasiado radical o poco práctica. Una alternativa es adoptar procedimientos que promuevan la coherencia asegurando que los empleados en el mismo rol utilizan métodos similares para buscar información, integrarla en una vista del caso y traducir esa visión en una decisión. Un examen exhaustivo de todo lo que se requiere para hacer eso está más allá del alcance de este artículo, pero podemos ofrecer algunos consejos básicos, con la advertencia importante de que infundir disciplina en el juicio no es nada fácil.

La capacitación es crucial, por supuesto, pero incluso los profesionales que fueron entrenados juntos tienden a desviarse en su propia forma de hacer las cosas. Las empresas a veces combaten este desvío mediante la organización de mesas redondas en las que los responsables de la toma de decisiones se reúnen para revisar los casos. Desafortunadamente, la mayoría de las mesas redondas se ejecutan de una manera que hace que sea demasiado fácil llegar a un acuerdo, ya que los participantes convergen rápidamente en las opiniones expresadas primero o con mayor confianza. Para evitar ese acuerdo espurio, los participantes individuales en una mesa redonda deberían estudiar el caso de manera independiente, formar opiniones que puedan defender y enviar esas opiniones al líder del grupo antes de la reunión. Dichas mesas redondas proporcionarán una auditoría de ruido, con el añadido de una discusión grupal en la que se exploran las diferencias de opinión.

Como alternativa o adición a las mesas redondas, se les debe ofrecer herramientas que sean fáciles de utilizar, como listas de verificación y preguntas cuidadosamente formuladas, para guiarles a medida que recopilan información sobre un caso, emiten juicios intermedios y formulan una decisión final. La variabilidad no deseada ocurre en cada una de esas etapas, y las empresas pueden –y deberían– probar cuánto las reducen. Idealmente, las personas que usan estas herramientas las verán como ayudas que les ayudarán a hacer su trabajo de manera efectiva y económica.

Desafortunadamente, nuestra experiencia sugiere que la tarea de construir herramientas de juicio que sean tanto efectivas como fáciles de usar es más difícil de lo que muchos ejecutivos piensan. Controlar el ruido es difícil, pero esperamos que una organización que realice una auditoría y evalúe el coste del ruido en dólares concluya que vale la pena reducir la variabilidad aleatoria.

Nuestro objetivo principal en este artículo es presentar a los directores el concepto de ruido como una fuente de errores y explicar cómo se diferencia del sesgo. El término “sesgo” ha entrado en la conciencia pública en la medida en que las palabras “error” y “sesgo” a menudo se usan indistintamente. De hecho, no se logran mejores decisiones simplemente reduciendo los sesgos generales (como el optimismo) o los sesgos sociales y cognitivos específicos (como la discriminación contra la mujer o los efectos de anclaje). Los ejecutivos que se preocupan por la precisión también deben confrontar la prevalencia de la inconsistencia en los juicios profesionales. El ruido es más difícil de ver que el sesgo, pero no es menos real o menos costoso.

Fuente: https://excelencemanagement.wordpress.com/2018/09/07/como-evitar-el-ruido-en-la-toma-de-decisiones/