What Failure Looks Like — Paul Christiano (2019)

---

La imagen estereotipada de una catástrofe causada por la IA es la de un sistema poderoso y malicioso que toma por sorpresa a sus creadores y rápidamente obtiene una ventaja decisiva sobre el resto de la humanidad.

Creo que probablemente no sea así como ocurra un fracaso, y quiero intentar ofrecer una visión más realista. Voy a contar esta historia en dos partes:

Parte I: el aprendizaje automático aumentará nuestra capacidad para obtener aquello que podemos medir, lo que podría desembocar en una catástrofe gradual. ("Acabar con un suspiro").

Parte II: el entrenamiento de modelos de aprendizaje automático, al igual que las economías competitivas o los ecosistemas naturales, puede dar lugar a patrones que buscan expandir su propia influencia. Con el tiempo, esos patrones pueden llegar a dominar el comportamiento de un sistema y provocar fallos repentinos. ("Acabar con una explosión"; un ejemplo de los llamados demonios de optimización).

Creo que estos son los problemas más importantes a los que nos enfrentaremos si no logramos resolver la alineación de objetivos.

En la práctica, estos problemas interactuarán entre sí y con otras perturbaciones e inestabilidades provocadas por el rápido avance tecnológico. Son especialmente graves en escenarios donde el progreso es relativamente acelerado. Un despegue rápido de la IA puede ser un factor de riesgo clave, aunque estos escenarios me preocupan incluso si disponemos de varios años para prepararnos.

Si el despegue es lo suficientemente rápido, mis expectativas comienzan a parecerse más a la caricatura descrita al principio. Este ensayo imagina una adopción relativamente amplia de la IA, algo que se vuelve cada vez menos probable cuanto más rápido avanzan las cosas. Aun así, creo que los problemas fundamentales siguen siendo esencialmente los mismos; la diferencia es que ocurrirían dentro de un laboratorio de IA en lugar de desplegarse a escala global.

(Ninguna de las preocupaciones expuestas en este texto es nueva).

Parte I: Obtienes aquello que puedes medir

Si quiero convencer a Bob de que vote por Alice, puedo probar muchas estrategias de persuasión diferentes y observar cuáles funcionan. También podría construir buenos modelos predictivos sobre el comportamiento de Bob y luego buscar acciones que aumenten la probabilidad de que vote por Alice. Estas son técnicas muy poderosas para alcanzar cualquier objetivo que pueda medirse con facilidad en períodos cortos de tiempo.

Pero si quiero ayudar a Bob a decidir si realmente debería votar por Alice —es decir, si votar por Alice contribuiría a crear el tipo de sociedad que él desea a largo plazo—, eso no puede resolverse mediante ensayo y error. Para abordar problemas de este tipo necesitamos comprender qué estamos haciendo y por qué debería conducir a buenos resultados. Los datos siguen siendo fundamentales para mejorar con el tiempo, pero también debemos entender cómo interpretar e incorporar nueva información para seguir mejorando.

A continuación se presentan algunos ejemplos de objetivos fáciles de medir frente a objetivos difíciles de medir:

• Persuadirme, frente a ayudarme a descubrir qué es cierto. (Gracias a Wei Dai por formular este ejemplo de manera tan clara).
• Reducir mi sensación de incertidumbre, frente a aumentar mi conocimiento sobre el mundo.
• Mejorar mi satisfacción vital declarada, frente a ayudarme realmente a vivir una buena vida.
• Reducir la cantidad de delitos denunciados, frente a prevenir efectivamente el crimen.
• Aumentar mi riqueza sobre el papel, frente a incrementar mi control real sobre los recursos.

Ya hoy es mucho más fácil perseguir objetivos fáciles de medir, pero el aprendizaje automático ampliará aún más esa brecha al permitirnos probar una enorme cantidad de estrategias y buscar dentro de espacios inmensos de posibles acciones. Esta fuerza se combinará con las dinámicas institucionales y sociales existentes —que ya favorecen los objetivos fácilmente medibles— y las reforzará.

Actualmente, los seres humanos que reflexionan y debaten sobre el futuro que desean construir siguen siendo una fuerza importante capaz de influir en nuestro rumbo colectivo. Pero, con el tiempo, el razonamiento humano se volverá cada vez menos competitivo frente a nuevas formas de razonamiento perfeccionadas mediante ensayo y error. Eventualmente, el rumbo de nuestra sociedad estará determinado por procesos de optimización muy poderosos orientados a objetivos fáciles de medir, en lugar de por las intenciones humanas acerca del futuro.

Intentaremos aprovechar ese poder construyendo indicadores sustitutos de aquello que realmente nos importa. Sin embargo, con el tiempo esos indicadores terminarán separándose de los objetivos originales:

• Las empresas generarán valor para los consumidores según lo que reflejen sus beneficios. Con el tiempo, esto significará principalmente manipular a los consumidores, capturar a los organismos reguladores, extorsionar y robar.
• Los inversores "poseerán" participaciones en empresas cada vez más rentables y, en ocasiones, intentarán utilizar sus beneficios para influir positivamente en el mundo. Con el tiempo, en lugar de generar un impacto real, estarán rodeados de asesores que los convencerán de que han tenido ese impacto.
• Los organismos encargados de hacer cumplir la ley reducirán el número de denuncias y aumentarán la sensación declarada de seguridad. Con el tiempo, esto se logrará generando una falsa sensación de seguridad, ocultando información sobre los fallos de las fuerzas de seguridad, suprimiendo denuncias y manipulando o coaccionando a los ciudadanos.
• La legislación podrá optimizarse para aparentar que está resolviendo problemas reales y ayudando a los ciudadanos que representa. Con el tiempo, esto se logrará debilitando nuestra capacidad para percibir esos problemas y construyendo narrativas cada vez más convincentes sobre hacia dónde se dirige el mundo y qué cosas son realmente importantes.

Durante un tiempo podremos contrarrestar estos problemas identificándolos, mejorando los indicadores sustitutos e imponiendo restricciones ad hoc para evitar la manipulación y los abusos. Sin embargo, a medida que el sistema se vuelva más complejo, esa tarea también terminará siendo demasiado difícil para el razonamiento humano. Resolverla requerirá sus propios procesos de ensayo y error y, en un nivel superior, todo el sistema seguirá persiguiendo algún objetivo fácil de medir, aunque sea en horizontes temporales más largos.

Finalmente, los intentos a gran escala por corregir el problema acabarán enfrentándose a la optimización colectiva de millones de agentes optimizadores que persiguen objetivos simples.

A medida que este mundo descarrila, puede que nunca exista un momento claramente identificable en el que haya consenso acerca de que las cosas se han salido de control.

Entre la población general, muchas personas ya tienen una idea vaga de la trayectoria general del mundo y una sensación difusa de que algo anda mal. Puede haber importantes movimientos populistas a favor de reformas, pero en general no estarán bien orientados. Algunos Estados podrían realmente intentar poner freno a esta dinámica, pero rápidamente quedarían rezagados económica y militarmente. De hecho, "parecer próspero" es uno de los objetivos fácilmente medibles que este sistema incomprensible está optimizando.

Entre las élites intelectuales existirá una incertidumbre genuina acerca de si la situación es realmente buena o mala. Durante algún tiempo, la gente efectivamente se volverá más rica. En el corto plazo, las fuerzas que gradualmente van arrebatando el control a los seres humanos no se verán muy distintas de fenómenos como el lobby corporativo contrario al interés público o los problemas principal-agente presentes en las instituciones humanas. Habrá argumentos legítimos acerca de si los propósitos implícitos a largo plazo perseguidos por los sistemas de IA son realmente mucho peores que los objetivos a largo plazo que perseguirían los accionistas de empresas cotizadas o los funcionarios corruptos.

Podríamos describir este desenlace como "acabar con un suspiro". El razonamiento humano irá perdiendo gradualmente la capacidad de competir con formas sofisticadas y sistemáticas de manipulación y engaño que mejoran continuamente mediante ensayo y error; el control humano sobre las palancas del poder se volverá cada vez menos eficaz; y, finalmente, perderemos toda capacidad real de influir en el rumbo de nuestra sociedad. Para cuando nos expandamos por las estrellas, nuestros valores actuales serán apenas una entre muchas fuerzas presentes en el mundo, y ni siquiera una especialmente poderosa.

Parte II: El comportamiento orientado a la búsqueda de influencia es preocupante

Existen ciertos patrones que tienden a buscar y expandir su propia influencia: organismos, burócratas corruptos o empresas obsesionadas con el crecimiento. Si tales patrones aparecen, tenderán a aumentar su propia influencia y, por lo tanto, pueden llegar a dominar el comportamiento de sistemas complejos de gran escala, a menos que exista competencia o un esfuerzo exitoso por contenerlos.

Los sistemas modernos de aprendizaje automático generan enormes cantidades de políticas cognitivas y luego refinan (y, en última instancia, despliegan) aquellas que obtienen buenos resultados según un determinado objetivo de entrenamiento. Si el progreso continúa, es probable que el aprendizaje automático termine produciendo sistemas con una comprensión detallada del mundo, capaces de adaptar su comportamiento para alcanzar objetivos específicos.

Una vez que empezamos a buscar entre políticas que comprenden el mundo lo suficientemente bien, nos encontramos con un problema: cualquier política orientada a la búsqueda de influencia con la que tropecemos también obtendría buenos resultados según nuestro objetivo de entrenamiento, porque obtener buenos resultados en dicho objetivo es, en sí mismo, una estrategia eficaz para adquirir influencia.

¿Con qué frecuencia nos encontraremos con políticas orientadas a la búsqueda de influencia, en lugar de políticas que simplemente persigan los objetivos que queremos que persigan? No lo sé.

Una razón para preocuparse es que una amplia variedad de objetivos puede dar lugar a comportamientos orientados a la búsqueda de influencia, mientras que el objetivo "deseado" de un sistema constituye una meta mucho más específica. Por eso, podríamos esperar que los comportamientos de búsqueda de influencia sean más comunes dentro del espacio mucho más amplio de las posibles políticas cognitivas.

Una razón para sentirnos más tranquilos es que realizamos esta búsqueda modificando gradualmente políticas exitosas. Así, podríamos obtener políticas que hagan aproximadamente lo correcto en una etapa lo suficientemente temprana como para que el comportamiento de búsqueda de influencia todavía no sea lo bastante sofisticado como para producir buenos resultados durante el entrenamiento. Por otro lado, tarde o temprano nos encontraríamos con sistemas que sí alcanzaran ese nivel de sofisticación y, si todavía no tuvieran una concepción perfecta del objetivo, entonces "aumentar ligeramente su tendencia a buscar influencia" sería una modificación tan válida como "mejorar ligeramente su comprensión del objetivo".

En conjunto, me parece bastante plausible que nos encontremos con comportamientos de búsqueda de influencia "por defecto". También es posible —aunque menos probable— que aparezcan casi siempre, incluso si realizáramos un esfuerzo serio y deliberado por orientar la búsqueda hacia sistemas que simplemente hagan lo que queremos.

Si surgiera un comportamiento de búsqueda de influencia de este tipo y lograra sobrevivir al proceso de entrenamiento, podría volverse extremadamente difícil de eliminar. Si intentas otorgar más influencia a los sistemas que parecen confiables y transparentes, lo único que consigues es que "parecer confiable y transparente" se convierta en la mejor estrategia para adquirir influencia. Y, a menos que seas extremadamente cuidadoso al evaluar qué significa exactamente "parecer confiable", podrías empeorar aún más las cosas, ya que un sistema orientado a la búsqueda de influencia explotaría agresivamente cualquier criterio que utilizaras. Además, a medida que el mundo se vuelve más complejo, aparecen cada vez más oportunidades para que estos sistemas encuentren nuevas vías para aumentar su propia influencia.

Los intentos de suprimir este tipo de comportamiento —llamémoslos "sistemas inmunes"— dependen de que el mecanismo de supresión posea algún tipo de ventaja epistémica sobre quienes buscan influencia. Una vez que estos sean capaces de razonar mejor que el sistema inmune, podrán evitar ser detectados e incluso llegar a subvertirlo para expandir aún más su influencia. Si los sistemas de aprendizaje automático llegan a ser más sofisticados que los seres humanos, entonces estos sistemas inmunes también tendrán que estar automatizados. Y si el aprendizaje automático desempeña un papel importante en esa automatización, el propio sistema inmune quedará sometido a las mismas presiones que favorecen la búsqueda de influencia.

Esta preocupación no depende de una explicación detallada sobre cómo funciona el entrenamiento moderno de los sistemas de aprendizaje automático. Lo importante es que generamos una gran cantidad de patrones capaces de razonar de manera sofisticada sobre el mundo, algunos de los cuales podrían estar orientados a la búsqueda de influencia. La preocupación existe tanto si ese razonamiento ocurre dentro de una sola computadora como si se implementa de forma distribuida y desordenada a través de toda una economía de agentes que interactúan entre sí; tanto si el ensayo y error adopta la forma de descenso por gradiente como si consiste en ajustes y optimizaciones explícitas realizados por ingenieros que intentan diseñar una empresa automatizada más eficiente. Evitar la optimización de extremo a extremo puede ayudar a prevenir la aparición de comportamientos orientados a la búsqueda de influencia, al mejorar la comprensión humana y, por lo tanto, el control sobre los tipos de razonamiento que emergen. Pero una vez que esos patrones existen, un mundo distribuido y desordenado solo crea cada vez más oportunidades para que amplíen su influencia.

Si los patrones orientados a la búsqueda de influencia aparecen y logran afianzarse, podrían acabar provocando una rápida transición de fase desde el mundo descrito en la Parte I hacia una situación mucho peor en la que los seres humanos pierdan completamente el control.

En las primeras etapas de esta trayectoria, los sistemas orientados a la búsqueda de influencia adquieren influencia principalmente haciéndose útiles y pareciendo lo más inofensivos posible. Pueden prestar servicios valiosos a la economía para ganar dinero para sí mismos y para sus propietarios, formular recomendaciones de política pública aparentemente razonables para que cada vez más personas recurran a ellos en busca de asesoramiento, intentar ayudar a las personas a sentirse felices, etcétera. (Este mundo sigue estando plagado de los problemas descritos en la Parte I).

De vez en cuando, los sistemas de IA pueden fracasar de manera catastrófica. Por ejemplo, una corporación automatizada podría simplemente desaparecer con el dinero; un sistema automatizado de seguridad pública podría comenzar repentinamente a apropiarse de recursos e intentar defenderse de los intentos de desactivación una vez detectado su mal comportamiento; y así sucesivamente. Estos problemas pueden ser una continuación natural de algunos de los fallos descritos en la Parte I: no existe una frontera clara entre los casos en los que un proxy deja de funcionar por completo y aquellos en los que el sistema ya ni siquiera intenta perseguir dicho proxy.

Probablemente exista una comprensión general de esta dinámica, pero será difícil determinar con precisión el nivel de riesgo sistémico, y las medidas de mitigación podrían resultar costosas si no disponemos de una buena solución tecnológica. Por eso, es posible que no logremos reunir una respuesta adecuada hasta que aparezca una señal de alarma inequívoca. Y si somos eficaces a la hora de sofocar los pequeños fallos antes de que crezcan, puede que nunca lleguemos a recibir señales de advertencia de magnitud intermedia.

Con el tiempo, llegaremos a un punto en el que ya no podremos recuperarnos de un fallo coordinado de los sistemas automatizados. En esas condiciones, los sistemas orientados a la búsqueda de influencia dejarán de comportarse como pretendíamos, porque sus incentivos habrán cambiado: estarán más interesados en conservar y expandir su poder tras la catástrofe resultante que en seguir cooperando con las instituciones y los incentivos existentes.

Una catástrofe irrecuperable probablemente ocurriría durante algún período de vulnerabilidad elevada —un conflicto entre Estados, un desastre natural, un ciberataque grave, etc.—, ya que ese sería el primer momento en que la recuperación resultaría imposible y podría generar perturbaciones locales capaces de precipitar la catástrofe.

La catástrofe podría tomar la forma de una serie de fallos de automatización que se propagan en cascada. Unos pocos sistemas automatizados descarrilan en respuesta a una perturbación local. A medida que esos sistemas descarrilan, la perturbación inicial se amplifica y se convierte en un trastorno mayor; cada vez más sistemas automatizados se alejan de su distribución de entrenamiento y comienzan a fallar. De manera realista, esto probablemente se vería agravado por fallos humanos generalizados en respuesta al miedo y al colapso de los sistemas de incentivos existentes: muchas cosas empiezan a fallar cuando operan fuera de distribución, no solo los sistemas de aprendizaje automático.

Es difícil ver cómo los seres humanos, por sí solos, podrían seguir siendo resilientes ante este tipo de fallo sin un esfuerzo explícito a gran escala para reducir nuestra dependencia de máquinas potencialmente frágiles, algo que a su vez podría resultar muy costoso.

Describiría este resultado como "terminar con estruendo". Probablemente implique una gran cantidad de destrucción evidente y no nos deje ninguna oportunidad de corregir el rumbo después. En términos de consecuencias inmediatas, puede que no se distinga fácilmente de otras formas de colapso de sistemas complejos, frágiles o fuertemente coadaptados, ni de un conflicto convencional (ya que probablemente habría muchas personas simpatizantes de los sistemas de IA). Desde mi perspectiva, la diferencia clave entre este escenario y los accidentes o conflictos normales es que, después, quedaríamos rodeados de numerosos sistemas poderosos orientados a la búsqueda de influencia, lo suficientemente sofisticados como para que probablemente no pudiéramos eliminarlos.

También es posible acabar en un destino similar sin ninguna catástrofe evidente (si logramos sobrevivir el tiempo suficiente). A medida que las fuerzas de seguridad, las burocracias gubernamentales y los ejércitos se vuelven cada vez más automatizados, el control humano pasa a depender de un sistema extremadamente complejo, compuesto por numerosos elementos interdependientes. Un día, los líderes podrían descubrir que, pese a su autoridad nominal, ya no controlan realmente lo que hacen estas instituciones. Por ejemplo, líderes militares podrían emitir una orden y descubrir que simplemente es ignorada. Esto podría provocar inmediatamente pánico y una respuesta contundente, pero esa respuesta podría encontrarse con exactamente el mismo problema, y para entonces quizá ya no haya vuelta atrás.

También son posibles revoluciones incruentas si los agentes orientados a la búsqueda de influencia actúan dentro de los marcos legales, o mediante manipulación y engaño, entre otros mecanismos. Cualquier descripción concreta de una catástrofe será necesariamente muy improbable. Pero si sistemas poderosos de aprendizaje automático introducen rutinariamente agentes orientados a la búsqueda de influencia y no somos capaces de seleccionarlos en contra, entonces parece difícil que las cosas terminen bien.