Artificial Intelligence and EthicsInteligencia artificial y ética

Traducción al español

La traducción no sigue el orden del inglés. Fíjate en cómo It is widely assumed that se convierte en «se suele dar por hecho que», sin ningún «it»: el español resuelve con «se» lo que el inglés resuelve con una pasiva impersonal.

Cuando la oficina de vivienda donde trabajo incorporó un algoritmo para ordenar las solicitudes de ayuda para el alquiler, la mayoría de mis colegas sintió alivio. Yo era uno de ellos. La lista de espera había crecido a más de cuatro mil familias, y revisar cada expediente a mano tomaba semanas. Nos dijeron que el programa sería más rápido, más barato y, sobre todo, más justo, ya que no se dejaría influir por el estado de ánimo ni los prejuicios de empleados cansados.

Durante los primeros meses, la promesa pareció cumplirse. Decisiones que antes tardaban un mes se tomaban en dos días. Estábamos orgullosos de esas cifras e incluso las presentamos en una reunión regional. Solo cuando una trabajadora social me trajo un caso que no podía explicar empecé a tener dudas. Una madre sola, con dos trabajos y un aviso de desalojo, había quedado cerca del final de la lista, mientras que solicitantes en situaciones aparentemente más seguras estaban por encima de ella.

No solo no podíamos explicar la decisión, sino que tampoco la empresa que nos había vendido el sistema podía dar una respuesta clara. Después de semanas de preguntas, descubrimos que el modelo tendía a penalizar a los solicitantes que se habían mudado con frecuencia. Sus diseñadores habían tratado las mudanzas frecuentes como una señal de inestabilidad. En realidad, suelen ser las familias con menos seguridad las que se ven obligadas a mudarse más a menudo. El algoritmo no había inventado ese prejuicio: lo había aprendido de años de nuestros propios registros y lo aplicaba con una coherencia perfecta.

Se suele dar por hecho que las máquinas son neutrales porque no tienen opiniones. Puede que las máquinas no tengan opiniones, pero las personas que las construyen y las entrenan sin duda las tienen. Hoy esa suposición me parece peligrosamente cómoda. Un sistema entrenado con decisiones pasadas probablemente reproducirá los patrones ocultos en ellas, y su rapidez puede hacer que esos patrones sean más difíciles, y no más fáciles, de detectar. Lo que antes era el criterio discutible de un empleado puede convertirse en una regla aplicada a miles de personas en una sola tarde. Una empleada cansada podría tomar una decisión injusta un viernes por la tarde, pero al menos alguien puede preguntarle por qué.

No dejamos de usar el programa, pero cambiamos la forma de usarlo. Ahora cada clasificación viene con una breve explicación de los factores que la influyeron, y cualquier solicitante puede pedir una revisión hecha por una persona. Una vez al año, un equipo externo comprueba si ciertos grupos salen perjudicados de forma sistemática. La solicitud de aquella madre fue revisada de nuevo y recibió la ayuda en menos de un mes. Nada de esto es perfecto, y algunos colegas sostienen que nos hace más lentos. Se podría decir que sí. Pero una decisión que determina si una familia conserva su casa debería ser una que alguien sea capaz de explicar.

Ya no creo que la pregunta ética sea si debemos usar la inteligencia artificial. La pregunta es quién sigue siendo responsable cuando se equivoca.