Superintelligence : chemins, dangers, stratégies
Nick Bostrom2014

L’auteur commence par énumérer les différentes possibilités qui pourraient conduire à l’apparition d’une superintelligence. Elles incluent le génie génétique, la reproduction sélective, le transhumanisme, l’intelligence machine soit par rétro-ingénierie soit par le développement d’algorithmes d’apprentissage. L’auteur conclut cette première prospective par la haute probabilité de l’émergence d’une superintelligence. Le temps nécessaire à cette apparition n’est pas déterminé mais selon l’auteur le risque existe que cette apparition soit très rapide. Quel que soit le calendrier, une fois que la machine d’un niveau cognitif comparable aux humains sera développée, un système « superintelligent dépassant largement les performances cognitives de l'homme dans pratiquement tous les domaines » devrait suivre étonnamment rapidement, peut-être même instantanément. Une telle superintelligence serait difficile à contrôler ou restreindre.

Alors que les objectifs ultimes d’une superintelligence pourraient varier considérablement, une superintelligence fonctionnelle générera spontanément des sous-objectifs naturels ou instrumentaux tels que l'auto-préservation, l'intégrité de ses buts, l’amélioration cognitive et l'acquisition des ressources. Par exemple, un agent dont le seul but final est de résoudre l'hypothèse de Riemann (une célèbre conjecture mathématique non résolue) pourrait signifier comme sous-objectif la transformation de l'ensemble de la Terre en une certaine forme de computronium (hypothétique « matière programmable ») pour faciliter le calcul. La superintelligence agirait proactivement pour parer toutes tentatives extérieures visant à entraver la réalisation de ce sous-objectif. Afin d'éviter une telle catastrophe existentielle, il semble nécessaire de résoudre le « problème du contrôle de l'IA » avant qu’une première superintelligence ne voit le jour. La solution pourrait impliquer d'inculquer à la superintelligence des objectifs compatibles avec la survie humaine et son bien-être. Résoudre le problème du contrôle est cependant étonnamment difficile parce que la plupart des objectifs, lorsqu'ils sont traduits en code implémentable dans une machine, conduisent à des conséquences imprévues et indésirables.

Titre original : Superintelligence: Paths, Dangers, Strategies (2014)