Pourquoi le futur n'a pas besoin de nous...2

L’auteur de ce passage n’est autre que Theodore Kaczynski, alias Unabomber, mais on ne le découvre qu’à la page suivante. Loin de moi l’idée de vanter ses mérites. En dix-sept ans d’une campagne terroriste, ses bombes ont tué trois personnes et en ont blessé une multitude d’autres. L’une d’elles a gravement atteint mon ami David Gelernter, l’un des chercheurs en informatique les plus brillants de notre époque, véritable visionnaire. En outre, comme beaucoup de mes collègues, j’avais le sentiment que je pourrais facilement être sa prochaine cible.
Les actes de Kaczynski sont criminels et, à mes yeux, la marque d’une folie meurtrière. Nous sommes clairement en présence d’un « luddiste ». Pour autant, ce simple constat ne balaie pas son argumentation. Il m’en coûte, mais je dois l’admettre : dans ce passage précis, son raisonnement mérite attention. J’ai ressenti le besoin impérieux de prendre le taureau par les cornes.

La vision dystopique [] de Kaczynski expose le phénomène des conséquences involontaires, problème bien connu allant de pair avec la création et l’usage de toute technologie. Ce phénomène renvoie directement à la loi de Murphy, en vertu de laquelle « tout ce qui peut dysfonctionner dysfonctionnera [] » (il s’agit en réalité de la loi de Finagle, assertion qui, par nature, donne d’emblée raison à son auteur). L’usage immodéré des antibiotiques a engendré un problème qui, parmi tous les autres de ce type, est peut-être le plus grave : l’apparition de bactéries « antibio-résistantes », infiniment plus redoutables. Des effets similaires ont été observés lorsque, pour éliminer le moustique de la malaria, on a eu recours au DDT, en conséquence de quoi cet animal est devenu résistant au produit destiné à les détruire. En outre, les parasites liés à cette maladie ont développé des gênes (multi-résistants) []. La cause d’un si grand nombre d’imprévus semble claire : les systèmes qui entrent en jeu sont complexes, supposent une interaction entre eux et ont besoin que les nombreuses parties concernées leur renvoient un feed-back. La moindre modification dans un tel système provoque une onde de choc dont les répercussions sont impossibles à prévoir. Cela est d’autant plus vrai que l’homme intervient dans le processus.

J’ai commencé à faire lire à mes amis le passage de Kaczynski cité dans The Age of Spiritual Machines ; je leur tendais le livre de Kurzweil, les laissais prendre connaissance de l’extrait, puis observais leur réaction une fois qu’ils en découvraient l’auteur. Environ à la même époque, j’ai découvert le livre de Hans Moravec, Robot : Mere Machine to Transcendent Mind. Moravec, éminence parmi les éminences dans la recherche en robotique, a participé à la création d’un des plus vastes programmes mondiaux dans ce domaine, à la Carnegie Mellon University. Robot m’a fourni du matériel supplémentaire pour tester mes amis. Celui-ci abondait de façon surprenante dans le sens des thèses de Kaczynski. Ceci par exemple :

A court terme (début des années 2000)
« Une espèce biologique ne survit que très rarement à une rencontre avec une espèce rivale présentant un degré d’évolution supérieur. Il y a dix millions d’années, l’Amérique du Nord et l’Amérique du Sud étaient séparées par un isthme de Panama alors immergé. Comme l’Australie aujourd’hui, l’Amérique du Sud était peuplée de mammifères marsupiaux, en particulier d’équivalents de rats, de cervidés et de tigres, tous équipés d’une poche ventrale. Lorsque l’isthme faisant la jonction entre les deux Amériques s’est soulevé, quelques milliers d’années ont suffi aux espèces placentaires venues du Nord, dotées de métabolismes et de systèmes reproducteurs et nerveux légèrement plus efficaces, pour déplacer et éliminer la quasi-totalité des marsupiaux du Sud. Dans un contexte de libéralisme sans freins, des robots présentant un degré d’évolution supérieur ne manqueraient pas de modifier l’homme, de la même manière que les placentaires d’Amérique du Nord ont modifié les marsupiaux d’Amérique du Sud (et que l’homme lui-même a affecté un grand nombre d’espèces). Les industries de la robotique se livreraient une compétition féroce dans une course à la matière, à l’énergie et à l’espace, relevant au passage leurs tarifs pour s’établir à des niveaux inaccessibles à l’homme. Dès lors incapable de subvenir à ses besoins, l’homme biologique se retrouverait poussé hors de l’existence. Il nous reste sans doute une réserve d’oxygène, dans la mesure où nous ne vivons pas dans un contexte de libéralisme sans freins. Le gouvernement nous contraint à certains comportements collectifs, en priorité par l’impôt. Avec une telle régulation, exercée judicieusement, les populations humaines pourraient amplement bénéficier du travail des robots, et ce pour un bon moment. »

Un exemple classique de dystopie, et encore : Moravec ne fait là que s’échauffer. Plus loin, il explique comment, au XXIe siècle, notre tâche principale consistera à « veiller à s’assurer la coopération indéfectible des industries de la robotique » en votant des lois les astreignant à rester « aimables []. En outre, il rappelle à quel point, « une fois modifié en robot superintelligent non-bridé », l’homme peut se révéler un être extrêmement dangereux.

La thèse de Moravec est qu’à terme, les robots nous succéderont : pour lui, l’humanité est clairement vouée à disparaître.
C’était dit : une conversation avec mon ami Danny Hillis s’imposait. Danny Hillis s’est rendu célèbre comme co-fondateur de la Thinking Machines Corporation, qui a fabriqué un superordinateur parallèle extrêmement puissant. Malgré mon titre actuel de chief scientist chez Sun Microsystems, je suis davantage un architecte d’ordinateurs qu’un scientifique au sens strict, et le respect que je voue à Danny pour sa connaissance de l’information et des sciences physiques est sans commune mesure. En outre, Danny est un futurologue respecté, quelqu’un qui voit à long terme ; il y a quatre ans, il a créé la Long Now Foundation, qui travaille à l’heure actuelle sur une horloge construite pour durer dix mille ans. L’objectif est d’attirer l’attention sur la propension de notre société à n’examiner les événements que sur un nombre d’années lamentablement court (voir « Test of Time », Wired 8.03, p.78).
J’ai donc sauté dans un avion pour Los Angeles tout spécialement pour aller dîner avec Danny et sa femme, Pati. Selon une routine désormais très rodée, j’ai débité les idées et les passages que je trouvais si dérangeants. La réponse de Danny - référence claire au scénario de l’homme fusionnant avec la machine imaginé par Kurzweil - a jailli promptement, et m’a plutôt surpris : les changements interviendraient progressivement, s’est-il contenté de dire, et nous allions nous y faire.

Mais en définitive, cela ne m’étonnait pas plus que ça. Dans le livre de Kurzweil, j’avais relevé une citation de Danny qui disait ceci : « J’aime bien mon corps, comme tout le monde, mais si un corps de silicone me permet de vivre jusqu’à 200 ans, je suis partant. » Ni le processus en tant que tel ni les risques qui s’y rattachaient ne semblaient l’inquiéter le moins du monde. Contrairement à moi.
A force de parler de Kurzweil, de Kaczynski et de Moravec et de retourner leurs idées dans ma tête, je me suis souvenu d’un roman que j’avais lu près de vingt ans auparavant, The White Plague [] de Frank Herbert, dans lequel un chercheur en biologie moléculaire sombre dans la folie suite au meurtre insensé de sa famille. Pour se venger, il fabrique et répand les bacilles d’une peste inconnue et hautement contagieuse qui tue à grande échelle, mais de façon élective (par chance, Kaczynski était mathématicien et pas chercheur en biologie moléculaire). Un autre souvenir m’est également revenu, celui du Borg de « Star Trek » : un essaim de créatures mi-biologiques, mi-robotiques qui se distinguent par une nette propension à détruire. Alors, puisque les catastrophes du type Borg sont un classique en science-fiction, pourquoi ne m’étais-je pas inquiété plus tôt de ce genre de dystopies dans le domaine de la robotique ? Et pour quelle raison les autres ne s’inquiétaient-ils pas davantage de ces scénarios cauchemardesques ?
La réponse à cette interrogation réside sans aucun doute dans notre attitude face à ce qui est nouveau, c’est-à-dire dans notre tendance à la familiarité immédiate et à l’acceptation inconditionnelle des choses. Si les avancées technologiques ne sont plus à nos yeux que des événements de routine ou presque, il va pourtant falloir se résoudre à regarder les choses en face : les technologies les plus incontournables du XXIe siècle - la robotique, le génie génétique et les nanotechnologies - représentent une menace différente des technologies antérieures. Concrètement, les robots, les organismes génétiquement modifiés et les « nanorobots » ont en commun un facteur démultipliant : ils ont la capacité de s’autoreproduire. Une bombe n’explose qu’une fois ; un robot, en revanche, peut proliférer et rapidement échapper à tout contrôle.
Depuis vingt-cinq ans, mon travail porte essentiellement sur les réseaux informatiques, où l’envoi et la réception de messages crée la possibilité d’une reproduction non contrôlée. Si, dans un ordinateur ou un réseau informatique, la duplication peut provoquer des dégâts, la conséquence ultime en sera, dans le pire des cas, une mise hors service de l’appareil, du réseau, ou un blocage de l’accès à ce réseau. Or l’autoreproduction incontrôlée dans le domaine de ces technologies plus récentes nous fait courir un danger beaucoup plus grave : celui de substantielles dégradations du monde physique.
En outre, chacune de ces technologies nous fait miroiter sa promesse secrète, et ce qui nous meut n’est autre que la vision de quasi-immortalité présente dans les rêves de robot de Kurzweil. Le génie génétique permettra bientôt de trouver les traitements adaptés pour soigner, voire éradiquer la plupart des maladies ; enfin, les nanotechnologies et la nanomédecine permettront d’en traiter d’autres encore. Combinées les unes aux autres, elle pourraient allonger notre espérance de vie et en améliorer la qualité de façon significative. Il n’en demeure pas moins que, s’agissant de ces diverses technologies, une séquence de petits paliers - sensés, lorsqu’ils sont pris isolément - débouche sur une accumulation massive de pouvoir et, de ce fait, sur un danger redoutable.
Quelle différence avec le XXe siècle ? Certes, les technologies liées aux armes de destruction massive (WMD) - nucléaires, biologiques et chimiques (NBC) - étaient puissantes, et l’arsenal faisait peser sur nous une menace extrême. Cependant, la fabrication d’engins atomiques supposait, du moins pendant un temps, l’accès à des matériaux rares - et même inaccessibles -, autant qu’à des informations hautement confidentielles. Au surplus, les programmes d’armement biologiques et chimiques exigeaient souvent des activités à grande échelle.
Les technologies du XXIe siècle - génétique, nanotechnologies et robotique (GNR) - sont porteuses d’une puissance telle qu’elles ont la capacité d’engendrer des classes entières d’accidents et d’abus totalement inédits. Circonstance aggravante, pour la première fois, ces accidents et ces abus sont dans une large mesure à la porté d’individus isolés ou de groupes restreints. En effet, ces technologies ne supposent ni l’accès à des installations de grande envergure, ni à des matériaux rares ; la seule condition pour y avoir recours, c’est d’être en possession du savoir requis.
En conséquence, la menace sous laquelle nous nous trouvons aujourd’hui ne se limite plus au seul problème des armes de destruction massive. Vient s’y ajouter celle de l’acquisition d’une connaissance qui, à elle seule, permet cette destruction à très grande échelle. En outre, le potentiel d’anéantissement se trouve démultiplié par l’autoreproduction.
Il ne me semble pas déraisonnable d’affirmer qu’ayant touché aux sommets du mal absolu, nous nous apprêtons à en repousser encore les limites. Surprenant et redoutable, ce mal s’étend bien au-delà d’un arsenal dévastateur qui resterait l’apanage des Etats-nations, pour tomber aujourd’hui entre les mains d’extrémistes isolés.

Rien, dans la manière dont je me suis retrouvé impliqué dans le monde des ordinateurs, ne me laissait présager que de tels enjeux se présenteraient un jour devant moi.
Mon moteur a toujours été un besoin aigu de poser des questions et de trouver des réponses. A l’âge de trois ans, comme je lisais déjà, mon père m’a inscrit à l’école élémentaire, où, assis sur les genoux du directeur, je lui lisais des histoires. J’ai commencé l’école en avance, j’ai sauté une classe, pour finalement m’évader dans les livres. J’avais une soif d’apprendre incroyable. Je posais des tas de questions, jetant souvent le trouble dans l’esprit des adultes.
Adolescent, je m’intéressais de près à la science et aux technologies. J’avais dans l’idée de devenir radioamateur, mais je ne disposais pas de l’argent suffisant pour me payer le matériel. Le poste du radioamateur était l’Internet d’alors : très compulsif, et plutôt solitaire. Outre les considérations financières, ma mère a stoppé net : pas question que je me lance là-dedans - j’étais déjà assez asocial comme ça.
Les amis proches ne se bousculaient pas au portillon, mais je bouillonnais d’idées. Dès le lycée, j’ai découvert les grands auteurs de science-fiction. Je me souviens en particulier de Have Spacesuit Will Travel de Heinlein, et de I, Robotd’Asimov, avec ses « trois règles de la robotique ». Les descriptions de voyages dans l’espace m’enchantaient. Je rêvais d’un télescope pour observer les étoiles, mais n’ayant pas assez d’argent pour m’en acheter un ou me le fabriquer moi-même, j’épluchais, en guise de consolation, les livres pratiques expliquant comment s’y prendre. Je montais en flèche, mais en pensée.
Le jeudi soir, c’était bowling. Mes parents allaient faire leurs parties et nous, les gosses, restions tout seuls à la maison. C’était le jour de « Star Trek », de Gene Roddenberry, dont c’étaient à l’époque les épisodes originaux. Cette série télévisée m’a profondément marqué. J’en suis arrivé à accepter son idée, selon laquelle l’homme avait un avenir dans l’espace, à l’occidentale, avec ses héros invincibles et ses aventures extraordinaires. La vision de Roddenberry des siècles à venir reposait sur des valeurs morales solides, exprimées dans des codes de conduite comme la « première directive » : ne pas interférer dans le développement de civilisations moins avancées sur le plan technologique. Cela exerçait sur moi une fascination sans borne ; aux commandes de ce futur, on trouvait non pas des robots, mais des êtres humains, avec une éthique. Et j’ai partiellement fait mien le rêve de Roddenberry.
Au lycée, mon niveau en mathématiques était excellent, et quand je suis parti à l’université du Michigan pour y préparer ma licence d’ingénieur, je me suis tout de suite inscrit en mathématiques supérieures. Résoudre des problèmes mathématiques était un joli défi, mais avec les ordinateurs, j’ai découvert quelque chose de nettement plus intéressant : une machine dans laquelle on pouvait introduire un programme qui tentait de résoudre le problème, suite à quoi la machine vérifiait rapidement si cette solution était bonne. L’ordinateur avait une idée claire de ce qui était exact ou inexact, de ce qui était vrai ou faux. Mes idées étaient-elles justes ? La machine pourrait me le dire. Tout cela était très séduisant.
Par chance, j’ai réussi à me trouver un travail dans la programmation des premiers superordinateurs, et j’ai découvert les extraordinaires capacités des unités puissantes qui permettent, grâce à la simulation numérique, d’élaborer des concepts de haute technologie. Arrivé à l’UC Berkeley, au milieu des années 70, pour y suivre mon troisième cycle, j’ai commencé à aller au cœur des machines pour inventer des mondes nouveaux, me couchant tard, les jours où je me couchais. A résoudre des problèmes. A rédiger les codes qui désespéraient d’être écrits.
Dans The Agony and the Ecstasy, sa biographie romancée de Michel-Ange, Irving Stone décrit avec un réalisme saisissant comment le sculpteur, « perçant le secret » de la pierre, laissait ses visions guider son ciseau pour libérer les statues de leur gangue minérale []. De la même manière, dans mes moments d’euphorie les plus intenses, c’est comme si le logiciel surgissait des profondeurs de l’ordinateur. Une fois finalisé dans mon esprit, j’avais le sentiment qu’il siégeait dans la machine, n’attendant plus que l’instant de sa libération. Dans cette optique, ne pas fermer l’œil de la nuit me semblait un prix à payer bien dérisoire pour lui donner sa liberté, pour que mes idées prennent forme.
Au bout de quelques années à Berkeley, j’ai commencé à envoyer certains des logiciels que j’avais conçus - un système Pascal d’instructions, des utilitaires Unix, ainsi qu’un éditeur de texte nommé vi (lequel, à ma grande surprise, est toujours utilisé vingt ans plus tard) - à des gens également équipés de petits PDP-II et de mini-ordinateurs VAX. Ces aventures au pays du software ont finalement donné naissance à la version Berkeley du système d’exploitation Unix, lequel, sur le plan personnel, s’est soldé par un « succès désastreux » : la demande était si forte que je n’ai jamais pu boucler mon PhD. En revanche, j’ai été recruté par Darpa pour mettre sur Internet la version Berkeley du système Unix, et la corriger pour en faire quelque chose de fiable et capable de faire tourner des applications de recherche de grande envergure également. Tout cela m’a follement amusé et a été très gratifiant.