Mon implication dans le développement des nouvelles technologies s’est toujours accompagnée de préoccupations d’ordre éthique, et ce depuis le premier jour. Cependant, ce n’est qu’à l’automne 1998 que j’ai pris conscience des graves dangers que nous faisait courir le XXIe siècle. Les premiers symptômes de ce malaise profond sont apparus le jour de ma rencontre avec Ray Kurzweil, l’inventeur, au succès bien légitime, de maintes choses extraordinaires, dont le premier appareil permettant aux non-voyants de lire.
Ray et moi nous exprimions tous deux à la conférence « Telecosm » de George Gilder. Nos interventions respectives terminées, j’ai fait sa connaissance par hasard au bar de l’hôtel, où je me trouvais en conversation avec John Searle, un philosophe de Berkeley spécialiste de la conscience. C’est alors que Ray s’est approché, et qu’une conversation s’est engagée autour d’un thème qui, depuis lors, n’a cessé de me hanter.
J’avais raté l’intervention de Ray et la tribune qui avait suivi, dont John et lui étaient les invités. Or les voilà qui reprenaient le débat où ils l’avaient laissé. Ray affirmait que les progrès en matière de technologie allaient connaître une accélération de plus en plus rapide et que nous étions voués à devenir des robots, à fusionner avec nos machines ou quelque chose d’approchant. Soutenant qu’un automate n’est pas doué de conscience, John rejetait, quant à lui, cette idée.
Si ce genre de discours m’était relativement familier, les robots doués de sensation restaient pour moi du domaine de la science-fiction. Or, là, sous mes yeux, un individu qui présentait toutes les garanties de sérieux affirmait avec beaucoup de conviction l’imminence d’une telle perspective. J’étais interloqué. Surtout connaissant la capacité avérée de Ray à non seulement imaginer le futur, mais aussi à l’inventer de manière concrète. Qu’il fût alors devenu possible de refaire le monde en s’appuyant sur des technologies nouvelles comme le génie génétique ou les nanotechnologies [1], cela n’était pas une surprise pour moi. Par contre, inscrire dans un avenir proche un scénario réaliste de robots « intelligents », voilà qui me laissait perplexe.
Ce genre de découvertes capitales perd vite de son piquant. Chaque jour ou presque, un bulletin d’informations nous informe d’une avancée supplémentaire dans un domaine ou un autre de la technologie ou des sciences. Reste qu’en ce cas précis, la prédiction se détachait du lot. Là, dans ce bar d’hôtel, Ray m’a remis un jeu d’épreuves extraites de son livre, The Age of Spiritual Machines, alors sur le point de paraître. Dans cet ouvrage, il traçait les grandes lignes d’une utopie visionnaire : une utopie selon laquelle, en s’unissant à la technologie robotique, l’être humain devenait une créature quasi immortelle. Au fil des pages, mon sentiment de malaise allait croissant : non seulement Ray, à coup sûr, minimisait les dangers d’une telle voie, mais il réduisait également l’importance de ses potentiels effets dévastateurs.
C’est alors que j’ai été bouleversé par un passage exposant en détail un scénario dystopique :

UN NOUVEAU DÉFI POUR LES « LUDDISTES [2] »
« Admettons que les chercheurs en informatique parviennent à développer des machines “intelligentes” capables de surpasser l’être humain en toute chose. Dès lors, l’ensemble du travail serait probablement assuré par des systèmes automatisés tentaculaires à l’organisation rigoureuse, lesquels rendraient superflu tout effort humain. En ce cas, de deux choses l’une : ou bien on laisse ces machines entièrement maîtresses de leurs décisions, libres de toute supervision par l’homme, ou bien c’est l’hypothèse du contrôle humain qui prévaut.
Face à la perspective d’unités laissées entièrement maîtresses d’elles-mêmes, dans la mesure où il est exclu d’en anticiper le comportement, nous nous garderons de toute spéculation sur un dénouement possible. Reste que dès lors, il convient de le souligner, le destin de l’humanité tomberait entre leurs mains. L’argument selon lequel jamais le genre humain n’aura la naïveté de s’en remettre totalement aux machines est recevable. Notre propos, toutefois, n’est pas davantage un scénario où l’homme investirait délibérément des pleins pouvoirs les machines, qu’un autre où celles-ci prendraient le pouvoir d’autorité. De fait, ce que nous redoutons, c’est une dérive rapide du genre humain vers une telle dépendance à l’égard de celles-ci, dont, concrètement, il ne lui resterait plus d’autre choix que d’accepter en bloc leurs décisions. A mesure que la complexité de la société et des problèmes auxquels elle doit faire face iront croissants, et à mesure que les dispositifs deviendront plus “intelligents”, un nombre toujours plus grand de décisions leur seront confiées. La raison en est simple : on obtiendra de meilleurs résultats. On peut même imaginer qu’à terme, les prises de décisions nécessaires à la gestion du système atteindront un degré de complexité tel qu’elles échapperont aux capacités de l’intelligence humaine. Ce jour-là, les machines auront effectivement pris le contrôle. Les éteindre ? Il n’en sera pas question. Etant donné notre degré de dépendance, ce serait un acte suicidaire.
L’option alternative consisterait à asservir les machines au contrôle de l’homme. Si, dans une telle hypothèse, l’individu lambda conserve la maîtrise de certains appareils personnels tels que sa voiture ou son ordinateur, celle des systèmes de grande envergure devient le monopole d’une élite restreinte - comme c’est le cas aujourd’hui, mais à deux détails près. Avec l’évolution des techniques, cette élite exercera sur les masses un contrôle renforcé. Et puisqu’à ce stade la main-d’œuvre humaine ne sera plus nécessaire, les masses elles-mêmes deviendront superflues. Elles ne seront plus qu’un fardeau inutile alourdissant le système. Si l’élite en question est cruelle, il se peut qu’elle décide simplement d’exterminer l’humanité. Si elle est humaine, elle peut recourir à la propagande ou à d’autres techniques psychologiques ou biologiques, pour provoquer une chute du taux de natalité telle que la masse de l’humanité finirait par s’éteindre. L’élite pourrait alors imposer ses vues au reste du monde. Ou encore, serait-elle constituée de démocrates au cœur tendre, elle pourrait fort bien s’investir du rôle du berger menant avec bienveillance le reste de l’humanité. Ses tenants veilleront à ce que les besoins matériels soient satisfaits, à ce qu’une éducation soit assurée à tout enfant dans un climat psychologique sain, à ce que chacun s’occupe avec un passe-temps hygiénique et qu’enfin, quiconque s’estime mécontent subisse un “traitement” destiné à régler son “problème”. Bien entendu, la vie sera tellement vide de sens qu’il conviendra de soumettre les individus à des manipulations biologiques ou psychologiques, soit destinées à éradiquer toute velléité de pouvoir, soit à “sublimer” cette soif de pouvoir en quelque passe-temps inoffensif. Dans une telle société, ces êtres humains manipulés vivront peut-être heureux ; pour autant, la liberté leur sera clairement étrangère. On les aura réduits au rang d’animaux domestiques [3]

L’auteur de ce passage n’est autre que Theodore Kaczynski, alias Unabomber, mais on ne le découvre qu’à la page suivante. Loin de moi l’idée de vanter ses mérites. En dix-sept ans d’une campagne terroriste, ses bombes ont tué trois personnes et en ont blessé une multitude d’autres. L’une d’elles a gravement atteint mon ami David Gelernter, l’un des chercheurs en informatique les plus brillants de notre époque, véritable visionnaire. En outre, comme beaucoup de mes collègues, j’avais le sentiment que je pourrais facilement être sa prochaine cible.
Les actes de Kaczynski sont criminels et, à mes yeux, la marque d’une folie meurtrière. Nous sommes clairement en présence d’un « luddiste ». Pour autant, ce simple constat ne balaie pas son argumentation. Il m’en coûte, mais je dois l’admettre : dans ce passage précis, son raisonnement mérite attention. J’ai ressenti le besoin impérieux de prendre le taureau par les cornes.

La vision dystopique [4] de Kaczynski expose le phénomène des conséquences involontaires, problème bien connu allant de pair avec la création et l’usage de toute technologie. Ce phénomène renvoie directement à la loi de Murphy, en vertu de laquelle « tout ce qui peut dysfonctionner dysfonctionnera [5] » (il s’agit en réalité de la loi de Finagle, assertion qui, par nature, donne d’emblée raison à son auteur). L’usage immodéré des antibiotiques a engendré un problème qui, parmi tous les autres de ce type, est peut-être le plus grave : l’apparition de bactéries « antibio-résistantes », infiniment plus redoutables. Des effets similaires ont été observés lorsque, pour éliminer le moustique de la malaria, on a eu recours au DDT, en conséquence de quoi cet animal est devenu résistant au produit destiné à les détruire. En outre, les parasites liés à cette maladie ont développé des gênes (multi-résistants) [6]. La cause d’un si grand nombre d’imprévus semble claire : les systèmes qui entrent en jeu sont complexes, supposent une interaction entre eux et ont besoin que les nombreuses parties concernées leur renvoient un feed-back. La moindre modification dans un tel système provoque une onde de choc dont les répercussions sont impossibles à prévoir. Cela est d’autant plus vrai que l’homme intervient dans le processus.

J’ai commencé à faire lire à mes amis le passage de Kaczynski cité dans The Age of Spiritual Machines ; je leur tendais le livre de Kurzweil, les laissais prendre connaissance de l’extrait, puis observais leur réaction une fois qu’ils en découvraient l’auteur. Environ à la même époque, j’ai découvert le livre de Hans Moravec, Robot : Mere Machine to Transcendent Mind. Moravec, éminence parmi les éminences dans la recherche en robotique, a participé à la création d’un des plus vastes programmes mondiaux dans ce domaine, à la Carnegie Mellon University. Robot m’a fourni du matériel supplémentaire pour tester mes amis. Celui-ci abondait de façon surprenante dans le sens des thèses de Kaczynski. Ceci par exemple :

A court terme (début des années 2000)
« Une espèce biologique ne survit que très rarement à une rencontre avec une espèce rivale présentant un degré d’évolution supérieur. Il y a dix millions d’années, l’Amérique du Nord et l’Amérique du Sud étaient séparées par un isthme de Panama alors immergé. Comme l’Australie aujourd’hui, l’Amérique du Sud était peuplée de mammifères marsupiaux, en particulier d’équivalents de rats, de cervidés et de tigres, tous équipés d’une poche ventrale. Lorsque l’isthme faisant la jonction entre les deux Amériques s’est soulevé, quelques milliers d’années ont suffi aux espèces placentaires venues du Nord, dotées de métabolismes et de systèmes reproducteurs et nerveux légèrement plus efficaces, pour déplacer et éliminer la quasi-totalité des marsupiaux du Sud. Dans un contexte de libéralisme sans freins, des robots présentant un degré d’évolution supérieur ne manqueraient pas de modifier l’homme, de la même manière que les placentaires d’Amérique du Nord ont modifié les marsupiaux d’Amérique du Sud (et que l’homme lui-même a affecté un grand nombre d’espèces). Les industries de la robotique se livreraient une compétition féroce dans une course à la matière, à l’énergie et à l’espace, relevant au passage leurs tarifs pour s’établir à des niveaux inaccessibles à l’homme. Dès lors incapable de subvenir à ses besoins, l’homme biologique se retrouverait poussé hors de l’existence. Il nous reste sans doute une réserve d’oxygène, dans la mesure où nous ne vivons pas dans un contexte de libéralisme sans freins. Le gouvernement nous contraint à certains comportements collectifs, en priorité par l’impôt. Avec une telle régulation, exercée judicieusement, les populations humaines pourraient amplement bénéficier du travail des robots, et ce pour un bon moment. »

Un exemple classique de dystopie, et encore : Moravec ne fait là que s’échauffer. Plus loin, il explique comment, au XXIe siècle, notre tâche principale consistera à « veiller à s’assurer la coopération indéfectible des industries de la robotique » en votant des lois les astreignant à rester « aimables [7]. En outre, il rappelle à quel point, « une fois modifié en robot superintelligent non-bridé », l’homme peut se révéler un être extrêmement dangereux.

La thèse de Moravec est qu’à terme, les robots nous succéderont : pour lui, l’humanité est clairement vouée à disparaître.
C’était dit : une conversation avec mon ami Danny Hillis s’imposait. Danny Hillis s’est rendu célèbre comme co-fondateur de la Thinking Machines Corporation, qui a fabriqué un superordinateur parallèle extrêmement puissant. Malgré mon titre actuel de chief scientist chez Sun Microsystems, je suis davantage un architecte d’ordinateurs qu’un scientifique au sens strict, et le respect que je voue à Danny pour sa connaissance de l’information et des sciences physiques est sans commune mesure. En outre, Danny est un futurologue respecté, quelqu’un qui voit à long terme ; il y a quatre ans, il a créé la Long Now Foundation, qui travaille à l’heure actuelle sur une horloge construite pour durer dix mille ans. L’objectif est d’attirer l’attention sur la propension de notre société à n’examiner les événements que sur un nombre d’années lamentablement court (voir « Test of Time », Wired 8.03, p.78).
J’ai donc sauté dans un avion pour Los Angeles tout spécialement pour aller dîner avec Danny et sa femme, Pati. Selon une routine désormais très rodée, j’ai débité les idées et les passages que je trouvais si dérangeants. La réponse de Danny - référence claire au scénario de l’homme fusionnant avec la machine imaginé par Kurzweil - a jailli promptement, et m’a plutôt surpris : les changements interviendraient progressivement, s’est-il contenté de dire, et nous allions nous y faire.

Mais en définitive, cela ne m’étonnait pas plus que ça. Dans le livre de Kurzweil, j’avais relevé une citation de Danny qui disait ceci : « J’aime bien mon corps, comme tout le monde, mais si un corps de silicone me permet de vivre jusqu’à 200 ans, je suis partant. » Ni le processus en tant que tel ni les risques qui s’y rattachaient ne semblaient l’inquiéter le moins du monde. Contrairement à moi.
A force de parler de Kurzweil, de Kaczynski et de Moravec et de retourner leurs idées dans ma tête, je me suis souvenu d’un roman que j’avais lu près de vingt ans auparavant, The White Plague [8] de Frank Herbert, dans lequel un chercheur en biologie moléculaire sombre dans la folie suite au meurtre insensé de sa famille. Pour se venger, il fabrique et répand les bacilles d’une peste inconnue et hautement contagieuse qui tue à grande échelle, mais de façon élective (par chance, Kaczynski était mathématicien et pas chercheur en biologie moléculaire). Un autre souvenir m’est également revenu, celui du Borg de « Star Trek » : un essaim de créatures mi-biologiques, mi-robotiques qui se distinguent par une nette propension à détruire. Alors, puisque les catastrophes du type Borg sont un classique en science-fiction, pourquoi ne m’étais-je pas inquiété plus tôt de ce genre de dystopies dans le domaine de la robotique ? Et pour quelle raison les autres ne s’inquiétaient-ils pas davantage de ces scénarios cauchemardesques ?
La réponse à cette interrogation réside sans aucun doute dans notre attitude face à ce qui est nouveau, c’est-à-dire dans notre tendance à la familiarité immédiate et à l’acceptation inconditionnelle des choses. Si les avancées technologiques ne sont plus à nos yeux que des événements de routine ou presque, il va pourtant falloir se résoudre à regarder les choses en face : les technologies les plus incontournables du XXIe siècle - la robotique, le génie génétique et les nanotechnologies - représentent une menace différente des technologies antérieures. Concrètement, les robots, les organismes génétiquement modifiés et les « nanorobots » ont en commun un facteur démultipliant : ils ont la capacité de s’autoreproduire. Une bombe n’explose qu’une fois ; un robot, en revanche, peut proliférer et rapidement échapper à tout contrôle.
Depuis vingt-cinq ans, mon travail porte essentiellement sur les réseaux informatiques, où l’envoi et la réception de messages crée la possibilité d’une reproduction non contrôlée. Si, dans un ordinateur ou un réseau informatique, la duplication peut provoquer des dégâts, la conséquence ultime en sera, dans le pire des cas, une mise hors service de l’appareil, du réseau, ou un blocage de l’accès à ce réseau. Or l’autoreproduction incontrôlée dans le domaine de ces technologies plus récentes nous fait courir un danger beaucoup plus grave : celui de substantielles dégradations du monde physique.
En outre, chacune de ces technologies nous fait miroiter sa promesse secrète, et ce qui nous meut n’est autre que la vision de quasi-immortalité présente dans les rêves de robot de Kurzweil. Le génie génétique permettra bientôt de trouver les traitements adaptés pour soigner, voire éradiquer la plupart des maladies ; enfin, les nanotechnologies et la nanomédecine permettront d’en traiter d’autres encore. Combinées les unes aux autres, elle pourraient allonger notre espérance de vie et en améliorer la qualité de façon significative. Il n’en demeure pas moins que, s’agissant de ces diverses technologies, une séquence de petits paliers - sensés, lorsqu’ils sont pris isolément - débouche sur une accumulation massive de pouvoir et, de ce fait, sur un danger redoutable.
Quelle différence avec le XXe siècle ? Certes, les technologies liées aux armes de destruction massive (WMD) - nucléaires, biologiques et chimiques (NBC) - étaient puissantes, et l’arsenal faisait peser sur nous une menace extrême. Cependant, la fabrication d’engins atomiques supposait, du moins pendant un temps, l’accès à des matériaux rares - et même inaccessibles -, autant qu’à des informations hautement confidentielles. Au surplus, les programmes d’armement biologiques et chimiques exigeaient souvent des activités à grande échelle.
Les technologies du XXIe siècle - génétique, nanotechnologies et robotique (GNR) - sont porteuses d’une puissance telle qu’elles ont la capacité d’engendrer des classes entières d’accidents et d’abus totalement inédits. Circonstance aggravante, pour la première fois, ces accidents et ces abus sont dans une large mesure à la porté d’individus isolés ou de groupes restreints. En effet, ces technologies ne supposent ni l’accès à des installations de grande envergure, ni à des matériaux rares ; la seule condition pour y avoir recours, c’est d’être en possession du savoir requis.
En conséquence, la menace sous laquelle nous nous trouvons aujourd’hui ne se limite plus au seul problème des armes de destruction massive. Vient s’y ajouter celle de l’acquisition d’une connaissance qui, à elle seule, permet cette destruction à très grande échelle. En outre, le potentiel d’anéantissement se trouve démultiplié par l’autoreproduction.
Il ne me semble pas déraisonnable d’affirmer qu’ayant touché aux sommets du mal absolu, nous nous apprêtons à en repousser encore les limites. Surprenant et redoutable, ce mal s’étend bien au-delà d’un arsenal dévastateur qui resterait l’apanage des Etats-nations, pour tomber aujourd’hui entre les mains d’extrémistes isolés.

Rien, dans la manière dont je me suis retrouvé impliqué dans le monde des ordinateurs, ne me laissait présager que de tels enjeux se présenteraient un jour devant moi.
Mon moteur a toujours été un besoin aigu de poser des questions et de trouver des réponses. A l’âge de trois ans, comme je lisais déjà, mon père m’a inscrit à l’école élémentaire, où, assis sur les genoux du directeur, je lui lisais des histoires. J’ai commencé l’école en avance, j’ai sauté une classe, pour finalement m’évader dans les livres. J’avais une soif d’apprendre incroyable. Je posais des tas de questions, jetant souvent le trouble dans l’esprit des adultes.
Adolescent, je m’intéressais de près à la science et aux technologies. J’avais dans l’idée de devenir radioamateur, mais je ne disposais pas de l’argent suffisant pour me payer le matériel. Le poste du radioamateur était l’Internet d’alors : très compulsif, et plutôt solitaire. Outre les considérations financières, ma mère a stoppé net : pas question que je me lance là-dedans - j’étais déjà assez asocial comme ça.
Les amis proches ne se bousculaient pas au portillon, mais je bouillonnais d’idées. Dès le lycée, j’ai découvert les grands auteurs de science-fiction. Je me souviens en particulier de Have Spacesuit Will Travel de Heinlein, et de I, Robot d’Asimov, avec ses « trois règles de la robotique ». Les descriptions de voyages dans l’espace m’enchantaient. Je rêvais d’un télescope pour observer les étoiles, mais n’ayant pas assez d’argent pour m’en acheter un ou me le fabriquer moi-même, j’épluchais, en guise de consolation, les livres pratiques expliquant comment s’y prendre. Je montais en flèche, mais en pensée.
Le jeudi soir, c’était bowling. Mes parents allaient faire leurs parties et nous, les gosses, restions tout seuls à la maison. C’était le jour de « Star Trek », de Gene Roddenberry, dont c’étaient à l’époque les épisodes originaux. Cette série télévisée m’a profondément marqué. J’en suis arrivé à accepter son idée, selon laquelle l’homme avait un avenir dans l’espace, à l’occidentale, avec ses héros invincibles et ses aventures extraordinaires. La vision de Roddenberry des siècles à venir reposait sur des valeurs morales solides, exprimées dans des codes de conduite comme la « première directive » : ne pas interférer dans le développement de civilisations moins avancées sur le plan technologique. Cela exerçait sur moi une fascination sans borne ; aux commandes de ce futur, on trouvait non pas des robots, mais des êtres humains, avec une éthique. Et j’ai partiellement fait mien le rêve de Roddenberry.
Au lycée, mon niveau en mathématiques était excellent, et quand je suis parti à l’université du Michigan pour y préparer ma licence d’ingénieur, je me suis tout de suite inscrit en mathématiques supérieures. Résoudre des problèmes mathématiques était un joli défi, mais avec les ordinateurs, j’ai découvert quelque chose de nettement plus intéressant : une machine dans laquelle on pouvait introduire un programme qui tentait de résoudre le problème, suite à quoi la machine vérifiait rapidement si cette solution était bonne. L’ordinateur avait une idée claire de ce qui était exact ou inexact, de ce qui était vrai ou faux. Mes idées étaient-elles justes ? La machine pourrait me le dire. Tout cela était très séduisant.
Par chance, j’ai réussi à me trouver un travail dans la programmation des premiers superordinateurs, et j’ai découvert les extraordinaires capacités des unités puissantes qui permettent, grâce à la simulation numérique, d’élaborer des concepts de haute technologie. Arrivé à l’UC Berkeley, au milieu des années 70, pour y suivre mon troisième cycle, j’ai commencé à aller au cœur des machines pour inventer des mondes nouveaux, me couchant tard, les jours où je me couchais. A résoudre des problèmes. A rédiger les codes qui désespéraient d’être écrits.
Dans The Agony and the Ecstasy, sa biographie romancée de Michel-Ange, Irving Stone décrit avec un réalisme saisissant comment le sculpteur, « perçant le secret » de la pierre, laissait ses visions guider son ciseau pour libérer les statues de leur gangue minérale [9]. De la même manière, dans mes moments d’euphorie les plus intenses, c’est comme si le logiciel surgissait des profondeurs de l’ordinateur. Une fois finalisé dans mon esprit, j’avais le sentiment qu’il siégeait dans la machine, n’attendant plus que l’instant de sa libération. Dans cette optique, ne pas fermer l’œil de la nuit me semblait un prix à payer bien dérisoire pour lui donner sa liberté, pour que mes idées prennent forme.
Au bout de quelques années à Berkeley, j’ai commencé à envoyer certains des logiciels que j’avais conçus - un système Pascal d’instructions, des utilitaires Unix, ainsi qu’un éditeur de texte nommé vi (lequel, à ma grande surprise, est toujours utilisé vingt ans plus tard) - à des gens également équipés de petits PDP-II et de mini-ordinateurs VAX. Ces aventures au pays du software ont finalement donné naissance à la version Berkeley du système d’exploitation Unix, lequel, sur le plan personnel, s’est soldé par un « succès désastreux » : la demande était si forte que je n’ai jamais pu boucler mon PhD. En revanche, j’ai été recruté par Darpa pour mettre sur Internet la version Berkeley du système Unix, et la corriger pour en faire quelque chose de fiable et capable de faire tourner des applications de recherche de grande envergure également. Tout cela m’a follement amusé et a été très gratifiant.

Et, franchement, je ne voyais pas l’ombre d’un robot nulle part. Ni ici ni à proximité.
Reste qu’au début des années 80, j’étais submergé. Les versions Unix connaissaient un grand succès, et bientôt, ce qui était au départ un petit projet personnel a trouvé son financement et s’est doté d’effectifs. Cependant, comme toujours à Berkeley, le problème était moins l’argent que les mètres carrés. Compte tenu de l’envergure du projet et des effectifs requis, l’espace manquait. C’est pourquoi lorsque sont apparus les autres membres fondateurs de Sun Microsystems, j’ai sauté sur l’occasion d’unir nos forces. Chez Sun, les journées interminables ont été le quotidien jusqu’aux premières générations de stations de travail et de PC, et j’ai eu le plaisir de participer à l’élaboration de technologies de pointe dans le domaine des microprocesseurs et des technologies Internet telles que Java et Jini.
Tout cela, il me semble, le laisse clairement apparaître : je ne suis pas un « luddiste ». Bien au contraire. J’ai toujours tenu la quête de vérité scientifique dans la plus haute estime, et toujours été intimement convaincu de la capacité de la grande ingénierie à engendrer le progrès matériel. La révolution industrielle a amélioré notre vie à tous de façon extraordinaire au cours des deux derniers siècles, et, concernant ma carrière, mon vœu a toujours été de produire des solutions utiles à des problèmes réels, en les gérant un par un.
Je n’ai pas été déçu. Mon travail a eu des répercussions proprement inespérées, et l’utilisation à grande échelle qui en a été faite a, de surcroît, dépassé mes rêves les plus fous. Voilà maintenant vingt ans que je me creuse la tête pour fabriquer des ordinateurs suffisamment fiables à mes yeux (on est encore loin du compte), et pour tenter d’en accroître le confort d’utilisation (un objectif encore plus loin d’être réalisé à ce jour). Reste que, si certains progrès ont été accomplis, les problèmes qui subsistent semblent plus décourageants encore.
Toutefois, si j’avais conscience des dilemmes moraux liés aux conséquences de certaines technologies dans des domaines comme la recherche en armements, loin de moi l’idée qu’ils pourraient un jour surgir dans mon propre secteur. Ou, en tout cas, pas si prématurément.

Happé dans le vortex d’une transformation, sans doute est-il toujours difficile d’entrevoir le réel impact des choses. Que ce soit dans le domaine des sciences ou celui des technologies, l’incapacité à saisir les conséquences de leurs inventions semble un défaut largement répandu parmi les chercheurs, tout à l’ivresse de la découverte et de l’innovation. Inhérent à la quête scientifique, le désir naturel de savoir brûle en nous depuis si longtemps que nous négligeons de marquer une pause pour prendre acte de ceci : le progrès à l’origine de technologies toujours plus innovantes et toujours plus puissantes peut nous échapper et déclencher un processus autonome.
J’ai réalisé depuis bien longtemps que ce n’est ni au travail des chercheurs en informatique, ni à celui des concepteurs d’ordinateurs ou des ingénieurs que l’on doit les avancées significatives dans le domaine des technologies de l’information, mais à celui des chercheurs en physique. Au début des années 80, les physiciens Stephen Wolfram et Brosl Hasslacher m’ont initié à la théorie du chaos et aux systèmes non linéaires. Au cours des années 90, des conversations avec Danny Hillis, le biologiste Stuart Kauffman, le Prix Nobel de physique Murray Gell-Mann et d’autres m’ont permis de découvrir des systèmes complexes. Plus récemment, Hasslacher et Mark Reed, ingénieur et physicien des puces, m’ont éclairé sur les possibilités extraordinaires de l’électronique moléculaire.
Dans le cadre de mon propre travail, étant le concepteur associé de trois architectures de microprocesseurs - Sparc, PicoJava et MAJC - et, en outre, de plusieurs de leurs implémentations, je bénéficie d’une place de choix pour vérifier, personnellement et sans relâche, le bien-fondé de la loi de Moore. Des décennies durant, cette loi nous a permis d’estimer avec précision le taux exponentiel de perfectionnement des technologies en matière de semi-conducteurs. Jusqu’à l’année dernière, j’avais la conviction que vers 2010 environ, certaines limites finiraient par être physiquement atteintes et que, par le fait, ce taux de croissance chuterait. A mes yeux, aucun signal n’indiquait clairement qu’une technologie nouvelle apparaîtrait suffisamment tôt pour maintenir une cadence soutenue.
Mais du fait des récents progrès, saisissants et rapides, dans le domaine de l’électronique moléculaire - où des atomes et des molécules isolés remplacent les transistors lithographiés -, ainsi que dans le secteur des technologies à l’échelle « nano » qui s’y rattachent, tout indique que nous devrions maintenir ou accroître le taux de croissance annoncé par la loi de Moore pendant encore trente ans. C’est ainsi qu’à l’horizon 2030, nous devrions être en mesure de produire, en quantité, des unités un million de fois plus puissantes que les ordinateurs personnels d’aujourd’hui. En clair, suffisamment puissantes pour réaliser les rêves de Kurzweil et de Moravec.
La combinaison de cette formidable puissance informatique, d’une part aux progrès réalisés en matière de manipulation dans le domaine des sciences physiques, d’autre part aux récentes découvertes cruciales dans celui de la génétique, aura pour conséquence de libérer une déferlante dont le pouvoir de transformation est phénoménal. Ces cumuls permettent d’envisager une complète redistribution des cartes, pour le meilleur ou pour le pire. Les processus de duplication et de développement, jusqu’alors circonscrits au monde physique, sont aujourd’hui à la portée de l’homme.
En créant des logiciels et des microprocesseurs, je n’ai jamais eu le sentiment de développer une seule machine « intelligente ». Compte tenu de la grande fragilité du software comme du hardware et des capacités de « réflexion » clairement nulles que montre une machine, j’ai toujours renvoyé cela à un futur très éloigné - même en temps que simple possibilité.
Mais aujourd’hui, dans la perspective d’une puissance informatique rattrapant celle des capacités humaines à l’horizon 2030, je sens poindre une idée nouvelle : celle que, peut-être, je travaille à l’élaboration d’outils capables de produire une technologie qui pourrait se substituer à notre espèce. Sur ce point, quel est mon sentiment ? Celui d’un profond malaise. M’étant battu tout au long de ma carrière pour fabriquer des logiciels fiables, l’éventualité d’un futur nettement moins rose que certains voudraient l’imaginer m’apparaît aujourd’hui plus que probable. Si j’en crois mon expérience personnelle, nous avons tendance à surestimer nos capacités de concepteurs.
Etant donné la puissance redoutable de ces nouvelles technologies, ne devrions-nous pas nous interroger sur les meilleurs moyens de coexister avec elles ? Et si, à terme, leur développement peut ou doit sonner le glas de notre espèce, ne devrions-nous pas avancer avec la plus grande prudence ?

Le rêve de la robotique est, premièrement, de parvenir à ce que des machines « intelligentes » fassent le travail à notre place, de sorte que, renouant avec l’Eden perdu, nous puissions vivre une vie d’oisiveté. Reste que dans sa version à lui, Darwin Among the Machines, George Dyson nous met en garde : « Dans le jeu de la vie et de l’évolution, trois joueurs sont assis à la table : l’être humain, la nature et les machines. Je me range clairement du côté de la nature. Mais la nature, j’en ai peur, est du côté des machines. » On l’a vu, Moravec le rejoint sur ce point, puisqu’il se déclare convaincu de nos minces chances de survie en cas de rencontre avec l’espèce supérieure des robots.
A quel horizon un robot « intelligent » de ce type pourrait-il voir le jour ? Le bond en avant prochain des capacités informatiques laisse à penser que ce pourrait être en 2030. Or, une fois un premier robot intelligent mis au point, il ne reste à franchir qu’un petit pas pour en créer une espèce toute entière, autrement dit pour créer un robot intelligent capable de se dupliquer, de fabriquer des copies élaborées de lui-même.
Un deuxième rêve de la robotique veut que peu à peu, notre technologie robotique va se substituer à nous, et que, grâce au transfert de la conscience, nous accéderons à la quasi-immortalité. C’est précisément à ce processus que, selon Danny Hillis, nous allons nous habituer, et c’est celui-là également qu’expose en détail et avec distinction Ray Kurzweil dans The Age of Spiritual Machines (on commence à le voir avec l’implantation dans le corps humain de dispositifs informatiques, comme en atteste la couverture de Wired 8.02.
Mais si nous devenons des extensions de nos technologies, quelles sont nos chances de rester nous-mêmes et, même, de rester des êtres humains ? Il me semble plus qu’évident qu’une existence de robot serait sans commune mesure avec une existence d’être humain au sens auquel nous l’entendons, quel qu’il soit, qu’en aucun cas les robots ne seraient nos enfants, et que, sur cette voie-là, notre humanité pourrait bien se perdre.
Le génie génétique promet de révolutionner l’agriculture en combinant l’accroissement des récoltes à la réduction de l’usage des pesticides ; de créer des dizaines de milliers d’espèces inédites de bactéries, plantes, virus, et animaux ; de remplacer, ou du moins de compléter, la reproduction par le clonage ; de produire des remèdes à d’innombrables maladies ; d’augmenter notre espérance de vie et notre qualité de vie ; et beaucoup, beaucoup d’autres choses encore. Aujourd’hui, nous en avons parfaitement conscience : ces profonds changements dans le domaine des sciences de la biologie vont intervenir incessamment, et vont mettre en question toutes les notions que nous avons de la vie.
Des technologies comme le clonage humain, en particulier, nous ont sensibilisés aux questions fondamentales d’éthique et de morale qui se posent. Mettre le génie génétique au service d’une restructuration du genre humain en plusieurs espèces distinctes et inégales, par exemple, mettrait en péril la notion d’égalité, elle-même composante essentielle de notre démocratie.
Compte tenu de la puissance formidable que recèle le génie génétique, rien d’étonnant à ce que des questions fondamentales de sécurité en limitent l’usage. Mon ami[e] Amory Lovins a récemment signé, en collaboration avec Hunter Lovins, un éditorial qui fournit un point de vue écologique sur un certain nombre de ces dangers. Au nombre de leurs préoccupations figure celle « que la nouvelle botanique aligne le développement des plantes sur leur prospérité, non plus au regard de l’évolution, mais du point de vue de la rentabilité économique » (voir A Tale of Two Botanies, p.247). Amory Lovins travaille depuis longtemps sur le rapport énergie/ressources en étudiant les systèmes créés par l’homme selon la méthode dite whole-system view, une approche globale qui permet souvent de trouver des solutions simples et intelligentes à des problèmes qui, examinés sous un angle différent, peuvent apparaître délicats. En l’occurrence, cette méthode se révèle également concluante.
Quelque temps près avoir lu l’éditorial des Lovins, j’ai relevé, dans l’édition du 19 novembre 1999 du New York Times, un billet traitant des organismes génétiquement modifiés dans l’agriculture, signé Gregg Easterbrook sous le titre « Nourriture du futur : Un jour, de la vitamine A intégrée dans votre grain de riz. Sauf en cas de victoire des luddistes ».
Amory et Hunter Lovins seraient-ils des « luddistes » ? A l’évidence, non. Nul ne doute, j’imagine, des possibles bienfaits du golden rice, avec sa vitamine A intégrée, dans la mesure où on le développe dans le respect des potentiels dangers découlant du franchissement des barrières entre espèces.
Comme en atteste l’éditorial des Lovins, la vigilance face aux dangers inhérents au génie génétique commence à se renforcer. Dans une très large mesure, la population a connaissance des aliments à base d’organismes génétiquement modifiés et éprouve un malaise devant ceux-ci ; elle semble opposée à l’idée de leur circulation sans étiquetage adéquat.
Mais le génie génétique a déjà parcouru beaucoup de chemin. Comme le soulignent les Lovins, l’USDA a déjà avalisé la mise en vente illimitée d’une cinquantaine de produits agricoles génétiquement modifiés. C’est ainsi qu’aujourd’hui, plus de la moitié du soja ainsi qu’un tiers du maïs mondial contiennent des gènes transférés, issus d’un croisement avec d’autres formes de vie.
Si, dans ce contexte, les enjeux de taille ne manquent pas, ma principale crainte dans le domaine du génie génétique est plus ciblée : celle que cette technologie puisse donner le pouvoir de déclencher une « peste blanche » - militairement, accidentellement ou par un acte terroriste délibéré.
Les maintes merveilles des « nanotechnologies » ont, à l’origine, été imaginées par le prix Nobel de physique Richard Feynman, dans un discours qu’il a tenu en 1959, publié par la suite sous le titre « There’s plenty of room at the bottom ». Au milieu des années 80, un livre m’a fait forte impression : il s’agit d’Engines of Creation, d’Eric Drexler. Dans cet ouvrage, l’auteur décrit en termes vibrants comment la manipulation de la matière au niveau de l’atome pourrait permettre de bâtir un futur utopique de profusion de biens matériels, dans lequel chaque chose ou presque pourrait être produite à un coût dérisoire, et où, grâce aux nanotechnologies et aux intelligences artificielles, quasiment n’importe quelle maladie ou problème physique pourrait être résolu.
Dans la foulée, un livre, cette fois cosigné par Drexler sous le titre Unbounding the Future : The Nanotechnology Revolution, imaginait certains des changements susceptibles d’intervenir dans un monde doté d’« assembleurs » à l’échelle moléculaire. Grâce à ces micromonteurs, et pour des prix incroyablement bas, il devenait possible de produire de l’énergie solaire, de renforcer les capacités du système immunitaire pour soigner les maladies, du cancer au simple rhume, de nettoyer l’environnement de fond en comble, ou de mettre sur le marché des superordinateurs de poche à des prix dérisoires. Concrètement, ces assembleurs avaient la capacité de produire en série n’importe quel produit pour un prix n’excédant pas celui du bois, de rendre les voyages dans l’espace plus abordables que les croisières transocéaniques ne le sont aujourd’hui, ou encore de rétablir des espèces disparues.
Je me souviens de l’impression favorable que la lecture d’Engines of Creation m’a laissée vis-à-vis des nanotechnologies. En refermant ce livre, l’homme de technologie que je suis a été gagné par un sentiment de paix, en ce sens qu’elles laissaient augurer d’un progrès phénoménal. Ce progrès était non seulement possible, mais peut-être même inéluctable. Si les nanotechnologies étaient notre futur, alors trouver, là, tout de suite, une solution à la multitude de problèmes qui se posaient à moi ne revêtait plus le même caractère d’urgence. J’en viendrais au futur utopique de Drexler en temps et en heure : tant qu’à faire, autant profiter un peu de la vie, ici et maintenant. Compte tenu de sa vision, travailler sans relâche de jour comme de nuit n’avait plus guère de sens.
La vision de Drexler a également été pour moi une source de franches rigolades. Je me suis surpris plus d’une fois à vanter à ceux qui n’en avaient jamais entendu parler les vertus extraordinaires des nanotechnologies. Après les avoir émoustillés avec les descriptions de Drexler, je leur assignais une petite mission de mon cru : « En recourant aux méthodes des nanotechnologies, produisez un vampire. Pour marquer des points supplémentaires, créez l’antidote. »
Les merveilles en question portaient en elles de réels dangers, et ces dangers, j’en avais une conscience aiguë. Comme je l’ai affirmé en 1989 lors d’une conférence [10], « nous ne pouvons nous borner à notre discipline sans prendre en considération ces questions éthiques ».

Mais les conversations que j’ai eues par la suite avec des physiciens m’en ont convaincu : selon toute vraisemblance, les nanotechnologies resteraient un rêve - ou, en tout cas, elles ne risquaient pas d’être opérationnelles de sitôt. Peu de temps après, je suis parti m’installer dans le Colorado, où j’avais monté une équipe de conception de hautes technologies, avant que mon intérêt ne se porte sur des logiciels destinés à l’Internet, prioritairement sur des idées qui allaient devenir le langage Java et le protocole Jini.
Et puis, l’été dernier, Brosl Hasslacher me l’a annoncé : l’électronique moléculaire à l’échelle « nano » était devenue réalité. Cette fois-ci, on pouvait vraiment parler de coup de théâtre - en tout cas, pour moi, mais pour beaucoup d’autres également, je crois -, et cette information a radicalement fait basculer mon point de vue au sujet des nanotechnologies. Elle m’a renvoyé à Engines of Creation. Me replongeant dans le travail de Drexler plus dix ans après, j’ai été consterné du peu de cas que j’avais fait d’une très longue section du livre intitulée « Espérances et périls », où figurait notamment un débat autour du thème des nanotechnologies comme potentiels « engins de destruction ».
De fait, en relisant aujourd’hui ces mises en garde, je suis frappé de l’apparente naïveté de Drexler dans certaines de ses propositions préventives ; j’estime aujourd’hui les risques infiniment plus graves que lui-même à l’époque dans cet ouvrage (Drexler, ayant anticipé et exposé maints problèmes techniques et politiques liés aux nanotechnologies, a lancé le Foresight Institute à la fin des années 80, pour aider la société à se préparer aux technologies de pointe - en particulier, les nanotechnologies).
Selon toutes probabilités, la découverte capitale devant mener aux assembleurs interviendra dans les vingt prochaines années. L’électronique moléculaire, domaine le plus récent des nanotechnologies, où des molécules isolées constituent des éléments du circuit, devrait rapidement progresser et générer de colossaux bénéfices au cours de la décennie à venir, déclenchant ainsi un investissement massif et croissant dans toutes les nanotechnologies.
Hélas, comme pour la technologie du nucléaire, l’usage des nanotechnologies à des fins de destruction est significativement plus aisé que son usage à des fins constructives. Celles-ci ont des applications militaires et terroristes très claires. Au surplus, il n’est pas nécessaire d’être animé de pulsions suicidaires pour libérer un « nanodispositif » de destruction massive : sa vocation peut être la destruction sélective, avec pour seule cible, par exemple, une zone géographique précise ou un groupe d’individus génétiquement distincts.
L’une des conséquences immédiates du commerce faustien donnant accès à l’immense pouvoir que confèrent les nanotechnologies, c’est la menace redoutable qu’elles font peser sur nous : celle d’une possible destruction de la biosphère, indispensable à toute vie.

Drexler l’expose dans les termes suivants :

« Des “plantes” à “feuilles” guère plus efficaces que nos capteurs solaires actuels pourraient vaincre les plantes réelles et envahir la biosphère d’un feuillage noncomestible. Des “bactéries” omnivores résistantes pourraient vaincre les vraies bactéries, se disséminer dans l’air comme du pollen, se reproduire rapidement, et, en l’espace de quelques jours, réduire à néant la biosphère. Des “réplicateurs” dangereux pourraient aisément s’avérer trop résistants, trop petits et trop prompts à se reproduire pour être stoppés - en tout cas, si nous ne prenons pas les devants. Nous avons déjà bien du mal à maîtriser les virus et les drosophiles. Cette menace, les experts en nanotechnologies l’ont surnommée “gray goo problem”. Si rien n’indique que des nuées de réplicateurs incontrôlés formeraient automatiquement une masse grise [“grey”] et gluante [“goo”], cette appellation souligne que des réplicateurs doués d’une telle puissance dévastatrice s’avéreraient, je le crois, moins engageants qu’une simple espèce de mauvaise herbe. Certes, ils peuvent se révéler supérieurs du point de vue de leur degré d’évolution, mais cela ne suffit pas à en faire des utiles. Le “gray goo problem” laisse clairement apparaître une chose : s’agissant des assembleurs et de leur reproduction, nous ne pouvons pas nous permettre certains accidents. »

Finir englués dans une masse grise et visqueuse serait assurément une fin déprimante à notre aventure sur la Terre - de loin pire que le simple feu ou la glace. En outre, elle pourrait survenir à la suite d’un simple, houps !, incident de laboratoire [11].

C’est avant tout le pouvoir destructeur de l’autoreproduction dans le domaine de la génétique, des nanotechnologies et de la robotique (GNR) qui devrait nous inciter à marquer une pause. L’autoreproduction est le modus operandi du génie génétique, lequel utilise la machinerie de la cellule pour dupliquer ses propres structures, et constitue le risque de « gray goo » numéro un sous-jacent aux nanotechnologies. Les scénarios, dans la veine du Borg, de robots pris de folie se reproduisant ou mutant pour se soustraire aux contraintes éthiques imposées par leur concepteur sont aujourd’hui des classiques du livre et du film de science-fiction. Il n’est d’ailleurs pas exclu qu’en définitive, le phénomène d’autoreproduction se révèle plus fondamental que nous ne le pensions, et que, de ce fait, la maîtrise en soit plus difficile, voire impossible. Un article récent de Stuart Kauffman publié dans Nature, intitulé « Autoreproduction : même les peptides s’y mettent », se penche sur une découverte établissant qu’un polypeptide de 32 aminoacides a la capacité d’« autocatalyser sa propre synthèse ». A ce jour, même si on évalue mal la portée exacte d’une telle capacité, Kauffman observe que cela pourrait ouvrir « une voie de systèmes moléculaires autoreproductifs sur une base significativement plus étendue que ne l’établissent les paires de base de Watson-Crick [12] ».
En vérité, voilà des années que nous sommes alertés des dangers inhérents à une vulgarisation des GNR, un savoir qui, à lui seul, rend possible la destruction massive. Mais ces avertissements ont été peu relayés, et les débats publics pas à la hauteur. Il n’y aucun profit à escompter d’une sensibilisation du public.
Les technologies nucléaires, biologiques et chimiques (NBC) utilisées dans les armes de destruction massive du XXe siècle, qui étaient et restent à vocation prioritairement militaire, sont développées dans les laboratoires d’Etat. Contraste violent, les technologies GNR du XXIe siècle se distinguent par des usages clairement commerciaux et sont quasi exclusivement développées par des entreprises du secteur privé. A l’ère de l’affairisme triomphant, la technologie - flanquée de la science, dans le rôle de la servante - est en train de produire toute une gamme d’inventions pour ainsi dire magiques, sources de bénéfices faramineux, sans commune mesure avec ce que nous avons connu jusqu’ici. Nous caressons avec agressivité les rêves de ces nouvelles technologies au sein d’un système désormais indiscuté, aux motivations financières et pressions concurrentielles multiples : celui d’un capitalisme planétaire.

« C’est la première fois dans l’histoire de notre planète qu’une espèce, quelle qu’en soit la nature, devient un péril pour elle-même - et pour un très grand nombre d’autres - à travers ses propres actes délibérés. Cela pourrait bien être une progression classique, inhérente à de nombreux mondes : une planète, tout juste formée, tourne placidement autour de son étoile ; la vie apparaît doucement ; une procession kaléidoscopique de créatures évolue ; l’intelligence émerge, accroissant de manière significative la capacité de survie - en tout cas, jusqu’à un certain point ; et puis, la technologie est inventée. L’idée se fait jour qu’il existe certaines choses telles que les lois de la nature, qu’il est possible de vérifier ces lois par l’expérimentation, et que l’intelligence des ces lois permet aussi bien de créer la vie que de la supprimer, à des échelles sans précédent dans un cas comme dans l’autre. La science, reconnaissent-ils, confère des pouvoirs immenses. En un éclair, ils inventent des machines capables de changer la face du monde. Certaines civilisations voient plus loin, déterminent ce qu’il est bon de faire et ne pas faire, et traversent victorieusement le temps des périls. D’autres, moins chanceuses ou moins prudentes, périssent. »

Ces lignes, nous les devons à Carl Sagan, décrivant en 1994 dans Pale Blue Dot sa vision du futur de l’espèce humaine dans l’espace. Ce n’est qu’aujourd’hui que je réalise combien ses vues étaient pénétrantes, et combien sa voix me manque et continuera de me manquer cruellement. De toutes ses contributions, servies par une éloquence digne d’éloges, le bon sens n’était pas la moindre ; une qualité qui, au même titre que l’humilité, semble faire défaut à maints éminents promoteurs des technologies du XXIe siècle.
Enfant, je me souviens que ma grand-mère se déclarait farouchement opposée au recours systématique aux antibiotiques. Infirmière dès avant la première guerre mondiale, elle se distinguait par une attitude pleine de bon sens qui lui faisait dire que, sauf absolue nécessité, les antibiotiques étaient mauvais pour la santé.
Non pas qu’elle fût opposée au progrès. En presque soixante-dix ans passés au chevet des malades, elle a été témoin de maintes avancées ; mon grand-père, diabétique, a largement profité de l’amélioration des traitements qui sont apparus de son vivant. Mais, j’en suis sûr, à l’image d’un grand nombre d’individus pondérés, elle verrait sans doute aujourd’hui une preuve d’arrogance rare dans nos tentatives de concevoir une « espèce de substitution » robotique, quand, à l’évidence, nous avons déjà beaucoup de mal à faire fonctionner des choses relativement simples, et tant de difficultés à nous gérer nous-mêmes - quand ce n’est pas à nous comprendre.
Je réalise aujourd’hui qu’elle avait conscience de l’ordre du vivant, et de la nécessité de s’y conformer en le respectant. Allant de pair avec ce respect, vient une nécessaire humilité, humilité dont, avec notre présomption de début de XXIe siècle, nous manquons pour notre plus grand péril. Ancré dans un tel respect, le point de vue du bon sens voit souvent juste, et cela avant d’être scientifiquement établi. L’évidente fragilité et les insuffisances des systèmes créés par la main de l’homme devraient nous inciter à marquer une pause ; la fragilité des systèmes sur lesquels j’ai personnellement travaillé me rappelle, effectivement, ce devoir d’humilité.
Nous aurions dû tirer un enseignement de la fabrication de la première bombe atomique et la course aux armements qui en a découlé. Nous ne nous sommes guère distingués à l’époque, et les parallèles avec la situation actuelle sont troublants.
L’effort qui devait déboucher sur la fabrication de la première bombe atomique fut dirigé par un brillant physicien nommé Julius Robert Oppenheimer. Bien que naturellement peu enclin à la politique, cet homme a toutefois pris une conscience aiguë de ce qu’il tenait pour une grave menace : celle que faisait peser sur la civilisation occidentale le Troisième Reich. Un péril d’autant plus légitime qu’Hitler était peut-être en mesure de se procurer un arsenal nucléaire. Galvanisé par cette préoccupation, fort de son esprit brillant, de sa passion pour la physique et de son charisme de leader, Oppenheimer s’est transporté à Los Alamos et a conduit un effort rapide et concluant à la tête d’une incroyable brochette de grands esprits, effort qui, en peu de temps, a permis d’inventer la bombe.
Ce qui est frappant, c’est que cet effort se soit poursuivi aussi naturellement dès lors que l’impulsion d’origine n’y était plus. Dans une réunion qui s’est tenue peu de temps après la victoire des Alliés en Europe, et à laquelle participaient certains physiciens d’avis qu’il faudrait peut-être stopper cet effort, Oppenheimer s’est déclaré au contraire en faveur de sa poursuite. La raison invoquée en était quelque peu curieuse : ce n’était pas la peur des pertes terribles qu’engendrerait la conquête du Japon, mais le fait que cela donnerait aux Nations unies, alors sur le point d’être créées, une longueur d’avance s’agissant de l’armement nucléaire. Plus vraisemblablement, la poursuite du projet s’explique par l’accélération dynamique du processus : le premier test atomique, Trinity, était à portée de la main.
On sait que, dans la préparation de ce premier test, les physiciens ont fait l’impasse sur un grand nombre de dangers possibles. Leur crainte initiale, sur la base d’un calcul d’Edward Teller, était qu’une explosion atomique ne mette à feu l’atmosphère. Une estimation revue et corrigée a ensuite ramené cette menace d’anéantissement de la planète à une probabilité de un trois millionième. (Teller prétend qu’ultérieurement, il est parvenu à totalement écarter le risque d’un embrasement de l’atmosphère.) Reste qu’Oppenheimer s’inquiétait suffisamment de l’impact de Trinity pour mettre au point une possible évacuation de la partie sud-est du Nouveau-Mexique. Et, bien sûr, existait la menace d’une course aux armements nucléaires.
Moins d’un mois après ce premier test concluant, deux bombes atomiques ont détruit Hiroshima et Nagasaki. Certains scientifiques avaient suggéré, plutôt que d’effectivement larguer la bombe sur des villes japonaises, de se borner à en faire la démonstration - mais en vain. Ils faisaient prévaloir qu’une fois la guerre achevée, les chances de contrôle des armements s’en trouveraient accrues. Le souvenir de la tragédie de Pearl Harbour encore vivace dans les mémoires américaines, il eût été très difficile au président Truman d’ordonner une simple démonstration de la puissance des armes, plutôt que d’y recourir effectivement comme il l’a fait ; le désir de rapidement en finir avec la guerre et d’épargner les vies qu’une invasion du Japon aurait fatalement prises était trop brûlant. Il n’en demeure pas moins que le facteur prépondérant était probablement fort simple : comme l’a ultérieurement déclaré le physicien Freeman Dyson, « la raison pour laquelle on l’a lâchée est toute simple : personne n’a été assez courageux, ou assez avisé, pour dire non ».
Il est important de réaliser l’état de choc dans lequel se sont trouvés les physiciens au lendemain du bombardement d’Hiroshima, le 6 août 1945. Ils font état de vagues d’émotions successives : tout d’abord, un sentiment d’accomplissement devant le bon fonctionnement de la bombe ; ensuite un sentiment d’horreur devant le nombre de tués ; et enfin, le sentiment aigu que plus jamais, en aucun cas, une autre bombe ne devrait être lâchée. Il n’en demeure pas moins qu’un second largage a eu lieu, sur Nagasaki, et cela trois jours seulement après Hiroshima.
En novembre 1945, trois mois après les bombardements nucléaires, Oppenheimer, résolument aligné sur les positions du corps scientifique, s’exprimait en ces termes : « Nul ne peut se prétendre scientifique s’il n’est convaincu du caractère intrinsèquement bénéfique de la connaissance du monde pour l’humanité, ni du pouvoir qu’elle confère. Vous ne vous servez de ce pouvoir que pour divulguer cette connaissance, et vous devez être prêt à en assumer pleinement les conséquences. »
Par la suite, aux côtés d’autres, Oppenheimer a travaillé sur le rapport Acheson-Lilienthal, lequel, pour reprendre les termes de Richard Rhodes dans son récent ouvrage Visions of Technology, « permettait d’empêcher une course aux armements atomiques clandestine, sans recourir à un gouvernement mondial armé » ; leur suggestion consistait en quelque sorte à ce que les Etats-nations renoncent aux armements nucléaire au profit d’une instance supranationale.
Cette proposition a débouché sur le plan Baruch, qui a été soumis aux Nations unies en juin 1946, mais ne fut jamais adopté (peut-être du fait que, comme le suggère Rhodes, Bernard Baruch avait « insisté pour alourdir le plan avec des mesures coercitives », le vouant dès lors à un échec inéluctable, même si, « de toute façon, il aurait inévitablement ou presque été rejeté par la Russie stalinienne »). D’autres tentatives pour promouvoir des étapes significatives de globalisation de la puissance atomique, visant à éviter une course aux armements, ont rencontré l’hostilité conjointe tant des milieux politiques et des citoyens Américains, méfiants, que des Soviétiques, qui l’étaient tout autant. C’est ainsi que, très vite, la chance d’éviter la course aux armements est tombée à l’eau.
Deux ans plus tard, il semble qu’Oppenheimer ait franchi un nouveau palier. En 1948, il s’exprimait en ces termes : « Au sens le plus strict du mot, qu’aucune trivialité, aucun humour ni aucun sous-entendu ne pourra jamais totalement balayer, les physiciens ont péché. Et ce péché restera gravé en eux pour toujours. [13] »
En 1949, les Soviétiques font exploser une bombe atomique. Dès 1955, les Etats-Unis procèdent à des essais atmosphériques de bombes à hydrogène largables d’avion. L’Union soviétique fait de même. La course aux armements est amorcée.
Il y a près de vingt ans, dans le documentaire intitulé The Day After Trinity, Freeman Dyson a résumé l’attitude de certains scientifiques qui nous a conduits au gouffre nucléaire :
« Je l’ai personnellement ressentie. Cette fascination des armes atomiques. Pour un chercheur, leur pouvoir d’attraction est irrésistible. De sentir cette énergie qui embrase les étoiles, là, au bout de vos doigts, de la libérer et de vous sentir le maître du monde. De faire des miracles, de catapulter dans l’espace des tonnes de roches, par millions. Cela, c’est quelque chose qui vous donne l’illusion d’un pouvoir sans limites, et, d’une certaine façon, tous nos maux en découlent. Cette chose, appelons-la arrogance technologique, c’est plus fort que vous. Vous vous apercevez du pouvoir inouï de l’esprit, et c’est irrésistible. [14] »
Aujourd’hui, comme alors, nous sommes les inventeurs de nouvelles technologies et les tenants d’un futur imaginé, mus cette fois, dans un contexte de concurrence planétaire, par la perspective de gains financiers considérables, et cela en dépit de dangers évidents, peu soucieux d’envisager à quoi pourrait ressembler une tentative de vie dans un monde qui n’est autre que l’aboutissement réaliste de ce que nous sommes en train d’inventer et d’imaginer.

Depuis 1947, The Bulletin of Atomic Scientists fait figurer sur sa couverture une « horloge du Jugement dernier ». Ce baromètre reflétant les variations de la situation internationale donne depuis plus de cinquante ans une estimation de la menace nucléaire relative qui pèse sur nous. A quinze reprises, les aiguilles de cette horloge ont bougé. Calées sur minuit moins neuf, elles indiquent aujourd’hui une menace continuelle et réelle de l’arsenal atomique. La récente entrée de l’Inde et du Pakistan dans le club des puissances nucléaires porte un coup sévère à l’objectif de non-prolifération, comme l’a souligné le mouvement des aiguilles, lesquelles, en 1998, se sont rapprochées de l’heure fatidique.
A ce jour, quelle est au juste la gravité de ce danger qui pèse sur nous, pas exclusivement en termes d’armes atomiques, mais compte tenu de l’ensemble de ces technologies ? Quels sont, concrètement, les risques d’extinction qui nous menacent ?
Le philosophe John Leslie, qui s’est penché sur la question, évalue le risque minimum d’extinction de l’espèce humaine à 30% [15]. Ray Kurzweil, quant à lui, estime que « notre chance de nous en sortir est supérieure à la moyenne », en précisant au passage qu’on lui a « toujours reproché d’être un optimiste ». Non seulement de telles estimations sont peu engageantes, mais elles écartent les événements, multiples et horribles, qui préluderaient à l’extinction.
Face à de telles assertions, certains individus dignes de foi suggèrent tout simplement de se redéployer loin de la Terre, et cela dans les meilleurs délais. Nous coloniserions la galaxie au moyen des sondes spatiales de von Neumann, qui, bondissant d’un système stellaire à l’autre, s’autoreproduisent en quittant les lieux. Franchir cette étape sera un impératif incontournable dans les cinq milliards d’années à venir (voire plus tôt, si notre système solaire devait subir l’impact cataclysmique de la collision de notre galaxie avec celle d’Andromède, prévue d’ici trois milliards d’années) ; mais si l’on prend au mot Kurzweil et Moravec, cette migration pourrait se révéler nécessaire d’ici le milieu du siècle.
Quelles sont, ici, les implications morales en jeu ? Si, pour la survie de l’espèce, il nous faut quitter la Terre dans un futur aussi proche, qui assumera la responsabilité de tous ceux qui resteront à quai (la plupart d’entre nous, en fait) ? Et quand bien même nous nous éparpillerions dans les étoiles, n’est-il pas vraisemblable que nous emmènerions nos problèmes avec nous, ou que nous nous apercevions ultérieurement que ceux-ci nous ont suivis ? Le destin de notre espèce sur la Terre semble inextricablement corrélé à notre destin dans la galaxie.
Une autre idée consiste à ériger une série de boucliers préventifs contre les diverses technologies à risque. L’initiative de défense stratégique [16] proposée par l’administration Reagan, se voulait une tentative de bouclier de ce type pour parer à la menace d’une attaque nucléaire de l’Union soviétique. Mais, comme l’a observé Arthur C. Clarke, dans le secret des discussions entourant le projet, « s’il est concevable, moyennant des coûts faramineux, de bâtir des systèmes de défense locale qui ne laisseraient passer “que” quelques centièmes des missiles balistiques, l’idée racoleuse d’un parapluie couvrant les Etats-Unis en totalité était essentiellement une sottise. Luis Alvarez, peut-être le plus grand chercheur en physique expérimentale de ce siècle, m’a fait remarquer que les promoteurs de projets de ce type étaient “des individus extrêmement brillants, mais dénués de bon sens” ».
« Quand je lis dans ma boule de cristal souvent bien opaque, poursuit Arthur C. Clarke, je n’exclus pas la possibilité qu’une défense intégrale puisse être mise au point d’ici un siècle ou deux. Mais la technologie que cela supposerait générerait des sous-produits si redoutables que, dès lors, plus personne ne songerait à perdre son temps avec des choses aussi primitives que des missiles balistiques. [17] »
Dans Engines of Creation, Eric Drexler proposait la construction d’un bouclier nanotechnologique actif - une sorte de système immunitaire pour la biosphère - nous protégeant des « réplicateurs » dangereux de toutes sortes, susceptibles de s’échapper des laboratoires, ou de naître d’éventuelles inventions malveillantes. Mais le bouclier qu’il propose est en lui-même extrêmement dangereux : rien, en effet, ne pourrait l’empêcher de développer des problèmes « auto-immunes » et d’attaquer lui-même la biosphère [18].

Des difficultés similaires vont de pair avec la construction de boucliers destinés à nous protéger de la robotique et du génie génétique. Ces technologies sont trop puissantes pour qu’on puisse s’en prémunir dans les délais ; au surplus, quand bien même le déploiement de boucliers défensifs serait envisageable, les effets collatéraux seraient au moins aussi redoutables que les technologies dont ils étaient censés nous garantir.
En conséquence, toutes ces possibilités sont soit peu souhaitables, soit irréalisables, voire les deux à la fois. La seule alternative réaliste, à mes yeux, est d’y renoncer, de restreindre la recherche dans le domaine des technologies qui sont trop dangereuses, en posant des limites à notre quête de certains savoirs.
Oui, je sais, le savoir est une chose bénéfique, et il en va de même s’agissant de la quête de vérités nouvelles. Aristote ouvre La Métaphysique avec ce constat tout simple : « Tous les hommes désirent naturellement savoir. » Depuis longtemps, nous avons reconnu comme une valeur fondamentale de notre société le libre accès à l’information, et convenu que les problèmes surgissent dès lors qu’on tente d’en limiter l’accès et d’en brider le développement. Dernièrement, nous en sommes arrivés à placer la connaissance scientifique sur un piédestal.
Mais si, dorénavant, malgré des précédents historiques avérés, le libre accès et le développement illimité du savoir font clairement peser sur nous tous une menace d’extinction, alors le bon sens exige que ces convictions, fussent-elles fondamentales et fermement ancrées, soient examinées de nouveau.
Nietzsche, à la fin du XIXe siècle, non seulement nous a avertis que « Dieu est mort », mais en outre que « [...] la foi en la science, cette foi qui est incontestable, ne peut pas avoir tiré son origine d’un pareil calcul d’utilité, au contraire elle s’est formée malgré la démonstration constante de l’inutilité et du danger qui résident dans la “volonté de vérité”, dans la “vérité à tout prix” [19] ». C’est précisément ce danger - les conséquences de notre quête de vérité - qui nous menace aujourd’hui de tout son poids. La vérité que recherche la science peut incontestablement passer pour un dangereux substitut de Dieu si elle est susceptible de conduire à notre extinction.
Si, en temps qu’espèce, nous pouvions nous accorder sur nos aspirations, sur ce vers quoi nous allons, et sur la nature de nos motivations, alors nous bâtirions un futur significativement moins dangereux. Alors nous pourrions comprendre ce à quoi il est non seulement possible, mais souhaitable, de renoncer. Autrement, on imagine aisément une course aux armements s’engager autour des technologies GNR, comme cela s’est produit au XXe siècle autour des technologies NBC. Le plus grand danger réside peut-être là, dans la mesure où, une fois la machine lancée, il est très difficile de l’arrêter. Cette fois-ci - contrairement à l’époque du projet Manhattan -, nous ne sommes pas en guerre, face à un ennemi implacable constituant une menace pour notre civilisation ; cette fois, nous sommes mus par nos habitudes, nos désirs, notre système économique et par la course au savoir.

Nous souhaiterions tous, je le crois, que notre chemin s’inspire de valeurs collectives, éthiques et morales. Si, au cours des derniers millénaires, nous avions acquis une sagesse collective plus profonde, alors engager un dialogue à cette fin serait plus aisé, et cette puissance formidable sur le point de déferler serait loin d’être aussi préoccupante.
On pourrait penser que l’instinct de conservation nous conduise à un tel dialogue. Or si, en tant qu’individu, nous manifestons clairement ce désir, en revanche notre comportement collectif en tant qu’espèce semble jouer en notre défaveur. En composant la menace nucléaire, nous nous sommes souvent comportés de façon malhonnête, tant vis-à-vis de nous-mêmes que les uns envers les autres, démultipliant ainsi grandement les risques. Raisons politiques, choix délibéré de ne pas voir plus avant, ou comportement mû par des peurs irrationnelles découlant des graves menaces qui pesaient alors sur nous, je l’ignore, mais cela ne présage rien de bon.
Que les nouvelles boîtes de Pandore, génétique, nanotechnologies et robotique, soient entrouvertes, nul ne semble s’en inquiéter. On ne referme pas le couvercle sur des idées ; contrairement à l’uranium ou au plutonium, une idée n’a besoin ni d’être extraite, ni d’être enrichie, et on peut la dupliquer librement. Une fois lâchée, on ne l’arrête plus. Churchill, dans un compliment ambigu resté célèbre, observait que les Américains et leurs dirigeants « finissent toujours par agir honorablement, une fois qu’ils ont bien examiné chacune des autres solutions ». Reste qu’en ce cas précis, il convient d’intervenir plus en amont, dans la mesure où n’agir honorablement qu’en dernier recours pourrait bien nous condamner.

Thoreau l’a dit, « ce n’est pas nous qui prenons le train, c’est le train qui nous prend ». Et c’est là tout l’enjeu maintenant. De fait, la vraie question est de savoir lequel dominera l’autre, et si nous survivrons à nos technologies.
Nous sommes propulsés dans ce nouveau siècle sans carte, sans maîtrise, sans freins. Sommes-nous déjà engagés trop avant dans cette voie pour corriger notre trajectoire ? Je ne le pense pas ; pour autant, aucun effort n’a encore été fourni en ce sens, et nos dernières chances de reprendre le contrôle, c’est-à-dire notre point de non-retour, approchent rapidement. Nous disposons déjà de nos premiers animaux domestiques de synthèse [20], et certaines techniques de génie génétique sont désormais disponibles sur le marché ; quant à nos techniques à l’échelle « nano », elles progressent rapidement.
Si leur développement suppose un certain nombre d’étapes, le palier ultime d’une démonstration n’est pas forcément quelque chose d’aussi énorme et aussi difficile que le projet Manhattan ou l’essai Trinity. La découverte capitale de la capacité d’autoreproduction incontrôlée dans le domaine de la robotique, du génie génétique ou des nanotechnologies pourrait survenir brutalement, renouvelant l’effet de surprise du jour où est tombée la nouvelle du clonage d’un mammifère.
Il n’en demeure pas moins qu’il nous reste, je le crois, de solides et puissantes raisons d’espérer. Les efforts déployés pour régler la question des armes de destruction massive au cours du siècle dernier fournissent un exemple éclatant de renonciation qui mérite attention : l’abandon unilatéral et inconditionnel par les Etats-Unis du développement des armes biologiques. Ce désengagement fait suite à un double constat : d’une part, un effort considérable doit être fourni pour mettre au point ces armes redoutables ; d’autre part, elles peuvent aisément être dupliquées et tomber entre les mains de nations belliqueuses ou de groupes terroristes.
Tout cela a clairement laissé apparaître que développer ces armes ne ferait qu’ajouter de nouvelles menaces, et qu’y renoncer accroîtrait notre sécurité.
Cet engagement solennel à s’interdire le recours à l’arme bactériologique et chimique a été consigné dans la Biological Weapons Convention (BWC) [21], en 1972, et dans la Chemical Weapons Convention (CWC) [22], en 1993 [23].
Quant à la menace persistante et assez considérable des armes atomiques, sous le poids de laquelle nous vivons aujourd’hui depuis plus de cinquante ans, il ressort clairement du récent rejet par le Sénat américain du traité d’interdiction globale des essais nucléaires que se désengager des armes atomiques ne sera pas une tâche politiquement facile. Mais la fin de la guerre froide nous offre une possibilité exceptionnelle de prévenir une course aux armements multipolaire. Dans la foulée de l’abandon des BWC et des CWC, arriver à abolir les armements atomiques pourrait nous inciter à renoncer aux technologies dangereuses (de fait, commencer par se débarrasser de cent armes atomiques disséminées de par le monde - approximativement, la puissance de destruction totale de la deuxième guerre mondiale ; une tâche considérablement moins lourde - suffirait à éliminer cette menace d’extinction [24].
Vérifier la réalité du désengagement sera un problème délicat, mais pas insoluble. Par chance, un important travail similaire a déjà été accompli dans le contexte des BWC et d’autres traités. Notre tâche essentielle consistera à appliquer cela à des technologies qui, par nature, sont résolument plus commerciales que militaires. Se fait ici sentir un besoin substantiel de transparence, dans la mesure où la difficulté de la vérification est directement proportionnelle à la difficulté de distinguer une activité abandonnée d’une activité légitime.
Je pense honnêtement qu’en 1945, la situation était plus simple que celle à laquelle nous nous trouvons aujourd’hui confrontée : il était relativement simple de tracer la frontière entre les technologies nucléaires à usage commercial et militaire. En outre, le contrôle était facilité par la nature même des tests atomiques et la facilité avec laquelle on pouvait mesurer le degré de radioactivité. La recherche d’applications militaires pouvait être menée dans des laboratoires gouvernementaux tels que Los Alamos, et les résultats tenus secrets le plus longtemps possible.
Les technologies GNR ne se divisent pas clairement en deux familles distinctes, la militaire et la commerciale ; compte tenu de leur potentiel sur le marché, on a peine à imaginer que leur développement puisse rester cantonné à des laboratoires d’Etat. Dans le contexte de leur développement commercial à grande échelle, contrôler le caractère effectif du désengagement exigera l’instauration d’un régime de vérification similaire à celui des armes biologiques, mais à une échelle sans précédent à ce jour.
Inéluctablement, le fossé va se creuser : d’un côté, la volonté de protéger sa vie privée ainsi que certaines données confidentielles, et de l’autre, la nécessité que ces mêmes informations restent accessibles dans l’intérêt de tous. Devant cette atteinte à notre vie privée et à notre marge de manœuvre, nous nous heurterons sans aucun doute à de fortes résistances.
Le contrôle de l’arrêt effectif de certaines technologies GNR devra intervenir sur des sites tant virtuels que physiques. Dans un monde de données confidentielles, l’enjeu crucial consistera à rendre acceptable la nécessaire transparence, vraisemblablement en produisant des formes renouvelées de protection de la propriété intellectuelle.
La vérification d’un tel respect exigera en outre des scientifiques et ingénieurs qu’ils adoptent un code de conduite éthique rigoureux, similaire au serment d’Hippocrate, et qu’ils aient le courage de rendre public tout manquement, et cela aussi souvent que nécessaire, quand bien même il faudrait en payer le prix fort sur le plan personnel. Ceci répondrait - cinquante ans après Hiroshima - à l’appel lancé par Hans Bethe, lauréat du prix Nobel, l’un des plus vénérables membres du projet Manhattan encore en vie, appelant les scientifiques à « cesser et se désister de toute activité de conception, développement, amélioration, et fabrication d’armes nucléaires et autres armes au potentiel de destruction massive [25] ». Au XXIe siècle, cela supposera vigilance et responsabilité personnelle de la part de ceux qui pourraient travailler tant sur les technologies NBC que GNR, pour prévenir le déploiement d’armes et d’ingénierie de destruction massive accessible par la seule connaissance.

Thoreau a également dit que nous ne serons « riches qu’à proportion du nombre de choses auxquelles nous pourrons nous permettre de renoncer ». Chacun d’entre nous aspire au bonheur, mais est-il bien raisonnable d’encourir un si fort risque de destruction totale pour accumuler encore plus de savoir, et encore plus de biens ? Le bon sens pose qu’il y a une limite à nos besoins matériels. Certains savoirs sont décidément trop dangereux : mieux vaut y renoncer.
Nous ne devrions pas non plus caresser des rêves de quasi-immortalité sans, au préalable, en estimer les coûts, et sans prendre en compte un risque d’extinction grandissant. L’immortalité constitue peut-être l’utopie originelle ; pour autant, elle n’est assurément pas la seule.
J’ai récemment eu le privilège de faire la connaissance du distingué écrivain et érudit Jacques Attali, dont le livre Lignes d’horizons (Millennium, dans sa traduction anglaise) m’a en partie inspiré l’approche Java et Jini des effets pervers de la technologie informatique des années à venir. Dans son dernier ouvrage, Fraternités, Attali explique comment, au fil du temps, nos utopies se sont transformées :

"A l’aube des sociétés, les hommes, sachant que la perfection n’appartenait qu’à leurs dieux, ne voyaient leur passage sur Terre que comme un labyrinthe de douleur au bout duquel se trouvait une porte ouvrant, via la mort, sur la compagnie des dieux et sur l’Eternité. Avec les Hébreux puis avec les Grecs, des hommes osèrent se libérer des exigences théologiques et rêver d’une Cité idéale où s’épanouirait la Liberté. D’autres, en observant l’évolution de la société marchande, comprirent que la liberté des uns entraînerait l’aliénation des autres, et ils cherchèrent l’Egalité."

Jacques Attali m’a permis de comprendre en quoi ces trois objectifs utopiques existent en tension dans notre société actuelle. Il poursuit avec l’exposé d’une quatrième utopie, la fraternité, dont le socle est l’altruisme. En elle-même, la fraternité allie le bonheur individuel au bonheur d’autrui, offrant la promesse d’une croissance autonome.
Cela a cristallisé en moi le problème que j’avais avec le rêve de Kurzweil. Une approche technologique de l’Eternité - la quasi-immortalité que nous promet la robotique - n’est pas forcément l’utopie la plus souhaitable. En outre, caresser ce genre de rêve comporte des dangers évidents. Peut-être devrions nous reconsidérer nos choix d’utopies.
Vers quoi nous tourner pour trouver une nouvelle base éthique susceptible de nous guider ? J’ai trouvé les idées qu’expose le dalaï-lama dans Sagesse ancienne, monde moderne [26] très utiles à cet égard. Comme cela est largement admis mais peu mis en pratique, le dalaï-lama fait valoir que le plus important pour nous est de conduire notre vie dans l’amour et la compassion pour autrui, et que nos sociétés doivent développer une notion plus forte de responsabilité universelle et d’interdépendance ; il propose un principe pratique de conduite éthique destiné tant à l’individu qu’aux sociétés, lequel s’accorde avec l’utopie de fraternité d’Attali.
Au surplus, souligne le dalaï-lama, il nous faut comprendre ce qui rend l’homme heureux, et se rendre à l’évidence : la clé n’en est ni le progrès matériel, ni la recherche du pouvoir que confère le savoir. En clair, il y a des limites à ce que science et recherche scientifique, seules, peuvent accomplir.
Notre notion occidentale du bonheur semble nous venir des Grecs, qui en donnaient comme définition : « vivre de toutes ses forces, guidé par des critères d’excellence, une vie leur permettant de se déployer [27] ».
Certes, il nous faut trouver des enjeux chargés de sens et continuer d’explorer de nouvelles voies si, quoi qu’il advienne, nous voulons trouver le bonheur. Reste que, je le crois, nous devons trouver de nouveaux exutoires à nos forces créatives, et sortir de la culture de la croissance perpétuelle. Si, des siècles durant, cette croissance nous a comblés de bienfaits, elle ne nous a pas pour autant apporté le bonheur parfait. L’heure est venue de le comprendre : une croissance illimitée et sauvage par la science et la technologie s’accompagne fatalement de dangers considérables.

Plus d’un an s’est aujourd’hui écoulé depuis ma première rencontre avec Ray Kurzweil et John Searle. Je trouve autour de moi des raisons d’espérer dans les voix qui s’élèvent en faveur du principe de précaution et de désengagement, et dans ces individus qui, comme moi, s’inquiètent de la situation difficile dans laquelle nous nous trouvons. J’éprouve moi aussi un sentiment de responsabilité personnelle accru - non pas pour le travail réalisé jusqu’ici, mais pour celui qui pourrait me rester à accomplir, au confluent des sciences.
Cependant, un grand nombre de ceux qui ont connaissance des dangers semblent se tenir étrangement cois. Lorsqu’on les presse, ils ripostent à coups de « cela n’est pas une nouveauté » - comme si l’on pouvait se satisfaire de la seule conscience du danger latent. « Les universités sont pleines de bioéthiciens qui examinent ces trucs à longueur de journée », me disent-ils. Ou encore, « tout cela a déjà été dit et écrit, et par des experts ».
Et enfin : « Ces craintes et ces raisonnements, c’est du déjà vu », râlent-ils.
J’ignore où ces gens-là dissimulent leurs peurs. Au titre d’architecte de systèmes complexes, je descends dans cette arène avec des yeux de généraliste. Mais pour autant, devrais-je moins m’alarmer ? J’ai conscience qu’on a beaucoup écrit, dit et enseigné à ce sujet, et avec quel panache. Mais cela a-t-il atteint les gens ? Cela signifie-t-il que nous pouvons ignorer les dangers qui frappent aujourd’hui à notre porte ?
Il ne suffit pas de savoir, encore faut-il agir. Le savoir est devenu une arme que nous retournons contre nous-mêmes. Peut-on encore en douter ?

Les expériences des chercheurs du nucléaire laissent clairement apparaître qu’il est temps d’assumer la pleine responsabilité de nos actes, que les choses peuvent s’emballer, et qu’un processus peut échapper à notre maîtrise et devenir autonome. Il se peut que, comme eux, sans même avoir le temps de nous en apercevoir, nous déclenchions des problèmes insurmontables. C’est maintenant qu’il faut agir si nous ne voulons pas nous laisser surprendre et choquer, comme eux, par les conséquences de nos inventions.
Sans relâche, j’ai toujours travaillé à améliorer la fiabilité de mes logiciels. Les logiciels sont des outils ; par conséquent, étant un fabricant d’outils, je dois lutter contre certains usages des outils que je fabrique. Ma conviction a toujours été que, compte tenu de leurs utilisations multiples, produire des logiciels plus fiables contribuerait à bâtir un monde meilleur et plus sûr. Si j’en arrivais à la conviction inverse, alors je me verrais dans l’obligation morale de donner un coup d’arrêt à mon activité. Aujourd’hui, je n’exclus plus une telle perspective.
Tout cela ne me laisse pas en colère, juste un peu mélancolique. Dorénavant, le progrès aura pour moi un je ne sais quoi d’aigre-doux.

Vous souvenez-vous de la merveilleuse avant-dernière scène de Manhattan où l’on voit Woody Allen, allongé sur son divan, parler dans le micro de son magnétophone ? Il est en train de rédiger une nouvelle avec pour sujet ces gens qui s’inventent des problèmes inutiles, névrotiques, parce que cela leur évite d’affronter des problèmes encore plus insolubles et terrifiants concernant l’univers.
Il en arrive à se poser la question « Qu’est-ce qui fait que la vie vaut d’être vécue ? », et de passer en revue les choses qui, dans son cas, l’y aident : Groucho Marx, Willie Mays, le deuxième mouvement de la symphonie Jupiter, le Potatoe Head Blues de Louis Armstrong, le cinéma suédois, L’Education sentimentale de Flaubert, Marlon Brando, Frank Sinatra, les pommes et les poires de Cézanne, les crabes de chez Sam Wo, et, pour finir, le clou : le visage de sa petite amie Tracy.
Chacun d’entre nous aime certaines choses par-dessus tout, et cette disposition pour autrui n’est autre que le substrat de notre humanité. En dernière analyse, c’est du fait de cette indéniable aptitude que je reste confiant : nous allons relever, j’en suis sûr, les défis redoutables que nous lance l’avenir.
Mon espoir immédiat est de participer à une discussion beaucoup plus vaste traitant des questions soulevées ici, avec des individus d’horizons divers, et dans une disposition d’esprit échappant tant à la crainte qu’à l’idolâtrie de la technologie, et ce au nom d’intérêts particuliers.
En guise de préliminaires, j’ai par deux fois soulevé un grand nombre de ces questions lors d’événements parrainés par l’Aspen Institute et proposé par ailleurs que l’American Academy of Arts and Sciences les intègre à ses activités concernant les conférences de Pugwash. Ces dernières se consacrent depuis 1957 au contrôle des armements, en particulier de type nucléaire, et formulent des recommandations réalistes.
Ce qu’on peut regretter, c’est qu’elles n’aient été amorcées que bien après que le génie du nucléaire se soit échappé de sa bouteille - disons, environ, quinze ans trop tard. De la même manière, nous sommes bien tardifs à entamer une réflexion de fond sur les enjeux que soulèvent les technologies du XXIe siècle, et prioritairement la prévention d’une ingénierie de destruction massive accessible par la seule connaissance. En repousser plus loin le coup d’envoi serait inacceptable.
Je continue donc mon exploration ; il reste un grand nombre de choses à apprendre. Sommes-nous appelés à réussir ou à échouer, à survivre où à tomber sous les coups de ces technologies ? Cela n’est pas encore écrit.
Ça y est, me revoilà debout à une heure avancée ; il est presque 6 heures du matin. Je m’efforce d’imaginer des réponses plus adaptées, et de « percer le secret » de la pierre pour les libérer.