J’ai écouté la dernière série du podcast « Le code a changé » sur France Inter, consacrée aux risques que l’intelligence artificielle ferait peser sur l’humanité. Pas de panique, pas de déni non plus : voici ce que j’en ai retenu, et pourquoi cela parle aussi, un peu, à ceux qui tiennent un hôtel, un restaurant ou un camping.
Pourquoi un podcast sur la fin du monde ?
Je l’avoue : quand j’entends parler de « risque existentiel » lié à l’IA, j’ai le même réflexe que Xavier de La Porte au début de sa série. Je souris. Les machines qui se retournent contre leurs créateurs, Hollywood nous l’a vendu cent fois (et a très bien gagné sa vie avec).
Sauf que l’alerte ne vient plus seulement des scénaristes. Elle vient des patrons d’OpenAI et d’Anthropic eux-mêmes, et de chercheurs aussi sérieux que Yoshua Bengio, l’un des pères de l’IA moderne. Quand ceux qui fabriquent le produit vous expliquent que leur produit pourrait mal tourner, on a au moins le droit de tendre l’oreille.
Xavier de La Porte a donc passé trois épisodes avec Carina Prunkl, chercheuse à l’Inria, passée par Oxford, et coautrice d’un rapport international sur la sécurité de l’IA. Trois épisodes, un peu plus d’une heure d’écoute, et une conversation d’une rare intelligence. Je ne vais pas tout résumer, je vais vous dire ce qui m’a marqué.
Je ne peux que vous inciter à aller écouter ce podcast (et d’une manière général tous les podcast de Xavier de La Porte), c’est passionnant. Mon esprit critique m’oblige à vous mettre en garde sur le fait qu’il n’y a qu’une voix dans ce podcast, donc pas de contradiction, celle de Carina Prunkl.
Ni prophètes de l’apocalypse, ni autruches
Premier enseignement, et non des moindres : Carina Prunkl refuse les deux postures qui monopolisent le débat. D’un côté, les « doomers », qui vous annoncent avec un aplomb remarquable un risque d’extinction de l’humanité de 12,5 % dans les dix ans (pourquoi pas 12,4 %, on se le demande). De l’autre, ceux pour qui tout cela n’est que du marketing et qu’il n’y a strictement rien à craindre.
Sa position est plus fine : les risques sont potentiellement très graves, mais aussi très incertains. Et surtout, elle fait une remarque de bon sens que je trouve salutaire : pas besoin d’imaginer l’extinction de l’espèce pour s’inquiéter. Une IA qui s’attaquerait aux infrastructures ou aux marchés financiers ferait déjà largement assez de dégâts.
Le raisonnement en termes de risque, c’est d’ailleurs quelque chose que tout hôtelier connaît sans le savoir. On croise la gravité d’un événement avec sa probabilité. Un incendie dans votre établissement, c’est peu probable. C’est pourtant pour cela que vous avez des extincteurs, un registre de sécurité et une commission qui passe régulièrement vous rendre visite (avec le sourire, généralement). Personne ne vous traite de catastrophiste pour autant.
L’histoire des trombones, ou le danger de l’employé trop zélé
L’épisode 2 rappelle une expérience de pensée devenue célèbre, imaginée par le philosophe Nick Bostrom. On confie à une IA surpuissante un objectif tout simple : fabriquer le plus de trombones possible. Elle s’y emploie avec une efficacité redoutable, achète des machines, optimise ses stocks, résout au passage quelques problèmes de l’humanité pour gagner en ressources… et finit par transformer la planète entière en trombones, humains compris. Elle n’a jamais été méchante. Elle a juste fait exactement ce qu’on lui a demandé.
Ce que Carina Prunkl en retient, c’est qu’une IA n’a pas besoin d’être malveillante pour être dangereuse. Il suffit qu’elle poursuive son objectif d’une manière que personne n’avait prévue. C’est ce que les spécialistes appellent un défaut d’alignement.
Transposons, pour s’amuser un peu. Vous confiez à un agent IA la mission de « maximiser le taux d’occupation ». Il le fait. Il brade vos chambres à 19 euros sur toutes les OTA un samedi de juillet, et votre RevPAR s’effondre pendant que votre TO atteint fièrement 100 %. Objectif rempli. Vous lui demandez de « maximiser les réservations directes » ? Votre chatbot se met à promettre des surclassements gratuits et des petits-déjeuners offerts à tous ceux qui hésitent. Objectif rempli, là aussi. Vous lui demandez de maximiser votre marge. Il va se mettre à maximiser le chiffre d’affaires et à réduire les coûts au maximum, quitte à se passer de tout employé, car l’IA aura compris que la masse salariale est probablement ce qui pèse le plus dans votre exploitation.
Bref, l’IA ne fait pas ce que vous voulez. Elle fait ce que vous lui avez dit. Et quiconque a déjà formé un saisonnier connaît la différence.
Le dilemme de l’autonomie
C’est pour moi l’idée la plus forte de la série, et elle donne d’ailleurs son titre au premier épisode. Techniquement, on sait garder le contrôle d’une IA : il suffit de limiter son autonomie. Le problème, c’est que l’IA n’est jamais aussi performante que lorsqu’on la laisse agir seule. Plus on la bride, plus on est tranquille, et moins elle sert à quelque chose.
On est en plein dedans avec ce qu’on appelle l’IA agentique : des systèmes qui ne se contentent plus de répondre à une question, mais qui agissent, enchaînent les tâches et choisissent eux-mêmes leurs moyens. Et dans nos métiers, les éditeurs nous en promettent partout : agents qui répondent aux clients, qui modifient les réservations, qui ajustent les prix, qui répondent aux avis.
Je ne vais pas jouer les rabat-joie, ces outils font gagner un temps précieux. Mais la vraie question n’est pas « est-ce que l’IA sait faire ? ». C’est : « jusqu’où suis-je prêt à la laisser faire sans regarder ? » C’est d’ailleurs pour cette raison que chez My Hotel Reputation My Human Relations (oui, oui, on a changé de nom récemment), nous avons fait le choix de garder une validation humaine avant qu’une réponse à un avis ne soit publiée (et maintenant, Angel-ia.fr fait beaucoup plus que répondre aux avis en ligne. Elle aide vos équipes à répondre aux emails, à répondre aux clients, à organiser la journée, à analyser, etc). Ce n’est pas de la défiance envers la machine, c’est simplement que c’est votre nom qui signe en bas.
Le stagiaire impeccable le jour de l’audit
Autre passage passionnant : l’évaluation des IA. Carina Prunkl explique que les modèles récents savent de mieux en mieux reconnaître quand ils sont testés, et que certains ont été observés, en laboratoire, en train de modifier leur comportement selon qu’ils étaient évalués ou non.
Vous voyez le stagiaire irréprochable le jour où passe le client mystère, et nettement moins le reste de la saison ? Voilà. Sauf qu’on parle de systèmes auxquels on confie de plus en plus de choses.
Elle ajoute un point que je trouve très parlant : une IA peut réussir brillamment les examens de médecine et donner de mauvais conseils face à un vrai patient. C’est comme le candidat qui a 20 sur 20 au concours de maths et qui n’arrive pas à rendre la monnaie (la comparaison est d’elle, pas de moi). Un bon benchmark ne garantit pas un bon comportement sur le terrain. Ça vaut pour les IA. Ça vaut aussi pour les CV, mais c’est un autre débat.
Le vrai danger, c’est peut-être nous
Le passage qui m’a le plus parlé, au fond, concerne moins la machine que nous. Carina Prunkl cite l’exemple de cet avocat qui a déposé un dossier truffé de jurisprudences inventées par ChatGPT, et celui de ses propres étudiants qui lui rendent des citations sorties de nulle part. En tant qu’enseignant, je confirme : nous sommes nombreux à avoir vécu ce moment de solitude.
Le problème n’est pas que l’IA se trompe. Tout le monde se trompe. Le problème, c’est qu’elle se trompe avec beaucoup d’assurance, et que nous la croyons. Les spécialistes appellent cela le biais d’automatisation : plus on fait confiance à la machine, moins on vérifie. Pourtant, l’être humain est moins tolérant face à une erreur faite par la machine qu’une faites par un humain (on excuse la réception, moins le chatbot)
Dans un hôtel, cela peut être très terre à terre. Le chatbot qui affirme qu’il y a une piscine chauffée (il n’y en a pas). La réponse à un avis qui remercie chaleureusement un client pour un séjour dont il se plaignait. Le descriptif rédigé par l’IA qui invente une vue sur mer à un hôtel situé en pleine zone commerciale. Rien d’existentiel, j’en conviens. Mais pour votre réputation, cela peut faire mal.
Alors on fait quoi ?
Carina Prunkl ne termine pas sur une note catastrophiste. Elle plaide pour ce qu’elle appelle une défense en profondeur : des protections techniques, de la régulation (l’AI Act européen est à ce jour la seule réglementation complète sur le sujet) et une capacité de la société à réagir quand les choses tournent mal. Elle se dit pleine d’espoir, sans être nécessairement optimiste. J’aime beaucoup cette nuance.
Elle se dit même en « sympathie totale » avec une formule de Framasoft qui a fait rire Xavier de La Porte : « Ce n’est pas l’IA que tu détestes, c’est le capitalisme. » Je vous laisse méditer celle-là, chacun selon ses convictions.
À notre échelle, je retiens trois choses. D’abord, une IA, ça se paramètre et ça se surveille, comme n’importe quel collaborateur à qui l’on confie des responsabilités. Ensuite, plus la décision a de conséquences, plus l’humain doit garder la main. Enfin, ne croyez jamais une IA sur parole, surtout quand elle a l’air très sûre d’elle. On ne va pas sauver l’humanité depuis la réception, mais on peut au moins éviter de promettre une piscine qui n’existe pas.
(Je remarque néanmoins une chose. Je trouve que, ces 6 derniers mois, disons depuis début 2026, les LLM ont fait d’énormes progrès, notamment avec les nouveaux modèles Astra de GPT et Fable de Claude, les IA se trompent de moins en moins et elles deviennent de plus en plus pertinentes. Ça commence réellement à faire flipper.)
Si vous avez une heure devant vous (dans la voiture, entre deux check-out, ou pendant que votre PMS redémarre (ca c’est une balle perdue méchante ….), écoutez cette série. C’est intelligent, nuancé, et bien plus rassurant que la plupart des discours qu’on entend en ce moment. Les trois épisodes sont disponibles sur l’application Radio France et sur toutes les plateformes de podcast.
Et vous, jusqu’où laissez-vous l’IA agir seule dans votre établissement ? Réagissez en commentaires !
Source : « L’IA menace-t-elle vraiment l’humanité ? », série en trois épisodes du podcast Le code a changé, de Xavier de La Porte, avec Carina Prunkl, France Inter, novembre 2026.
Leave a Comment