Newsletter

Quand l'IA choisit qui vit (et qui meurt) : le problème du tramway moderne

Le dilemme du tramway à l'ère de l'IA : lorsque les machines doivent prendre des décisions éthiques, le jugement humain est-il vraiment toujours supérieur ? Un débat encore ouvert. Pourquoi l'éthique des algorithmes pourrait être meilleure que celle des humains (ou peut-être pas)

Imaginez un wagon hors de contrôle qui fonce vers cinq personnes. Vous pouvez actionner un levier pour le dévier vers une autre voie, mais il n'y a qu'une seule personne là-bas. Que feriez-vous ?

Mais attendez : et si cette personne était un enfant et les cinq personnes étaient des personnes âgées ? Et si quelqu'un vous offrait de l'argent pour actionner le levier ? Et si vous ne voyiez pas bien la situation ?

Qu'est-ce que le problème du tramway ? Formulé par la philosophe Philippa Foot en 1967, ce casse-tête présente un dilemme apparemment simple : sacrifier une vie pour en sauver cinq. Mais les variations sont infinies : le gros monsieur à pousser du pont, le médecin qui pourrait tuer un patient en bonne santé pour en sauver cinq grâce à ses organes, le juge qui pourrait condamner un innocent pour mettre fin à une émeute.

Chaque scénario met à l'épreuve nos principes moraux fondamentaux : quand est-il acceptable de causer un préjudice pour en prévenir un plus grave ?

Cette complexité est précisément ce qui fait de l'éthique de l'intelligence artificielle un défi si crucial pour notre époque.

Le célèbre « problème du tramway » est bien plus complexe qu'il n'y paraît, et c'est précisément cette complexité qui fait de l'éthique de l'intelligence artificielle un défi si crucial pour notre époque.

De la salle de philosophie aux algorithmes

Le problème du tramway, formulé par la philosophe Philippa Foot en 1967, n'avait jamais été conçu pour résoudre des dilemmes pratiques. Comme le souligne l'Institut Alan Turing, son véritable objectif initial était de démontrer que les expériences mentales sont, par essence, déconnectées de la réalité. Pourtant, à l'ère de l'IA, ce paradoxe a pris une importance immédiate.

Pourquoi est-ce important aujourd'hui ? Parce que pour la première fois dans l'histoire, les machines doivent prendre des décisions éthiques en temps réel, qu'il s'agisse de voitures autonomes circulant dans le trafic ou de systèmes de santé allouant des ressources limitées.

Claude et la révolution de l'IA constitutionnelle

Anthropic, la société à l'origine de Claude, a relevé ce défi grâce à une approche révolutionnaire appelée Constitutional AI. Au lieu de s'appuyer exclusivement sur les commentaires humains, Claude est formé sur une « constitution » de principes éthiques explicites, incluant des éléments de la Déclaration universelle des droits de l'homme.

Comment cela fonctionne-t-il concrètement ?

  • Claude fait son autocritique et révise ses réponses.
  • Utilisez l'apprentissage par renforcement à partir du retour d'information de l'IA (RLAIF)
  • Il fait preuve de transparence quant aux principes qui guident ses décisions.

Uneanalyse empirique de 700 000 conversations a révélé que Claude exprime plus de 3 000 valeurs uniques, allant du professionnalisme au pluralisme moral, en les adaptant à différents contextes tout en conservant une cohérence éthique.

Les défis réels : quand la théorie rencontre la pratique

Comme l'illustre brillamment le projet interactif Absurd Trolley Problems de Neal Agarwal, les dilemmes éthiques réels sont rarement binaires et souvent absurdes dans leur complexité. Cette intuition est cruciale pour comprendre les défis de l'IA moderne.

Des recherches récentes montrent que les dilemmes éthiques liés à l'IA vont bien au-delà du problème classique du tramway. Le projet MultiTP, qui a testé 19 modèles d'IA dans plus de 100 langues, a mis en évidence des variations culturelles significatives dans l'alignement éthique : les modèles sont plus alignés sur les préférences humaines en anglais, en coréen et en chinois, mais moins en hindi et en somali.

Les défis réels comprennent :

  • Incertitude épistémique: agir sans informations complètes
  • Biais culturels: valeurs différentes entre les cultures et les communautés
  • Responsabilité partagée: qui est responsable des décisions prises par l'IA ?
  • Conséquences à long terme: effets immédiats vs effets futurs

Éthique humaine contre éthique IA : des paradigmes différents, mais pas nécessairement pires

Un aspect souvent négligé est que l'éthique de l'IA pourrait ne pas être simplement une version imparfaite de celle des humains, mais un paradigme complètement différent - et dans certains cas, potentiellement plus cohérent.

Le cas « I, Robot »: Dans le film de 2004, le détective Spooner (Will Smith) se méfie des robots après avoir été sauvé par l'un d'eux lors d'un accident de voiture, alors qu'une fillette de 12 ans a été laissée se noyer. Le robot explique sa décision :

« J'étais le choix logique. J'ai calculé qu'elle avait 45 % de chances de survie. Sarah n'en avait que 11 %. C'était la fille de quelqu'un. 11 %, c'est plus que suffisant. »

C'est exactement le type d'éthique sur lequel repose l'IA aujourd'hui: des algorithmes qui évaluent les probabilités, optimisent les résultats et prennent des décisions basées sur des données objectives plutôt que sur des intuitions émotionnelles ou des préjugés sociaux. Cette scène illustre un point crucial : l'IA fonctionne selon des principes éthiques différents, mais pas nécessairement inférieurs à ceux des humains :

  • Cohérence mathématique: les algorithmes appliquent les critères de manière uniforme, sans être influencés par des préjugés émotionnels ou sociaux, exactement comme un robot qui calcule les probabilités de survie.
  • Impartialité procédurale: ils ne favorisent pas automatiquement les enfants par rapport aux personnes âgées ou les riches par rapport aux pauvres, mais évaluent chaque situation sur la base des données disponibles.
  • Transparence décisionnelle: les critères sont explicites et vérifiables (« 45 % contre 11 % »), contrairement à l'intuition morale humaine souvent opaque.

Exemples concrets dans l'IA moderne :

  • Systèmes de santé basés sur l'IA qui allouent les ressources médicales en fonction des probabilités de succès thérapeutique
  • Algorithmes de compatibilité pour les transplantations d'organes qui optimisent la compatibilité et les chances de survie
  • Systèmes de triage automatisé dans les situations d'urgence qui donnent la priorité aux patients ayant les meilleures chances de guérison

Mais peut-être pas : les limites fatales de l'éthique algorithmique

Cependant, avant de célébrer la supériorité de l'éthique de l'IA, nous devons nous confronter à ses limites intrinsèques. La scène de « I, Robot » qui semble si logique cache des problèmes profonds :

Le problème du contexte perdu: lorsque le robot choisit de sauver l'adulte plutôt que l'enfant en se basant sur des probabilités, il ignore complètement des éléments cruciaux :

  • La valeur sociale et symbolique de la protection des plus vulnérables
  • L'impact psychologique à long terme sur les survivants
  • Les relations familiales et les liens affectifs
  • Le potentiel encore inexploité d'une jeune vie

Les risques concrets d'une éthique purement algorithmique :

Réductionnisme extrême: Transformer des décisions morales complexes en calculs mathématiques peut éliminer la dignité humaine de l'équation. Qui décide quelles variables comptent ?

Biais cachés: les algorithmes intègrent inévitablement les préjugés de leurs créateurs et des données d'entraînement. Un système qui « optimise » pourrait perpétuer des discriminations systémiques.

Uniformité culturelle: l'éthique de l'IA risque d'imposer une vision occidentale, technologique et quantitative de la moralité à des cultures qui valorisent différemment les relations humaines.

Exemples de défis réels :

  • Les systèmes de santé qui pourraient appliquer des critères d'efficacité de manière plus systématique, soulevant des questions sur la manière d'équilibrer l'optimisation médicale et les considérations éthiques.
  • Algorithmes judiciaires qui risquent de perpétuer les préjugés existants à plus grande échelle, mais qui pourraient également rendre plus transparentes les discriminations déjà présentes.
  • Les IA financières peuvent systématiser les décisions discriminatoires, mais aussi éliminer certains biais humains liés aux préjugés personnels.

Critiques du paradigme traditionnel

Des experts tels que Roger Scruton critiquent l'utilisation du problème du tramway pour sa tendance à réduire des dilemmes complexes à de la « pure arithmétique », éliminant ainsi les relations moralement pertinentes. Comme le soutient un article de TripleTen, « résoudre le problème du tramway ne rendra pas l'IA éthique » : une approche plus holistique est nécessaire.

La question centrale devient alors : pouvons-nous nous permettre de déléguer des décisions morales à des systèmes qui, aussi sophistiqués soient-ils, manquent d'empathie, de compréhension contextuelle et de sagesse humaine fondée sur l'expérience ?

Nouvelles propositions pour un équilibre :

  • Cadres éthiques hybrides combinant calcul et intuition humaine
  • Systèmes de supervision humaine pour les décisions critiques
  • Personnalisation culturelle des algorithmes éthiques
  • Obligation de transparence concernant les critères décisionnels
  • Droit d'appel humain pour toutes les décisions algorithmiques critiques

Implications pratiques pour les entreprises

Pour les dirigeants d'entreprise, cette évolution nécessite une approche nuancée :

  1. Audits éthiques systématiques des systèmes d'IA utilisés - pour comprendre à la fois leurs avantages et leurs limites
  2. Diversité au sein des équipes qui conçoivent et mettent en œuvre l'IA, en incluant des philosophes, des éthiciens et des représentants de différentes communautés.
  3. Transparence obligatoire sur les principes éthiques intégrés dans les systèmes et leur justification
  4. Formation continue sur les cas où l'éthique de l'IA fonctionne et ceux où elle échoue
  5. Systèmes de supervision humaine pour les décisions à fort impact éthique
  6. Droits d'appel et mécanismes de correction pour les décisions algorithmiques

Comme le souligne IBM dans ses perspectives pour 2025, l'alphabétisation en matière d'IA et la responsabilité claire seront les défis les plus critiques pour l'année à venir.

L'avenir de l'éthique dans le domaine de l'IA

L'UNESCO mène des des initiatives mondiales en faveur de l'éthique de l'IA, avec le 3e Forum mondial prévu en juin 2025 à Bangkok. L'objectif n'est pas de trouver des solutions universelles aux dilemmes moraux, mais de développer des cadres permettant des décisions éthiques transparentes et culturellement sensibles.

La leçon à retenir ? Le problème du chariot ne sert pas de solution, mais de rappel de la complexité inhérente aux décisions morales. Le véritable défi n'est pas de choisir entre l'éthique humaine ou algorithmique, mais de trouver le juste équilibre entre l'efficacité informatique et la sagesse humaine.

L'IA éthique du futur devra reconnaître ses limites : excellente pour traiter des données et identifier des modèles, mais inadéquate lorsqu'il s'agit de faire preuve d'empathie, de compréhension culturelle et de jugement contextuel. Comme dans la scène de « I, Robot », la froideur du calcul peut parfois être plus éthique, mais seulement si elle reste un outil entre les mains d'une supervision humaine consciente, et non un substitut au jugement moral humain.

Le « (ou peut-être pas) » de notre titre n'est pas une indécision, mais une sagesse : reconnaître que l'éthique, qu'elle soit humaine ou artificielle, n'admet pas de solutions simples dans un monde complexe.

Sources et aperçus

Inspiration initiale :

Recherche universitaire :

Analyses industrielles :

Évolutions réglementaires :