La machine morale

Philippe Gouillou - 19 février 2019 (MàJ : 11 mars 2019) -https://evopsy.com/concepts/morale-machine-trolley.html
Tags :Morale
39 millions de réponses au Dilemme du Tramway ont permis de distinguer trois clusters moraux de pays.

Téléchargez l'article en Format EPUB Téléchargez l'article en Format PDF

center

Sommaire

  1. Le Dilemme du tramway
  2. L'étude d'Awad et al. (2018)
    1. Les 9 dimensions
    2. Les 3 clusters moraux
    3. Traduction de l'Abstract
  3. Complément : quelle validité ?
  4. Sources
  5. Historique des modifications
  6. Notes

1. Le Dilemme du tramway

Le Dilemme du tramway (Trolley Problem)1 pose la question suivante : un tramway se dirige vers 5 personnes qu'il va renverser, et tuer, mais vous avez la possibilité de les sauver en poussant une commande d'aiguillage qui détournera le tramway sur une autre voie, où il ne tuera qu'une personne. 1 contre 5 : la poussez-vous ?

Maintenant même question mais vous n'avez pas accès à la commande d'aiguillage : vous êtes sur un pont d'où vous pouvez pousser une personne obèse qui en tombant sur la voie sera tuée mais aussi arrêtera le tramway, ce qui sauvera donc les 5 autres personnes. 1 contre 5 : la poussez-vous ?

center

Ce dilemme peut être vu comme un parfait exemple du modèle de Descioli & Kurzban (2013) qui expliquent la morale comme une règle commune permettant le choix d'un camp dans un conflit2 : il s'agit à chaque question de choisir qui tuer et ce faisant de définir une règle abstraite permettant ce choix.

Cependant, contrairement au Dilemme du Prisonnier où la règle morale existe (mais où la tentation est forte de ne pas la suivre !), le Dilemme du Tramway n'a pas de solution reconnue, il n'y a pas de consensus global, on constate juste qu'en général la plupart se déclarent prêts à pousser la commande d'aiguillage ... mais pas la personne obèse.

Et le problème est que le développement des véhicules autonomes oblige à choisir une règle : il ne s'agit plus d'une simple expérience de pensée, mais bien de quelque chose de concret qui va de plus en plus décider de notre vie.

2. L'étude d'Awad et al. (2018)

Awad et al. (2018) ont mis en ligne une plateforme en ligne permettant de demander à des personnes du monde entier comment selon elles des véhicules autonomes devraient se comporter dans une situation type Dilemme du tramway, et ils ont obtenu plus de 39 millions de réponses, soit largement assez pour apporter des éléments intéressants.

2.1 Les 9 dimensions

Chaque répondant devait répondre à 13 situations d'accidents (exemple ci-dessus) en choisissant soit de ne rien faire, c’est-à-dire que le véhicule poursuivait sa route, soit d'agir, c’est-à-dire que le véhicule évitait les personnes qu'il allait renverser.

En plus de la propension (ou non) à agir, ces situations ont permis de mesurer 8 autres dimensions de préférences (soit 9 en tout)3 :

  • Sauver les humains (plutôt que les animaux)
  • Poursuivre son trajet (plutôt que tourner)
  • Sauver les passagers (plutôt que les piétons)
  • Sauver plus de vies (plutôt que sauver moins de vies)
  • Sauver les hommes (plutôt que les femmes)
  • Sauver les jeunes (plutôt que les plus âgés)
  • Sauver les piétons qui traversent légalement (plutôt que les piétons qui traversent en dehors des clous)
  • Sauver ceux qui sont en bonne forme physique (plutôt que ceux qui ne le sont pas)
  • Sauver ceux qui ont un plus haut statut social (pluôt que ceux qui ont un plus bas statut social)

Par exemple, l'image ci-dessus montre 3 vieilles personnes, dont deux hommes, piétons traversant illégalement, qui vont être tuées par un véhicule autonome comprenant le même nombre de personnes, mais pas du même âge, soit deux adultes, dont une femme, et un enfant, sauf si ce véhicule tue tous ses occupants en se jetant contre une sorte de mur.

Choisir que le véhicule poursuive sur son trajet, afin de sauver les plus jeunes, en partie parce que les piétons ont traversé illégalement, activerait les dimensions Poursuivre son trajet, Sauver les passagers, Sauver les jeunes, et partiellement Sauver les piétons qui traversent légalement.

Au global, les plus de 39 millions de réponses en provenance du monde entier ont permis de distinguer les plus fortes préférences :

  1. Sauver les humains plutôt que les animaux
  2. Sauver plus de vies
  3. Sauver les jeunes

Il apparaît donc que pour cette question le choix ci-dessus correspond bien à celui de la majorité (3. Sauver les jeunes) même si, comme le remarquent les auteurs, cette troisième préférence s'oppose frontalement à la Règle n° 9 de la Commission Ethique Allemande qui interdit toute discrimination sur l'âge (Luetge, 2018).

2.2 Les 3 clusters moraux

Bien sûr, tout le monde ne montre pas les mêmes préférences, et le point important est que des tendances générales se retrouvent en fonction de l'origine géographique :

Cette analyse a identifié trois "clusters moraux" de pays. Ils sont montrés sur la Figure 3a, et sont globalement consistents avec à la fois la proximité géographique et la proximité culturelle selon les Cartes culturelles d'Inglehart & Welzel (2005).
Le premier cluster (que nous avons appelé Cluster Ouest) contient l'Amérique du Nord et de nombreux pays européens de groupes culturels chrétiens protestants, catholiques, et orthodoxes. La structure interne de ce cluster montre aussi une validité apparente notable, avec un sous-cluster contenant les pays scandinaves, et un sous-cluster contenant les pays du Commonwealth.
Le deuxième cluster (que nous avons appelé Cluster Sud) contient de nombreux pays d'Extrême Orient comme le Japon et Taiwan qui appartiennent au groupe culture Confucianiste, et des pays islamiques comme l'Indonésie, le Pakistan et l'Arabie Saoudite.
Le troisième cluster (un cluster globablement du Sud) contient les pays Latins d'Amérique du Sud et Centrale, en plus de quelques pays qui se caractérisent partiellement par l'influence française (par exemple, France métropolitaine, Territoires d'Outre-Mer français, et territoires qui ont été à un certain point sous la dominance française). Les pays d'Amérique Latine sont clairement séparés dans leur propre sous-cluster.
Awad et al. (2019, p 61)4

Sur cette Figure 3a la France est à 3h (Cluster Sud) alors que la plupart des pays européens sont quasiment à l'opposé entre 9h30 et 12h (Ouest), Monaco étant à 6h (Ouest), les pays slaves autour de 7h (Ouest), la Tunisie à 8h (Ouest), et les USA à 8h30 (Ouest)5 :

center

Ces trois clusters montrent des patterns très différents de types de préférences, les membres du Cluster Sud (dont la France) montrant de plus fortes préférences pour agir, et pour sauver les jeunes, les femmes, et les hauts statuts, que les membres des autres clusters6 :

center

2.3 Traduction de l'Abstract

"Le développement rapide de l'intelligence artificielle a suscité des préoccupations quant à la manière dont les machines prendront des décisions morales, ainsi que le défi majeur consistant à quantifier les attentes de la société quant aux principes éthiques devant guider le comportement des machines. Pour relever ce défi, nous avons déployé la Moral Machine, une plate-forme expérimentale en ligne conçue pour explorer les dilemmes moraux des véhicules autonomes. Cette plate-forme a rassemblé 40 millions de décisions en dix langues émanant de millions de personnes dans 233 pays et territoires. Nous décrivons ici les résultats de cette expérience. Premièrement, nous résumons les préférences morales globales. Deuxièmement, nous documentons les variations individuelles des préférences en fonction de la démographie des répondants. Troisièmement, nous rapportons les variations éthiques interculturelles et découvrons trois grands groupes de pays. Quatrièmement, nous montrons que ces différences sont en corrélation avec les institutions modernes et des traits culturels profonds. Nous discutons de la manière dont ces préférences peuvent contribuer à l’élaboration de principes mondiaux socialement acceptables pour définir l’éthique des machines. Toutes les données utilisées dans cet article sont accessibles au public."
Awad et al. (2018)

3. Complément : quelle validité ?

Cette étude a pour elle le très (très) grand nombre, ce qui lui donne une forte validité. Il faut cependant se rappeler que la localisation correspond au lieu où la personne a répondu, et pas à son origine, ce qui peut avoir plus ou moins d'importance selon les taux de migration.

Mais sa limite fondamentale est probablement qu'il y a une grande différence entre imaginer ce que l'on ferait dans une telle situation, et ce que l'on fait réellement. Plutôt que d'interroger les personnes sur des images figées, il faudrait les mettre en situation réelle, c’est-à-dire dans une simulation tellement convaincante qu'ils s'y croiraient.7

Heureusement, c'est ce qu'avait fait Vsauce en 2017, ses cobayes ont vraiment cru tuer/sauver des personnes sur une voie de train :

4. Sources

Awad, E., Dsouza, S., Kim, R., Schulz, J., Henrich, J., Shariff, A., Bonnefon, J. F., Rahwan, I. (2018). The Moral Machine experiment. Nature, 563(7729), 59–64. doi:10.1038/s41586-018-0637-6

Bonnefon, J.-F., Shariff, A., & Rahwan, I. (2016). The social dilemma of autonomous vehicles. Science, 352(6293), 1573–1576. doi:10.1126/science.aaf2654

DeScioli, P., & Kurzban, R. (2013). A solution to the mysteries of morality. Psychological Bulletin, 139(2), 477–496. doi:10.1037/a0029065

Inglehart, R., & Welzel, C. (2005). Modernization, cultural change, and democracy : the human development sequence. Cambridge University Press. ISBN:0521846951

Luetge, C. (2018). The German Ethics Code for Automated and Connected Driving, (September 2017). doi:10.1007/s13347-017-0284-0

The Greater Good - Mind Field S2 (Ep 1). Vsauce. 6 décembre 2017.

La morale : choisir un camp ou coopérer ? Philippe Gouillou. Evopsy. 29 janvier 2019

5. Historique des modifications

Date Historique
11 Mars 2019 Ajout Note 7 : lien vers article de Daniel Engber
21 fév 2019 Corrections Orthographe
19 fév 2019 1ère Mise en ligne

6. Notes

  1. Wikipedia FR :

    "Le dilemme ou problème du tramway (trolley problem en anglais) est une expérience de pensée qui se conçoit ainsi sous une forme générale : une personne peut effectuer un geste qui bénéficiera à un groupe de personnes A, mais, ce faisant, nuira à une personne B ; dans ces circonstances, est-il moral pour la personne d'effectuer ce geste ? L'expérience, utilisée en éthique, en sciences cognitives et en neuroéthique, a été décrite pour la première fois par Philippa Foot en 19671 et analysée en profondeur par Judith Jarvis Thomson2,3, Peter Unger4 et Frances Kamm (en)5."

    ↩

  2. Voir sur Evopsy : La morale : choisir un camp ou coopérer ? Extrait :

    Peter DeScioli et Robert Kurzban remettent en question l'explication de la morale par la coopération et proposent que la morale sert d'abord à fixer de manière dynamique le camp à choisir en cas de conflit, et cela à partir des actions et pas du statut ou des relations avec les personnes impliquées.

    ↩

  3. Traduction personnelle depuis Awad et al. (2019, p 60) :

    "nine factors: sparing humans (versus pets), staying on course (versus swerving), sparing passengers (versus pedestrians), sparing more lives (versus fewer lives), sparing men (versus women), sparing the young (versus the elderly), sparing pedestrians who cross legally (versus jaywalking), sparing the fit (versus the less fit), and sparing those with higher social status (versus lower social status)."

    ↩

  4. Traduction personnelle depuis Awad et al. (2019, p 61) :

    "This analysis identified three distinct ‘moral clusters’ of countries. These are shown in Fig. 3a, and are broadly consistent with both geographical and cultural proximity according to the Inglehart–Welzel Cultural Map 2010–2014.
    The first cluster (which we label the Western cluster) contains North America as well as many European countries of Protestant, Catholic, and Orthodox Christian cultural groups. The internal structure within this cluster also exhibits notable face validity, with a sub-cluster containing Scandinavian countries, and a sub-cluster containing Commonwealth countries.
    The second cluster (which we call the Eastern cluster) contains many far eastern countries such as Japan and Taiwan that belong to the Confucianist cultural group, and Islamic countries such as Indonesia, Pakistan and Saudi Arabia.
    The third cluster (a broadly Southern cluster) consists of the Latin American countries of Central and South America, in addition to some countries that are characterized in part by French influence (for example, metropolitan France, French overseas territories, and territories that were at some point under French leadership). Latin American countries are cleanly separated in their own sub-cluster within the Southern cluster."

    ↩

  5. On peut remarquer que la proximité géographique a plus d'importance que la religion (ex : les pays islamiques sont répartis) ↩

  6. Et ces préférences s'expliquent partiellement, comme le montre la Table 2 des Données Etendues : center
    Pairwise exclusion was used for missing data. Predicted relationships are shown in bold. *P < 0.10, *P < 0.05, ***P < 0.01. See Supplementary Information for more details.*
    Extended Data Table 2 Country-level OLS regressions showing the relationships between key ethical preferences and various social, political and economic measures ↩

  7. Un article de Daniel Engber fait le point sur les limites du modèle du Dilemme du Prisonnier. ↩