PROJET AUTOBLOG


InternetActu.net

Site original : InternetActu.net

⇐ retour index

Mais comment passe-t-on des startups d’Etat à l’Etat plateforme ?

jeudi 13 avril 2017 à 07:00

Couverture de la note des startups d'Etat à l'Etat plateformeL’entrepreneur Pierre Pezziardi (@ppezziardi) était l’invité d’une récente matinée organisée par le Liberté Living Lab sur la « plateformisation » du gouvernement et du secteur public. Entrepreneur en résidence au Secrétariat général pour la modernisation de l’action publique, il a contribué à la création de l’incubateur de startups d’État (@betagouv), qui impulse une dynamique d’innovation au cœur de l’appareil administratif via des programmes dédiés (comme le portail d’API de l’Etat, le programme de marchés publics simplifiés ou la base adresse nationale) et développe un programme d’accueil et d’incubation de startups.

Pierre Pezziardi a publié avec Henri Verdier (@henriverdier), Administrateur général des données et Directeur interministériel du numérique et du système d’information et de communication de l’État, en janvier à la Fondapol, le think tank libéral, une note sur « Des startups d’Etat à l’Etat plateforme », qui pose la vision et les principes qu’il discutait lors de sa présentation.

Des startups pour répondre à la « tragédie des services publics » ?

Pragmatique, Pierre Pezziardi, attaque son intervention par du concret. Les offres d’emplois formalisées et publiées ne représentent que 20 % du recrutement annuel et celles qui arrivent sur Pôle Emploi environ 7 % des offres seulement. L’essentiel du marché de l’emploi est donc considéré comme invisible, caché… constitué d’offres qui n’existent pas encore et de candidatures spontanées. Pôle emploi a pour fonction de rapprocher l’offre et la demande, mais pour les gens qui y travaillent, le marché invisible de l’emploi était intégré comme étant inatteignable. « Or, que devient Pôle Emploi si le marché s’invisibilise ? Si demain l’essentiel de l’offre disparaît ? », questionne l’entrepreneur. C’est tout l’enjeu de la bonne boîte, l’une des startups d’Etat initiée par Pezziardi… Le principe de la bonne boite, est de mettre en avant les entreprises les plus susceptibles de recruter en analysant les recrutements passés et en regardant les entreprises qui embauchent le plus (via, semble-t-il, un accès au fichier des déclarations préalables à l’embauche de l’Urssaf), en temps quasi réel, pour permettre aux postulants de mieux cibler des entreprises qui peuvent embaucher ou qui sont visiblement en train de le faire. Le service proposé semble même avoir un impact : si 20 % des chômeurs retrouvent un emploi au bout de 6 mois, c’est le cas de 22 % de ceux utilisent la bonne boîte.

Le fait que le marché de l’emploi soit considéré comme caché et qu’on ne puisse rien y faire, illustre parfaitement ce que Pierre Pezziardi appelle « la tragédie des services publics ». « On fait des incantations, des listes, des promesses… et tout se termine en tragédie de l’exécution. 40 % des gens qui ont droit au revenu de solidarité active (RSA) n’y ont pas recours du fait de la complexité des démarches. C’est un exemple parfait des limites d’exécution des mesures. »

Cette tragédie d’exécution nécessite d’adresser autrement les problèmes du service public que sous la forme d’un grand plan national qui les résoudrait tous. C’est l’idée qui a présidé à la naissance de l’incubateur de startups d’Etat : constituer de petites équipes autonomes au sein de l’Etat pour résoudre des problèmes spécifiques. L’enjeu est de rassembler un groupe de quelques personnes autour d’agents publics pour trouver des solutions à un problème, en quelques mois. Chaque « startup » a 6 mois et 200 000 euros de budget pour trouver son public. L’incubateur d’Etat, beta.gouv.fr, ayant pour fonction d’industrialiser ce processus agile en initiant une conception des services publics centrés sur l’usager.

Pierre Pezziardi prend un autre exemple : la richesse des droits ouverts par l’élargissement de la protection sociale a démultiplié les guichets d’aides. Or cette très grande disparité fait peser le décloisonnement sur l’usager, qui doit seul trouver sa voie dans le dédale administratif. Le simulateur de droits, Mes Aides, vise à estimer les droits à prestations des aides sociales les plus courantes à partir d’un questionnaire en ligne et permet au citoyen d’engager les démarches auprès des organismes partenaires pour rendre leurs attributions effectives. Aujourd’hui, c’est quelque 50 000 simulations qui sont générées chaque jour par cet outil, notamment par les médiateurs des services sociaux eux-mêmes. Le service est encore imparfait. Il répond à 95 % des situations les plus courantes, mais il n’agrège pas encore toutes les aides, ni ne calcule toutes les situations spécifiques. Qu’importe. Le service lancé en bêta est itératif, il cherche à s’améliorer sans cesse. Des centaines de contributeurs adressent des exemples, des situations qui ne fonctionnent pas, afin de continuer à l’améliorer.

L’Etat plateforme : un enjeu organisationnel ?

« L’idée est de faire des services publics autrement. Et notamment d’utiliser le principe de boucle de rétroaction continue », insiste Pierre Pezziardi, c’est-à-dire faire de manière que les services s’améliorent en observant leurs usages par le retour direct de ses utilisateurs. La plateformisation de l’Etat que défendent Piezziardi et Verdier vise à transformer des services publics en plateformes comme le formalisait en 2013 le cadre stratégique commun du système d’information de l’Etat, c’est-à-dire non pas tant transformer tous les services de l’Etat en plateforme, mais, dans une vision plus pragmatique, de développer des formes numériques de services publics qui rétroagissent sur les manières mêmes de fonctionner de l’Etat.


Image : Pierre Pezziardi au Liberté Living Lab, image extraite d’une vidéo sur ces journées.

Ce qui est nouveau, dans l’approche, estime Pezziardi, ce n’est pas la technologie, c’est d’imaginer des équipes responsables de bout en bout de services publics. L’enjeu est organisationnel. « Il n’y aura pas de transformation digitale à organisation constante ». Il faut un espace pour innover. « Les hackathons et incubateurs se planteront s’ils le font à organisation constante ». Innover, nécessite de faire un pas de côté, c’est ce que permettent les startups d’Etat, avec leurs petites équipes dédiées et leur financement propre. L’enjeu est qu’elles produisent des ressources utilisables par d’autres, notamment sous forme d’API, de services web, qui sont un moyen d’initier de nouvelles formes de partenariats publics privés plus simples, « à vocation diffuse »… Permettant à des services tiers d’utiliser ceux produits par les startups d’Etat.

Est-ce désormais dans les conditions d’accès au service que se jouent les politiques publiques ?

Reste que le développement de ces services a aussi une finalité politique. Pierre Pezziardi évoque ainsi une autre startup, le Taxi, une plateforme qui fédère les applications de taxi : c’est un registre qui permet aux taxis de signaler leur positionnement et leur disponibilité, et qui permet à une multitude d’opérateurs de créer des services, pour les chauffeurs comme pour les clients. « L’accès au registre est limité aux acteurs économiques qui participent à sa finalité, c’est-à-dire rapprocher les taxis des usagers ». Les données du Taxi ne sont pas ouvertes, ni publiques : son accès est réglementé par sa finalité. Ainsi, les services de VTC n’y ont pas accès : Uber pourrait se servir du registre pour optimiser la localisation de sa flotte, mais cela ne participerait pas de la finalité. Comme le souligne la FAQ, un comparateur taxi-VTC ou une application proposant un choix entre taxi et VTC sont éligibles, pour autant qu’ils proposent des clients aux taxis. « Dans l’Etat plateforme, tout se joue dans les CGU » (conditions générales d’utilisation du service), qui deviennent un moyen de gouverner, de faire politique. C’est désormais dans les conditions d’accès au service que se jouent les politiques publiques !

Interrogé sur la mesure de l’impact des startups d’Etat, Pierre Pezziardi souligne que le succès ne se mesure pas à l’audience de ces services. Mesurer l’impact est toujours difficile et n’est pas corrélé au nombre de pages vues. La bonne boîte est une grande réussite, car elle a modifié jusqu’aux entretiens individuels de Pôle Emploi, estime-t-il. Dans un récent billet, sur le blog de beta.gouv.fr, il revenait d’ailleurs sur cette difficulté de l’évaluation des services produits. Reste que tout l’enjeu est tout de même d’atteindre des masses critiques pour faire bouger l’organisation qui accueille la startup d’Etat. Sur les 27 startups d’Etat lancées, 2 sont mortes par absence de portage ou du fait d’un mauvais passage à l’organisation chargée de la récupérer au bout des 6 mois d’incubation. C’est un taux de mortalité pour l’instant bien plus faible que ceux qu’on trouve dans les portefeuilles des business angels. L’échec le plus patent, c’est celui de la difficulté à trouver une administration pour continuer à porter le projet une fois lancé.

L’enjeu enfin n’est pas que l’Etat propose un service technique de serveurs et d’hébergements de projets, précise-t-il encore. « L’enjeu est de développer un système humain plus qu’un système technique, de développer des formes d’organisation permettant à des agents publics d’entreprendre », souligne Pezziardi. Plus qu’une infrastructure technique d’Etat, l’enjeu est de démultiplier les méthodes, d’initier des incubateurs de services publics dans d’autres administrations, de permettre à la méthode de faire école. A terme, estime Pezziardi, l’enjeu est de développer un réseau d’incubateurs publics qui partagent les mêmes valeurs, même s’ils sont opérés par différentes administrations. Pour autant, pour que cela fonctionne, il faut d’abord et avant tout que le responsable de l’administration donne son accord et apporte son soutien à la démarche. Qu’il autorise la fabrique de services publics alternatifs et expérimentaux, car il va être le seul à même de pouvoir assumer les conflits, les frictions, que va nécessairement générer l’innovation.

Cette nouvelle forme d’innovation d’Etat, très inspirée des pratiques agiles des startups, très pragmatiques, semble inventer son fonctionnement en marchant. Le problème parfois est qu’il se propose un peu comme un nouveau système d’organisation de l’Etat, alors qu’il fonctionne avec des règles du jeu et des principes qui s’adaptent à ses objets. Comme le souligne Pierre Pezziardi lui-même, « quand on donne accès à des fichiers, il faut inventer les règles du jeu qui vont avec ». Il prend d’ailleurs l’exemple de la Base adresse nationale ouverte en partenariat avec l’IGN, la Poste et Open Street Map et accessible à des acteurs locaux. L’enjeu de cette base de données est de produire des adresses géoréférencées mises à jour. Pour y accéder, les partenaires s’engagent à une obligation de réciprocité. La coproduction publique privée repose sur le fait que pour utiliser les données de cette base, il faut en retour y déverser les siennes. Cela permet de n’agréger que des acteurs qui contribuent aux finalités de la base, au Commun qu’elle constitue. Et cela fait fuir ceux qui voudraient seulement l’exploiter, sans y contribuer, comme Google, le géocodeur le plus puissant actuel. L’acteur public a désormais le choix des finalités des services qu’il propose et met à disposition d’autres services.

Quelle est la finalité du modèle ?

Pour Pierre Pezziardi, le principe des incubateurs publics a pour vocation à essaimer dans d’autres administrations, dans des collectivités ou à l’échelon européen. L’un des enjeux à venir est que le modèle trouve les conditions de son passage à l’échelle. Le modèle des startups d’Etat, comme le précisent Verdier et Pezziardi dans leur note, ne vise pas à créer des entreprises publiques d’un nouveau genre pour « vendre » le domaine public, mais de faire entrer un autre mode de production et d’organisation dans l’administration. Faire entrer des nouvelles formes d’organisation pour produire de nouveaux services publics et une nouvelle forme d’innovation publique… comme le propose le tout récent manifeste pour l’innovation publique. Reste que, si le modèle pose des principes, des valeurs et des défis très stimulants, leur coordination pose encore quelques questions.

Il reste en effet quelques inconnues dans la présentation de Pierre Pezziardi. C’est visiblement dans les conditions d’utilisation des services qui gèrent les modalités de partenariats public-privés que s’inventent de nouveaux éléments de gouvernance publique basés sur le respect de finalités partagées, la réciprocité, l’ouverture, la transparence… Une façon de créer des services d’intérêts généraux avec des obligations. Reste que ces obligations ne sont pas forcément lisibles, explicites, ailleurs que dans les conditions de partenariats qui obligent les partenaires. Si l’enjeu est plus de renouveler les manières de servir l’intérêt général, il faut néanmoins que les critères soient plus explicites. Or, quand on regarde les services produits, pour l’instant, il est encore difficile de connaître leurs critères. Quels critères président à la Bonne formation par exemple ? Comment sont classées les bonnes boîtes ? Il y a là certainement encore des modalités de médiation entre le service et les usagers à améliorer… Reste aussi à interroger ce que produisent ces innovations. Au final, La bonne boite ou Bob Emploi, cet outil d’accompagnement individualisé à la recherche d’emploi, montrent un nouveau visage des services publics pas forcément très sympathique, qui donne l’impression surtout de renvoyer le demandeur d’emploi à sa seule responsabilité.

la couverture du livre de Clément Bertholet et Laura LétourneauDans une table ronde qui suivait l’intervention de Pierre Pezziardi intervenait Clément Bertholet, co-auteur avec Laura Létourneau de Ubérisons l’Etat avant que d’autres ne s’en chargent. Le jeune haut fonctionnaire du corps des Mines qui travaille à la direction du budget, estime que l’ubérisation est déjà en marche. L’ubérisation est la « disruption rapide de modèles économiques existants par des plateformes numériques de confiance sans infrastructures physiques ni opérateurs et centrés sur le client », explique-t-il. Le Safety Check de Facebook est un exemple parfait d’ubérisation d’une fonction régalienne. Au Brésil, plutôt que de recruter des professeurs d’anglais, des écoles proposent à leurs étudiants de discuter en anglais avec des retraités californiens via Skype… Les services numériques marchent chaque jour un peu plus sur les plates-bandes des services publics. « Le péril n’est pas fantasmé. Au bout d’un certain temps, l’écart entre les solutions innovantes que proposent les GAFA et les archaïsmes de l’Administration sera si grand que les populations feront le choix des premiers », explique-t-il dans une tribune qui résume très bien le livre, sur le blog d’Henri Verdier.

Pour Clément Bertholet, cette concurrence des Gafa est une opportunité de transformation des services publics qu’il faut saisir. L’Etat doit bâtir les infrastructures nécessaires et incontournables et garantir l’intérêt général entre les différents acteurs, à l’image des CGU des startups d’Etat.

Reste que dans ce modèle de disruption généralisé, on ne sait pas où doivent se concentrer les priorités.

Tout d’abord, la métaphore de la startup, si elle est stimulante et si elle permet de renouveler le discours du management public, montre ses limites en se laissant entraîner par son propre discours. Dans les startups d’Etat se confondent des actions stratégiques, des projets stimulants et transverses, des initiatives qui renouvellent l’offre de services publics sans qu’on voit réellement comment ils pourront se développer et des projets qui le pourront peut-être, sans qu’on sache très bien comment peut se construire leur passage à l’échelle, leur croissance, leur scalabilité… ou leur interfaçage avec les services publics existants eux-mêmes. Au final, la métaphore utile de la startup appliquée partout brouille le discours des différents niveaux d’intervention et d’innovation de l’Etat.

De même, la notion de plateforme d’Etat, dans le discours, donne l’impression que le marketing de l’innovation prend toute la place, certainement parce qu’il est difficile d’exister sans construire un discours pour se vendre. Il s’inscrit également dans un contexte de réduction et d’optimisation des déficits et des services publics qui devient une injonction à se transformer, parfois plus à court terme qu’à long terme. Il introduit des ambiguïtés sur l’externalisation possible des services publics eux-mêmes.

Enfin, derrière les injonctions à transformer l’Etat en méta-plateforme, il semble que, pour l’instant, la question de l’infrastructure des services que l’Etat doit proposer reste entière. La transformation de l’Etat lui-même via le numérique doit-elle s’appliquer à tous les services de l’Etat ou uniquement aux services numériques ? Quelles sont les priorités dans le déploiement des services qui doivent être entrepris ? Faut-il développer d’abord un système d’identité sécurisée et vérifiée des utilisateurs – comme le propose France Connect – pour permettre aux administrés de récupérer leurs données personnelles, de les mettre à jour et d’autoriser leurs échanges entre administrations ? Faut-il d’abord continuer l’oeuvre d’ouverture des données ? Ou créer des services permettant de moderniser et simplifier l’action publique ?

Dans la note de Verdier et Pezziardi, on entend un discours très libéral à l’encontre des lourdeurs du service public. On entend aussi un discours de simplification et de rationalisation. Entre les lignes et dans certaines réalisations exemplaires, on lit pourtant une vraie défense des valeurs fortes d’équité et de qualité du service public. Ainsi, si les auteurs semblent prôner une automatisation des services publics, c’est pour permettre de gagner plus de temps sur ce qui ne peut pas être automatisé ou sur ce qui ne doit pas l’être, sans qu’on sache clairement de quoi il est question.

Si tout est peut-être ubérisable, tout ne le sera certainement pas, pour autant qu’on ne mette pas à bas notre modèle social et qu’on cherche à le renforcer plus qu’à l’affaiblir. Je ne suis pas sûr que beaucoup de gens souhaitent qu’on remplace les profs d’anglais par des échanges avec des retraités américains, quand bien même on démontrerait leur plus grande efficacité. Intégrer des solutions d’innovations dans les services publics, oui. Des principes d’amélioration, des nouvelles formes d’organisation, certainement. Fluidifier les accès aux services numériques publics, tout en en garantissant l’équité, la qualité, tout à fait. Trouver des modalités nouvelles pour assurer la loyauté des acteurs par le partage de finalités communes, oui. Mais penser que tout est ubérisable ou plateformisable revient à nier la différence essentielle entre un système public qui ne peut pas faire abstraction de la motivation de ses décisions et de ses finalités, ni des valeurs d’équité qu’il doit porter, et un système privé qui n’est pas tenu par les mêmes obligations.

Hubert Guillaud

De la conception comportementale appliquée aux environnements de travail

mercredi 12 avril 2017 à 07:00

Noam Scheiber (@noamscheiber) pour le New York Times vient de lancer un autre pavé dans la mare des nombreuses difficultés que connaît actuellement Uber (après notamment les questions autour de Greyball que nous évoquions hier), en montrant comment l’entreprise – ainsi que son grand concurrent sur le territoire américain, Lyft – utilisait le design comportemental pour optimiser le travail de ses chauffeurs, c’est-à-dire, comme il le dit lui-même, comment il les « manipule au service de la croissance de l’entreprise ».

Depuis 2013, grâce aux conseils d’un cabinet spécialisé dans l’économie comportementale, Uber a considérablement fait évoluer le design de son application destinée aux chauffeurs. A la fois pour éviter la fuite des chauffeurs à la concurrence et à la fois pour améliorer sa relation avec eux, en rendant l’interface plus conviviale, plus agréable. L’article du New York Times revient sur les nombreuses techniques que les services de chauffeurs à la demande utilisent pour inciter les conducteurs à travailler, même à des heures ou à des emplacements moins lucratifs pour eux.

Vers des environnements de travail pour nous pousser à travailler ?

L’article évoque 3 grands types de nudges développés dans ces interfaces…

Uber envoie ainsi aux chauffeurs une proposition de course avant qu’ils n’aient fini la leur, pour les inciter à ne pas raccrocher, comme Netflix lance un nouvel épisode de série avant la fin du précédent (une pratique qui encourage des comportements addictifs, comme les dénonçait le designer Tristan Harris). Une sorte d’incitation à ne jamais décrocher – un « binge-driving » comme le souligne Olivier Desbiey de la Cnil – mais plus sophistiquée visant à encourager une frénésie ou une forme de gavage…

Si les conducteurs peuvent arrêter leur service à tout moment, Uber leur montre en permanence les zones de forte demande auxquels ils pourraient répondre. S’inspirant des travaux des sciences comportementales sur l’aversion à la perte, l’application leur envoie des notifications leur indiquant ce qu’ils perdent en ne travaillant pas, plutôt que ce qu’ils pourraient gagner. Dans un but assez clair de culpabilisation…

Uber comme Lyft proposent enfin un système de ludification des objectifs de gains des chauffeurs. Chaque chauffeur est invité à définir ses objectifs de gains quotidiens, afin de motiver leur implication et les leur présente régulièrement pour les inviter à les atteindre voir à les dépasser. Ainsi, l’entreprise a mis en place un système d’encouragement plus ludique pour les inciter à faire les 25 courses d’affilée qui leur donne droit à un bonus, du type : « vous êtes à mi-chemin du bonus, félicitations ! » Reste que le ciblage de revenus encourage surtout les chauffeurs à conduire plus souvent, plus qu’il ne les aide à se concentrer sur les moments où la demande est la plus forte.

Incitations continues proposant toujours de nouvelles opportunités, culpabilisation en jouant de l’aversion à la perte, implication accrue par l’usage de systèmes ludiques et personnalisables… ce que montrent ces exemples c’est combien les techniques de l’économie comportementale s’intègrent jusqu’à la conception même des systèmes de travail.

La finalité des objectifs est-elle partagée ?

Si les entreprises ont pour fonction de pousser leurs clients à acheter leurs produits et leurs services via le marketing et la conception, étendre ces moyens psychologiques à la force de travail elle-même est transformateur, estime Noam Scheiber. Le management a pourtant une longue tradition d’optimisation de la productivité de la main-d’oeuvre… Or, jusqu’à présent, quand les entreprises ont plus de pouvoirs sur leurs employés que sur leurs clients, elles doivent en retour leur fournir des protections plus importantes, comme un salaire minimum ou respecter un nombre d’heures de travail. Comme chacun le sait, ce n’est pas le cas des conducteurs d’Uber, considérés comme des travailleurs indépendants (voir notamment notre dossier Qu’est-ce que l’économie du partage partage ?). Pour les chercheurs Ryan Calo (@rcalo) et Alex Rosenblat (@mawnikr), Uber utilise sa capacité à contrôler l’interface des conducteurs et les termes des transactions pour canaliser leurs comportements.

Le problème d’Uber, explique Noam Scheiber, c’est la tension entre les objectifs des chauffeurs et les objectifs d’Uber. Les conducteurs préfèrent une pénurie de chauffeurs pour augmenter leurs revenus, alors qu’Uber cherche à éviter la pénurie de chauffeurs pour servir le plus rapidement possible les clients. La plateforme semble plus loyale aux clients qu’aux chauffeurs… même si elle surtout et avant tout loyale à elle-même et à ses propres intérêts.

S’il y a déjà eu des formes de management manipulateur, Noam Scheiber estime néanmoins que l’échelle d’application de ces systèmes est nouvelle, notamment parce que celle-ci n’a pas de limites. Les entreprises peuvent jouer sur tous les éléments à leur disposition (et elle les maîtrise toutes), leur permettant de sélectionner les critères et les paramètres de leur choix pour faire les ajustements de leurs choix, sans être contraints par aucune forme de régulation.

L’article du New York Times fait bien sûr parler ces chauffeurs, tout le temps occupés, qui n’arrivent pas à joindre les deux bouts… et qui ont l’impression que « tout cela ressemble à un jeu vidéo », dans lequel ils ne sont pas nécessairement les joueurs.

Uber comme Lyft se défendent bien sûr de ces pratiques en expliquant que, pour les conducteurs eux-mêmes, rien n’est pire que des conducteurs inoccupés. Reste qu’il faut désormais faire plus d’efforts pour arrêter de conduire que pour continuer, tant et si bien qu’Uber a dû introduire un bouton pause afin de permettre aux chauffeurs de stopper les sollicitations permanentes – mais si la fonction semble pouvoir être désactivée à la volée, elle revient visiblement par défaut. En fait, tout semble fait pour que le chauffeur n’ait pas la main sur tous les paramètres. Pour le directeur de la recherche d’Uber, qui minimise l’importance de l’emprise de l’économie comportementale, nul n’est obligé à rien : le choix par défaut incite juste à faire le travail qu’il y a à faire.

Noam Scheiber explique que les entreprises de l’économie collaborative adopteront peut-être d’elles-mêmes des normes pour limiter leurs capacités à manipuler leurs contractants. Comme le souligne Kelly Peters, responsable d’une société de conseil spécialisé dans les sciences du comportement, les données qui permettent à Uber de faire travailler ses conducteurs plus longtemps sont difficiles d’accès pour qu’un contrôle se mette en place. Pour l’instant, rappelle Noam Scheiber, tant qu’Uber continue de développer comme objectif sa croissance et le nombre de passagers, il sera incité à augmenter les heures de travail des chauffeurs plus que leurs revenus.


Image : dans son article, le New York Times propose plusieurs vignettes interactives permettant de comprendre les effets d’Uber, comme ici, où l’animation montre que plus une entreprise a de chauffeurs sur la route, plus cela bénéficie aux entreprises, alors que les conducteurs, eux, ont avantage à une pénurie de chauffeurs pour que les prix à la course augmentent.

Qu’est-ce qui sépare l’incitation de la manipulation ?

Le problème semble lié à l’omnipotence du contrôle d’Uber sur ses chauffeurs, qui en maîtrise tous les éléments, jusqu’à la forme, c’est-à-dire jusqu’à la conception même de la relation imposée par le système technique.

Comme l’explique sur Quartz la psychologue et essayiste Liane Davey (@lianedavey), Uber a franchi la ligne qui sépare la motivation des employés de leur manipulation active. Pour elle, l’économie à la demande reposait sur un compromis : en échange d’une certaine instabilité, les travailleurs obtenaient plus de liberté et de souplesse. Or, les exemples de manipulation révélés par le New York Times montrent qu’ils abandonnent bien plus qu’ils ne reçoivent et ce d’autant que les entrepreneurs individuels que sont les chauffeurs d’Uber n’avaient déjà pas beaucoup de protections.

Un autre enjeu vient du fait qu’Uber procède à des expérimentations sur ses conducteurs eux-mêmes… Or, normalement, une expérimentation psychologique doit être strictement contrôlée. La notion de consentement éclairé des « cobayes » est fondamentale, rappelle la chercheuse. Nous ne devrions pas être cobayes sans le savoir ni sans comprendre les conséquences potentielles de l’expérimentation. Or, ici, Uber expérimente sans comité éthique et sans que ses ajustements aient de répercussions en terme de contreparties.

Le second point pour Liane Davey, c’est qu’Uber ôte de l’autonomie à ses conducteurs. « Les bons systèmes d’incitation laissent le contrôle entre les mains des employés ». Or, Uber cherche visiblement à supprimer ce contrôle conscient en utilisant des techniques de motivation qui suppriment l’agentivité, c’est-à-dire la faculté d’action des gens, qui doivent pouvoir évaluer consciemment la valeur du travail supplémentaire qui leur est proposé par rapport à d’autres alternatives. Or, « si le travailleur n’a pas l’option de dire « non », ce n’est pas une motivation, mais une coercition », rappelle clairement la psychologue.

Enfin, Uber incite les conducteurs à faire des choses contraires à leurs intérêts personnels, notamment en les poussant à travailler lorsque la demande est la moins forte et donc les revenus plus faibles, sans leur faire bénéficier de compensations. Si la défense d’Uber est de dire qu’à long terme, plus de conducteurs signifie plus de passagers et moins de temps passé à attendre, il manque une compensation liée à l’incitation d’avoir à passer dans une zone peu fournie en client au détriment de leur intérêt financier.

Pour Liane Davey, les incitations d’Uber ne sont pas éthiques. En obscurcissant le but et l’existence de ces programmes de motivation, en supprimant ou limitant la capacité du conducteur à les contrôler ou à les décliner, le système demeure conçu pour maximiser les résultats de l’entreprise au détriment des conducteurs. Pour elle, Uber a franchi une ligne… et personne n’est là pour protéger les conducteurs. Les protections sociales doivent s’intéresser à ces nouveaux enjeux d’abus et de manipulation. Il est temps de s’intéresser aux coûts de l’économie à la demande et à sa régulation, conclut-elle.

On pourrait même aller un peu plus loin. La question que posent ces nouvelles formes de manipulation du travail, subtiles, invisibles, indolores… est bien sûr relative à leur généralisation. Nos tableaux d’activités demain, nous proposerons-t-ils gentiment de rester encore un quart d’heure pour répondre à quelques e-mails et relire les dernières pages d’un rapport ? Appliquées au lumpenprolétariat de l’économie à la demande, ces formes manipulatoires qui s’inscrivent au coeur même des outils de travail semblent encore bien lointaines. Mais quand elles s’inscriront dans des formes de contrôle permanent de nos activités, auprès de qui pourrons-nous encore inscrire une récrimination autre qu’un système qui nous en déniera le droit ?

Hubert Guillaud

La question de la conception comportementale et de ses effets attentionnels sera au coeur de la conférence « Ethics by Design » du 12 mai, à l’Ecole normale supérieure de Lyon, à laquelle nous participerons. Le nombre de places est limité. Inscrivez-vous !

Uber, les gouvernances fantômes

mardi 11 avril 2017 à 07:00

Le mois dernier, Mike Isaac (@mikeisaac) pour le New York Times révélait l’existence de Greyball, un programme secret développé par Uber pour protéger ses chauffeurs en trompant des utilisateurs, et qui aurait été utilisé pour se jouer des autorités de contrôle ou permettre à ses chauffeurs d’éviter la police dans les villes où la société n’était pas la bienvenue (le programme ne serait plus utilisé depuis 2015, rappelle le Monde).

Fake world, true manipulation

Comme l’explique l’essayiste Nicholas Carr sur son blog, le principe de Greyball consistait à présenter une fausse carte (fake map) et des voitures fantômes à ceux qu’Uber identifiait, depuis leurs données personnelles, comme ses « opposants ». Pour Carr, derrière les questions éthiques et juridiques que ces révélations soulèvent, Greyball montre combien les représentations numériques fabriquent de la réalité, même si celles-ci se révèlent complètement fausses. À l’heure où les cartes, via la personnalisation, poursuivent des buts marketing plus que cartographiques, la carte n’est plus la carte. La carte des voitures fantômes d’Uber montre combien la représentation numérique du monde peut être manipulée.

Comme l’a reconnu l’entreprise elle-même, Greyball a été utilisé à plusieurs fins : tromper les autorités, tester de nouvelles fonctionnalités, prévenir de la fraude, protéger les chauffeurs, dissuader des utilisateurs d’utiliser le service… Un portefeuille d’utilisation illimité, qui montre qu’il est impossible, à l’utilisateur, de savoir s’il a été trompé. Si la carte d’Uber est flatteuse pour l’utilisateur placé en son centre, avec ces voitures surdimensionnées prêtes à répondre au moindre de ses désirs, elle nous place dans une histoire fictionnelle qui personnalise la ville pour l’utilisateur, comme le fait Google Maps, quand elle met en évidence certains points plutôt que d’autres… Pour Carr, les fake maps répondent aux fake news. Les fictions centrées autour de l’utilisateur fabriquées par les flux de Facebook ou de Twitter servent également à attirer les désirs et préjugés des utilisateurs et à leur fournir un contexte pour la publicité, c’est-à-dire pour les tromper. Les fake news sont le moteur de Facebook, de même que les fake maps sont celles d’Uber. Greyball semble une aberration, mais au final, la tromperie qu’il symbolise ne serait-elle pas l’essence même du monde virtuel ?

Pour le développeur Quincy Larson de FreeCodeCamp, Uber comme Volkswagen ont en commun d’avoir utilisé le code pour casser les règles et contourner la loi. Quincy Larson souligne combien les informations et les capacités de traitement d’Uber lui permettent de se placer au-dessus des lois. Nous n’avons appris le problème, uniquement parce que quelques employés d’Uber, lanceurs d’alertes, tiraillés par leur culpabilité, on fait fuiter l’information… insiste-t-il. Pour Quincy Larson ces exemples nous rappellent que si les développeurs sont désormais surpuissants, ils doivent utiliser ce pouvoir d’une manière responsable… Ce qui n’est pas sans rappeler les questions éthiques qui agitent le numérique, dans le domaine du design et de la conception des produits et services, à l’image des propos récents de Paul Sourour, de Mike Monteiro, comme des chercheurs de Data&Society.

Discriminations réelles et fantômes

Pour Adrienne LaFrance (@adriennelaf) sur The Atlantic, Greyball pose une autre question de fond : dans un environnement numérique, à quoi ressemble le droit de refuser de servir quelqu’un ?

Ce droit est invisible. Quand on vous refuse l’entrée physique d’un bar, ce refus est visible. Mais dans un environnement numérique, ce refus peut-être totalement invisible. Un utilisateur peut-être ainsi bloqué sans le savoir, comme cela a visiblement été le cas de fonctionnaires gouvernementaux cherchant à accéder à Uber. Or, cette invisibilité même protège Uber de tout contrôle. Pour Ethan Zuckerman (@ethanz), directeur du Centre des Médias civiques du MIT, « il est extrêmement important pour les gens de savoir qu’on leur refuse le service, car c’est ce qui leur permet de déposer une demande de discrimination, de recueillir des preuves de leur exclusion… » Avec un logiciel de ce type, il serait extrêmement difficile de montrer que Uber procède à des discriminations envers certains types d’usagers par exemple.

Un contrôle sans précédent

Pour le Time, les révélations sur l’existence de Greyball confirment les pires craintes à l’encontre d’Uber : le fait qu’une entreprise soit capable d’exclure certaines personnes ou certaines catégories de personnes en fonction de ses propres prérogatives.

Les chercheurs Alex Rosenblatt (@mawnikr) et Ryan Calo (@rcalo) soulignent que des plateformes comme Uber, Aibnb ou Lyft disposent d’un contrôle sans précédent sur tous les aspects de leurs marchés et des expériences qu’ils proposent. Pour eux, l’économie du partage se révèle être surtout une économie de la prédation, expliquent-ils dans un article de recherche. Greyball fait partie d’un modèle de manipulation et de jeu sur les paramètres qu’ils contrôlent beaucoup plus vaste, allant de la classification des conducteurs au contrôle des prix… Pour Elizabeth Joh (@elizabeth_joh), professeure de droit à l’Université de Californie, Greyball montre une tentative délibérée de contourner la loi et pas seulement d’y échapper.

Pour Christian Sandvig, chercheur à l’université du Michigan, Greyball rappelle les techniques discriminatoires des banques pour refuser des prêts aux minorités, interdits depuis par la réglementation fédérale. Quant aux poursuites que cette affaire pourrait déclencher, les villes touchées par les révélations sont encore en phase de collecte d’informations et d’enquête.

Derrière le constat accablant de l’utilisation trompeuse voire manipulatrice d’Uber, une question de confiance se pose à l’encontre de tous les dispositifs numériques qu’on utilise. À quoi peut-on faire confiance ? Depuis quels éléments ? Force est de constater qu’il semble que nous ayons de moins en moins d’éléments pour le savoir ! L’expérimentation permanente dans laquelle nous plonge le numérique nous transforme en cobaye contre notre gré, sans que nous n’ayons beaucoup de prise pour être au moins informé de la manière dont nous sommes utilisés par-devers nous.

Hubert Guillaud

MAJ : TechCrunch, à la suite de The Information, annonce qu’Uber aurait utilisé un autre logiciel secret, baptisé Hell, pour tracer les conducteurs de son concurrent, Lyft, leur permettant de connaître la disponibilité des chauffeurs du concurrent, leurs tarifs, et ceux qui étaient également chauffeurs pour Uber, permettant à l’entreprise de faire des incitations adaptées à ses chauffeurs afin de limiter cette concurrence. Uber aurait arrêté d’utiliser Hell en 2016.

La Question Interstellaire (1/2) : une perspective écologique

mercredi 5 avril 2017 à 07:00

On a déjà parlé de Rachel Armstrong (@liviingarchitect) dans les colonnes d’InternetActu.net. Cette architecte est en effet connue pour ses travaux futuristes, souvent à la limite du « design fiction » et s’inspirant largement de la biologie de synthèse comme Future Venice ou l’Hylozoic Ground.

Les enjeux de l’exploration interstellaire

Elle a récemment dirigé un ouvrage collectif chez Springer, Star Ark : A Living, Self-Sustaining Spaceship, dont elle a rédigée la première partie (divers auteurs se succédant dans la seconde), consacrée à l’avenir du voyage interstellaire, pas moins ! Parallèlement, Rachel Armstrong a lancé le projet Persephone, qui cherche à créer un environnement viable pour un tel futur vaisseau. Persephone est une partie du projet Icarus, qui se consacre justement à l’exploration des étoiles…

Star Ark: A Living, Self-Sustaining SpaceshipMais bon, retourner sur la lune, coloniser Mars, exploiter des astéroïdes ou même créer des cités spatiales en haute orbite, c’est déjà quasi utopique, alors se passionner pour le voyage interstellaire, c’est franchement, euh, un peu cinglé non ?

Pour mémoire, rappelons qu’à moins d’une découverte nous permettant de court-circuiter la limite imposée par la vitesse de la lumière (comme « l’hyperespace » des auteurs de science-fiction ou l’utilisation de « trous de ver » autorisant un raccourci entre deux points très distants de notre univers, comme dans le film Interstellar) un tel vaisseau spatial mettrait des centaines d’années à atteindre son objectif. Au point probablement que les passagers embarqués au départ seront probablement décédés à l’arrivée, laissant la place à la ou les générations suivantes. Comment un tel exploit serait-il possible, et d’ailleurs pour quoi faire ?

Mais pour Rachel Armstrong et ses coauteurs, l’intérêt d’un tel projet tient moins à sa réalisation à moyen ou long terme que la manière dont son existence même nous amène à réinterroger nos modes de pensée et de fabrication. C’est ce qu’Armstrong nomme la « Question Interstellaire ».

Il s’agit moins de réfléchir à de bonnes fusées ou au meilleur carburant que se demander comment créer de toutes pièces un environnement durable pour une population humaine, capable de résister aux aléas du voyage, et, même peut être plus encore, capable d’évoluer vers des états inédits et plus complexes qu’au départ.

Au centre de la création d’un tel vaisseau se trouve donc la problématique écologique. « Une perspective écologique ne permet plus de simplifier ce défi sous la forme d’une danse de survie mutuelle entre l’homme et la machine. Au lieu de cela, les problèmes en jeu doivent d’abord être abordés à travers une lecture du cosmos en tant qu’écosystème ainsi qu’à travers des perspectives multiples et enchevêtrées, ce qui inclut la science, la technologie, les arts et les humanités ».

De fait, imaginer le voyage interstellaire nous conduit à une série de problématiques qu’on ne retrouve pas dans les projets classiques de colonisation de notre système solaire, tels que ceux que nous avons déjà évoqués dans nos colonnes. Créer des cités spatiales en haute orbite, s’installer sur la Lune ou sur Mars, suggère un accès à de très nombreuses ressources disponibles sur la Terre, les planètes ou les astéroïdes. Un vaisseau traversant les étoiles ne disposera de rien de tel. Jamais le mot « durable » n’aura été employé autant à propos.

Les nouvelles formes de laboratoires


Aujourd’hui, les grandes entreprises de la Silicon Valley s’intéressent de près à la colonisation de l’espace proche. Mais inutile de compter sur un Musk ou un Larry Page pour lancer un projet de la taille d’une arche interstellaire. Pas la peine non plus de compter sur les grandes Nations qui se sont lancées dans la course à l’espace au moment de la guerre froide.

Pour Armstrong, la clé pourrait se trouver dans la montée des « nouvelles formes de laboratoires » présents notamment au sein des différentes organisations de sciences citoyennes, makers, biohackers, designers, etc. Ces groupes créent en effet des « prototypes » susceptibles d’inspirer diverses réflexions sur la Question Interstellaire : « Bien que les développements de ces «prototypes» ne soient pas réellement des vaisseaux spatiaux, leur existence présente de l’importance pour la question du vaisseau spatial (…). Les plates-formes de makers préconisent l’émergence de nouveaux types de laboratoires et la création d’une gamme d’approches qui ne sont pas typiques des analyses de recherche classiques, mais génèrent des informations pertinentes grâce à des recherches menées par des praticiens. En effet, certains groupes testent des idées, par exemple dans nos foyers et nos villes, dans le but d’améliorer l’environnement urbain, ce qui peut éventuellement aider à satisfaire les besoins des futurs colons. »

L’idée est intéressante. J’avoue que je ne savais pas moi-même trop quoi penser des recherches d’Armstrong sur Venise et le « sol hylozoïque ». Mais si on les considère comme les petites pièces d’un puzzle qui mettra peut être plusieurs siècles à se réaliser, cela prend sens. Et c’est vrai aussi des autres travaux des « makers » et biohackers. Si l’espoir que la culture maker allait donner naissance très vite, à une nouvelle forme de société industrielle tend aujourd’hui à s’étioler, la Question Interstellaire permettrait de la placer dans un cadre, de donner sens à une multitude d’expérimentations dont on ne voit pas aujourd’hui quel est l’aboutissement pratique précis. Cela donne peut être un début de réponse à la question de la panne actuelle des imaginaires : peut-être ne peut-on penser l’innovation, même à court terme, qu’en se plaçant dans une perspective impliquant un très lointain futur. C’est une idée que Rachel Armstrong nomme le « Black Sky Thinking » (« pensée du ciel noir ») et qu’elle décrit ainsi : « Le Black Sky Thinking consiste à se projeter au-delà des cadres actuels et des projections prédéterminées, dans le terrain de l’inconnu. Mais plus que cela, cela consiste à ramener cet inconnu dans le présent d’une manière qui possède des effets immédiats et engage autrui, en gardant toujours à l’esprit que l’avenir est désordonné, non-linéaire et non-déterministe ».

Conquérir les étoiles… en restant sur Terre


Manuel d'instruction pour le Vaisseau spatial TerreDe cela on peut déduire que la Question Interstellaire peut commencer à se poser sur notre bonne vieille Terre, en repensant des choses comme l’urbanisme ou l’agriculture. En fait l’idée de l’arche des étoiles d’Armstrong et ses collègues est tout à fait dans la droite ligne du fameux texte écrit par Buckminster Fuller en 1968, le Manuel d’instruction pour le Vaisseau spatial Terre. En fait, il s’agit de prendre Fuller au mot : comment construire un vaisseau artificiel qui soit comme une reproduction, en plus petit, de ce vaisseau spatial Terre ? Et ce n’est même pas la peine de lancer ce « vaisseau » dans l’espace ; ce n’est pas l’urgence. Comme elle l’explique dans une interview avec Giulio Prisco publiée sur le blog de ce dernier : « Ce n’est pas quelque chose qui arrivera avant très très longtemps. Mais nous pouvons influencer le futur ici et maintenant. Par exemple, nous pouvons concevoir nos villes comme des vaisseaux spatiaux – en d’autres termes, apprendre comment les gouverner, les maintenir et les construire pour qu’elles soient équitables et respectueuses de l’environnement. Pensez au vaisseau spatial Terre de Buckminster Fuller et imaginez-le à l’échelle, d’une ville, d’un quartier, d’un bâtiment. » Et ailleurs, dans le même entretien, elle affirme : « nous avons besoin d’une biosphère III – et, de préférence, une dans chaque cité. »

L’Ecocène


Un autre aspect intéressant de la réflexion de Rachel Armstrong est le remplacement du concept d’Anthropocène par celui d’Ecocène. L’anthropocène, selon elle, est un enfant de l’ère industrielle.

« En extrapolant à partir des événements passés, l’Anthropocène nous confronte à des scénarios futurs, qui tous prédisent notre extinction inévitable. Peu importe comment se déroule l’Anthropocène, nous finissons toujours perdants… Si nous héritons d’un «bon» Anthropocène, nous finissons remplacés par des machines hyper-intelligentes, comme le prédisent des commentateurs tels que Ray Kurzweil dans The Singularity is Near (2005). De fait, Bill Joy de Sun Microsystems, Elon Musk et le scientifique Stephen Hawking expriment leur inquiétude quant aux risques existentiels d’une gestion planétaire menée par des technologies dynamiques et intelligentes, et même quant à l’avenir de la race humaine. Et si nous avons un «mauvais» Anthropocène, alors la sixième grande extinction se produira, comme l’ont prévenu Edward O. Wilson et ses collègues. »

Projet Persephone
Image : Ce à quoi pourrait ressembler le vaisseau Persephone, via Dezeen.

L’Ecocène, par contraste, ne postule pas la domination de l’homme sur son environnement naturel, mais au contraire la prise en compte de l’inséparabilité de l’humain et de son milieu. De fait, les projets d’écosystèmes et de structures spatiales élaborées ces dernières années reposaient ouvertement sur des concepts hérités des l’Anthropocène. Les cylindres de O’Neill, par exemple, sont des environnements fermés parfois agrémentés d’espaces verts de type « jardins », c’est-à-dire domestiqués et au comportement parfaitement prévisible. Au contraire, des projets comme Persephone connaitront un destin bien plus incertain…

La construction d’un vaisseau interstellaire ne doit pas prendre appui sur les réalisations de l’ère industrielle, insiste Armstrong : ce ne sera pas un produit de l’Anthropocène. Il nous faut « rejouer l’histoire de la civilisation », nous explique-t-elle, remonter vers un passé plus lointain. C’est ce qu’elle essaie de faire avec son projet Persephone, qui, écrit-elle, nous ramène à l’époque « où les gens se sont pour la première fois rendu compte que le sol sur lequel ils se tenaient renfermait des richesses ».

Reste donc à comprendre en quoi consiste ce projet Perséphone et voir quelles sont les autres initiatives susceptibles dès aujourd’hui de favoriser cette construction du vaisseau interstellaire…

Rémi Sussan

Les algorithmes sont-ils une nouvelle forme de bureaucratie ?

mardi 4 avril 2017 à 07:00

Pour Real Life – dont on ne recommandera jamais assez la qualité (@_reallifemag) – l’essayiste Adam Clair (@awattobuildit) dresse une intéressante comparaison entre algorithme et bureaucratie. Les algorithmes sont paradoxaux rappelle-t-il : « ils sont conçus pour améliorer la prise de décision humaine en supprimant supposément ses biais et ses limites, mais les protocoles analytiques inévitablement réducteurs qu’ils mettent en œuvre se révèlent surtout vulnérables à des formes d’utilisation abusive. » Comme le dit très bien Cathy O’Neil dans son livre : loin d’être neutres et objectifs, « les algorithmes sont des opinions formalisées dans du code ».

Pour Adam Clair, derrière l’apparente complexité de leur code, les objectifs des calculateurs ne sont pas nouveaux : ils visent à concentrer le pouvoir dans des structures ordonnées et cohérentes, à l’image des bureaucraties. Comme celles-ci, les algorithmes tendent à être impénétrables, opaques, et à renforcer les injustices existantes. Si algorithmes et bureaucraties sont proches, alors peut-être que l’histoire de la critique de la bureaucratie peut nous aider à éclairer la question de la régulation des algorithmes, explique-t-il.


Image : Critique-t-on les algorithmes pour la cruauté de leur caractère bureaucratique, s’interrogeait déjà Slate en 2015.

Légitimer son opacité pour conserver ses fonctionnalités

Adam Clair rappelle notamment les critiques du sociologue Max Weber à l’égard des processus bureaucratiques. Si les bureaucraties et les algorithmes savent s’engager sur la voie de la transparence – avec des règles qui sont censées être claires, formulées uniformément et accessibles à tous, ce qui est plus vrai en théorie qu’en pratique -, ils légitiment l’un comme l’autre leur opacité pour conserver leur fonctionnalité. Google comme Facebook justifient le secret de leurs algorithmes pour déjouer les acteurs subversifs, tout comme les bureaucraties justifient leur tendance à devenir complexe et opaques au bénéfice des seuls initiés pour garder secrets leurs connaissances, leurs intentions… leurs lacunes et défauts. Par nature, la bureaucratie tend à exclure le public, à cacher ses connaissances et son action, lui permettant de devenir toujours plus insensible aux critiques. Or, comme le souligne Cathy O’Neil, il n’est pas nécessaire de comprendre tous les détails d’un système pour comprendre où il échoue. Algorithmes et bureaucraties tentent d’apparaître à l’épreuve de toute défaillance, alors que ce mode de défense est par nature incompréhensible à ceux qui y sont confrontés. Les bureaucrates sont les seuls à comprendre le fonctionnement de leur système, comme les ingénieurs les seuls à comprendre le code de leurs calculateurs.

« Étant donné que personne ne peut identifier les raisons spécifiques des problèmes, tout échec peut être interprété comme un signe que le système doit avoir plus de pouvoir pour produire de meilleurs résultats », qu’importe si ce qui constitue un « meilleur » résultat reste du ressort de ceux qui les mettent en oeuvre. Plus que neutres, ces choix sont fondamentalement moraux, souligne Adam Clair. Pour les mauvais algorithmes, comme pour les pires bureaucraties, les échecs sont souvent interprétés comme le signe que le système a besoin de plus de puissance pour produire de meilleurs résultats. Or cette puissance nécessite d’abdiquer toujours plus avant toute responsabilité au système. C’est pourtant souvent l’inverse que souhaitent les usagers. Face à la complexité bureaucratique comme face à la complexité algorithmique, les usagers ne souhaitent pas un mur un peu plus haut, un système un peu plus compliqué qui accède à plus de données… mais un dialogue un peu plus ouvert.

Si l’objectif d’un modèle de prédiction de la récidive est de réduire le taux de criminalité par exemple, l’équité ou la pertinence des peines de prison qu’il produit ne comptent pas tant que le fait de faire diminuer le taux de criminalité. De même, si l’objectif d’une plate-forme de médias sociaux est de maximiser la « participation », l’engagement peut être considéré comme un succès, indépendamment de la véracité des informations qui y sont partagées ou de l’intensité du harcèlement qui s’y produit. L’essentiel étant que les utilisateurs continuent à cliquer et à commenter… Au final, l’abdication à la puissance de traitement devient une ferveur pour sa pure objectivité, comme si sa « neutralité » était elle-même un but toujours plus incontestable. En fait, « l’intention des algorithmes est toujours présentée comme évidente (à la fois neutre et donc juste) plutôt que comme une question de négociation et de mise en œuvre. Les moyens et les finalités se déconnectent. L’objectivité devient un front, un moyen de certifier les résultats indépendamment du fait qu’ils constituent ou non des améliorations sociales. Ainsi, l’accent mis sur la lutte contre les préjugés humains conduit directement à développer des moyens de camoufler et de dissiper la responsabilité humaine, ce qui rend le biais humain plus difficile à détecter (comme le soulignait danah boyd, NDT). Les efforts pour être plus justes finissent par devenir une tentation ou une justification de l’opacité, une façon d’accentuer la répartition inégale des récompenses et des pénalités, exacerbant les inégalités existantes à tout moment. »

Irresponsable… mais pas coupable !

Dans Du mensonge à la violence, Hannah Arendt caractérise la bureaucratie comme le pouvoir « d’un système complexe de bureaux où ni un seul, ni les meilleurs, ni le petit nombre, ni la majorité, personne ne peut être tenu pour responsable, et que l’on peut justement qualifier de règne de l’Anonyme ». Sans contrôle, la bureaucratie permet à une « conspiration involontaire » d’exécuter des actes qu’aucun individu n’appuierait, mais dans lesquels tous sont finalement complices. C’est ainsi que les entreprises peuvent poursuivre des bénéfices sans tenir compte de leurs effets sur l’environnement ou les vies humaines par exemple. L’abstraction de la bureaucratisation conduit à la violence souligne Arendt, puisque « dans une bureaucratie pleinement développée, il ne reste plus personne avec qui l’on puisse discuter, à qui l’on puisse présenter des griefs, sur qui les pressions du pouvoir pourraient être exercées. » De la même manière, nous sommes démunis face à un calcul, surtout quand il s’agit d’expliquer qu’il est faux ou qu’il nous a mal calculés.

Or rappelle Adam Clair, dans une société capitaliste, le désir de supprimer les préjugés humains des processus décisionnels fait partie intrinsèque de la recherche globale d’efficacité, d’optimisation, de rationalisation décrite par Weber. Mais ce dernier décrit également ces principes comme une « cage de fer », une puissance emprisonnante et incapacitante. De même, derrière leur biais réductionniste, les algorithmes fournissent du profit, de la puissance et du contrôle à ceux qui les opèrent. Ils réduisent les sujets humains en attributs exprimés en données, afin de faciliter le contrôle, la manipulation, la vente et l’exploitation. « Ils transfèrent le risque de leurs opérateurs à ceux pris dans leurs engrenages. Ainsi, même lorsque les algorithmes fonctionnent bien, ils ne fonctionnent pas du tout pour nous », les calculés, mais uniquement pour ceux qui opèrent le calcul.

Les comprendre, c’est les déjouer

Des algorithmes fonctionnant avec des données inexactes peuvent être nocifs pour ceux qui tentent d’obtenir un emploi, un prêt ou un appartement. Reste que si on peut se rendre compte que ces services ont de mauvaises données, il est difficile de les modifier. Sans compter que nombre d’entre eux utilisent des approximations douteuses pour générer des données, quantifier ou trier, comme d’utiliser des codes postaux pour inférer votre niveau de revenu ou votre origine ethnique. L’interrelation des données entre elles et des systèmes entre eux tend à créer des biais qui se renforcent les uns les autres. Ces systèmes créent des boucles de rétroaction qui aggravent ce qu’ils prétendent mesurer objectivement. Un système de crédit qui tient compte de votre code postal abaissera ainsi votre score si vos voisins sont de mauvais payeurs, faisant augmenter votre taux d’intérêt donc faisant augmenter votre probabilité à faire défaut et donc à renforcer le mauvais score lié à votre code postal…

C’est par ces biais que, plus que prédictifs (comme on les présente trop souvent), les algorithmes se révèlent surtout prescriptifs. Or, souligne Adam Clair, qu’importe les données que vous ayez, il y aura toujours un contexte supplémentaire, sous forme de données supplémentaires qui pourraient l’améliorer. Il n’y a pas de limite à leur besoin de données, d’objectivité et donc en fait, d’interprétation.

Comme le souligne avec un fort sens de la dérision l’anthropologue David Graeber (@davidgraeber) dans Bureaucratie, les bureaucraties sont des manières d’organiser la stupidité, c’est-à-dire de gérer et reproduire des structures extrêmement inégalitaires. Les gouvernés doivent dépenser du temps pour comprendre et tenter d’inverser l’ingénierie de ces systèmes pour y survivre. Or, les institutions qui gèrent ces systèmes ont tendance à considérer notre ingénierie inversée, c’est-à-dire notre capacité à les comprendre, comme une façon de chercher à les déjouer. Quand les gens comprennent comment un algorithme fonctionne, ses ingénieurs le modifient pour ne pas perdre de leur puissance, souligne Clair. « Nous savons que nos actions sont enregistrées, mais pas nécessairement par qui. Nous savons que nous sommes jugés, mais pas comment. Nos vies et nos possibilités sont modifiées en conséquence, mais de façon invisible. » Reste que les individus, isolés par le traitement même des systèmes, sont démunis, car il est difficile de prouver et de démontrer, sur une base individuelle, l’illégitimité des systèmes.

Bureaucraties et algorithmes ont-ils un rapport avec la rationalité ou l’efficacité ?

Le livre de David Graeber permet en effet d’apporter quelques compléments à la courte analyse d’Adam Clair. L’anthropologue et économiste, très marqué à gauche, souligne que si le néolibéralisme a produit une critique très nourrie de la bureaucratie, la gauche, elle, en est dépourvue. C’est donc peut-être pour combler cette lacune qu’il faut lire son stimulant essai.

L’iconoclaste David Graeber y explique notamment que la bureaucratie s’est développée avec le capitalisme plus que contre lui. Les structures bureaucratiques ne sont pas le propre de l’Etat, mais d’abord du capitalisme qui l’impose comme un moyen d’extraction des profits. L’économie néo-libérale, qui proclame toujours son rejet de l’Etat, des régulations et de la paperasserie, est le premier moteur de la bureaucratie, explique-t-il. Pire, il pointe combien les impératifs administratifs sont devenus la fin du développement technologique lui-même. « Les principes bureaucratiques se sont étendus à tous les aspects de notre existence ». La bureaucratisation de la vie quotidienne, rendue possible par la technologie, n’est pas un effet du progrès technique, mais l’inverse. Graeber soutient ainsi que l’internet sert à développer des technologies bureaucratiques : nos outils servent à remplir des formulaires qui sont « devenus non les moyens, mais la fin du développement technologique ».

La bureaucratisation n’a aucun rapport avec la rationalité ou l’efficacité, explique encore Graeber, en renvoyant aux formulaires qu’on nous invite à remplir sans cesse en plusieurs exemplaires. Vu de l’intérieur des systèmes, « les algorithmes par lesquels on évalue le monde deviennent (…) la mesure et la source même de la valeur ».
La bureaucratie s’impose par la menace et la violence, explique-t-il en observant comment on a préféré développer des techniques favorisant la surveillance, la discipline et le contrôle social à des technologies plus libératrices ou émancipatrices.

Graeber souligne d’ailleurs dans la 3e partie de son livre que nous adorons la bureaucratie. « Elle ne se rend pas seulement indispensable aux gouvernants, mais exerce aussi un attrait authentique sur ceux qu’elle administre », du fait de leur impersonnalité même qui permet d’imposer de mêmes contraintes à tous.

Pourtant rappelle-t-il encore, les institutions cruciales de l’Etat providence n’ont pas été initiées par des gouvernements, mais par des syndicats, des associations de quartier, des coopératives et diverses formes d’organisations de la classe ouvrière. Quand elles sont devenues des institutions politiques, elles ont été soigneusement purgées de tout élément démocratique ou participatif, explique-t-il, et fondues dans la structure administrative elle-même.

Or, souligne-t-il encore en comparant la bureaucratie à l’internet : « la bureaucratie nous séduit – nous paraît plus libératrice – précisément lorsqu’elle disparaît : quand elle devient rationnelle et fiable (…). L’idée même de croire possible une distinction tranchée entre les moyens et les fins, entre les faits et les valeurs, est un produit de la mentalité bureaucratique, parce que la bureaucratie est la première et la seule institution sociale qui considère que les moyens de faire les choses sont entièrement séparés de la nature de ce qu’on fait. » Et Graeber de rappeler que la rationalité comme fin en soi, qui consiste à souhaiter mettre en place des dispositifs cohérents, efficaces… est la preuve non de leur neutralité sociale, mais bien du fait qu’elles s’imposent comme un outil de contrôle moral.

Graeber termine son ouvrage avec cynisme. Pour lutter contre la bureaucratie on réclame souvent plus de règles et plus de transparence. Or, celles-ci renforcent la bureaucratie plus qu’elles ne la font reculer.

Comme le disait Max Weber, les bureaucraties font partie des structures sociales les plus difficiles à démonter. En sera-t-il de même avec les algorithmes ? Pour paraphraser Graeber, pour lutter contre les algorithmes, on réclame plus de règles et de transparence… Le risque est donc que celles-ci renforcent les algorithmes plus qu’ils n’aident à les faire reculer.

Hubert Guillaud