Comment prédire l’avenir ? La sagesse des foules est-elle plus efficace que les agences de renseignement ?

La très officielle Intelligence Advanced Research Projects Activity (IARPA), spécialisée entre autres dans la recherche sur le traitement de l’information et l’intelligence artificielle, a lancé en 2011 un programme destiné à évaluer les critères de prédictibilité d’un événement, destiné entre autres à améliorer les performances des agences de renseignement.

Le programme, baptisé The Good Judgment Project, à pris la forme d’une plateforme de pari en ligne. Le but étant de rassembler des milliers de participants et de prédictions afin d’évaluer les critères d’efficience. Le projet a aboutit à certains résultats surprenants, notamment concernant la sagesse des foules. L’expérience a en effet montré qu’une grande masse de personnes différentes ayant accès à des informations différentes, obtenait de meilleurs résultats qu’ une seule personne très intelligente voire même un petit groupe de gens très intelligents… Autre curiosité, une des participantes ayant obtenu les meilleurs prédictions (avec des résultats 30% supérieurs aux experts du renseignement) utilisait simplement le moteur de recherche Google pour poser sa question et « prendre le pouls » de l’opinion en consultant les premières pages de résultats… Dans tous les cas, les participants ayant obtenu les meilleurs résultats étaient ceux faisant preuve d’une grande ouverture d’esprit, et capables notamment de s’adapter à de nouvelles données remettant en causes leurs conclusions antérieures…

En 2013, Tim Harford a été invité par Tetlock a participer à un nouveau programme de recherche financé par l’IARPA, une agence de renseignement américaine : un programme de prévision des événements économiques et géopolitiques lancé en 2011 baptisé le Good Judgement Project (voir également le blog du projet). Le but : exploiter la sagesse des foules pour prévoir les grands événements mondiaux. Les prédictions y prennent la forme d’un tournoi auprès de milliers de participants, consistant pour chacun à donner son sentiment sur des questions économiques et géopolitiques, à les mettre à jour si besoin et à comparer ses prédictions avec celles d’autres experts, le tout sous forme de pari d’argent, l’agence rémunérant les meilleurs prévisionnistes. Les questions auxquelles les participants doivent répondre sont souvent binaires : l’économie de la Grèce va-t-elle s’effondrer ? Bachar al-Assad sera-t-il encore président de la Syrie le 31 décembre 2014 ? L’armée russe rentrera-t-elle en Ukraine avant le 10 mai ?…

Image : l’interface du participant au Good Judgement Project qui pose ici la question de savoir si avant le 1er avril 2014, l’agence de l’énergie atomique internationale inspectera le complexe militaire de Parchin en Iran.

Tim Harford n’a pas participé, mais 20 000 “experts” ont joué le jeu. Plusieurs groupes ont été constitués. Des groupes d’experts du renseignement, des groupes d’experts et des groupes d’amateurs – d’ailleurs, si cela vous intéresse et si vous remplissez les conditions – de diplôme notamment -, vous pouvez postuler ! Certains participants recevaient une formation, d’autres jouaient en équipe, certains jouaient en vase clos et d’autres recevaient des informations sur les prédictions d’autres groupes.

Les premières années du projet ont donné des résultats plutôt intéressants.

La formation pour donner une probabilité à une prévision est visiblement efficace et améliore durablement les prédictions des participants. Celle-ci est assez simple. Elle consiste notamment à comprendre l’importance des comparaisons et l’importance d’utiliser des comparaisons pertinentes comme point de départ. Elle consiste également à prendre en compte les tendances historiques et les modèles mathématiques quand ils existent, ou la moyenne des avis quand les experts sont en désaccord. Mais surtout à se défier de ses propres biais : ne pas se laisser influencer par ses espoirs ni s’accrocher à ses vieilles prévisions.

Autre enseignement : les prévisions les plus réussies provenaient d’équipes où les experts ont pu discuter et argumenter entre eux. Enfin, certains participants se sont révélés être des “superprévisionnistes” capables de prédire les événements géopolitiques avec une précision étonnante et même capables d’améliorer leur performance avec le temps. L’un des amateur qui a donné les meilleurs résultats est une pharmacienne du Maryland de 60 ans, Elaine Rich, rapporte la NPR. Elle a obtenu des résultats supérieurs de 30% à ceux des agents du renseignement qui ont pourtant accès à des informations confidentielles, simplement en prenant le pouls des questions posées par une recherche sur les premières pages de résultat de Google !

L’outil suit les résultats des prévisions de plusieurs types de population. Et le plus surprenant est que ce ne sont pas les experts qui ont toujours raison. “La sagesse des foules est une partie très importante de ce projet et c’est un facteur important de la précision”, estime Tetlock. Le projet montre que si vous prenez une grande masse de personnes différentes ayant accès à des informations différentes, vous obtenez de meilleurs résultats que si vous comptez sur une seule personne très intelligente voire même un petit groupe de gens très intelligents. En fait, le projet démontrerait presque l’inutilité des agences de renseignement… Il faut y voir “un complément plutôt qu’un substitut”, insiste un des experts de l’IARPA, qui souligne aussi que les résultats de ce programme sont en train d’améliorer les méthodes des agences de renseignement…

Prédire l’avenir : un simple jeu !

L’explication la plus fondamentale du succès des superprévisionnistes est le fait qu’ils se soient focalisés sur un seul objectif : prédire l’avenir ! Le fait que le système leur envoie une rétroaction continue sur le succès ou l’échec de leur prévision était également primordial. En fait, contrairement aux prédictions faites sur un bord de table, ici, le système ne laisse pas de place pour les opinions, les idées radicales, originales ou décalées. Ce qui importe est de donner la bonne réponse. Comme dans un jeu. D’où la présence de récompenses sonnantes et trébuchantes pour certains participants…

Image : un exemple de rétroaction sur une question fournie à un participant par le GJP.

Pour bien prédire l’avenir, il faut savoir changer d’avis !

Les meilleurs prévisionnistes étaient ceux que Tetlock appelle des “renards” plutôt que des “hérissons” (deux formes de comportement face à la prise de décision, comme nous l’expliquait Venkatesh Rao sur la scène de Lift 2013), c’est-à-dire ceux qui utilisent leur intuition plutôt que la logique, l’autocritique plutôt que l’assurance. Au début du projet, les renards n’étaient pas vraiment meilleurs que les hérissons pour prédire l’avenir, mais la logique méthodique des hérissons ne les a pas aidés à s’améliorer. Pour la psychologue Barbara Mellers qui copilote le projet, le style de pensée la plus associée aux meilleures prédictions était ce que les psychologues appellent avoir “l’esprit activement ouvert”, c’est-à-dire des gens qui n’ont pas peur de changer d’avis, sont heureux de chercher des points de vue divergents, sont à l’aise avec le fait que de nouvelles preuves pourraient les amener à abandonner ce qu’ils pensaient.

Ce que montre en tout cas le Good Judgement project c’est qu’une formation de base en raisonnement probabiliste permet de produire de meilleures prévisions, que les équipes travaillent mieux que les bons probabilistes isolés, et que les gens qui ont l’esprit activement ouvert sont meilleurs que les autres.

Et surtout, souligne Harford, que les professionnels de la prévision ne sont souvent pas suffisamment sérieux et qu’ils devraient garder à l’esprit leurs résultats pour améliorer leurs prédictions en prenant en compte leurs erreurs passées. Quand la situation change, il faut apprendre à modifier ses conclusions !

Hubert Guillaud

Source : Internetactu