Introduction

L’expérience e-Juris que cet article se propose de relater résulte du croisement de trois évolutions parallèles : un intérêt croissant pour les analyses de contentieux, une accélération de l’ouverture des données, spécialement dans notre domaine un accès plus large aux décisions de justice, enfin le développement d’outils d’aide à la décision de type barème proposant aux professionnels du droit des références pour décider, particulièrement s’agissant de montants.

Un intérêt croissant pour les analyses de contentieux. Sur la base théorique de la distinction entre contentieux et jurisprudence (Serverin, 1993), le monde de la recherche sur le droit a développé des analyses de contentieux. Elle consiste dans l’analyse à la fois juridique et statistique d’un échantillon représentatif de décisions de justice rendues par les juridictions du fond, idéalement de première instance. Les questions posées à cet objet sont variables, en fonction des hypothèses posées : quels sont les demandeurs et défendeurs à l’instance et leurs caractéristiques ; quelle partie obtient gain de cause – en tout ou partie ? quels textes sont mobilisés ? quels arguments sont développés et avec quels résultats ? quels sont les montants attribués dans tels et tels cas de figure… ? Certains travaux ajoutent à cet exercice l’appariement des données contenues dans les décisions avec des données qui leurs sont extérieures.

Jusqu’à une période récente, et en tout cas pour la France, ces travaux avaient seulement un objectif de connaissance. Ils sont restés assez peu nombreux, en raison d’une part du peu d’équipes impliquées dans des travaux de recherche empirique sur la justice, d’autre part de leur caractère nécessairement limité compte tenu de l’investissement que ces méthodes d’analyse supposent. Mais, à partir de cette connaissance, on peut aussi envisager d’utiliser les régularités constatées dans l’activité juridictionnelle pour fournir des outils d’aide à la décision. Il s’agit alors de proposer aux professionnels une information sur les solutions globalement fournies dans des affaires comparables, permettant pour les uns (avocats en particulier) d’envisager une stratégie contentieuse, pour les autres (magistrats en particulier) d’apprécier leur raisonnement à l’aune des pratiques habituelles de leur communauté. L’usage de rechercher quelques décisions comparables pour appuyer un raisonnement n’est évidemment pas nouveau, mais les analyses de contentieux autorisent un changement d’échelle. Elles permettent ou permettraient d’accéder à une information plus globale, statistique, illustrative des pratiques habituelles. L’accès annoncé à l’ensemble des décisions de justice du fond par la loi du 7 octobre 2016 pour une République numérique a suscité des vocations et les propositions d’analyses de contentieux se sont multipliées, le marché commercialisant des outils d’aide à la décision parfois qualifiés de justice prédictive, qui permettraient d’anticiper les décisions à venir en se fondant sur ces pratiques habituelles.

L’accélération de l’ouverture des données. La question de l’accès aux décisions de justice est un enjeu ancien (Serverin, 2009). Que ce soit à l’initiative des juridictions supérieures ou à l’initiative d’éditeurs juridiques, l’écosystème a très tôt mis en place des mécanismes d’accès à la jurisprudence, avec un objectif de connaissance de l’état du droit positif tel qu’interprété par ces juridictions. Les analyses proposées par la doctrine se fondent traditionnellement sur ces décisions, permettant en effet de suivre l’évolution des textes et du sens qui leur est donné.

Au-delà de la possibilité offerte aux citoyens de demander au greffe telle ou telle décision1 et sous réserve des règles d’accès aux archives, la mise à disposition sans délai de l’ensemble de la production des juridictions, sans sélection préalable des seules décisions considérées comme présentant un intérêt juridique ou jurisprudentiel, a été plus tardive et n’est pas encore achevée. La possibilité d’accéder à la masse des documents produits par le monde de la justice progresse cependant dans le cadre de la politique dite d’open data : en imposant l’ouverture au public de la presque totalité2 des décisions de justice rendues par l’ensemble des juridictions, la loi du 7 octobre 2016 et ses suites ont suscité des mises en chantier considérables au sein des juridictions (Girard-Chanudet, 2023). Il s’agit en effet de récupérer en version numérique l’ensemble des décisions rendues3, de les pseudonymiser4 et de les reverser ensuite dans une base ouverte à tous et gratuite5. Le chantier avance, en conciliant accès aux sources et protection des données personnelles6.

Anticipant cette ouverture, des entreprises ont proposé sur le marché des produits élaborés à partir des décisions du fond déjà disponibles soit, pour l’ordre judiciaire, les décisions non pénales des cours d’appel. Non anonymisées, elles sont réunies dans la base JuriCA, constituée sous l’autorité de la Cour de cassation7 et d’accès payant pour les entreprises alors en charge de l’anonymisation des décisions. Certaines y ont ajouté ou tenté d’y ajouter des décisions obtenues via les greffes, en utilisant la possibilité ancienne et toujours en vigueur d’obtenir des décisions identifiées auprès des greffes des juridictions. Ce procédé est dorénavant expressément exclu pour la fourniture de décisions en masse8. La loi de 2016 a donc suscité ou renforcé des projets d’exploitation des décisions de justice, étendus aux décisions de première instance, annoncées comme accessibles et gratuites dans un avenir relativement proche. Ce nouveau matériau devait en effet, dans l’esprit des promoteurs du texte et c’était son objectif affiché, permettre de développer des services nouveaux et donc de la valeur. C’est dans ce mouvement que se sont développés les outils dits de justice prédictive et les débats doctrinaux qui les ont accompagnés, avant leur reflux relatif9.

L’émergence d’outils d’aide à la décision proposés aux professionnels. Au développement des analyses de contentieux en lien avec l’accélération de l’ouverture des données s’ajoute l’émergence des outils d’aide à la décision proposant aux professionnels du droit des références pour décider. L’usage de barèmes par les professionnels du droit n’est pas nouveau et ils sont progressivement sortis de l’ombre dans laquelle ils ont prospéré (Sayn, Perrocheau, 2019) pour devenir un objet d’étude, indépendamment et avant même l’émergence de la notion de justice prédictive. Ces outils parfois très artisanaux, parfois nombreux sur le même segment contentieux10, créés par des praticiens et diffusés de façon très inégale, soulèvent des questions théoriques comparables à celles que soulèvent les outils proposés par les legaltech. Ils sont le plus souvent des barèmes construits11, tendant à rationaliser la prise de décision du juge avec l’objectif de limiter les disparités entre des situations semblables. Ils sont plus rarement des barèmes constatés, qui ont pour ambition de donner à voir les pratiques habituelles, permettant éventuellement de les reproduire. Le barème Mornet constitue un bel exemple de situation intermédiaire : il adosse aux postes de préjudice corporel, proposés par la nomenclature Dinthilac, des montants de réparation qui sont présentés comme conformes aux pratiques habituelles, sans pour autant qu’ait été conduite une analyse systématique de décisions.

Qu’il s’agisse de barèmes construits, élaborés par des professionnels à partir de leur expérience, ou de barèmes constatés, qu’il s’agisse d’outils présentés comme conformes aux pratiques habituelles ou d’outils issus d’une analyse de contentieux, que cette analyse de contentieux résulte d’une analyse manuelle ou d’analyses algorithmiques des décisions de justice, une question commune se pose : dès lors que ces outils prétendent influencer les décisions prises (décisions de justice ou règlements amiables), ne serait-ce qu’en cadrant les prétentions des parties et de leurs avocats, la mise en débat des choix et des techniques qui ont présidé à leur fabrication est essentielle, quels que soient les procédés utilisés pour y parvenir, artisanaux ou numériques. Cette préoccupation n’a pas prospéré s’agissant des outils artisanaux qui ont précédé l’émergence de la notion de justice prédictive. En revanche, elle suscite des débats s’agissant des outils dorénavant issus d’analyses algorithmiques, parallèlement aux préoccupations portant sur leurs usages et la transformation crainte du travail du juge. C’est donc au croisement de ces différentes évolutions que se positionne l’expérience e-Juris relatée dans ce texte.

1. Positionnement théorique

L’approche proposée est radicalement empirique et ne se positionne pas d’emblée par rapport à l’ensemble de la littérature juridique qui s’est interrogée sur les bienfaits, les risques ou les évolutions attendues de la justice prédictive12. A particulièrement été discuté le risque de déshumanisation et d’automaticité, jusqu’à évoquer les « robots juges », opposé au bénéfice d’une meilleure régularité des décisions dans une perspective d’égalité (Archives de philosophie du droit, 2018 ; Les cahiers de la justice, 2019). Le risque de disparition de la hiérarchie des juridictions et de leur production, avec l’introduction d’une logique de common law dans notre raisonnement juridique a également été très discuté (Cadiet, Chainais, Sommer, 2022 ; Cour de cassation, 2024). Les réflexions conduites sur l’intelligence artificielle13 appliquée à la justice ont également mis en lumière de façon inédite à notre connaissance les « biais » contenus dans les décisions de justice, au sens de l’existence de déterminants des décisions qui ne seraient pas des critères légaux de décision. Au-delà du syllogisme judiciaire, on admet aujourd’hui plus facilement qu’hier que la décision de justice est aussi une construction humaine, nécessairement élaborée en partie à partir d’autres déterminants que les seuls critères légaux de décision, y compris les décisions des juridictions du fond14.

Cette préoccupation confirme l’intérêt des analyses de contentieux et répond de façon indirecte à la question de la légitimité de l’usage de barèmes comme outils d’aide à la décision : si l’on admet l’existence de biais, peut-on les mettre en évidence – au moins en partie – à l’aide des analyses de contentieux, qu’elles soient manuelles ou algorithmiques ? si oui, les constats issus de l’analyse de contentieux peuvent-ils ou doivent-ils alors être introduits dans un outil d’aide à la décision qui serait seulement constaté, biais compris ? ou, au contraire, le recours à un barème peut-il remédier, même partiellement, à l’introduction de biais dans le processus décisionnel ? Encore en amont de ce questionnement sur l’usage des barèmes issus des analyses de contentieux, l’expérimentation rapportée ici tente de répondre à une interrogation finalement très terre-à-terre : en quoi les techniques évoquées sont-elles capables de répondre aux qualités qu’on leur prête en termes de justesse des données mobilisées et donc des résultats proposés ? Est-on assuré de leur fiabilité, au sens de connaissance consolidée des critères de décision constatés et utiles pour décider ? Partant, dans quelle mesure peut-on les laisser participer, même a minima, à la prise de décision rendue au nom du droit, que ce soit à l’occasion de leur usage par les magistrats, encore très confidentiel, ou à l’occasion de leur usage par les parties et leurs avocats ? Plus précisément, du seul point de vue méthodologique, et indépendamment de la possible élaboration d’outils d’aide à la décision, peut-on utiliser les techniques algorithmiques d’analyse des décisions pour produire des analyses de contentieux à moindre coût et donc envisager de les multiplier, offrant ainsi à la communauté une meilleure connaissance de la production des juridictions, jusque-là globalement inconnue ? Les techniques algorithmiques d’analyse des décisions peuvent-elles effectivement permettre l’élaboration à moindres frais d’outils d’aide à la décision reflétant les pratiques professionnelles ? À supposer que ce point soit acquis, ces techniques peuvent-elles être mobilisées dans une perspective de justice prédictive ?

C’est pour avancer sur ces questions qu’a été conçu le projet « e-Juris », un groupe de travail réunissant juristes, économistes, informaticiens et statisticiens. L’expérimentation conduite et ses conclusions sont présentées dans ce texte, sans rentrer toutefois dans une présentation technique du travail d’analyse réalisé par des informaticiens, statisticiens ou économistes, exposée par ailleurs15.

2. Méthode

En s’appuyant sur les résultats d’une analyse de contentieux menée au préalable dans le cadre du projet ANR COMPRES16, l’objectif général de ce groupe a été de comparer les résultats obtenus par l’analyse manuelle qui avait été réalisée à cette occasion aux résultats d’une analyse algorithmique menée sur le même échantillon de décisions : les données extraites via l’analyse algorithmique sont-elles de qualité au moins équivalente aux données extraites via une analyse manuelle ou en tout cas suffisante pour produire des informations utiles ? Parallèlement, les données issues de l’analyse manuelle ont été mobilisées dans une perspective de justice prédictive : les déterminants extraits des décisions analysées permettent-ils effectivement d’anticiper les décisions à venir ?

2.1. Un travail collectif et pluridisciplinaire

D’une façon générale, il faut souligner la nécessaire imbrication disciplinaire qu’implique ce type de projet et le travail incrémental que nous avons dû réaliser. L’interdisciplinarité est nécessaire parce que la lecture des décisions, leur compréhension, le choix et l’interprétation des données extraites imposent une lecture juridique en même temps que les méthodes utilisées relèvent d’autres disciplines. L’acculturation croisée à laquelle nous avons abouti ne suffit pas à rendre les uns et les autres autonomes dans ce type d’activité, même si l’on assiste à la marge à l’émergence de chercheurs qui peuvent assumer cette double compétence. Le travail incrémental a été réalisé à l’occasion des multiples réunions de travail organisées au cours de ce projet, nous permettant de faire le point sur son avancement et de faire les choix qui s’imposaient au fur et à mesure des constats que nous pouvions faire. La vie de ce groupe a ainsi permis à chacun de monter en compétence sur ces questions à l’origine très nouvelles, non seulement à partir de l’expérimentation qui a été menée mais également grâce aux échanges qu’il a rendus possibles entre les disciplines concernées et aux interventions assurées au cours du processus par des intervenants extérieurs au groupe. L’activité de ce groupe s’est déroulée sur plusieurs années alors que les techniques d’analyse automatique du contenu des décisions de justice mises en œuvre évoluent, pas tellement sur le terrain du traitement du langage naturel (TLM) mais sur celui de l’apprentissage automatique (intelligence artificielle). Mais les conclusions auxquelles nous aboutissons relèvent finalement beaucoup plus de l’application à notre corpus de techniques de TLM que de techniques d’apprentissage automatique, comme c’est d’ailleurs le cas semble-t-il de l’essentiel des produits commerciaux proposés sur le marché.

2.2. Prémices : l’analyse manuelle d’un corpus de décisions de justice

Le projet e-Juris s’est appuyé sur la recherche COMPRES évoquée supra17, qui s’interrogeait sur les fondements théoriques, empiriques et politiques du versement d’une prestation compensatoire après divorce18. En effet, bien que les conditions économiques et sociales du versement de cette prestation soient encore réunies, son principe est contesté, les montants fixés sont en baisse continue, elle semble ne pas être demandée dans des circonstances où elle pourrait être octroyée et elle est prévue dans seulement 12,5 % des divorces (Belmokhtar, Mansuy, 2016).

Partant du constat d’une règle de droit très ouverte19, dont les praticiens affirment qu’elle les aide bien peu à apprécier les montants adéquats, l’objectif de cette recherche était notamment de détecter, au sein de ces décisions de justice, les déterminants du montant des prestations compensatoires finalement fixé par le juge. Il s’agissait également d’apprécier dans quelle mesure des situations susceptibles de conduire à la fixation d’une prestation compensatoire pouvait ne pas faire l’objet de demandes. L’équipe a donc procédé à l’analyse d’un corpus de quelque 5000 décisions de divorce rendues par des juges aux affaires familiales. Le projet supposait, outre un accès aux décisions20, la lecture d’un nombre suffisant de décisions pour élaborer une grille de lecture adaptée à toutes les hypothèses rencontrées et aux objectifs poursuivis, des tests de la grille et son adaptation progressive, une formation des codeurs, puis la lecture de la totalité des décisions pour saisir les données. Ce travail de grande ampleur a été rendu possible grâce à une collaboration étroite avec le service statistique du ministère de la Justice dont les agents ont spécialement été formés à cet exercice.

Les données recueillies concernaient les critères légaux de décision fournis au juge par l’article 271 du Code civil qui sont, « notamment », la durée du mariage, l’âge et l’état de santé des époux, leur qualification et leur situation professionnelles, les conséquences des choix professionnels faits par l’un des époux pendant la vie commune pour l’éducation des enfants et du temps qu’il faudra encore y consacrer ou pour favoriser la carrière de son conjoint au détriment de la sienne, le patrimoine estimé ou prévisible des époux, tant en capital qu’en revenu, après la liquidation du régime matrimonial, leurs droits existants et prévisibles et enfin leur situation respective en matière de pensions de retraite « en ayant estimé, autant qu’il est possible, la diminution des droits à retraite qui aura pu être causée, pour l’époux créancier de la prestation compensatoire » par ses choix professionnels. On remarquera d’emblée la difficulté à extraire certaines de ces informations à partir de la lecture des décisions. Elles peuvent purement et simplement être passées sous silence, le magistrat devant décider à partir des éléments d’informations qui lui sont soumis et son pouvoir de contrôle étant d’autant plus limité qu’il est confronté à un accord des parties, y compris au sein d’une procédure contentieuse. Elles peuvent également être évoquées par le juge comme une affirmation des parties, la formulation de la décision laissant penser que ces affirmations resteraient à démontrer. Elles peuvent enfin être reprises dans le corps de la décision de façon incomplète et éparse, l’absence de normalisation des énoncés permettant une grande variabilité d’une décision à l’autre. C’est le cas en particulier pour la description des ressources des parties, plus encore pour l’évocation des ressources à venir. Or cet élément est essentiel, puisque la prestation compensatoire est due pour « compenser, autant qu’il est possible, la disparité que la rupture du mariage crée dans les conditions de vie respectives21 ». Pour ce type d’informations, la saisie imposait donc une attention particulière de l’équipe à la fois dans la construction de la grille de lecture des décisions et au stade du codage. Pour d’autres informations en revanche, la saisie était relativement simple, tel que l’âge des époux, le nombre et l’âge des enfants ou la durée du mariage, même si ces informations devaient faire l’objet d’une reconstruction, par exemple lorsque l’âge des enfants doit être déduit de leur date de naissance. Il faut enfin noter que le juge peut fonder sa décision sur tout ou partie de ces critères, et possiblement sur d’autres, sa motivation étant intimement liée aux arguments développés par les parties. Au-delà des critères légaux, la saisie effectuée concernait aussi des critères non prévus par la loi, dont on avait formulé l’hypothèse qu’ils pouvaient exercer une influence sur le montant de la prestation compensatoire. Parmi eux, on citera la cause du divorce, particulièrement le divorce pour faute exclusive, une demande de dommages et intérêts, le sexe du juge ou encore le ressort de la juridiction. Certains sont des critères non légaux, indifférents à la loi, tels que le sexe du juge ou le ressort de la juridiction. D’autres sont des critères que l’on peut qualifier de contraire à la loi, telle que la cause du divorce, dans la mesure où les réformes successives depuis 1975 se sont efforcées de rompre le lien entre les causes du divorce et ses conséquences pécuniaires. La saisie concernait enfin les montants de prestation compensatoire demandés, offerts et finalement fixés, le rôle des demandes dans la décision finale étant majeur.

Cette méthode de recueil de données, coûteuse en temps et en énergie, a permis de produire des résultats avérés, y compris en tenant compte de la marge incompressible d’erreurs de saisies, permettant à la fois de fournir des données statistiques jusque-là inconnues (Belmokhtar, Mansuy, 2016), et de réaliser des analyses économétriques permettant de mieux identifier les déterminants du montant de la prestation compensatoire. L’analyse des données a ainsi permis à l’équipe de recherche d’établir des liens entre certains des déterminants recherchés et le montant de la prestation compensatoire. A pu ainsi être établi un lien certain avec la durée du mariage (critère légal), avec la faute exclusive dans le divorce (critère contraire à la loi) ou avec le sexe du juge (critère a-légal) [Jeandidier, 2023], les juges femmes semblant plus sévères avec les demandeuses, alors que les femmes constituent les bénéficiaires de cette prestation plus de neuf fois sur dix (Belmokhtar, Mansuy, 2016).

Ces données étant acquises (manuellement), le projet e-Juris s’est donné pour objectif de tester l’extraction algorithmique de données et de valider ou pas le recours à cette méthode pour la recherche. Ce test permet également plus globalement de mieux apprécier les capacités des méthodes algorithmiques d’extraction de données et partant les outils qui s’en réclament. Parallèlement, et à partir des données acquises manuellement, a été approfondie la possibilité de prévoir les décisions à venir.

2.3. Analyse secondaire : l’extraction algorithmique de données du corpus

C’est donc armée des données extraites manuellement et des analyses qui en avaient été faites que l’équipe s’est attelée à faire le même exercice à partir d’une extraction automatique des données utiles à l’analyse, après avoir reçu une autorisation d’utilisation secondaire des décisions collectées pour COMPRES et jusque-là conservées sous forme papier sur les étagères du service statistique du ministère de la Justice22. La première opération a donc été de numériser ces documents et de les océriser, afin de transformer les images ainsi obtenues et de les traiter comme du texte. Ce préalable indispensable est signalé ici parce que ces opérations ont eu une conséquence sur la qualité des documents traités, des documents nativement numériques étant plus « propres », limitant ainsi même pour une part réduite la qualité des résultats obtenus.

Les techniques envisagées au départ relevaient de l’apprentissage automatique supervisé. Il s’agissait d’« étiqueter » un nombre suffisant de décisions, en donnant manuellement un label à des sections de texte identifiées dans les décisions (ici : « durée du mariage », là : « montant de la prestation compensatoire demandée »), de façon que la machine puisse ensuite appliquer cette même technique à d’autres décisions (apprentissage machine), ce qui a ainsi permis de traiter un grand nombre de décisions. Nous avons pu ainsi tester plusieurs logiciels d’étiquetage mais, face aux difficultés rencontrées, nous avons dû renoncer et opter pour d’autres techniques, relevant pour l’essentiel du traitement automatique du langage naturel (TAL).

3. Résultats

Le premier résultat concerne la possibilité de produire des prédictions à partir de l’analyse des décisions, le second, la validité des analyses fondées sur l’extraction algorithmique de données des décisions.

3.1. La prévisibilité des décisions

Une évaluation de la possibilité de prévoir les décisions à venir en se fondant sur les données issues des décisions précédemment rendues a été effectuée à partir de données extraites manuellement, extrêmement fouillées et dont on connaît l’exactitude. Sans revenir sur le détail de l’étude en question (Jeandidier, Ray, Mansuy, 2020), conduite par des économistes, on en retiendra simplement la conclusion : la grande variabilité des montants de prestation compensatoire, toutes choses égales par ailleurs, ne permet pas d’anticiper les décisions à venir. Autrement dit, et en prenant le risque de généraliser, l’anticipation serait possible seulement pour des contentieux dans lesquels la dispersion des décisions est réduite, alors même que la faiblesse de la dispersion rend un outil de prévisibilité moins utile. On entend ici par dispersion des décisions la variabilité des résultats obtenus dans des situations pourtant semblables. À l’inverse, s’agissant de décisions plus dispersées comme c’est le cas en matière de prestation compensatoire, liée à des critères de décision nombreux, non hiérarchisés, parfois difficiles à manipuler ou même contradictoires23, cette prévisibilité ne peut pas être déduite de l’analyse des décisions déjà rendues. Ce constat constitue un argument important pour considérer que l’on ne peut pas produire de barèmes constatés sur ces terrains, c’est-à-dire des barèmes qui auraient pour ambition de reproduire l’existant pour informer les praticiens des pratiques habituelles.

3.2. La validité des analyses fondées sur l’extraction algorithmique de données

Là encore sans entrer dans le détail des opérations effectuées, on retiendra que ce projet d’extraction automatisée de données a obtenu des résultats pour le moins mitigés. Les techniques utilisées se sont révélées incapables de capter un grand nombre des éléments d’information contenus dans les décisions et nécessaires à l’analyse, alors même que nos échanges réguliers avaient abouti à réduire assez drastiquement les informations à extraire par rapport aux informations extraites manuellement. Le cas le plus extrême est sans doute celui des ressources des époux ou de leur capital, déjà difficiles à capter à partir d’une saisie manuelle. Des informations plus basiques ont cependant pu être extraites, avec un taux de fiabilité plus ou moins important selon la variabilité de la façon dont l’information apparaît dans la décision de justice, renvoyant ainsi au formalisme des décisions.

La fiabilité des données extraites est parfois sujette à caution, y compris pour certaines données chiffrées pourtant les plus faciles à extraire (dates, nombre d’enfants, montants en euros, âges). S’agissant du montant des prestations compensatoires finalement retenu, il a fallu commencer par distinguer le dispositif de la décision de ses autres parties, afin de le capter en évitant des confusions avec d’autres montants contenus dans la décision, en particulier la prestation demandée. Ensuite, la pauvreté des données extraites automatiquement, même fiables, ne permet pas de fournir une analyse des déterminants des décisions dès lors qu’elle doit se limiter aux critères les plus faciles à capter et par conséquent négliger les autres, y compris lorsqu’ils relèvent de la loi.

Peut-être le caractère très évolutif des techniques mises en œuvre permettra-t-il un jour des extractions plus fouillées et plus fiables mais, indépendamment des progrès techniques, c’est la question de la rédaction des décisions de justice qui est posée. On constate en effet que les décisions sont des œuvres essentiellement littéraires, dont la rédaction est liée à la plume de leur auteur, y compris lorsqu’il s’agit de reprendre des informations factuelles telles que la durée du mariage ou le nombre des enfants qui en sont issus ou même de distinguer les différentes parties de la décision (motifs, dispositif). Si cette diversité d’expression écrite soulève peu de difficultés pour un lecteur humain, ce n’est pas le cas pour une « lecture » automatisée. On remarquera cependant que le même constat peut être fait pour une lecture humaine, dès lors qu’il s’agit d’informations plus complexes. Même un lecteur humain ne peut que difficilement systématiser ou même retrouver les informations recherchées dans la décision, s’agissant par exemple des ressources des époux, celles-ci n’étant pas normalisées à partir d’un vocabulaire stabilisé. La comparabilité des décisions s’en trouve diminuée.

La rationalisation et l’harmonisation formelle des décisions judiciaires rendues par les juridictions du fond pourraient constituer une sorte d’effet retour du développement annoncé des outils d’aide à la décision fondés sur des analyses de contentieux : ne faut-il pas formaliser plus la rédaction des décisions pour rendre leur analyse comparée plus facile ? Cet effet s’articule avec une volonté qui semble émerger de standardiser la rédaction des décisions et de les rendre plus lisibles. Cette évolution devrait cependant considérer le caractère souvent incomplet, contredit ou incertains des informations fournies au juge, qui doit malgré tout décider, ensemble qui n’est sans doute pas étranger à ces rédactions mouvantes (Cottin, 2024).

Quoi qu’il en soit, une analyse parallèle réalisée dans le cadre d’e-Juris montre qu’une rédaction plus maîtrisée, partagée par l’ensemble des magistrats rédacteurs, permet des analyses des décisions rendues par les juridictions administratives qui ne seraient pas possibles avec des décisions judiciaires. Il est ainsi possible de faire ressortir l’utilisation implicite des jurisprudences issues du Conseil d’État, contenues dans ses considérants de principe, dans l’ensemble des décisions des cours administratives d’appel publiées dans la base de données JADE. Ces décisions reprennent en effet les jurisprudences exprimées sous la forme de considérants de façon suffisamment fidèle pour qu’ils puissent être détectés automatiquement, les formulations utilisées par le Conseil d’État n’étant pas ou très peu modifiées par les auteurs des décisions d’appel. Il est ainsi possible de suivre dans le temps et dans l’espace le destin de telle ou telle (Massein, 2023).

4. Discussion

Les tentatives d’extraction automatisée de données réalisées dans le cadre d’e-Juris s’inscrivent dans un projet visant à multiplier les analyses de contentieux, qui seraient dorénavant plus facilement réalisables, ce qui permettrait de mieux connaître les déterminants des décisions de justice et partant de fournir des outils d’aide à la décision. Mais, au-delà des limites techniques de l’extraction automatique des données, l’exercice de l’analyse de contentieux, même avec des données suffisamment précises et fiables, comporte ses propres limites, de sorte que le projet d’en déduire des outils d’aide à la décision doit être regardé avec précaution. Ces limites concernent tout autant les analyses issues d’une extraction automatiques que les analyses issues d’une extraction manuelles. Cependant, l’open data des décisions de justice, le développement attendu d’analyses qui y est associé, l’offre relativement nouvelle d’outils commerciaux qui se positionnent sur ce marché et les réflexions qu’elle a suscitées (Dumoulin, 2022) renforcent la nécessité de mettre ces limites en lumière.

Première limite : ce type d’exercice ne concerne qu’une partie seulement de la démarche intellectuelle du juge et n’a pas pour objectif de reconstruire ex post le raisonnement des juges. Il s’agit seulement de se donner les moyens de mieux connaître l’activité des juges du fond, largement méconnue et, s’agissant de la recherche des déterminants de la décision rendue, de donner à voir les liens entre différents éléments factuels contenus dans la décision. L’ensemble permet de mieux appréhender l’exercice, par le juge, de son pouvoir souverain d’appréciation, que ce soit sur le terrain de l’utilisation qu’il fait des critères légaux de qualification ou sur celui de la détermination de quantum.

L’exercice n’en est pas moins déstabilisant pour un système juridique légaliste, vertical, dans lequel le pouvoir d’appréciation des juges du fond reste relativement transparent dès lors que la focale est mise sur la loi et son interprétation jurisprudentielle, essentiellement issue des juridictions supérieures. De façon certes un peu caricaturale, le reste ne relèverait pas véritablement du droit mais de la « pratique ». Cet aspect du phénomène juridique ne fait d’ailleurs pas l’objet d’un enseignement, sous réserve peut-être du développement des cliniques du droit ou, dans une moindre mesure, des ateliers locaux de jurisprudence. La mise en évidence de déterminants non légaux des décisions est d’autant plus déstabilisante qu’elle constitue une forme de concrétisation ou de démonstration de l’aléa judiciaire, pouvant ainsi mettre en évidence à la fois l’inégalité de traitement des justiciables et la présence de critères exogènes qui pèsent sur la prise de décision. On peut en effet comparer, avec ces techniques, les décisions rendues par un même juge, testant ainsi la constance de son raisonnement dans le temps, entre différents juges (ce qui ne nécessite pas de lever leur anonymat) ou entre différentes juridictions. On peut également mettre en évidence le poids de critères a-légaux ou illégaux dans la décision finalement retenue, comme c’est le cas dans notre expérimentation de la faute exclusive dans le divorce24.

Deuxième limite : l’analyse de contentieux rapportée ici se fonde seulement sur les données contenues dans les décisions elles-mêmes, indépendamment des facteurs extérieurs qui pourraient peser sur les décisions rendues. Cette limite peut cependant être dépassée et l’a parfois été, en ajoutant à ces données des informations issues d’autres sources, par exemple des données socio-économiques (Fréchet, Chanut, 2020). On peut même envisager qu’elles soient issues d’autres décisions de justice, mais cet appariement suppose d’accéder à des décisions non pseudonymisées25, ce qui permet de réunir l’ensemble des décisions concernant une seule et même partie. Ce sera le cas dans un avenir proche s’agissant des personnes morales. S’agissant des parties personnes physiques, cette extension reste soumise à la possibilité d’accéder aux décisions avant leur pseudonymisation pour leur reversement dans Judilibre, ce qui reste discuté (Sayn, 2023), ce type de projet étant dans tous les cas soumis à des obligations strictes de protection des données personnelles.

Troisième limite : les difficultés rencontrées pour extraire des informations suffisamment précises pour apprécier le poids de certains des critères retenus pour l’analyse et la mise en évidence du rôle de déterminants non légaux dans la prise de décision incitent à une grande prudence sur le développement d’outils d’aide à la décision qui seraient supposés refléter l’activité juridictionnelle, qualifiés de barèmes constatés. En effet, les difficultés d’extraction d’informations pour apprécier le poids de tel ou tel critère peuvent aboutir à le passer sous silence, en limitant les outils proposés aux informations automatiquement accessibles. Et feraient-ils effectivement l’objet d’une extraction, que faut-il faire en présence de critères a-légaux ? Faut-il les intégrer à de tels outils dès lors qu’ils prétendent aider les professionnels à décider ? Les avocats peuvent être sensibles au rôle que jouent des facteurs non légaux dans la prise de décision du juge, dans une perspective stratégique, mais qu’en serait-il des juges, qui abandonneraient ainsi la prétention de juger en droit ? Plus globalement, et de façon très classique, les analyses produites dépendent des données extraites et des questions posées à l’objet et, pour reprendre l’exemple de la prestation compensatoire, certaines analyses pourraient négliger le montant de la demande tandis que d’autres refuseraient de questionner le rôle du sexe du juge. Pour cette raison, il n’est pas envisageable de proposer aux praticiens des barèmes dits constatés, à la fois parce que le constat est incomplet et parce qu’ils charrient des critères non légaux. Si l’élaboration d’outils d’aide à la décision est jugée opportune, ceux-ci doivent donc être construits à partir des critères légaux de décision, en négligeant les critères non légaux possiblement repérés. Ils permettront ainsi de réduire la disparité des décisions justement en limitant le poids des critères non légaux, pour recentrer le raisonnement du juge sur les seuls critères légaux.

L’extraction de données issues des décisions de justice permet de produire des connaissances en rendant possible l’analyse à la fois statistique et juridique des décisions, mais c’est un processus long et complexe, coûteux en temps et en énergie. Sous réserve de progrès techniques – ou peut-être de l’utilisation d’autres techniques –, l’extraction automatique de données pourrait permettre à terme de multiplier les analyses et donc de multiplier ces connaissances, dans le temps (passages répétés) et dans l’espace, concernant des contentieux plus nombreux et plus diversifiés. Notre groupe a cependant montré qu’en l’état actuel des techniques disponibles, une extraction de données de qualité suffisante est illusoire. Par ailleurs, et compte tenu de l’existence de déterminants a-légaux des décisions, cette production de connaissances n’est pas suffisante pour permettre la production d’outils d’aide à la décision : il n’est pas possible de transférer directement l’une à l’autre. D’une part, la production de connaissances impose un appareil méthodologique élaboré et soumis à la critique des pairs, processus qui ne s’impose pas aux opérateurs privés du marché. D’autre part, les connaissances ainsi produites, fussent-elles fiables, ne sauraient être directement reversées dans un outil d’aide à la décision sans distinguer ce qui relève du droit (critères légaux de décision) et ce qui relève des biais constatés dans les pratiques habituelles des juges. Si la production de connaissances fiables constitue un préalable indispensable – et nous venons de montrer que cette fiabilité reste à démontrer – elle n’est donc pas suffisante. On ne peut donc qu’appeler de nos vœux une régulation des outils mis à la disposition des professionnels26. Il n’en reste pas moins que les analyses de contentieux et leur développement attendu, lié à celui des analyses algorithmiques de contenu, pourrait aboutir à mieux connaître le fonctionnement de la justice, si tant est que les chercheurs se saisissent de cet objet.