search mail facebook github rss rss twitter google + cross linkedin

L'amélioration continue au service de l'augmentation de l'impact sur Mes Aides

Au sein du collectif beta.gouv.fr, nous déclinons l’obsession du service client pour améliorer la qualité des services publics numériques que nous développons.

Dans cet article, nous allons présenter des améliorations plus ou moins attendues qui nous ont permis d’accroître notre impact sans faire grossir l’équipe.

Pourquoi est-ce important ?

Nous souhaitons créer des services publics numériques performants avec de petites équipes autonomes, nous devons donc être très attentifs à la qualité de ce que nous produisons.

C’est particulièrement important en phase de croissance comme l’illustrent très bien le graphique suivant repris de la présentation de Jonathan Lefèvre : Sans amélioration, le nombre de problèmes augmente avec le nombre d'utilisateurs Avec de l'amélioration continue, le nombre de problèmes est stable, la qualité du produit permet d'avoir

Dans le contexte de Captain Train, les tickets correspondent aux problèmes signalés par les usagers. L’amélioration continue permet de faire diminuer la proportion de problèmes par rapport au nombre d’usagers.

Comment faisons-nous en pratique ?

Il est très important pour nous d’être à l’écoute des usagers et d’ouvrir au maximum les canaux de communication. Encore aujourd’hui, nous collectons les retours principalement par courriel même si nous avons aussi créé une page Facebook et un compte Twitter.

Nous profitons aussi de l’organisation en petite équipe autonome qui permet d’expérimenter des améliorations du service qui rendent les usagers autonomes à leur tour et leur apportent les réponses aux questions qu’ils se posent.

Voici quelques exemples d’améliorations que nous avons faites au cours des années précédentes.

Prendre en compte le cas général

« Je suis bloqué sur la première page, je ne suis dans aucune des situations indiquées. »

En mars 2017, lors d’une campagne de communication nous avons reçu de nombreux messages similaires à celui-là.

En effet, de nombreux utilisateurs croyaient que le simulateur ne traitait que les situations particulières listées en première page. Voilà ce qui était affiché : Version initiale sans indication

Pour remédier à ce problème nous avons fait une première tentative qui ressemblait à cela : Version avec le texte « Dans aucune de ces situations ? Validez directement ! »

Au fil des évolutions, nous sommes arrivés à la version suivante : Version actuelle avec une case à cocher « Je ne suis dans aucune de ces situations »

Cette amélioration n’a pas eu d’effet sur les statistiques d’usage mais les personnes ne semblent plus bloquées et nous ne recevons plus de courriel sur ce sujet. Nous pouvons consacrer notre temps et notre énergie sur d’autres aspects du simulateur.

Une page dédiée pour le trafic provenant d’ameli.fr

Constat : 33% du trafic de Mes Aides provient d’ameli.fr, le site de l’Assurance Maladie et ce trafic génère de nombreuses sollicitations par courriel.

Les personnes qui arrivent sur le simulateur ont un problème précis en tête. À vrai dire, la plupart d’entre elles ne cherchent pas à faire une simulation et c’est pour cette raison qu’elles nous contactent.

Pour leur apporter une information pertinente sans surcharger la page d’accueil, nous avons mis en place une redirection automatique vers une page dédiée. Nous y avons compilé les réponses aux problèmes les plus fréquents.

Avec cette modification, nous évitons aux usagers de se lancer dans une simulation qui ne va pas leur apporter les informations qu’ils recherchent et nous diminuons le nombre de courriels à traiter par l’équipe !

Une page de résultats enrichie pour ce trafic particulier

Constat : Malgré cette page intermédiaire, des sollicitations continuent d’arriver au sujet de l’éligibilité aux dispositifs de l’assurance maladie (CMU-C, ACS et plus récemment la CSS).

Une partie des personnes provenant d’ameli.fr cherche bien à savoir si elle est éligible à des prestations sociales et en particulier à la Couverture Maladie Universelle Complémentaire (CMU-C), l’Aide au paiement d’une Complémentaire Santé (ACS) et la Complémentaire Santé Solidaire (CSS).

Pour ces personnes provenant d’ameli.fr, nous avons ajouté une section à la page de résultats qui permet d’expliciter la non-éligibilité à ces trois prestations en fonction des résultats du simulateur. En effet, le parti pris sur Mes Aides était de limiter l’information affichée et de n’afficher que les prestations auxquelles les personnes semblent éligibles.

Lorsqu’elles y sont éligibles, les personnes ont accès à la page de résultats habituelle : Extrait de la page de résultats avec les aides

Lorsque ces personnes ne sont pas éligibles, une section supplémentaire est ajoutée à la page de résultats pour les informer de leur non-éligibilité : Version avec le texte « Dans aucune de ces situations ? Validez directement ! »

Avec cette modification, les personnes ne nous contactent plus pour partager leur incompréhension et pour connaître leur éligibilité à ces dispositifs.

« Vous (ou votre conjoint) êtes propriétaire de votre logement principal ou êtes logés gratuitement ? »

Constat : Cette question, extraite du simulateur de la prime d’activité sur caf.fr, est à l’origine de nombreux signalements d’écart entre les deux simulateurs.

Pourquoi tant de signalements ? Car il faut répondre « Non » lorsque l’on est toujours en train de rembourser le crédit pour son logement principal ou si l’on est hébergé en participant aux frais du logement. C’est d’ailleurs ce qui est précisé dans une infobulle près de la question mais celle-ci n’est pas utilisée en pratique : Capture d'écran de l'infobulle du simulateur de la CAF

Pour limiter le nombre de signalements sur ce sujet, nous avons ajouté sur la page de résultats un lien supplémentaire avec la mention « Montant inattendu ? » lorsque la prime d’activité était affichée : Extrait de la page de résultats avec la mention « Montant inattendu ? » Ce lien supplémentaire apparaît uniquement pour les personnes concernées par ce problème d’interprétation, les autres usages ne sont pas surchargés par cette information.

En cliquant dessus, on accède à une page où la différence d’interprétations est expliquée : Capture d'écran de la page dédiée avec les explications

En novembre 2019, environ 600 personnes ont cliqué sur ce lien. Informées, ces personnes n’ont pas eu à nous contacter.

Aider à aller plus loin dans les démarches

Constat : Trop peu de personnes se lancent dans les démarches à partir des liens mis à leur disposition en fin de simulation

Nous avons pu faire ce constat après avoir mis en place un indicateur pour savoir si les visites débouchaient effectivement sur des démarches, autrement dit, si les personnes cliquent sur l’un des liens qui les amènent sur les pages dédiées des sites des organismes sociaux.

Lorsque ce constat a été fait, la page de résultats ressemblait à ça :

À cette époque, nous avons demandé à notre expert de l’expérience usager préféré (UX) de nous aider à modifier la page de résultats pour augmenter le nombre de personnes qui commencent leurs démarches.

À partir de cette suggestion, nous avons implémenté la version suivante :

Pour garantir l’amélioration de la situation avec cette modification, nous avons fait des tests A/B. Les deux versions étaient en production en parallèle. Une première moitié des usagers sélectionnée aléatoirement continuait à voir l’ancienne version et l’autre moitié voyait la nouvelle. Étant donné que le site mes-aides.gouv.fr a un trafic important, nous avons rapidement pu avoir des écarts statistiques significatifs.

Voici le résultat sur la période du 18 au 24 janvier 2019 :

Version Visites Conversions Taux de conversion
Nouvelle version (A[lternative]) 20 765 6 605 31,81%
Ancienne version (B[ase]) 20 824 4 321 20,75%

Cf. les statistiques publiques (Objectif ‘Démarche commencée’ puis « Objectifs par Attribut de l’utilisateur » puis « Variables personnalisées » et enfin regarde pour « Nom de la variable personnalisée » : « resultat » ).

Avec cette nouvelle version, le nombre de personnes qui commencent au moins une démarche a augmenté de plus de 50% ! Nous avons pu faire cette mise à jour importante sereinement, confiants de l’augmentation de notre impact.

Plus d’options pour lancer les démarches

« Vous affichez le lien vers les démarches en ligne c’est bien mais, s’il vous plaît, conservez les liens vers les formulaires à imprimer quand ils existent encore ! »

Cette remarque nous a été faite lors d’une rencontre avec des travailleurs sociaux en Ardèche en début d’année 2019. L’assistante sociale qui nous a interpellés accompagne des personnes âgées ; démunies lorsqu’elles doivent faire leurs démarches en ligne, elles sont tout à fait autonomes quand il s’agit de remplir un formulaire.

Nous avons donc affiché le lien vers le formulaire sur la page de résultats pour que les personnes puissent choisir l’alternative qu’elles préfèrent. Nous n’avons pas oublié d’enrichir les informations collectées pour savoir dans quelle mesure cette modification était utile aux usagers. Ainsi, nous avons pu constater que lorsque le téléservice et le formulaire sont affichés, près de 20% des personnes choisissent le formulaire (Comme pour la Complémentaire Santé Solidaire en novembre 2019).

Concrètement, voilà à quoi ça ressemble : Extrait de la page de résultats avec les liens pour aller plus loin dans les démarches

Avec le même objectif, vous pouvez voir que nous avons aussi ajouté des liens vers des lieux d’accueil physique où les personnes peuvent se rendre pour être accompagnées et faire leurs démarches.

À titre d’exemples, pour un dispositif comme la Complémentaire Santé Solidaire, seulement 4% des personnes utilisent ces liens-là mais pour un dispositif comme l’Allocation de Solidarité aux Personnes Âgées cela représente près de 10%. Cela s’explique par le fait que le public est plus éloigné du numérique et préfère aller à la rencontre des agents proches de chez eux.

En résumé

Le numérique est un outil que nous devons utiliser comme un levier pour améliorer les services rendus aux personnes. Ne voyons pas les solutions numériques comme des objets physiques figés et à construire une fois pour toutes, mais profitons de leur plasticité pour les adapter en même temps que les usages évoluent.

Dans la même catégorie