Depuis plus d’un an, nous co-animons un atelier intitulé “Cauchemar à Beta”. Son but est simple : aider les équipes volontaires à améliorer leurs mesures d’impact. Nous avons vu défiler plus d’une vingtaine d’équipes souhaitant : trouver le bon indicateur d’impact, vérifier que leur métrique est juste, être aidées pour améliorer leur impact, être challengées sur leur stratégie de croissance… Nous vous partageons ce que nous avons appris et pourquoi nous pensons qu’un tableau d’impact prévisionnel pourrait aider les équipes de Startups d’Etat.
La vocation de toutes les Startups d’Etat est de concevoir des services publics numériques utiles aux gens (usagers ou agents).
Le dire est facile. Le mesurer est plus compliqué. L’exposer en toute transparence demande un peu de courage.
C’est pourquoi, nous demandons systématiquement à chaque équipe en fin de construction de publier une page “stats” ou “impact”. Cette page en ligne, accessible à tous, doit permettre facilement de comprendre les résultats concrets de la Startup d’Etat. Qu’ils soient bons, mauvais ou bof…, ils doivent être consultables par n’importe qui. Toutes les Startups d’Etat sont financées par l’impôt des Français, elles sont donc redevables de leurs résultats.
Par exemple, une page “stats” pourra indiquer le nombre de bénéficiaires du RSA aidés, le nombre de rendez-vous honorés au sein d’un service public ou encore le nombre d’étudiants ayant pu bénéficier de séances de psy.
Il y a deux ans, toutes les équipes du programme Beta.gouv ne disposaient pas de pages stats. Certaines équipes en accélération, censées avoir démontré leur impact sur un premier périmètre d’expérimentation, n’avaient pas encore joué le jeu.
“Elle est où ta page stat ?”, “Pourquoi vous n’avez pas de page stats ?”, “Elle est vide ta page stat ?”… Toutes ces phrases adressées aux équipes étaient devenues un “cauchemar” pour elles.
L’émission de télévision, animée par un grand chef, et visant à aider des petits restaurateurs en difficulté, nous a également beaucoup inspiré pour nommer ce programme “Cauchemar à Beta : la mesure d’impact”.
Aujourd’hui la majorité des équipes en accélération disposent d’une page stat. Si vous constatez une absence ou une page stat incomplète, vous êtes légitimes pour demander des comptes à ces équipes. Vous les aiderez en leur demander leur résultat.
Ces ateliers, inspirés des méthodes de co-développement professionnel, durent 60 minutes et sont organisés en cinq temps :
Au fil de ces ateliers, certaines questions des challengers reviennent régulièrement. Nous vous les listons en vrac car elles pourront peut-être aider d’autres équipes :
Dans 90% des cas, l’un des challengers recommande à l’équipe de s’appuyer sur les métriques pirates et les tunnels de conversion (on en parlait déjà en 2016) pour augmenter et mieux mesurer leur impact.
Au fil de ces ateliers, nous avons acquis la conviction que les métriques pirates sont toujours d’une grande aide pour les équipes qui ont commencé à expérimenter leur service. Ces métriques sont encore plus utiles, lorsque les équipes sont dans une recherche de répétabilité de premiers résultats probants ou en pré-accélération.
Nous pensons qu’au-delà de l’apport stratégique de ces méthodes, les équipes pourraient construire leur propre tableau d’impact prévisionnel.
Ce type de tableau aurait trois objectifs :
En outre, les équipes devraient être très à l’aise si lors du premier mois, leurs statistiques réelles sont différentes du prévisionnel. C’est normal et naturel. Néanmoins, c’est un bon moyen de réajuster sa stratégie pour atteindre son objectif à six mois. Ce tableau doit être considéré comme un outil à disposition de l’équipe.
Ce tableau n’est qu’un outil parmi d’autres. Il pourra servir de fil rouge tout au long de la vie de la Startup d’Etat.
Par ailleurs, au sein de la communauté beta.gouv nous essayons de former, d’accompagner et d’outiller les équipes sur leur impact tout au long du programme.
À titre d’exemple :
