Utiliser l’intelligence artificielle générative pour challenger ses recherches quantitatives.

« Le savant n’est pas l’homme qui fournit les vraies réponses, c’est celui qui pose les vraies questions »
remarque Claude Lévi-Strauss dans « Le cru et le cuit ».

Pour réaliser une étude, le User Researcher utilise deux méthodes principales : la recherche qualitative et la recherche quantitative. La recherche quantitative suit une méthode stricte pour garantir des résultats fiables.

Dans cette approche, voici les étapes principales :

1. Définir clairement l’objet de recherche.
2. Formuler des hypothèses à tester.
3. Concevoir le mode de collecte des données, les récolter, puis les analyser

Pour ces deux dernières étapes, le User Researcher doit poser des questions spécifiques, claires et mesurables, auxquelles les participants répondront dans le questionnaire administré. Il doit aussi être capable de traiter les données (les nettoyer, les coder, faire des analyses statistiques…) pour comparer les hypothèses aux résultats obtenus.

Cet article explore donc l’impact des agents conversationnels utilisant l’intelligence artificielle générative (en l’occurrence, ChatGPT4) dans la détection des analyses statistiques induites à travers ces questions de recherche.

L’étude comparative : I.A vs la « réflexion » propre du User Researcher

Pour évaluer la pertinence des réponses fournies, il s’agissait d’avoir un même « matériel » de comparaison. J’ai donc choisi un test de concept, réalisé via un questionnaire, et déjà effectué par mes soins. En anonymisant, évidemment, les données clients.

Le fonctionnement fut en deux temporalités.

Temps 1

« Nourrir » le LLM utilisé avec les éléments de cadrage suivant : contexte(s) et enjeu(x) projet ainsi les objectifs de l’étude menée (un de ces principaux objectifs était, par exemple, de déterminer le potentiel d’intérêt et d’attractivité d’un nouveau déploiement d’offre de service dans le cadre de ce nouveau concept testé).

Enfin, il s’agissait de lui transmettre le mode de recueil choisi (à savoir, un questionnaire auto-administré).

« Prompter » la demande en lui demandant de fournir, à partir des données transmises, des questions de recherches spécifiques correspondantes (donc des variables — ou questions — que le LLM estime les plus pertinentes à poser dans le cadre des informations transmises).

Par exemple, j’ai posé, dans mon prompt, la demande suivante “…Précise-nous maintenant, à partir des données que nous t’avons transmises ci-haut, les questions de recherches qui te paraissent les plus pertinentes à poser dans le cadre de notre questionnaire, en t’assurant que ces questions répondent précisément aux objectifs…”

Temps 2

Transmettre au LLM le questionnaire que j’ai réalisé, puis lui demander de proposer les modèles d’analyses statistiques qu’il estime les plus pertinents à poser.

Ce fonctionnement reposant sur une hypothèse, d’après-moi, claire : un potentiel-gain de qualité notable à l’utilisation de ces outils d’IA générative, par rapport aux productions menées de bout en bout, par un User Researcher.

Résultats : un moyen de challenger son travail, et d’ouvrir son champ de perspectives…

Premier fait notable : les questions de recherches que le LLM propose sont sensiblement similaires à ce que j’avais initialement posé. Elles se sont révélées être assez précises, et couvrant l’éventail du contexte et des enjeux fournis.

Dans les faits, ce que nous a proposé le LLM permet même de pouvoir bénéficier de nouvelles suggestions de variables, auxquelles je n’avais pas pensé lors de l’étude.

En outre, en ce qui concerne les analyses comparatives, je me suis vu également proposer une liste de suggestions dense et complète.

Par exemple, le LLM utilisé m’a proposé bon nombre d’analyses comparatives à envisager. En voici un exemple « …Corrélations entre fréquence d’achat et intérêt pour les services : vous pouvez utiliser des corrélations de Pearson (pour les variables continues) ou des corrélations de Spearman (pour les variables ordinales) pour examiner les relations entre, par exemple, la fréquence d’achat de la marque déclarée (Q7) et la probabilité d’utiliser certains services (Q12, Q15, Q18, Q21). Cela pourrait révéler s’il y a une relation entre les clients réguliers et leur intérêt pour l’abonnement et les services associés… »

Le LLM identifie aisément les relations potentielles entre les variables proposées.

Ainsi, dans le cadre de mon questionnaire qui nous sert de référence ici, je n’avais pas, lors de l’analyse, eu l’idée d’utiliser une certaine variable socio-démographique à un comportement d’utilisation projeté spécifique. Le LLM nous l’a lui, proposé, en le justifiant.

Enfin, point intéressant, sur la base du questionnaire transmis au modèle, j’ai réalisé que celui-ci était tout à fait capable d’identifier / relever de potentiels biais (mon prompt se complétait également de la demande suivante : « Identifie-moi les biais potentiels que tu identifierais »).

Fort de toutes ces suggestions, le User Researcher (comme le reste des professionnels des métiers du Design) peut donc se voir insuffler un « vent » nouveau sur ses réflexions, à la fois lors de la phase d’opérationnalisation de son enquête, mais également lors des analyses qu’il devra réaliser. Libre à lui, ensuite, de choisir de traiter ou d’utiliser ce que le LLM suggère.

…Mais aux limites assez certaines

Nous l’avons donc vu, l’utilisation de l’IA pour anticiper les variables et suggérer des analyses comparatives dans le cadre de la recherche utilisateur quantitative, est non seulement possible, mais pourrait également apporter une valeur significative au processus.
Cela permettrait aux concepteur.rice de gagner du temps, d’explorer plus d’options, et, potentiellement d’identifier des relations ou des pistes de recherche qui auraient pu être négligées autrement.

Cependant, l’IA doit, à ce stade, être vue et considérée comme un outil complémentaire à l’expertise du chercheur, plutôt que comme un remplacement.

Par exemple, certaines propositions de croisements de données faites par le LLM se référaient à des numéros de questions erronés, ou n’existant pas (les fameuses « hallucinations » de ChatGPT). Il est donc d’une absolue nécessité de devoir toujours vérifier précisément ce qui est proposé, et ne pas tout considérer comme argent comptant !

Limites et considérations

Bien que l’IA puisse être un outil puissant, il est donc important de noter quelques points d’attention.

1. La qualité des suggestions dépendra de la qualité et de la pertinence des données d’entraînement de l’IA.
2. L’expertise humaine reste cruciale pour interpréter le contexte, les nuances (qu’elles soient culturelles, socio-démographiques…) et les spécificités de chaque projet.
3. L’IA ne peut pas remplacer complètement la créativité et l’intuition du chercheur dans la formulation de nouvelles hypothèses.

En conclusion, l’IA générative offre un champ d’ouverture aux questionnements du chercheur assez probant. Il peut permettre un gain de qualité réel et notable, notamment parce qu’il permet aux User Researcher de se voir proposer des éléments auxquels il n’aurait pas initialement pensé. Dans les phases de suggestions d’analyses statistiques, ainsi que de précisions des questions de recherches, ces outils d’IA générative peuvent donc s’avérer être une aide supplémentaire pour le chercheur, lui permettant un gain de temps non négligeable. Toutefois, il conviendra toujours de s’assurer de la qualité des réponses formulées par ce outils, au risque de perdre en pertinence, comme en qualité des travaux réalisés.

Utiliser l’intelligence artificielle générative pour challenger ses recherches quantitatives. was originally published in ekino-france on Medium, where people are continuing the conversation by highlighting and responding to this story.