#295 - Malt : Construire un agent AI Analytics fiable à 90%
from DataGen
24m 35s
Gauthier, directeur des data analytics chez Malt, explique comment son équipe a construit un agent d'IA intégré à Slack pour répondre aux questions d'analyse avec une précision de 90 %. Ce système, mis au point sur deux ans, a évolué grâce à des améliorations clés : un accès restreint aux métriques claires, des questions de clarification pour éviter les malentendus, et la génération de visualisations via Looker. L'agent se comporte désormais comme un analyste humain, en posant des questions pour comprendre le besoin, et évite les hallucinations grâce à un contexte rigoureux. La gouvernance repose sur des retours d'utilisateurs, une analyse des discussions publiques et une simplification des métriques pour plus de fiabilité. L'équipe vise désormais des agents capables d’analyser des tendances complexes, de fournir des explications et d’explorer des données plus profondes. Ce changement marque une rupture : le rôle des data analysts se déplace de l’aide à la décision vers la création de produits et d’automatisation. Parallèlement, Malt lance un bootcamp en analytics engineering avec DataBird, destiné aux analystes expérimentés. Gauthier souligne que cette évolution, bien que complexe, ouvre de nouvelles perspectives pour le métier, en le rendant plus créatif, plus pertinent et plus impactant.
Aujourd'hui, je reçois Gauthier, qui est data analytics director chez Malt.
Il va nous parler du plus gros chantier de son équipe sur ces deux dernières années à savoir
l'IA analytics.
Il y a deux ans, il testait leur premier élément pour genérer du SQL et ça ne marchait pas du tout.
Aujourd'hui, ils ont un agent en production qui répond correctement à 90% des questions analytics.
Dans cet épisode, on va parler de comment ils ont construit cet agent, comment ils contrôlent ce qui produit
et surtout comment ils utilisent d'IA au quotidien pour aller plus vite et faire des analyses plus avancées.
Et le Gauthier, comment ça va?
Et l'eau, ça va super bien, je suis hyper content d'être là et dans ce podcast pour la deuxième fois.
Fidélogitère de DataGen, donc super content d'être là.
Grosse News, DataGen a lancé un bootcamp en analytics engineering en collaboration avec DataBird.
Le besoin en analytics engineering a explosé.
J'observe cette tendance au quotidien dans mes échanges avec les leaders data.
On a décidé avec DataBird d'unir no force pour créer le premier bootcamp spécialisé sur le sujet.
Le bootcamp est à destination de profil déjà data analyst ou scientist.
Ce sera tant par ciel pendant 6 semaines et finançable via CPF.
Si ça vous intéresse dans savoir plus, deux options.
Je vous mets le lien pour découvrir le programme détaillé en description.
Sinon, vous pouvez écouter l'épisode 151 qu'on a enregistré avec le cofondateur de DataBird
dans lequel on explique plus en détail l'attendance de l'analythics engineering et le programme du bootcamp.
Est-ce que tu veux commencer par nous dire comment tu te retrouvées data analytics directeur chez Malt?
Moi, ça fait une dizaine d'années que je bosse dans la data.
J'ai un background plutôt business, d'école de commerce en France, à l'origine.
J'ai eu la chance de partir aux États-Unis à Berkley où c'est là que j'ai commencé à prendre des cours de code et de data science.
En revenant, j'ai tout de suite commencé à bosser dans un cabinet de conseils qui s'appelle Eleven qui est spécialisé en stratégie d'attaque
et accompagnement de grands groupes dans le déploiement de Gusukeys Data.
Après quelques années en conseil, je suis dans une première startup qui s'appelle Shadow dans le monde du cloud gaming
où j'étais sur un rôle entre la data et la finance.
Ensuite, je suis parti chez encorestore qui était quand j'ai rejoint une startup et qui a grandi très très vite
et c'est à ce moment-là que j'ai fait le podcast avec Robin et quelques années pour parler justement
de développer une équipe d'attaque à une boîte en hyper croissance.
Et maintenant, je suis chez Malt depuis trois ans bientôt.
En tant que directeur de l'équipe d'attaque analytics, on est une équipe de sept personnes, principalement des data analystes
et on a, je dirais, pour résumer trois rôles principaux.
Le premier, c'est prendre les gens autonomes dans leur accès à la donnée.
Le deuxième, c'est de la décision de Science, donc accompagner les prises de décision stratégiques
avec des analyses souvent complexes.
Et la troisième, c'est construire des data product, que ce soit en interne ou pour l'externe.
Donc voilà, des produits ou des bouts de produits grâce à la donnée qu'on a chez Malt.
Est-ce que tu peux nous dire comment est-ce que LIA a bouleversé votre travail dans l'équipe analytics?
C'est vrai que depuis, il dirait deux, trois ans,
LIA bouleversé complètement la manière dont on travaille en data analytics.
Si je vais même un peu plus loin, je suis maintenant convaincu que une bonne partie des data analystes
vont demain être obsolètes avec LIA, voire le sont peut-être déjà aujourd'hui.
Je dis une bonne partie, parce que ça fait 10 ans que je boss en data et particulièrement data analytics.
J'ai fait passer énormément d'entretiens, je rencontre beaucoup de data analyst.
Et ce que je vois, c'est qu'il y a une partie des gens qui considèrent que le métier de data analyst
consiste à faire le pont entre des utilisateurs non-techniques, des gens qui travaillent dans l'équipe marketing chez les sales
et des outils techniques comme des bases de données, des outils de BI.
Et en fait, ce rôle de pont entre le technique et le nom technique, LIA le fait très bien.
Et le data analyst a plus besoin de le faire.
Quand je vois des data analyst qui se disent "Expert, Power BI, Expert SQL",
en fait pour moi tout ça, ça n'a plus lieu d'être parce qu'on a plus besoin de maîtriser ces outils techniques aujourd'hui.
En tout cas, c'est plus le rôle et la valeur ajoutée du data analyst.
En revanche, chez une autre partie des data analyst, c'est ce qu'on achète mal, c'est ce qu'on cherche à recruter, d'ailleurs en ce moment,
qui voit la data comme "J'ai cet actif qui est la donnée", et mon rôle en tant que data analyst
c'est de créer la valeur avec cet actif, peu importe l'outil que j'utilise le langage.
C'est pas ça qui est important, la question c'est comment je peux rentrer la valeur à avoir de l'impact avec la donnée.
Et là, dans ce cas-là, LIA te rend 10 fois plus pertinents et rend le métier même 10 fois plus intéressant.
Donc c'est ça que je trouve super intéressant, c'est que ça rebate complètement les cartes.
Si je suis un peu plus concret, en quoi concrètement, LIA change notre métier.
Le premier point qui est, c'est celui dont on a plus parlé, c'est en fait une toute cette partie de celles services
dont on parle depuis très longtemps dans le monde de la data, qui est ce rêve d'avoir les gens qui voient accès d'automatiquement
et la donnée dont ils ont besoin au sein d'une entreprise.
On l'a longtemps fait avec des outils de BI et celles services, ça a jamais trop marché.
Et là, avec LIA, on a vraiment maintenant des agents qui sont capables de rendre les gens autonomes.
Ca, c'est la première grosse révolution.
La deuxième, je dirais, c'est que en tant que d'athalystes, c'est avec LIA,
un coup plus rapide et pertinente pour travailler au quotidien.
Tu vas coder plus vite, tu vas revoir du code plus vite.
Tu vas amaliser de la donnée que tu ne pouvais pas analyser avant.
Par exemple, tous les champs de texte libre qu'on avait dans nos bases de données.
Quand un client, je ne sais pas se désinscrire et qui explique pourquoi ils inscrivent.
Moi, chaque client répond quelque chose de différent, donc c'est très dur à analyser.
Mais en fait, avec DLLM, tu peux le catégoriser, l'analyser et ça te rend beaucoup plus pertinents
et ça apporte des nouvelles choses qu'on ne pouvait pas faire avant.
Et je dirais que le troisième gros bloc de chose que LIA apporte,
c'est que les data-analyses deviennent des builders.
C'est-à-dire qu'ils peuvent vraiment construire des choses qu'ils ne pouvaient pas faire avant.
Il faut savoir que les data-analyses, c'est en général les moins techs de la tech,
ils n'ont pas les compétences de software engineering, d'un Dave,
ils n'ont pas les compétences de data science des machines en immédiatement.
Mais en fait, avec LIA, ils vont pouvoir assez facilement augmenter leur domaine de compétences
pour créer des web apps et les déployer, faire des scripts d'automatisation,
faire parfois la data science avancée en se faisant guider par LIA sans forcément avoir
toutes les skills à l'origine qui permettent de le faire.
Et donc ça, c'est ça que je trouve le plus intéressant,
c'est qu'un data-analyse, maintenant, il va vraiment être beaucoup moins,
je pense, dans une fonction support à accompagner la prise de décision.
Il beaucoup plus dans une fonction de j'utilise à donner et je crée des choses avec,
je crée des produits, je crée de l'automatisation.
Et c'est en ça que je trouve que le métier va être complètement bouleversé.
Et donc, maintenant qu'on a parlé du fait que votre métier a déjà été bouleversé,
c'est mal, est-ce que tu peux nous parler des gros chantiers qui s'articulent autour de vos sujets
YIA Analytics en interne?
Le premier gros chantier sur lequel on bosse depuis deux ans,
on a un peu parlé en intro, c'est cette agent YIA que l'on a déployé,
que c'est le MalTI et YIA, qui répond aux questions de data des gens.
Ça, c'est une idée qui n'est pas nouvelle, encore une fois,
moi, c'est 10 ans que je vois cette idée de se dire.
Le rêve, ce serait d'avoir une YIA qui interprète en langage naturel des questions des gens,
combien de frilances on a sur MalTI?
Elle était notre venue en Belgique à ce même dernière,
qui l'interprète et qui répond à la personne.
Il y a deux ans et demi, maintenant, on a testé ça.
Avec l'arrivée d'LLM, on s'est dit, on va mettre un LLM qui interprète la question,
qui génère du SQL, qui l'exécute et qui renvoie la réponse.
Ça, ça n'a pas du tout marché, comme tu l'as dit.
Et ça n'a pas du tout marché, parce que du coup,
l'escal était fausse.
Ouais, il y a plein de problèmes.
Le premier, donc on a déployé ça sur une app à part,
les gens pouvaient y accéder chez MalTI.
Les réponses étaient en général fausse, tu n'avais jamais deux fois la même réponse
quand tu posais la même question.
Donc, tu pouvais demander qu'elle était le revenu de la Belgique à ce même dernière.
À la fois, il a été répondu à un truc faux.
Et en plus, si tu reposais la question, tu avais encore un autre truc différent.
On avait une interface un peu à la chat de GPT.
Cette interface, elle fonctionne pas vraiment pour de la data,
parce que les gens, ils veulent pas juste voir un nombre.
Ils veulent l'utiliser, en faire un graphique, le sauvegarder, le partager.
Et donc, ça, c'est quelque chose qu'on pouvait pas faire.
Le fait d'avoir une app à part, faisait que les gens connaissaient pas forcément,
donc il y avait toute une éducation à faire.
Donc, ça, vraiment, on a très vite abandonné cette idée.
En revanche, c'était une première brie qu'on s'est dit,
bon, là, ça ne marche pas, mais on a des idées de qu'est-ce qu'il faut faire pour que ça marche.
Et donc, c'est là, on a commencé à y tirer, brick par brick,
et à améliorer cet agent.
Donc, la première chose qu'on a faites, c'est qu'on a au lieu de donner
à cet agent l'accès à toute nos bases de données.
On l'a juste branché à notre métrique Leyer, grâce au MCP de Lukeur.
On a du coin à agent qui elle est plus inventée, la définition du revenu,
mais qui allait avoir, voilà, de venir un peu, à te coder.
La définition du revenu, c'est la somme de telle chantelle chantelle chantelle chante.
Pareil pour toutes nos métries, qu'elles étaient toutes bien définies avec une description.
Ça, ça limite, rastiquement, les hallucinations de ton modèle.
La deuxième chose qu'on a fait, c'est qu'on l'a mis dans Slack.
En fait, c'est un agent dust, donc, qui a accessé possible à Slack.
Et donc, ça, c'est une porte d'entrée qui est beaucoup plus naturelle
pour les gens de passer par Slack, plutôt que d'aller sur une app à part,
parce que pour parler avec un chatbot Slack, c'est ce qui nous s'en mette le plus pertinent.
La troisième chose qu'on a fait, qui a vraiment changé redone, c'est qu'on a fait en sorte que l'agence comporte
comme un data analyst, c'est-à-dire qu'il pose des questions de clarification avant de donner une réponse.
Donc, quand quelqu'un demande combien de freelances, on a sur mal en 2026.
Au lieu d'avoir une réponse tout de suite, la personne va dire,
"Attends, quand tu dis en 2026, c'est les freelances qui sont inscrires en 2026,
ou ceux qui ont une mission sur mal en 2026, ou ceux qui se sont sur la plateforme en 2026".
Et donc, avec ce jeu de questions, le modèle, il n'a rien à clarifier et ce que l'utilisateur veut
et à renvoyer une réponse qui est beaucoup plus pertinente.
Et la dernière chose qu'on a fait qui a aussi beaucoup changé,
c'est qu'au lieu de répondre juste la réponse en forme à texte,
encore une fois, on appelle le MCP de l'oucœur et on vient générer ce qu'on appelle un explorer.
Donc, en fait, un graphique dans l'oucœur avec la réponse.
Et donc, typiquement, sur ma question au commande freelancer en 2026,
le agent va répondre et va dire, si tu veux, elle est plus loin.
Voilà un lien vers l'oucœur, la personne peut cliquer et voir le même résultat.
Audité comment ce qu'il a été construit, donc voir les champs qui ont été utilisés,
en faire un graphique, en faire un tableau,
l'envoyer un collègue, le sauvegarder, le mettre dans un Dashboard,
potentiellement construire une analyse en rajoutant des champs.
Mais, ouais, c'est un très bon point d'entrée vers des analyses aussi.
Tu disais qu'ils se comportent comme un data analyst?
Comment est-ce que vous avez fait concrètement pour qu'ils se comportent comme un data analyst?
Alors, il y a plusieurs choses.
Il y a dans les instructions qui sont donnés au modèle.
On lui a dit qu'il a posé des questions de clarification,
et c'est vraiment comprendre l'intène de l'utilisateur, etc.
Il y a une question de contexte aussi.
Donc, on a donné aussi beaucoup de contexte à ce modèle sur l'entreprise,
sur mal, sur ce qu'on faisait,
sur les différentes links de business qu'on a.
Donc, ça, ça a beaucoup aidé aussi,
parce que le agent peut comprendre les subtitités de ce que demande la personne.
Et le fait de mettre la métrique lailleurs dans l'agence,
ça permet aussi à l'agent de voir
à l'agent potentiellement deux métriques qui pourraient correspondre.
Donc, je vais demander une clarification pour savoir entre ces deux métriques la quelle corresponde?
Tout ce contexte, vous l'avez mis, on est d'accord?
On se défi-chier, Marc-Darne, qu'on ouvriait de ce.
La dernière chose qu'on a fait, que j'aime beaucoup, c'est que l'agent, parfois il va
répondre qu'il n'a pas la réponse, parce qu'on s'est rendu compte qu'en vouloir répondre
à tout prix, parfois ça crée des erreurs aussi, et donc dans ce qu'elle a, l'agent,
on va dire, je n'ai pas la réponse, mais tu peux contacter telle personne qui est dans
l'équipe d'attaque, qui pourra t'aider, ou alors on a un système d'office hour dans
l'équipe d'attaque, c'est à dire qu'une apporte qui peut bouquer du temps avec un
débat, c'est à dire qu'on a une apporte d'attaque, c'est à dire qu'on a une apporte d'attaque,
c'est à dire qu'on a une apporte d'attaque, c'est à dire qu'on a une apporte d'attaque, c'est à dire qu'on a une apporte d'attaque,
c'est à dire qu'on a une apporte d'attaque, c'est à dire qu'on a une apporte d'attaque, c'est à dire qu'on a une apporte d'attaque, c'est à dire qu'on a une apporte d'attaque,
c'est à dire qu'on a une apporte d'attaque, c'est à dire qu'on a une apporte d'attaque, c'est à dire qu'on a une apporte d'attaque, c'est à dire qu'on a une apporte d'attaque,
que la gouvernance, tu peux nous en dire plus cette nuit?
Oui, il y a plusieurs sujets autour de la gouvernance. J'y ai à le premier, c'est
inérent au projet avec des LLM. C'est qu'un LLM, c'est pas déterministe. Tu sais ce que
tu dois dans l'entrée, mais tu sais pas ce qu'il va ressortir. Contrairement du code classique
ou tu sais exactement à chaque fois que tu vas lancer ton code ce qu'il va ressortir. Un LLM,
tu sais pas. Et donc pour évaluer si ton LLM y fonctionne, je vais au prendre l'exemple
de mon agent qui répond aux questions d'attaque des gens chez Malte. Pour évaluer si les
réponses sont pertinentes ou pas, c'est assez complexe parce que comment t'évalues une réponse
à l'évaluation de lLM. C'est un sujet qui est hyper intéressant et beaucoup de gens
se trouvent beaucoup de questions là-dessus. Une des méthodes classiques, c'est généré et
vous de récupérer plein de questions et de les tester et de dévaluer la partenze des réponses
avec un LLM potentiellement ou à la main. C'est une app interne. Donc on a, je dis quelques
dizaines de questions par jour. On n'est pas sur des milliers et des milliers de questions. Donc
on a une approche qui est plus pragmatique. Comme je disais, comme c'est sur Slack, on a pu
rajouter un bouton de feedback. Donc les utilisateurs peuvent dire la réponse est bonne, la réponse
n'est pas bonne. Ça, ça nous aide beaucoup. Mais ça, par exemple, pour ça, il faut comme
avoir confiance en le fait que les utilisateurs soient capables de savoir si c'est bon ou non.
On voit qu'il y a aussi une partie des cas où les utilisateurs ne répondent pas parce qu'ils
sont pas sûrs à 100% que c'est bon, c'est pas bon. L'autre chose qu'on fait, c'est nous,
on regarde les conversations, comme vous disait, il y a une bonne partie des conversations qui sont
publics. On peut parler à l'agent en privé si on veut, mais la plupart des gens le font sur un
channel Slack qui est public et donc nous autant que bien d'analyse, on regarde ça de très près
en fait. Aujourd'hui comme c'est relativement nouveau, on la rélise en mars. Il y a souvent un
d'analyse qui traîne sur ce channel. Il regarde les réponses qu'ils les annottent donc si
elles sont bonnes, qu'ils mettaient. Il y a pas de. Comme je disais tout à l'heure, reprendre la
conversation si il n'y avait pas eu de réponse. Est-ce qu'il y a deux difficultés dont tu
aimerais nous parler? Oui, il y a une autre difficulté. Je trouve qu'il y a assez intéressantes.
Comme je disais, notre agent, il utilise notre métrique-layer, mais notre métrique-layer a été construite
pour des humains pour que les gens puissent choisir des métriques. Et ce qui est intéressant, c'est qu'on
se rend compte qu'un agent, si la métrique-layer, elle n'est pas très claire, très précise. Il va
pas comprendre certaines subtilités que comprennent les humains quand ils utilisent nos data. Je peux
donner un exemple chez Malte, un moment où on avait le client-country code et le sales-client-country code.
Ça, c'est une subtilité quand on arrive chez Malte, on explique, parfois on reporte comme ça,
parfois on reporte comme ça. Mais en fait, un LLM, il n'y a pas forcément la subtilité de
comprendre. Et donc, quand tu lui demande, c'est quoi le revenu par pays? Et parfois il va prendre
dans la métrique-layer le sales-country code, parfois le client-country code. Parfois, il va
être posé la question de clarification, mais on s'est rendu compte que notre métrique-layer en fait,
elle était un peu floue et ça nous a obligé à simplifier vachement les métriques et les dimensions
qu'on utilise. Donc typiquement, le sales-country code en fait, on a enlevé de la métrique-layer. On aurait
pu dire au LLM dans le contexte quand on te pose une question sur telle sujet, tu utilises le
config code du client et dans tel cas tu utilises le config code du sales. Mais on a préféré
prendre un choix un peu plus drastique, et de se dire que de rajouter tous les cas particuliers
à la main dans le contexte du modèle. En fait, on va simplifier notre cementique-layer et on va faire
en sorte que les concepts qui sont droits, ils sont très clairs. Après, dans nos bases de données,
on a plein de concepts additionnels qui sont utilisables, mais pas par notre agent. Notre agent, il a accès
vraiment à quelques métriques, quelques dimensions qui sont pertinentes, clairs et qui se sauvent là-bas.
Oui, en fait, pour les uscases plus précis, les gens vont dans le looker, faire des explorers,
ils vont dans votre base de données, faire des rues qui étaient squères. Exactement. Ils font des
mandados que vous avez à l'analyse si besoin. Vous avez préféré réduire le scope de l'agent
finalement. On a réduit le scope vraiment à quelques parties de notre cementique-layer qui est
dans le looker aussi. Pour être sûr que les résultats sont pertinents, et encore une fois,
même si parfois, il n'est pas capable de répondre, on considère que c'est plus important d'avoir un
agent qui répond bien quand il répond, que d'avoir un agent qui a accès à trop de choses,
il y a trop de concepts proches. En fait, l'uris, c'est vraiment les concepts qui sont proches,
ils ne sont pas exactement pareil, et donc ils peuvent te générer des réponses qui ne sont pas
correctes. C'est intéressant pour que comme chansons que chaque entrepuis, ce qu'on est stratégie
un petit peu différente, des approches différentes, et c'est super intéressant, pas là dont on
tente la tienne. Oui, je pense que tout ça est très nouveau, et il n'y a pas de playbook,
il n'y a pas encore de manière parfaite de faire, donc pense que quand il essaye un peu que les outils
qu'il a, avec une vision différente, donc c'est super intéressant, je pouvoir voir un peu ce
que font les gens, et aussi s'impréner un peu d'autres idées, d'autres méthodes.
Le moment, c'est un moment, il y aura une méthode qui sera l'idée, qui sera la bonne méthode,
un peu comme ce qui a été le cas pour débêter dans un transformation. Je pense que dans quelques
années, ça a évolué tellement vite en ce moment que ça risque pas d'arriver à court terme,
probablement dans quelques années, il y aura une méthode de déployer des agents hi-analytiques,
une ou trois, mais il n'y aura pas 15. À de voir ça, quels sont les prochaines étapes de ton équipe?
L'agent, moi, je vais parler depuis le début, c'est un agent qui fait surtout du datat
ritrivol, donc c'est-à-dire, j'ai des ans que j'ai donné, c'est combien de frileance,
fondament qui font ça, quelle est le revenu, quelle est le taux de conversion. Ce que j'aimerais,
c'est que la prochaine étape, ce soit qu'on est un agent qui fasse de l'analyse. C'est-à-dire
qu'il répond avec les questions plus ambigu et plus poussées du style. Comme moi, on explique le fait
qu'on est plus d'utilisateurs que l'année dernière, alors que le taux de conversion, entre tel pas,
j'étais le pas j'abessaie, en Espagne ou UK. Et ça, ça paraît pas très différent de ce que
j'ai dit juste avant, mais en fait, ça demande d'avoir un agent qui, déjà, comprend l'ambiguité,
qu'il n'y a pas de comprendre des questions qui ne sont pas forcément simples et basiques ou
juste je veux cette métrique. T'as besoin d'avoir un agent qui a accès à beaucoup plus de
contextes sur ton entreprise, comment elle fonctionne, potentiellement toutes les réalises produits qu'on
était faites pour faire des liens entre des évolutions métriques et des réalises produits, ce que tu
lui demande, un désagnostique, une explication, une évolution. T'as besoin d'avoir un agent qui a accès à
beaucoup plus de données, donc ça fait écho à ce qu'on disait tout à l'heure. Ton agent, pour
répondre à les questions complexes, d'analyse, tu peux pas juste tu donner accès à ta métrique
leiaire basique, il a besoin d'aller taper dans des bases de données dans des tables qui sont
peut-être un peu plus rôts, moins bien d'entretenues avec cette moindre description et un volume de
table aussi beaucoup plus élevé. Et puis,
tu as besoin d'avoir un agent qui a aussi le comportement comme une fois d'un
datanaliste quand il fait une analyse, c'est-à-dire éviter d'avoir des biais dans
l'analyse et d'avoir vraiment un comportement de d'analyse assez, je dirais, carré vraiment
regarder les dimensions qui impactent plus la variance d'une métricale-ode.
Donc il y a toutes ces skills-là d'analyse qu'il faut apprendre à l'agent.
Mais saches, je suis assez convaincu qu'on va y arriver à un moment.
Ça demande, on est un peu de boulot.
Je pense que ça va commencer par être un agent qui est vraiment pour les datanalistes,
mais qui nous aide à faire des analyses poussées.
Il y en a fait des premiers tests, rien qu'avec Claude Code et donner un Claude Code
avec le MCP de Dicquerie accès à Notable, je peux commencer à faire des trucs qui
sont vraiment pas mal.
Et puis là on va tester Nao, donc je vais faire un petit clin d'oeil parce que je pense
que c'est un outil qui va vraiment nous aider à ce qu'il est ce genre d'agent vraiment
pour du dive analytics dans un premier temps, encore une fois, pour les datanalistes,
pour les aider.
Et puis pourquoi pas, un moment, si ça fonctionne vraiment bien, donner accès à ces agents
au reste de l'entreprise?
Mais écoute, on arrive sur la dernière question, est-ce que tu as une recommandation de
continuer à faire à nos auditeurs?
Un contenu que j'aime beaucoup, c'est les essais de Paul Graham.
Paul Graham, c'est le fondateur de Way Combinator, il y a un blog depuis le début des années
1990 où il écrit des essais, donc des petits articles, qui sont super intéressants.
La plupart de ces articles sont sur l'entrepreneuriat, l'organisation de travail, il y a beaucoup
de articles un peu plus philosophiques. Il y a quelques-uns que je recommande vraiment,
et qui ont parfois fait pas mal le buzz, il y en a que j'aime beaucoup, qui s'appelle
Maker Skyjall, Manager Skyjall, qui est un bon appel en tant que Manager que ton emploi
du temps, est très différent de l'emploi du temps des gens que tu manages et toi, t'as
voué avoir plein de meetings, etc.
Quand tu calmes un meeting dans le milieu de la prémidie de quelqu'un qui est contributeur
individuel et qui doit être focus, en fait, tu peux potentiellement lui reiner sur
la prémidie.
Voilà, il y en a un autre qui s'appelle la VinKids, que je recommande aussi pour les parents,
sur le fait qu'il y a un billet de sélection dans la manière dont les gens voient les
enfants, parce qu'en général, quand on n'a pas d'enfants et qu'on voit des enfants,
c'est dans des contextes qui sont pas incroyables pour des enfants, ça peut être dans un avion,
une réunion de famille, et que tous les moments sympas que des enfants en général,
ils sont privés, donc les gens ne le voient pas.
Il y a des dizaines et dizaines de décès, et vraiment, je les recommande, c'est un peu
une mine d'or.
C'est les rassets variés, en plus, ces essais.
C'est vraiment, il y a des techniques, les enfants, les truc philosophiques.
Il y en a eu un qui a été assez controversé sur le Fender Mode, et le Manager Mode,
qui a été notamment repris par William Chesky, qui est au signe de la BNB, qui raconte
un peu la différence entre la position du dirigeant Fender versus manager.
C'est très divers, mais c'est toujours très intéressant.
C'est cool.
Comme d'habitude, on va mettre en description de l'épisode Lédiens suggérés.
Et donc, dernière question, Gautier, qu'est-ce que tu aimes dans la data?
Ce qui m'a beaucoup pâtiré dans la data au début, quand je suis arrivé dans ce secteur,
il y a 10 ans, c'est le fait que ce soit, à la croiser de trois choses que j'aime
beaucoup, les maths, l'informatique et des enjeux très business.
Moi, j'ai un background, j'ai dit tout à l'heure, plutôt business, à la base.
Et donc, je ne trouvais pas d'autres métiers qui étaient autant, vraiment, au carrefour
de ces trois domaines, ce qui me plaît beaucoup aussi dans le métier de la data, c'est
surtout de datanalytique, je pense, c'est que c'est très transverse.
Moi, ils m'en équipent.
Moi, ça va avec toutes les équipes de Maltz, le marketing, les sales, le produit, la
tech, la finance, avec tout le monde dans l'entreprise du contribuateur individuel
aussi, et ça, je trouve ça super enrichissant.
Moi qui a profil assez généraliste, j'aime beaucoup pouvoir vraiment voir les différents
chantiers de l'entreprise.
Et pour être honnête, moi au bout d'un moment, je commence un peu à me lasser du métier
de datanalytique, parce que depuis la moderne data stack, ça va être assez peu évoluée
en fait.
Là, avec l'y-a, je trouve ça génial, je me régale, je trouve qu'on a vraiment toute
la partie moins intéressante du métier et en train que je disais disparaître, et on
est en train de se concentrer sur des trucs qui sont hyper intéressants, une très nouveau
à quoi, une fois construit des produits, valoriser la donnée, avoir de l'impact, mettre
la donnée entre les mains pas que de l'inter, n'est pas que faire de l'aide à la décision,
mais vraiment mettre la donnée entre les mains de tes clients directement.
Et donc tout ça, je trouve que c'est super intéressant, donc là, je suis content parce
que je trouve que le métier prend vraiment une autre tournure qui est très excitante.
Mais pute, merci, super conclusion, c'était un plaisir pour se voir aujourd'hui, c'était
top d'être là, je suis super content.
On a créé un dossier dans lequel on a listé les 100 ressources préférées des leaders
et expert data invités sur le podcast, donc chaque épisode, je demande aux invités
qu'elles sont leurs ressources préférées, où on les a centralisé dans ce dossier.
Pour leur se voir, il suffit de s'inscrire à la newsletter, je vous mets le lien en description.
Podcast Summary
Key Points:
L'IA analytics a révolutionné le rôle des data analysts en les transformant de simples intermédiaires en acteurs créatifs capables de construire des produits et des automatisations.
Malt a développé un agent d'IA intégré à Slack qui répond à 90 % des questions d'analyse avec des réponses précises et contextuelles, en s'appuyant sur une métrique claire et une gestion rigoureuse des données.
L'agent est conçu pour se comporter comme un analyste humain en posant des questions de clarification, en évitant les hallucinations et en garantissant une compréhension fine du besoin de l'utilisateur.
La gouvernance de l'IA repose sur des mécanismes de feedback des utilisateurs, une analyse des conversations publiques et une simplification des métriques pour éviter les ambiguïtés et les erreurs.
Le projet vise désormais à évoluer vers des agents capables d'analyser des données complexes, d’interpréter des tendances, et de fournir des explications fondées sur des contextes d’entreprise.
Malt a choisi de réduire le champ d’action de l’agent pour garantir la pertinence des réponses, en limitant l’accès aux données les plus complexes et floues.
Un bootcamp en analytics engineering est lancé en collaboration avec DataBird, destiné aux analystes confirmés souhaitant se former à la nouvelle génération de compétences en data.
Gauthier est convaincu que la data analytics évoluera vers une fonction créative et impactante, au-delà de l’analyse simple, avec une forte valorisation des données au quotidien.
Summary:
Gauthier, directeur des data analytics chez Malt, explique comment son équipe a construit un agent d'IA intégré à Slack pour répondre aux questions d'analyse avec une précision de 90 %. Ce système, mis au point sur deux ans, a évolué grâce à des améliorations clés : un accès restreint aux métriques claires, des questions de clarification pour éviter les malentendus, et la génération de visualisations via Looker. L'agent se comporte désormais comme un analyste humain, en posant des questions pour comprendre le besoin, et évite les hallucinations grâce à un contexte rigoureux.
La gouvernance repose sur des retours d'utilisateurs, une analyse des discussions publiques et une simplification des métriques pour plus de fiabilité. L'équipe vise désormais des agents capables d’analyser des tendances complexes, de fournir des explications et d’explorer des données plus profondes. Ce changement marque une rupture : le rôle des data analysts se déplace de l’aide à la décision vers la création de produits et d’automatisation.
Parallèlement, Malt lance un bootcamp en analytics engineering avec DataBird, destiné aux analystes expérimentés. Gauthier souligne que cette évolution, bien que complexe, ouvre de nouvelles perspectives pour le métier, en le rendant plus créatif, plus pertinent et plus impactant.
FAQs
L'IA a permis de déplacer le rôle des data analysts de simple intermédiaire entre utilisateurs et outils vers un acteur créatif et productif. Les analysts peuvent désormais construire des produits, automatiser des tâches et produire des analyses avancées, grâce à des agents IA qui leur permettent d'accéder rapidement à la donnée et de répondre à des questions complexes.
Malt a développé un agent IA intégré à Slack qui répond aux questions d'analyse en générant du SQL, en posant des questions de clarification et en proposant des visualisations via Looker. Cet agent est conçu pour s'approcher du comportement d'un data analyst humain, en vérifiant la pertinence et en demandant des précisions avant de produire une réponse.
Malt a simplifié sa métrique-layer pour en faire une définition claire et précise, en éliminant des dimensions floues comme le sales-country code ou le client-country code. Cela permet à l'agent d'éviter les malentendus et d'obtenir des résultats plus fiables, tout en limitant le champ d'accessibilité à des données pertinents et bien définis.
Les data analysts peuvent désormais s'impliquer dans la création de web apps, l'automatisation de processus et la data science avancée, sans nécessiter de compétences techniques avancées. L'IA les aide à construire des solutions plus riches, en les guidant tout en restant dans leur domaine d'expertise.
Malt utilise un système de feedback des utilisateurs via un bouton de validation sur Slack, ainsi que des analyses de conversations publiques pour évaluer la qualité des réponses. Ces données permettent de surveiller la pertinence et de s'assurer que l'agent ne produit pas d'erreurs ou de résultats inappropriés.
La prochaine étape consiste à développer un agent capable d'effectuer des analyses complexes, en comprenant des questions ambigües, en faisant des liens entre données et produits, et en évitant les biais. Cet agent doit accéder à des données plus riches et à des contextes d'entreprise plus complets, pour fournir des explications et des insights plus profonds.
Chat with AI
Loading...
Pro features
Go deeper with this episode
Unlock creator-grade tools that turn any transcript into show notes and subtitle files.