Dynastie

En tant qu'étudiant passionné par l'analyse et l'interprétation des données, j'ai choisi ce parcours académique pour explorer le domaine fascinant de la science des données. Grâce à ma formation, j'ai acquis une solide compréhension des concepts fondamentaux, des méthodes statistiques et des outils techniques nécessaires au traitement et à l'analyse de données à grande échelle. Mes compétences en programmation, en apprentissage automatique, en visualisation de données et en gestion de bases de données se sont également développées. Pendant mon stage chez Binko, j'ai principalement travaillé sur l'automatisation de la mise à jour d'une base de données produits comprenant plus de 10 millions de références. L'objectif était de récupérer les données sur Open Food Facts, qui publie les mises à jour chaque semaine. Après avoir récupéré, nettoyé et normalisé les données, nous devions les mettre à jour dans la base de données. Nous avons utilisé Supabase, une base de données basée sur PostgreSQL, pour cette tâche. La mise à jour était effectuée à l'aide d'un script Python se connectant à la base de données pour effectuer les mises à jour. J'ai configuré un EC2 sur AWS, sur lequel j'ai installé Debian ainsi que divers utilitaires et dépendances nécessaires au bon fonctionnement des programmes. Cela m'a permis de mettre en place une tâche cron qui exécutait un script shell effectuant certaines actions avant de lancer le script Python pour la mise à jour de la base de données. Une fois la mise à jour terminée ou interrompue, un e-mail était automatiquement envoyé à une adresse préalablement renseignée pour en informer, ainsi que pour fournir les statistiques de la mise à jour (par exemple, le nombre de lignes mises à jour avec succès, les noms des paquets téléchargés, etc.). La machine s'éteignait ensuite après l'envoi de l'e-mail. Il était nécessaire de programmer l'allumage de l'EC2, j'ai donc utilisé les services AWS Lambda et CloudWatch. Cela me permettait de lancer la machine à une date et une heure fixes chaque semaine pour effectuer les travaux programmés. La mise à jour ainsi programmée se lançait et se terminait sans aucune intervention humaine, à moins qu'une erreur ne survienne.

Curriculum Vitæ