GitHub Copilot AI pair programmer: Asset or Liability?
02 Mai 2023
Microsoft Copilot est un assistant de programmation capable de générer du code dans différents langages. Il s'agit de Copilot, un modèle d'OpenAI alimenté par Codex. Le codex lui-même est un grand modèle de langage basé sur GPT-3, qui a été entrainé avec 159 GB de code disponible dans les repositories publics de Github (actuellement disponible en tant que plug-in sur Visual Studio Code). Selon les statistiques du VS code market, l'extension a été installée plus de 4,6 millions de fois.
Voici quelques articles disponibles trouvées dans des publications scientifiques
Cet article se concentre sur l'analyse de la qualité du code créé par le copilot et sur la question de savoir s'il est effectivement comparable à la qualité d'un code écrit par un humain. Cet article conclut que Copilot peut en effet être un atout dans le développement de code pour un bon programmeur, mais il peut également être considéré comme un handicap pour les programmeurs moins expérimentés, compte tenu des limites du copilote, qui génère parfois du code erroné. Dans de nombreux cas, ces petites erreurs peuvent être facilement corrigés par un programmeur plus expérimenté.
Les auteurs analysent l'utilité de Copilot comme outil d'amélioration de la productivité. C'est ainsi qu'ils présentent les résultats d'une expérience dans laquelle 95 programmeurs ayant une expérience moyenne de 6 ans dans le développement logiciel ont été recrutés et invités à implémenter un serveur HTTP en JavaScript. Après les avoir divisés en deux groupes, l'étude a pu conclure que celui qui a utilisé Copilot a fini la tâche 55,8 % plus rapidement que le groupe qui ne l'a pas utilisé.
En ce qui me concerne, après avoir testé Copilot pendant un peu plus d'un mois en utilisant spécifiquement le langage python, l'expérience a été satisfaisante. Citant un cas particulier, je l'ai utilisé pour évaluer un modèle ViT (Vision Transformer) dans la tâche de classification de documents. Lorsqu’on commence à écrire les premières lignes de code dans l’éditeur, Copilot commence à suggérer les lignes suivantes, similaires à la façon dont un prédicteur de texte, et l'utilisateur peut décider d'accepter ou non la suggestion.
De plus, lors de la rédaction d'un commentaire dans l'éditeur, Copilot génère le code de la fonction à implémenter, ce qui montre sa capacité à interpréter le langage naturel. Les suggestions présentées pour l’implémentation d’un ViT à l'aide du framework de Pytorch étaient généralement bonnes, à l'exception de certains cas où la syntaxe suggérée n'était pas adéquate ou tout simplement pas la bonne syntaxe pour la version utilisée, mais en général, ce sont des problèmes facilement résolubles en ayant expérience sur l’utilisation du framework.
Il peut en effet être très utile pour les développeurs. Bien que l'outil ait du mal à comprendre le contexte de certains problèmes plus complexes, je pense qu'il est assez utile et précis pour résoudre des problèmes simples.
Après ce premier essai, 1G-LINK prévoit d'étendre le test à d'autres cas d'utilisation, notamment à d'autres langages de programmation comme Java. Si les résultats sont tout aussi satisfaisants, probablement 1G-link intégrera Copilot comme outil dans sa Digital Factory pour passer à l'ère du développement augmenté.
En mars de cette année, avec l'annonce de GPT-4 et dans la même lignée, Microsoft présente Microsoft 365 Copilot, un assistant propulsé par GPT de OpenAI, et connecté à toutes les applications de la suite Microsoft 365, avec laquelle Microsoft parie sur une transformation de la productivité au mode de travail.
