Open source et qualité logicielle, une volonté de transparence

Cet article a été publié il y a 14 ans 6 mois 30 jours, il est donc possible qu’il ne soit plus à jour. Les informations proposées sont donc peut-être expirées.

La société Coverity vient de publier un rapport sur la qualité des logiciels open source. C’est le rapport du moment dont on parle un peu partout. Parfois ces études ont le don de m’agacer, mais celle-ci me semble assez intéressante. Plus de 1100 milliards de lignes de codes de  280 projets open source ont été analysés durant 3 années.

En parcourant le site dédié à cette opération, on apprend que le projet est mené par  David Maxwell, développeur sur le projet NetBSD qui fut le premier projet open source a être analysé par Coverty. Suite à cela, Coverty décida d’engager ce dernier pour piloter la division open source.

Les conclusions du rapport montrent une réduction de 16% du nombre de défauts trouvés dans le code source de ces applications depuis 2006. Ces détections ont permis de corriger plus de 11 200 défauts. Les meilleures élèves de la classe sont OpenPAM, Ruby, Samba et Tor qui obtiennent le plus haut niveau de certification.

Cette initiative montre une volonté de transparence de la communauté open source. Cependant, quoi de plus naturel. Cette transparence est vécue au quotidien par les développeurs qui ont choisi de rendre public leur code.

Toujours au rang des bon points pour cette initiative, elle apporte une réponse à deux points qu’avait soulevés Jonathan sur la qualité et les logiciels open source :

• La responsabilité : Qui est responsable de la qualité du logiciel, qui contrôle ?
• La temporalité : On peut certifier une version d’un logiciel, mais pour que le logiciel puisse évoluer dans le temps, il faut analyser 2 angles :
  • Le carnet de route qui engage l’éditeur dans une démarche qualité sur le moyen terme et qui est difficile à mettre en oeuvre dans les communautés,
  • La pérennité qui correspond à la lisibilité du logiciel sur le moyen/ long terme, son évolution, son financement..

Coverty  joue ici le rôle du tiers-certifieur et assure  un suivi dans le temps de l’évolution de la qualité. Reste à savoir quelle est la pérennité de cette initiative.

Bien sur il serait intéressant de comparer ces résultats avec ceux obtenus par des logiciels propriétaires. D’une certaine façon c’est un peu la limite de cette étude, car elle ne nous donne qu’une vision « tronquée » de l’état de l’art du logiciel en matière de qualité. De plus, les résultats pourraient être « étonnant » dans un sens comme dans un autre. Je crois qu’hélas nous n’aurons jamais l’occasion de le savoir.

L’ouverture du code qui constitue une des pierres angulaires de l’open source montre ici tout son intérêt. Reste la question de l’indépendance de Coverty dont les motivations pour financer cette opération ne sont pas uniquement philanthropiques. Il s’agit pour elle de démontrer son savoir-faire dans le domaine de l’analyse de codes.

Verra-t-on un jour une fondation reprendre ce travail et décerner des certifications aux projets open source ? Ce serait en tout cas une bonne initiative qui permettrait d’apporter une réponse claire à une question souvent posée par les entreprises vis-à-vis des logiciels open source. Question qui reste tout aussi valide pour les logiciels propriétaires, mais à laquelle il est beaucoup plus difficile de répondre de manière aussi transparente.