Cours 02 · 2026–2027
Rendre ses travaux lisibles et réutilisables
Expliquer. Publier.
Préserver.
Initiation à la recherche scientifique · Communication des travaux
John Samuel · CPE Lyon
john.samuel@cpe.fr
Un résultat devient utile quand d’autres peuvent le comprendre et l’examiner.
01 · Introduction
Faire circuler une contribution vérifiable
Communiquer
Article, figure, exposé et réponse aux pairs.
Préserver
Versions, identifiants et archives durables.
Évaluer
Qualité des preuves et portée des indicateurs.
Point de départ : la question et le corpus construits au cours 1.
Notes et explications
Objectifs
- Connaître les différentes formes de communication scientifique : article, logiciel, données…
- Comprendre le circuit de publication : revues, ateliers, conférences, actes
- Savoir identifier durablement un travail : identifiants pérennes, DOI, ORCID, SWHID
- Archiver et citer un logiciel : Software Heritage
- Décrypter les classements de revues et de conférences, et leurs limites
- Comprendre l'évaluation académique et ses réformes (DORA)
- Savoir communiquer aussi les résultats négatifs
01 · Introduction
Communiquer permet aux autres d’agir
Expliquer le résultat et fournir les éléments permettant de l’examiner.
Notes et explications
Pourquoi communiquer ses travaux ?
- La science est cumulative : un résultat non communiqué n'existe pas pour les autres
- Soumettre son travail à la critique des pairs
- Permettre la reproduction et la réutilisation
- Établir l'antériorité d'une idée
- Rendre compte aux financeurs et à la société
- Être évalué : thèse, recrutement, promotion, projets
- Construire des collaborations
- Transmettre : enseignement, vulgarisation
01 · Productions scientifiques
Une contribution prend plusieurs formes
| Production | Ce qu’elle transmet | Format possible |
|---|---|---|
| Article | Argument + méthode + résultats | Revue, conférence, prépublication |
| Code / données | Moyens de vérifier et réutiliser | Version archivée + documentation |
| Oral / visuel | Message adapté à un public | Exposé, poster, démonstration |
Choisir le format en fonction du public et de ce qu’il doit pouvoir faire.
Notes et explications
Les formes de communication
| Forme | Exemples |
|---|---|
| Écrits évalués | Article de revue, article de conférence, article d'atelier, chapitre, thèse |
| Prépublications | arXiv, HAL, bioRxiv, rapports techniques |
| Logiciel | Dépôt de code, bibliothèque, prototype, notebook |
| Données | Jeux de données, benchmarks, data papers |
| Oral et visuel | Exposé, poster, démonstration, séminaire, soutenance |
| Grand public | Blog, vidéo, réseaux sociaux, presse, Fête de la science, The Conversation |
02 · Écriture scientifique
Un article déroule une chaîne de preuves
- 01Introduction
Quelle question ?
- 02État de l’art
Que sait-on déjà ?
- 03Méthode
Comment répondre ?
- 04Résultats
Qu’observe-t-on ?
- 05Discussion
Que peut-on conclure ?
Le résumé condense cette chaîne ; les références et artefacts la rendent vérifiable.
Notes et explications
Structure d'un article
- Titre, auteurs et affiliations, résumé, mots-clés
- Introduction : contexte, problème, contributions
- État de l'art (related work)
- Méthode / proposition
- Expérimentations et résultats
- Discussion, limites, conclusion, perspectives
- Références, annexes, disponibilité du code et des données
- Modèle IMRaD : Introduction, Méthodes, Résultats, Discussion
- Types :
- article long (full paper)
- article court, poster, démonstration
- survey / état de l'art
- article de reproduction
- vision / position paper
02 · Atelier d’écriture
Un résumé annonce ce qui a été démontré
Complétion de relations rares à budget de calcul fixé
Un objet précis + une condition d’évaluation.
Problème. Les relations rares sont peu documentées.
Méthode. Nous comparons A et B à budget égal sur X.
Résultat. B gagne 0,03 de MRR en moyenne.
Limite. Ce résultat reste à vérifier sur d’autres jeux.
Chaque résultat annoncé doit correspondre à une preuve présentée dans le travail.
Notes et explications
Exemple entièrement fictif, distinct des résultats de la matrice du cours 1 : ici le budget est fixé par le protocole. MRR désigne une métrique de classement. Pour un vrai résumé, indiquer les conditions et l’incertitude utiles à l’interprétation. Activité : rédiger 120–150 mots à partir de votre projet ; si aucun résultat n’est disponible, annoncer explicitement un protocole proposé et ne pas inventer d’observation.
02 · Atelier visuel
Une figure montre le résultat et ses conditions
+10 %
« B est meilleur »
Quelle métrique ? Quelle baseline ? Quelle variabilité ?
Jeu X, même protocole. Moyenne ± écart-type de 5 exécutions. Le gain observé ne suffit pas à établir sa robustesse.
Nommer les axes, l’unité, la comparaison et le sens des barres d’incertitude.
Notes et explications
Les valeurs sont fictives : A = 0,31 ± 0,02 ; B = 0,34 ± 0,03. La différence relative est environ 9,7 %, arrondie à 10 % dans l’exemple « avant ». Les barres montrent des écarts-types, pas des intervalles de confiance. Leur chevauchement ne constitue pas un test statistique. La légende doit permettre de comprendre la figure sans relire toute la méthode.
02 · Publication
La publication est un processus de révision
- 01Soumettre
Texte + pièces requises
- 02Évaluer
Rapports des pairs
- 03Réviser
Répondre et corriger
- 04Publier
Version finale
- 05Diffuser
Archive + communauté
Rejet → analyser les raisons → améliorer → soumettre à un lieu adapté.
Notes et explications
Le cycle de vie d'un article
par les pairs
et citations
- Décisions possibles : accepté, accepté avec révisions mineures / majeures, rejeté
- Un rejet n'est pas la fin : améliorer et resoumettre ailleurs
- Délais : quelques mois (conférence) à plus d'un an (revue)
- Version camera-ready : version finale mise en page
- Dépôt en archive ouverte (HAL) : souvent autorisé et même obligatoire
02 · Évaluation par les pairs
Des regards extérieurs éprouvent l’argument
La contribution est-elle claire ?
La méthode est-elle rigoureuse ?
Les résultats soutiennent-ils la conclusion ?
Les modalités d’anonymat, de réponse et de publication des rapports dépendent du lieu.
Notes et explications
L'évaluation par les pairs
- Des chercheurs du domaine (reviewers, relecteurs) évaluent : nouveauté, rigueur, clarté, reproductibilité
- Coordination par un éditeur (revue) ou un comité de programme (conférence)
- Souvent 2 à 4 rapports, puis discussion et méta-revue
- Phase de réponse des auteurs (rebuttal) dans certaines conférences
- Simple aveugle : les auteurs ne connaissent pas les relecteurs
- Double aveugle : ni les uns ni les autres
- Ouverte : rapports publiés, parfois signés (ex. OpenReview)
- Limites : bénévolat, charge croissante, variabilité, biais
- Relire des articles fait partie du métier : on apprend beaucoup en relisant
02 · Atelier de révision
Répondre avec une preuve et une modification
« La comparaison ne permet pas de savoir si le gain vient d’un budget de calcul supérieur. »
Reconnaître : ce point était insuffisamment contrôlé.
Répondre : ajout d’une expérience à budget égal.
Localiser : protocole §3.2, résultats tableau 2.
Si vous contestez un point, expliquer précisément pourquoi et fournir les éléments utiles.
Notes et explications
Une réponse doit traiter chaque commentaire, distinguer ce qui a été fait de ce qui est proposé, et citer les changements. Ne pas prétendre avoir réalisé une expérience encore absente. Pour une demande impossible à satisfaire, expliquer la contrainte, son impact sur la conclusion et la limite ajoutée au texte.
02 · Contributions
Discuter les contributions avant la soumission
| Dans le projet | Contribution à documenter | Discussion à mener |
|---|---|---|
| Conception et analyse | Question, protocole, interprétation | Responsabilité sur les conclusions |
| Code et données | Développement, collecte, validation | Crédit et description des rôles |
| Aide ponctuelle | Conseil, soutien technique | Remerciements et accord |
Appliquer les critères du lieu visé ; faire valider le texte et les rôles par les personnes concernées.
Notes et explications
Les critères d’autorat varient selon les disciplines et éditeurs. Une taxonomie de contributions aide à décrire les rôles, mais ne décide pas à elle seule de l’autorat. Dans une équipe, discuter tôt des contributions, de l’ordre des auteurs et de la responsabilité ; réexaminer ces accords si le travail évolue. Les aides qui ne relèvent pas de l’autorat peuvent être reconnues dans les remerciements.
03 · Lieux de publication
Une revue permet une présentation approfondie
Argument détaillé
Évaluation et révisions
Volume, numéro ou publication continue
| Accès ouvert | Principe |
|---|---|
| Or | Ouvert chez l’éditeur ; frais possibles |
| Diamant | Sans frais pour auteurs ni lecteurs |
| Vert | Version déposée en archive |
Vérifier la politique d’accès et les coûts du lieu envisagé.
Notes et explications
Les revues
- Publication périodique, numéros et volumes ; articles évalués par les pairs
- Cycle long, mais article détaillé et révisions itératives
- Éditeurs commerciaux (Elsevier, Springer Nature, Wiley, IEEE, ACM) et non commerciaux (sociétés savantes, universités)
- Exemples : Journal of Web Semantics, TKDE, JMLR, TOSEM, JAIR
- Accès :
- par abonnement (lecteur paie)
- gold : accès ouvert, l'auteur paie des APC
- diamant : accès ouvert, ni les auteurs ni les lecteurs ne paient de frais de publication ou d’accès (ex. JMLR, LMCS)
- vert : dépôt de l'article en archive ouverte
- Numéros spéciaux : versions étendues d'articles de conférence
03 · Lieux de publication
Une conférence réunit publication et rencontre
- 01Appel
Thème + échéance
- 02Soumission
Article + évaluation
- 03Présentation
Exposé, poster ou démo
- 04Échanges
Questions + collaborations
En informatique, de nombreuses conférences jouent un rôle majeur dans la publication.
Notes et explications
Les conférences
- En informatique, les conférences sont un lieu de publication de premier plan, au même titre que les revues
- Appel à communications (call for papers, CFP) avec date limite fixe
- Évaluation par un comité de programme ; taux d'acceptation souvent de 15 à 30 %
- Article présenté oralement ou en poster, puis publié dans les actes
- Exemples : NeurIPS, ICML, ACL, WWW, ISWC, ICSE, SIGMOD, VLDB, KDD, CHI
- Conférences nationales : EGC, PFIA, JFPC, RJC (jeunes chercheurs)
- Occasion de rencontrer la communauté : questions, discussions, collaborations
- Coût : inscription, déplacement ; empreinte carbone ; formats hybrides
03 · Lieux de publication
Un atelier permet d’éprouver une piste
Une question émergente
Un premier résultat
Des limites explicites
Le problème intéresse-t-il ?
Quelles comparaisons manquent ?
Quelle suite donner au travail ?
Vérifier le format et l’évaluation de l’atelier : les pratiques sont variables.
Notes et explications
Les ateliers (workshops)
- Événements thématiques, souvent adossés à une conférence
- Communauté plus petite, sujets émergents ou de niche
- Évaluation plus légère ; taux d'acceptation plus élevé
- Articles courts, travaux en cours (work in progress), pistes préliminaires
- Intérêt pour un débutant :
- premier retour de la communauté
- présenter un travail avant qu'il ne soit complet
- rencontrer les acteurs du sous-domaine
- Suite naturelle : version étendue en conférence puis en revue
- Exemples : ateliers de NeurIPS, d'ISWC, d'EGC ; « I Can't Believe It's Not Better »
03 · Lieux de publication
Les actes donnent une forme publiée aux communications
- 01Conférence
Articles acceptés
- 02Actes
Recueil publié
- 03Article
Notice + pages + identifiant
- 04Index
Découverte bibliographique
Exemples : ACM, IEEE, LNCS, PMLR, ACL Anthology, LIPIcs et CEUR-WS.
Notes et explications
Les actes de conférence (proceedings)
- Recueil des articles acceptés, publié avant ou pendant la conférence
- Chaque article reçoit en général un DOI
- Indexés dans DBLP, OpenAlex, Scopus, Web of Science
- Séries et plateformes :
- Springer LNCS / LNAI
- ACM Digital Library, IEEE Xplore
- PMLR (apprentissage automatique), ACL Anthology (TAL)
- LIPIcs (Dagstuhl, accès ouvert)
- CEUR-WS.org (ateliers, accès ouvert)
- OpenReview (soumissions et évaluations publiques)
03 · Versions
Une prépublication doit afficher son statut
- 01Prépublication
Version diffusée ; pas nécessairement évaluée
- 02Accepté
Manuscrit après évaluation
- 03Publié
Version de référence chez l’éditeur
Relier les versions et vérifier les règles du lieu de soumission.
Notes et explications
Les prépublications (preprints)
- Version d'un article diffusée avant ou sans évaluation par les pairs
- arXiv (1991) : physique, mathématiques, informatique… identifiants
2205.01833 - HAL : archive ouverte nationale française, tous domaines, obligation de dépôt pour beaucoup d'organismes
- bioRxiv, medRxiv, SSRN, Zenodo…
- Avantages : rapidité, antériorité datée, accès libre, retours précoces
- Précautions : non évalué ; vérifier la politique de la revue ou conférence visée (double aveugle)
- Toujours indiquer le statut : prépublication, soumis, accepté, publié
04 · Identifiants pérennes
Relier une production à son identité durable
Identifier l’objet exact, sa version et les personnes qui y ont contribué.
Notes et explications
Pourquoi des identifiants pérennes ?
- Les URL cassent : sites déplacés, éditeurs rachetés, laboratoires fermés
- Les noms sont ambigus : homonymes, changements de nom, translittérations
- Une même œuvre a plusieurs versions : prépublication, actes, version étendue
- Un identifiant pérenne (PID) :
- est unique et attribué une fois pour toutes
- se résout vers l'objet ou ses métadonnées
- est géré par une organisation engagée sur la durée
- Relie personnes, œuvres, organisations, données et logiciels entre eux
04 · DOI
Le DOI renvoie vers une notice maintenue
10.1000/182
Préfixe attribué au déposant
Suffixe choisi par le déposant
- 01Citer
https://doi.org/10.1000/182
- 02Résoudre
Service doi.org
- 03Consulter
Objet ou métadonnées
Un DOI ne garantit ni l’accès libre ni la qualité scientifique.
Notes et explications
Le DOI
- Digital Object Identifier, norme ISO 26324
- Structure : préfixe (déposant) / suffixe (choisi par le déposant)
- Résolution via doi.org :
https://doi.org/10.1000/182 - Agences d'enregistrement :
- Crossref : articles, actes, livres
- DataCite : données, logiciels (Zenodo)
10.1000/182 └──┬──┘ └┬┘ préfixe suffixe (déposant) (objet)
- Métadonnées interrogeables :
https://api.crossref.org/works/10.1038/sdata.2016.18 - Toujours citer un DOI sous forme d'URL complète
04 · Autres identifiants
À chaque objet, son identifiant
| Objet | Identifiant | Usage |
|---|---|---|
| Personne / organisation | ORCID / ROR | Distinguer les homonymes |
| Revue / livre | ISSN / ISBN | Identifier une publication |
| Dépôt / code | HAL ID, arXiv ID / SWHID | Retrouver une version ou un contenu |
| Entité bibliographique | Wikidata QID / OpenAlex ID | Relier les métadonnées |
Toujours préciser ce que l’identifiant désigne : personne, œuvre, version ou contenu.
Notes et explications
D'autres identifiants pérennes
| Identifiant | Objet | Exemple |
|---|---|---|
| ORCID | Chercheur (à créer dès maintenant : orcid.org) | 0000-0002-1825-0097 |
| ROR | Organisation de recherche | https://ror.org/… |
| ISSN / ISBN | Revue / livre | 1234-5678 |
| arXiv ID, HAL ID | Prépublication | 2205.01833, hal-01234567 |
| SWHID | Code source (fichier, répertoire, révision…) | swh:1:dir:… |
| Wikidata QID, OpenAlex ID | Toute entité scientifique | Q13442814, W2741809807 |
05 · Logiciel
Le code fait partie de la preuve
- 01Article
Décrit la méthode
- 02Code
Implémente les opérations
- 03Environnement
Fixe les dépendances
- 04Résultat
Peut être réexaminé
Décrire la version utilisée et les conditions nécessaires pour relancer l’expérience.
Notes et explications
Le logiciel, une production scientifique
- En informatique, le logiciel est souvent le résultat : prototype, bibliothèque, outil, benchmark
- Sans le code, un résultat expérimental est difficilement reproductible
- De plus en plus demandé par les conférences : artifact evaluation, badges (disponible, fonctionnel, reproduit)
- Le logiciel doit être citable et archivé, comme un article
- Pris en compte dans l'évaluation des chercheurs (DORA, Hcéres, CNRS)
- Question de la licence : une licence explicite précise les droits de réutilisation ; sa compatibilité avec les droits du projet doit être vérifiée
05 · Logiciel
Préparer une version que quelqu’un peut utiliser
mon-projet/
├── README.md # installer, lancer
├── LICENSE # droits de réutilisation
├── CITATION.cff # comment citer
├── requirements.txt
├── src/
└── tests/- 01Versionner
Tag / release
- 02Documenter
Usage + dépendances
- 03Archiver
Version stable + identifiant
Ajouter des tests utiles et vérifier l’installation depuis un environnement propre.
Notes et explications
Publier un logiciel
- Dépôt public : GitHub, GitLab, forge institutionnelle
- Licence libre explicite : MIT, Apache 2.0, GPL, CeCILL
- README : objectif, installation, exemple d'usage, comment citer
- Versions étiquetées (tags, releases) : celle utilisée dans l'article
- Fichier CITATION.cff : auteurs, titre, version, DOI, SWHID
- codemeta.json : métadonnées lisibles par machine
- DOI de version via Zenodo (intégration GitHub) ou dépôt HAL
- Tests, intégration continue, environnement reproductible (requirements, conteneur)
05 · Préservation
Software Heritage préserve le code et son histoire
- 01Forge
Dépôt de développement
- 02Collecte
Demande « Save code now »
- 03Archive
Contenus et historique collectés
- 04Vérification
Retrouver le contenu archivé
Une demande d’archivage doit être suivie d’une vérification du résultat.
Notes et explications
Software Heritage
- softwareheritage.org : archive universelle du code source, initiée par Inria en 2016, soutenue par l'UNESCO
- Objectif : collecter, préserver et partager tout le code source public
- Des milliards de fichiers, des centaines de millions de projets, avec leur historique
- Moissonne GitHub, GitLab, Bitbucket, Debian, PyPI, HAL…
- Save code now : demander l'archivage d'un dépôt en une minute
- Navigation dans l'archive : archive.softwareheritage.org
- Chaque objet archivé reçoit un SWHID, identifiant intrinsèque calculé à partir du contenu
- Dépôt de logiciel via HAL : métadonnées (auteurs, licence) + archivage automatique
05 · SWHID
Citer le contenu exact utilisé dans l’expérience
swh:1:dir:empreinte
dir : répertoire
rev : révision
cnt : fichier
Schéma : « empreinte » remplace ici la valeur complète.
DOI de version
Notice de publication et métadonnées.
SWHID
Identification intrinsèque d’un contenu source.
Ajouter le contexte utile : origine, chemin, lignes, selon l’objet cité.
Notes et explications
Le SWHID
swh:1:dir:d198bc9d7a6bcf6db04f476d29314f157507d505 swh:1:rev:309cf2674ee7a0749978cf8265ab91a60aea0f7d;origin=https://github.com/…
- SoftWare Hash IDentifier, norme ISO/IEC 18670
- Calculé à partir du contenu (empreinte cryptographique) : vérifiable par quiconque, indépendant de l'archive
- Types :
cnt(fichier),dir(répertoire),rev(révision / commit),rel(version),snp(instantané)
- Qualificateurs :
origin,visit,anchor,path,lines - Résolution :
https://archive.softwareheritage.org/swh:1:dir:… - Pour citer le code exact d'une expérience dans un article, en complément du DOI Zenodo
- Style de citation :
biblatex-software
05 · Données
Rendre les données trouvables et réutilisables
Trouver et accéder
Entrepôt, identifiant, conditions d’accès.
Comprendre
Formats, provenance, collecte et dictionnaire.
Réutiliser
Licence, versions, limites et usages prévus.
FAIR : Findable, Accessible, Interoperable, Reusable. L’accès peut être encadré.
Notes et explications
Les données de recherche
- Principes FAIR : Findable, Accessible, Interoperable, Reusable
- Entrepôts : Zenodo, Recherche Data Gouv (France), Hugging Face, dépôts disciplinaires
- Un DOI par jeu de données et par version
- Licence : CC BY, CC0, ODbL, Etalab
- Documentation : origine, collecte, format, biais, usages prévus (datasheets)
- Data paper : article qui décrit un jeu de données (ex. Scientific Data, NeurIPS Datasets and Benchmarks)
- Plan de gestion de données (PGD / DMP) demandé par les financeurs (ANR, Europe)
- Attention aux données personnelles (RGPD) et aux données sous contrat
06 · Indicateurs
Une moyenne de revue masque la dispersion
10
citations par article en moyenne
4 articles sur 5 ont au plus 2 citations.
Illustration d’une moyenne, pas calcul du JIF : le score de la revue ne décrit pas chaque article.
Notes et explications
Classer les revues
| Indicateur | Source | Calcul |
|---|---|---|
| Facteur d'impact (JIF) | Clarivate, Journal Citation Reports | Citations reçues en année N par les articles de N-1 et N-2, divisées par leur nombre |
| SJR | Scimago (données Scopus) | Citations pondérées par le prestige de la revue citante (proche du PageRank) |
| CiteScore | Elsevier (Scopus) | Citations sur 4 ans / documents sur 4 ans |
| h5-index | Google Scholar Metrics | h des articles publiés dans les 5 dernières années |
| Quartiles Q1-Q4 | JCR, Scimago | Position de la revue dans sa catégorie |
Ces indicateurs mesurent une moyenne de revue, très dispersée : quelques articles très cités font l'essentiel du score.
06 · Indicateurs
Un classement situe un lieu dans une liste
CORE · CCF · GGS
Google Scholar Metrics
Catégories, périmètres et méthodes différents.
Quelle discipline ?
Quelle édition de la liste ?
Quels critères et quelles exclusions ?
La réputation du lieu est un contexte ; examiner aussi le contenu de l’article.
Notes et explications
Classer les conférences
- CORE (Australie) : rangs A*, A, B, C ; fondé sur avis d'experts et taux de citation ; le plus utilisé en informatique
- GII-GRIN-SCIE (GGS, Italie) : classes A++, A+, A, A-, B… combinant plusieurs sources
- Google Scholar Metrics : h5-index par catégorie
- CCF (Chine), Qualis (Brésil) : listes nationales
- Limites :
- listes établies par pays, avec des choix discutables
- mises à jour rares
- sous-domaines et communautés petites mal représentées
- une conférence A* peut publier des articles faibles et inversement
- Le taux d'acceptation n'est pas non plus une mesure de qualité fiable
06 · Indicateurs
Le h-index dépend d’un corpus et d’une date
| Rang | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| Citations | 12 | 8 | 5 | 3 | 1 |
h = 3
3 articles ont au moins 3 citations.
Le quatrième en a moins de 4.
Changer de base, de domaine ou de durée de carrière change la comparaison.
Notes et explications
Indicateurs individuels
- Nombre de publications, nombre de citations
- h-index (Hirsch, 2005) : h articles cités au moins h fois
- Variantes : i10, g-index, h normalisé par domaine ou par âge
- Sources : Google Scholar, OpenAlex, Scopus, Web of Science, chacune avec des chiffres différents
- Limites :
- dépend fortement du domaine et de la taille de la communauté
- favorise l'ancienneté, le nombre d'auteurs, les surveys
- autocitations, cartels de citations, articles rétractés toujours cités
- loi de Goodhart : un indicateur devenu objectif cesse d'être une bonne mesure
07 · Évaluation
DORA invite à examiner les contributions
Quelques travaux choisis
Contribution personnelle explicitée
Preuves de rigueur et de réutilisation
Articles et résultats
Logiciels et données
Pratiques et contributions pertinentes
Évaluer le contenu des travaux sans substituer le prestige de la revue à leur qualité.
Notes et explications
DORA
- San Francisco Declaration on Research Assessment, 2012 ; sfdora.org
- Constat : le facteur d'impact des revues est détourné pour évaluer des individus
- Signée par des milliers d'organisations et de personnes ; en France : CNRS, ANR, Inria, Hcéres, de nombreuses universités
- Recommandations :
- ne pas utiliser le facteur d'impact pour évaluer chercheurs, recrutements ou financements
- évaluer le contenu des travaux plutôt que le lieu de publication
- reconnaître toutes les productions : logiciels, données, jeux de données, enseignement
- transparence des critères
- Prolongements : Leiden Manifesto (2015), CoARA (2022)
07 · Évaluation
Décrire ce que vous avez apporté
- 01Contribution
Quel problème avez-vous résolu ?
- 02Rôle
Qu’avez-vous personnellement fait ?
- 03Preuve
Quel résultat ou artefact l’établit ?
- 04Portée
Qui peut s’en servir, avec quelles limites ?
Adapter le dossier aux critères explicites : recrutement, promotion ou financement.
Notes et explications
L'évaluation en pratique
- Moments : thèse, qualification (CNU), recrutement (MCF, CR), promotion, HDR, PR / DR, projets (ANR, ERC)
- Instances en France : CNU, comités de sélection, CoNRS, Hcéres (laboratoires), ANR
- Dossier : publications, encadrement, projets, enseignement, responsabilités, diffusion
- Tendances :
- CV narratif : quelques contributions choisies et expliquées
- prise en compte des logiciels, données, science ouverte
- lecture des travaux plutôt que comptage
- Néanmoins, les lieux de publication continuent de peser : connaître les codes du domaine
- Conseil : viser des lieux reconnus par sa communauté, puis la qualité du travail fera le reste
07 · Résultats négatifs
Un résultat négatif peut fermer une piste
À budget égal, notre variante ne dépasse pas la baseline sur les jeux étudiés.
Protocole contrôlé
Résultats et incertitude accessibles
Conditions de l’échec explicitées
« Nous n’observons pas de gain » doit être relié à un protocole et à sa sensibilité.
Notes et explications
Résultats positifs et négatifs
- Biais de publication : les résultats positifs (« ça marche ») sont bien plus publiés que les négatifs
- Effet tiroir (Rosenthal, 1979) : les échecs restent dans les tiroirs
- Conséquences : travail dupliqué, effets surestimés, crise de la reproductibilité
- Pression sur les auteurs : comparaisons flatteuses, p-hacking, réglages non déclarés
- Un résultat négatif bien conçu est une contribution : il ferme une piste
- Lieux : ateliers dédiés (« I Can't Believe It's Not Better »), ReScience C, ML Reproducibility Challenge, tracks de reproduction (SIGIR, ECIR)
- Registered reports : protocole évalué et accepté avant les résultats
- Préenregistrement des expériences, publication des échecs dans les annexes et les dépôts
08 · Science ouverte
Ouvrir le parcours, de la méthode aux résultats
Partager selon les droits et contraintes applicables ; documenter ce qui ne peut pas l’être.
Notes et explications
La science ouverte cherche à rendre accessibles publications, données, logiciels et méthodes. Déposer une version autorisée dans une archive adaptée, documenter le code et les données, et préciser les conditions de réutilisation. Les obligations et les possibilités de partage dépendent du financeur, de l’établissement, des droits et du projet. Consulter les politiques applicables avant le dépôt.
08 · Multilinguisme · Initiative d’Helsinki (2019)
Partager les connaissances dans plusieurs langues
Diffuser
Rendre les résultats accessibles dans plusieurs langues, au-delà du monde académique.
Soutenir
Préserver les revues et les infrastructures de publication dans les langues nationales.
Reconnaître
Évaluer la qualité des travaux indépendamment de leur langue de publication.
La langue de communication détermine aussi qui peut accéder aux résultats et les utiliser.
Helsinki Initiative on Multilingualism in Scholarly Communication · Ouvrir la science
Notes et explications
Multilinguisme dans la communication scientifique
L’Initiative d’Helsinki sur le multilinguisme dans la communication scientifique (2019) invite à diffuser les résultats dans plusieurs langues, à soutenir les infrastructures de publication dans les langues nationales et à reconnaître la diversité linguistique dans l’évaluation de la recherche. Le choix de la langue participe à l’accès aux connaissances, notamment pour les publics en dehors du monde académique.
Pour approfondir : présentation de l’Initiative d’Helsinki sur Ouvrir la science.
Exemple : accompagner un article en anglais d’un résumé en français destiné aux acteurs locaux concernés par l’étude. Adapter la langue au public fait partie de la diffusion des résultats.
08 · Choix du lieu
Choisir où publier à partir de votre travail
| Critère | Question à poser |
|---|---|
| Public | Cette communauté lira-t-elle et discutera-t-elle le travail ? |
| Adéquation | Le sujet et la maturité correspondent-ils à l’appel ? |
| Conditions | Délais, coûts, accès et droits sont-ils explicites ? |
| Fiabilité | Comité, procédure et travaux publiés sont-ils vérifiables ? |
Consulter l’encadrant et vérifier les informations sur le site du lieu.
Notes et explications
Choisir où publier
- Public : qui doit lire ce travail ?
- Maturité : idée préliminaire (atelier), résultat complet (conférence), travail approfondi (revue)
- Délais : date limite, temps d'évaluation, date de publication
- Coût et accès : APC, dépôt HAL autorisé ?
- Réputation dans la communauté ; où publient les auteurs que vous citez ?
- Revues et conférences prédatrices : sollicitations par courriel, promesse d'évaluation en quelques jours, faux facteur d'impact, comité fantôme, frais cachés
- Vérifier avec Think. Check. Submit., DOAJ, DBLP, l'avis de son encadrant
- Un article publié dans un lieu douteux nuit à un dossier
08 · Atelier oral et poster
Trois minutes pour faire comprendre une contribution
- 010:00–0:30
Problème et enjeu
- 020:30–1:15
Approche et comparaison
- 031:15–2:15
Une figure, un résultat
- 042:15–3:00
Limite et message à retenir
Pour le poster : reprendre cette hiérarchie et donner la place centrale à la figure.
Notes et explications
Activité : présenter votre question du cours 1 en trois minutes avec une figure centrale. Faire reformuler le message par un binôme ; si la reformulation diverge, réviser le titre et la figure. Si les résultats ne sont pas encore disponibles, présenter explicitement le protocole et l’observation attendue, sans les décrire comme un résultat acquis. Le poster doit se comprendre à plusieurs distances : titre, conclusion, puis détails.
08 · Travail à réaliser
Préparer un dossier que les autres peuvent examiner
- Auditer un article du corpus : lieu, versions, identifiants, code et données.
- Préparer le README, la licence et la citation du code de projet.
- Rédiger un résumé et présenter une figure en trois minutes.
Clarté · message et public
Preuves · sources et limites
Traçabilité · versions et artefacts
Reproduction · consignes utilisables
Relier ce dossier au cours 1 et expliquer comment communiquer un résultat négatif.
Notes et explications
Travail à réaliser
- Choisir un article de votre état de l'art et remplir sa fiche d'identité : DOI, type de lieu (revue, conférence, atelier), éditeur, accès ouvert ou non, version HAL / arXiv, ORCID des auteurs
- Trouver le classement du lieu (CORE, Scimago, h5-index) et discuter en trois lignes ce qu'il dit et ne dit pas
- L'article fournit-il son code et ses données ? Avec quelle licence ? Sont-ils archivés (Zenodo, Software Heritage) ? Obtenir le SWHID s'il existe, sinon demander l'archivage
- Créer votre ORCID ; pour votre propre code de projet : ajouter licence, README et CITATION.cff, puis l'archiver avec « Save code now »
- Imaginer un résultat négatif possible de votre projet : comment le communiqueriez-vous ?
Avant toute publication ou demande d’archivage, vérifier que le code peut être partagé et que les contributeurs sont d’accord. Pour un projet non publiable, préparer localement les fichiers et décrire la procédure. Ne pas imposer le dépôt public de données confidentielles. Les critères ci-dessus explicitent la qualité attendue ; leur pondération relève de l’enseignant.
Références
Approfondir la publication et la science ouverte
Préservation du code
Di Cosmo & Zacchiroli · Software Heritage · 2017
SWHID · ISO/IEC 18670
Données FAIR
Wilkinson et al. · The FAIR Guiding Principles · 2016
Biais de publication
Rosenthal · The file drawer problem · 1979
Ioannidis · 2005
Les références complètes et les explications restent disponibles dans les notes.
Notes et explications
Références
- San Francisco Declaration on Research Assessment, 2012, sfdora.org ; D. Hicks et al., The Leiden Manifesto for research metrics, Nature, 2015 ; CoARA, Agreement on Reforming Research Assessment, 2022
- R. Di Cosmo, S. Zacchiroli, Software Heritage: Why and How to Preserve Software Source Code, iPRES 2017 ; ISO/IEC 18670, SWHID, 2025
- M. D. Wilkinson et al., The FAIR Guiding Principles for scientific data management and stewardship, Scientific Data, 2016
- R. Rosenthal, The file drawer problem and tolerance for null results, Psychological Bulletin, 1979 ; J. P. A. Ioannidis, Why Most Published Research Findings Are False, PLoS Medicine, 2005
- J. E. Hirsch, An index to quantify an individual's scientific research output, PNAS, 2005
- CRA, Evaluating Computer Scientists and Engineers For Promotion and Tenure, 1999 ; CORE Rankings Portal, Scimago Journal Rank
- Helsinki Initiative on Multilingualism in Scholarly Communication, 2019 ; Ouvrir la science : présentation de l’initiative
- Ministère de l'Enseignement supérieur et de la Recherche, Deuxième Plan national pour la science ouverte, 2021 ; Think. Check. Submit.
