CCSDForge
[TheoretiCS] two-stage reviewing process / processus de révision en deux phases
[https://support.ccsd.cnrs.fr/Ticket/Display.html?id=156013]
TheoretiCS suit un processus de relecture à deux phases : des relecteurs effectuent une évaluation rapide sur le papier (Phase 1), puis si le papier passe cette évaluation, des relecteurs (potentiellement les mêmes, potentiellement d'autres) procèdent à une relecture plus approfondie (Phase 2). ce processus implique :
- de pouvoir disposer de deux grilles de relecture par volume : "Si on souhaite inviter un relecteur avec la grille "Phase 2" qui avait précédemment reviewé avec la grille "Phase 1", ce n'est pas possible. On peut seulement autoriser le relecteur à modifier son rating, mais dans ce cas c'est toujours la vieille grille qui est utilisée. Pour que cela fonctionne, il faudrait que l'on puisse inviter un utilisateur comme relecteur sur un papier même si cet utilisateur a déjà soumis une relecture. Une autre possibilité serait que les éditeurs en chef puissent créer une nouvelle version d'un papier (pour matérialiser le passage d'une phase à l'autre), sans que le papier soit changé sur arXiv par les auteurs, si cela permet d'inviter à nouveau les mêmes relecteurs."
- de pouvoir accepter un papier sur deux phases : "Dans notre journal, les éditeurs ne peuvent que proposer l'acceptation/rejet/révision, et la décision est faite par un éditeur en chef. Mais à cause des deux phases, il faut qu'un éditeur puisse proposer l'acceptation à deux reprises : après la Phase 1, et après la Phase 2. Actuellement ce n'est pas possible : quand un éditeur dit qu'il propose l'acceptation d'un papier, l'option est grisée et ne peut pas être reproposée. Concrètement, il faudrait juste pouvoir désactiver ça pour qu'un éditeur puisse proposer l'acceptation/rejet/révision autant de fois qu'il le souhaite."
- d'informer les auteurs de leur acceptation en phase 2 avec envoi des rapports de relecture de la phase 1 : "À l'issue de la Phase 1, on voudrait envoyer un email aux auteurs pour les informer de leur acceptation en Phase 2, avec les rapports de relecture de la phase 1. On peut le faire en choisissant un verdict "révision demandée" (ce qui déclenche l'envoi d'un mail configurable avec les rapports de relecture), puis en usurpant l'identité des auteurs pour répondre à cette révision sans faire de changements. Ce serait plus agréable s'il y avait une option "envoyer les rapports de relecture aux auteurs" permettant d'envoyer un mail aux auteurs avec les rapports de relecture (comme pour un verdict acceptation/rejet/revision), mais sans changer l'état de l'article. À défaut, on pourrait aussi s'en sortir si les tags comme %%PAPER_RATINGS%% fonctionnaient lors de l'envoi d'un mail manuel aux auteurs."
Réponse de Djamel Chibane (https://support.ccsd.cnrs.fr/Ticket/Display.html?id=156013)
Pour contourner les problèmes rencontrés, je vous invite à tester (en preprod) cela :
N.B. à cette étape, l’article est relu avec la grille « Phase 1 »
- Activer la possibilité de répondre à une demande de modification par une version temporaire :
Settings > Submission parameters > Contributors can answer revision requests with a temporary version
-
Déplacer l’article dans « Phase 2 » (si cela n'est pas déjà fait)
-
Changer le statut de l’article ( demander des modifications mineurs)
-
Aller sur la page publique de cet article et répondre à la place de l’auteur avec une version temporaire
-
Relancer la relecture ( invitations).
Bonjour, nous avons suivi votre suggestion, merci beaucoup ! nous vous signalerons si nous rencontrons des problèmes.
Idéalement, on aimerait pouvoir avoir une option automatisée pour "faire une nouvelle version", c'est-à-dire envoyer les rapports aux auteurs et pouvoir inviter à nouveau des reviewers, essentiellement faire automatiquement les étapes de demander une révision aux auteurs et y répondre soi-même avec une version temporaire factice. Mais c'est moins urgent, on devrait s'en sortir avec le processus proposé !
from mikael.monet inria https://support.ccsd.cnrs.fr/Ticket/Display.html?id=215211
"Je vous écris par rapport à l'issue https://github.com/CCSDForge/episciences/issues/235, qui date de 2022 et pour laquelle vous nous aviez proposé une solution pour contourner le problème.
Je vous ré-explique le contexte rapidement. Notre processus de relecture se déroule en deux phases : dans une première phase des reviewers font une évaluation rapide de l'article puis, si l'article passe cette première phase, une deuxième phase plus poussée de relecture est faite, potentiellement avec des reviewers différents (et avec une grille d'évaluation différente de celle de la première phase), potentiellement en demandant aux auteurs de soumettre une version qui répond aux points de la première phase d'évaluation.
Actuellement, pour suivre ce workflow avec la plateforme nous suivons ce que vous aviez proposé en 2022, à savoir que, pour passer un article de la phase 1 à la phase 2, un éditeur en chef change le "volume" de l'article.
Dans le cas où il n'y a pas de modifications à demander aux auteurs (c'est à dire que le pdf ne va pas changer entre les deux phases de relecture), l'éditeur en chef doit suivre une série d'étapes qui n'est pas très naturelle : après avoir changé le volume de l'article, il change son statut pour demander une révision, puis il usurpe l'identité de l'auteur et resoumet lui-même l'article (avec l'option "Send a temporary version"), après quoi la phase 2 peut commencer. C'est assez pénible à faire, et cela a aussi le désavantage que l'auteur reçoit un mail automatique l'informant qu'une "nouvelle version" a été reçue, ce qui peut être perturbant car l'auteur n'a rien fait et qu'il s'agit en fait de l'exacte même version.
(Si besoin, vous pouvez trouver plus de précision sur les étapes exactes que nous suivons pour faire ce changement phase 1 -> phase 2 ici : https://nathanael-fijalkow.github.io/TheoretiCS_doc/editors-in-chief.html#editors-in-chief-communicate-decision-of-phase-1-to-the-authors)
-> Serait-il possible d'ajouter une feature qui permette à l'éditeur en chef de passer en phase 2 sans avoir à usurper l'identité de l'auteur et sans que l'auteur reçoive ce mail ? (Par exemple un bouton "passer en phase 2 sans demander de révision", qui créerait automatiquement la phase 2 avec le même lien arXiv, ou avec une version temporaire identique à la version déjà soumise)
Je note que le managing editor de l'époque (a3nm) disait à la fin de l'issue que ce n'était pas très urgent, mais cela arrive en fait assez souvent et nous avons maintenant d'avantage d'articles à gérer, ce qui rend le hack actuel problématique
Cordialement, Mikaël, managing editor pour TheoretiCS
Plusieurs options sont à envisager (bloquer l'envoi du message à l'auteur lorsque l'on se connecte à la place de quelqu'un, affichage sur la page d'administration de l'article de la fonctionnalité "Answer thie request" - actuellement disponible sur la page auteur, développement d'une option "passer en phase 2 sans demander de révision"). Elles demandent à être étudiées plus précisément par l'équipe technique, sachant qu'actuellement l'équipe est mobilisée par les développements nécessaires à l'intégration des nouvelles interfaces.