Entrega da A1: Implementar método de avaliação de revisões.

[BrunoFornaro]

Aluno: Bruno Pereira Fornaro

Matrícula: 211708042

Implementar método de avaliação de revisões.

Introdução

Neste projeto, anseia-se desenvolver um método para a avaliação das revisões feitas nos artigos submetidos na plataforma DAPH (Decentralized Autonomous Publishing House), considerando que isso é de suma importância para a validação dos artigos e do funcionamento da proposta de solução para a comunicação científica de maneira descentralizada. 

Essas avaliações são, resumidamente, "notas" que os usuários da plataforma vão poder atribuir às revisões feitas em cada artigo, de forma que seja feita uma classificação (e desclassificação) das revisões assim como dos revisores com base numa média ponderada dessas notas.

Nesse contexto, isso deve ser implementado na parte de software no back-end (a lógica que rege como as avaliações interagem com o sistema) e no front-end (a apresentação interativa para o usuário final) da plataforma para que a funcionalidade seja incorporada no resultado final para os usuários possam utilizar.

Especificações

Têm-se em vista que a avaliação das revisões deve ser de tal forma que não somente crie um ranking das avaliações em ordem de importância (ou qualidade de avaliação, a depender da interpretação) mas também possa "desclassificar" revisões tendenciosas (conluios, rivalidades e outras formas de viés que prejudiquem o método científico). Isto é, é importante se atentar que uma revisão mal avaliada possa, em certos casos, levá-la a não ser considerada para o aprimoramento e a aprovação do artigo, assim como também isso impacta na classificação de participação e importância dos próprios revisores (dado que a classificação desses membros é parte fundamental para a que eles alcancem o status de revisor - reviewers).

Dessa forma, é razoável que avaliação da revisão seja feita não apenas de forma binária, como "aprovado" e "não aprovado", ou "upvote" e "downvote", mas que possa ser atribuída uma "nota" numa escala (discreta, mas  que possa ser convertida em contínua) como um número inteiro (ou com uma casa decimal, possivelmente aceitando apenas 0 ou 5 - representando "meio ponto" na nota) no intervalo fechado de 0 (zero) a 10 (dez), de forma que seria possível calcular uma média ponderada das avaliações, com os pesos sendo as classificação de participação de cada usuário que avaliou.

Além disso, por fim, é razoável que uma avaliação no contexto científico venha acompanhada de justificativas e não apenas seja realizada de forma completamente arbitrária e não auditável. Nesse sentido, as avaliações devem vir acompanhadas de comentários (textuais) que descrevem o motivo da nota que foi atribuída, para que seja possível que outros usuários reportem uma avaliação tendenciosa (como descrito para o caso de revisões tendenciosas) e ela seja desconsiderada.  

Estratégia

O desenvolvimento deverá seguir o seguinte fluxo até atingir o resultado final do projeto:

• Desenvolver um campo (atributo, variável) de atribuição de nota e comentários nas revisões dos artigos;

• Desenvolver um campo para a classificação dos usuários com base nas avaliações de suas revisões;

• Estabelecer a ponderação da média das notas das avaliações das revisões e das classificações dos usuários de acordo com a classificação dos usuários.

• Estabelecer regras de classificação (revisão deve ser atendida pelo autor) e desclassificação (a revisão pode ser desconsiderada pelo autor) das revisões com base nas avaliações (critérios de avaliações e notas mínimas);

• Preparar a entrada (e a forma - tipo - de entrada) das notas da revisão dadas pelos usuários;

• Desenvolver o campo para reportar avaliações (que sejam enviesadas, tendenciosas, maliciosas, etc.) e as consequências disso (número de "reports" para considerar que uma avaliação deve ser removida e até mesmo consequências - penalidades - para os usuários que submeteram essas avaliações);

• Implementar a parte de front-end para que os usuários possam realizar as avaliações, realizar os reports e que seja possível ver a média das avaliações, assim como os usuários verem suas classificações no próprio perfil (conta de acesso).

Requisitos

• O sistema de revisão de artigos já deve ter sido criado para que possa ser feita a avaliação da revisão;

• As entidades de autor, revisor e etc. já devem existir para que seja possível atribuir a cada um desses usuários uma classificação (como uma nota) com base nas avaliações de suas respectivas revisões.

Cronograma

O projeto deve ser desenvolvido com a ordem cronológica seguindo a ordem dos tópicos descritos na seção de Estratégia, sendo que o tempo em cada etapa do processo irá refletir a dificuldade encontrada em cada uma delas respectivamente. 

Bibliografia

COELHO, Flávio Codeço; BRANDÃO, Adeilton. Decentralising scientific publishing: can the blockchain improve science communication?. Memórias do Instituto Oswaldo Cruz, [s. l.], 19 ago. 2019. Disponível em: https://www.scielo.br/j/mioc/a/pGbLcFHfhKGvXvTYPcGrfWw/?lang=en#. Acesso em: 24 set. 2022.

DISKIN, Shiri. Tips for revisions of a scientific journal article. Science Write Right, [s. l.], 5 maio 2016. Disponível em: https://www.sciencewriteright.com/single-post/2016/05/10/tips-for-revisions-of-a-scientific-journal-article. Acesso em: 24 set. 2022.