Suportar a representação de pareceres

[gustavofonseca]

De acordo com email do Abel:

Estamos criando dois novos tipos de documentos no Modelo SciELO de Publicação:

Review / parecer, o que responde positivamente a sua pergunta. O parecer será tratado como um documento independente com DOI. Para tanto deverá haver uma registro prévio de concordância do parecerista e do autor, o que pode ser registrado como uma nota ou mesmo como parte da intro do parecer.

article data / artigos de dados. Trata-se de artigos que descrevem arquivos de dados de uma pesquisa que estão depositados em um servidor de dados de pesquisa.

Existe a possibilidade também de publicar o parecer como comentário ao artigo.

O suporte aos artigos de dados foi incluído na versão 1.9. Estamos discutindo melhorias na sua documentação no ticket #834.

[RPostalli]

@gustavofonseca ambos estes documentos vão possuir estrutura miníma obrigatória para publicação em SciELOBR [1] ou terão exceções? Pode informar links de exemplos deste documentos?

[1] * 5 Itens obrigatórios para publicação em SciELO (exceto Errata, Retratação e Editorial)
1 Autoria;
2 Afiliação;
3 Título (diferente da seção);
4 Citação;
5 Referência.

[gustavofonseca]

@RPostalli, excelente pergunta. Eu não sei. Precisamos melhorar a especificação.

[RPostalli]

@alexxxmendonca poderia nos ajudar? Você teria conhecimento referente ao documento que o Abel menciona Review / parecer? Tem exemplos?

[alexxxmendonca]

@RPostalli não se trata exatamente de um documento. Abaixo segue um parecer da MIOC, por exemplo:

Please send your comments in english, and draw attention to the following aspects: a) Adequacy of the abstract; b) Originality and importance of the contribution for the development of the field of study. And relevance of: c) Methodology, results and discussion; d) References; e) Figures and tables.

The manuscript has been improved, and the authors answer some questions in a quite convincing way with alterations of the MS or good arguments. However, some critical points were not properly addressed.

Point 1: Concerning the proposed detection of IgG2a in C57BL/6 mice, I consider that the article by Zhang at al, 2012 clarify this point (and confirmed Morgado et al., 1989). C57BL/6 has IgG2c/IgG2c genotype (and not IgG2a), therefore it is not worthwhile to perform assay to detect IgG2a.

The articles cited by the authors to support their idea do not touch the critical point addressed by the query. Further, the article by Sassi et al., Mohammadi et al., and Perez Brandan et al. may have committed the same misinterpretation presently described by the manuscript under evaluation. Further, In Perez-Brandan et al., 2017, where IgG2a is claimed to be detected (Fig 3b), if the authors used the same anti-IgG2a used in the present study, the dilution was 1:3500, which may allow detection of IgG2c (misinterpreted as IgG2a), while here the dilution of the antibody was 1:6000, which may not allow detection of IgG2c. According with this idea, in Perez-Brandan et al., Fig 3b shows the presence of similar levels of IgG1 and IgG2 in TCC and PBS groups, what are not detected in the present study.

Most of the antibodies produced and sold as anti-IgG2a are, in fact, against IgG2a and IgG2c as the one used by the authors (described as N° 550332 - BD Biosciencies in a 1∶6000 dilution). As described in data sheet of the antibody, the used immunogen was "pooled BALB/c and C57BL/6 mouse Ig". Thus, one should expect that the produced antibodies recognize both the IgG2a (from BALB/c) and IgG2c (from C57BL/6), although the product is sold as an "anti-IgG2a antibody". However, in this case one cannot be sure, as the data sheet describes an anti-IgG2a. One should be critical enough to understand that several published articles carry mistakes. Some authors say that are detecting IgG2a, but are using an antibody that recognizes IgG2a and IgG2c, therefore, detecting IgG2c. An article published in MIOC cannot mislead the readers. I suggest the authors address this question testing the presence of IgG2c. If IgG2c is not detected, the authors may draw their statements. It means that in the present version of the MS all data described and discussed from line 309 to line 334 are not supported by the experiments as they were performed.

Point 2: A good science requires a good experimental design, with the proper number of mice and controls. Further, the protocol must be reproducible. In the letter to reviewers, the authors described that 5 mice were always used (information added to the text – line 129). However, for splenocyte stimulation, they used only 2 mice. This is a reduced number of mice to draw any conclusion. Further, the authors state in the letter to reviewers that “The whole experimental protocol was repeated twice from immunization to challenge". However, this sentence is not in the text. Please, added the stated information to the text.


Point 3: Line 129: Were the mice used in this experiment directly obtained from Jackson Laboratory? If not, it is not possible to use the nomenclature C57BL/6J. Please, describe the source of the mice used in the present experiment.

Point 4: Figure 2a and 2b – the same symbols for each group should be used in both figures, facilitating visualization by the readers.

Point 5: In the legends of all figures, described the point after infection that samples were collected and evaluated (for example: Samples were collected at 15 days post-infection). It is critical: Were all mice alive in all groups when the mice were euthanized to be analyzed?

Point 6: The authors propose to study the effect of rP21 on the "protection" induced by attenuated parasite. One of pivotal characteristic of attenuated parasites is to protect against tissue inflammation and damage. Therefore, besides the evaluation of parasite load and immunological response, tissue analyses for, at least, study of the tissue inflammation is required. These data shall be provided. Therefore, the sentence below does not answer the posed question.
“As we previously explained, tissue inflammation analysis was not done as it was not the main objective of the work and is not further possible to carry out since mice samples were utilized for Real Time PCR analysis.”
It not unusual to repeat the whole experiment to answer reviewers.

Point 6: online version of the MS can be produced in color, if the editor agrees. This may help to follow the described data.

No caso da MIOC, limita-se a um único campo de texto aberto onde o parecerista discorre sobre o artigo.

Entretanto, na grande maioria dos casos, além desse campo mais "aberto", o formulário é precedido por perguntas e respostas objetivas.

1 Autoria; Nome do parecerista.
2 Afiliação; Afliação do parecerista.
3 Título (diferente da seção); ??? "Parecer da submissão xyz"?
4 Citação; ???
5 Referência. ???

Nem o ScholarOne, nem o OJS exportam o parecer como um documento estruturado, muito menos com metadados. No exemplo acima foi necessário copiar e colar manualmente. Isso sempre foi algo que ficou embutido no sistema. Somente agora, com esse assunto de Ciência Aberta e avaliação por pares aberta é que tem-se estudado formas de deixar esses pareceres públicos.

[RPostalli]

Entendi @alexxxmendonca seria tipo isso aqui: https://f1000research.com/articles/6-1151/v3

Bom, nos não temos hoje como manter o documento versionado, mas podemos atrelar o parecer final ao artigo. O que precisamos decidir é se seria melhor que o parecer viesse junto ao artigo, ou fosse publicado como um documento separado com um related-artcile que levaria ao artigo (como fazemos com errata por exemplo)

Como seria melhor documentar isso? O que acham @alexxxmendonca @gustavofonseca @robertatakenaka

[alexxxmendonca]

@RPostalli sim seria bem isso mesmo. Acho que o Abel deve ter se baseado no F1000.

Bom, nos não temos hoje como manter o documento versionado, mas podemos atrelar o parecer final ao artigo. O que precisamos decidir é se seria melhor que o parecer viesse junto ao artigo, ou fosse publicado como um documento separado com um related-artcile que levaria ao artigo (como fazemos com errata por exemplo)

Eu acho que precisamos discutir com o Abel o que/como ele vislumbra, mas eu diria que faz mais sentido se o parecer viesse junto ao artigo, como no exemplo do F1000.

[RPostalli]

@alexxxmendonca também acho mais viável. Neste caso poderíamos usar <response>.

@gustavofonseca a única questão aqui é que teríamos na marcação de um XML, autorias diferentes para artigo principal e response, e nosso site hoje (inclusive o novo) não iria mostrar por exemplo no sumário as informações de front-stub do segundo documento. Tem como corrigir isso?

[RPostalli]

Em conversa com Solange, foi recomendado mudar este ticket para próxima versão para que tenhamos tempo de estudar a melhor forma para documentar parecer.

Outro ponto relevante para aguardar é que esta publicação ainda não é popular na publicação científica brasileira.

[RPostalli]

De: Melissa Harrison

Hi @solange-scielo

as well as, to publish reviewers report related to an article.

Have you seen this paper: https://f1000research.com/articles/7-1655/v1
It has a proposal for tagging for reviewers report related to an article and it would be great if everyone could follow this model.
Support for this is being factored into Texture as it's an eLife requirement. (sub articles).

I hope this proposal will become a JATS4R working group soon to iron out some of the issues pointed out by reviewers of the paper and other comments.

relate supplementary material (datasets, spreadsheet, etc)

At eLife we don't use related-object for this, can you share an XML sample?

[gustavofonseca]

Relacionado com #834

[RPostalli]

ESTUDOS CINTHIA
Como participante do sub-grupo JATS4R: Publicação de peer review
Pautas e Atas de reuniões aqui

Artigo do CrossRef sobre o suporte ao tipo de documento “peer-review”: https://www.crossref.org/blog/peer-review-publications/

Exemplo de schema de metadados do CrossRef para peer review: https://api.crossref.org/works/10.7287/peerj.2707v0.1/reviews/1

Ethical Guidelines for peer reviewers (English version), do COPE: https://publicationethics.org/resources/guidelines-new/cope-ethical-guidelines-peer-reviewers

Painel da JATS na JATSCon com spec para publicação de peer-review: https://lh3.googleusercontent.com/CsD6b_czqAsdMMUSlwZhwlcjACfjG9zG4WSaoAaXb_aBSMIk8Uf0OqXXsQFB6MpufQesIT8PJqX88zJBBWQkFCbjoAusDE9tmnJNId3_swhq-JpktPeZKNaGGj5M6Q0KXWmIREYRIA

Periódicos que publicam peer-review

eLife: publica as cartas de decisão, como pode ser visto neste link: https://elifesciences.org/articles/44057. Pelo que parece, publicam a carta e suas respostas como .

BAR (SciELO Brasil): não publica os pareceres, mas informa quantas revisões foram feitas no PDF (atualmente marcado em histórico e notas): http://homolog.xml.scielo.br/scielo.php?script=sci_arttext&pid=S1807-76922019000100305&lng=en&nrm=iso&tlng=en

BMJ: publica todos os arquivos relacionados como PDFs em uma seção: https://www.bmj.com/content/364/bmj.l1079/peer-review

F1000: publicam todos os peer-reviews (inclusive de artigos ainda em aprovação) como comentários separados dos artigos, mas que ficam incorporados em suas páginas e são relacionados a eles: https://f1000research.com/articles/7-1784/v2 (artigo); https://f1000research.com/articles/7-1784/v1#referee-response-40591 (link para um dos pareceres). As respostas dos autores são agrupadas juntos dos pareceres. Provavelmente os comentários são artigos com XMLs próprios.

Nature Comments: publica os arquivos de peer review como material suplementar, em PDF: https://www.nature.com/articles/s41467-019-09939-8#Sec9

EMBOPress Journal: publica os materiais de peer review como parte de uma seção chamada “Transparent Process”, em um arquivo PDF: http://emboj.embopress.org/content/38/9/e100526.transparent-process

PeerJ Journals: publica todo o processo de peer review como uma “informação extra” do artigo (integrado com sistema de submissão, talvez?): https://peerj.com/articles/2707/reviews/

PLOS ONE: publica cartas de decisão e demais documentos em HTML, com número DOI.
https://journals.plos.org/plosone/article/peerReview?id=10.1371/journal.pone.0221688

[cinthia-vieira]

Em adendo, pasta no Drive com amostras de marcação XML de peer review feitas pela Tina da PLoS ONE, com foco na marcação de datas:

https://drive.google.com/drive/u/0/folders/18PZ6Ft4M8b5Rt41FW1Q9rgijipUrcn99

[cinthia-vieira]

Anexo a este ticket um zip com amostras de marcação XML da PLoS ONE, E-Life e F-1000
samples-xml.zip

[RPostalli]

@cinthia-vieira Pode por favor criar modelos de parecer que você acha mais viável para documentarmos no SPS. Com base nos modelos que você sugerir vamos discutir na reunião SPS com sua presença.

[cinthia-vieira]

Pessoal, fiz algumas amostras de marcação XML para pareceres que estão nesse zip em anexo.
Amostras XML-Pareceres.zip

Realizei a marcação no Markup e adequei as tags manualmente, utilizando a amostra da F-1000 (https://github.com/scieloorg/scielo_publishing_schema/files/4025846/samples-xml.zip) e a seguinte planilha (https://docs.google.com/spreadsheets/d/1oqD6HewI0Bp7wHuDNgk1a98iv9gRg7LhRz4UukiBmwY/edit?folder=1rF072iUip0BbKoyx_J1mtj8REszlhnIC#gid=0) como referências. Todo esse material está disponível na pasta de documentos do grupo de discussão da JATS4R para pareceres (https://drive.google.com/drive/u/0/folders/1rF072iUip0BbKoyx_J1mtj8REszlhnIC).

Algumas considerações sobre as amostras:

• boa parte da criação da documentação XML com relação à publicação de pareceres acaba por depender de decisões sobre quais serão os critérios de publicação deste material. As amostras no anexo contemplam quatro cenários (que estão previstos como recomendações JATS4R):
  -- publicação em SciELO como um artigo de texto completo;
  -- publicação em SciELO como resposta (<sub-article>) do artigo revisado;
  -- publicação em SciELO como um artigo de link do Publons (ou similares);
  -- publicação em SciELO com um link de Publons (ou similares) como resposta (<sub-article>) do artigo revisado;
• a solução deve ser a mesma para todos os tipos de pareceres, sejam hospedados em SciELO como artigos, sejam hospedados em plataformas como Publons. Criar especificações distintas de como agir dependendo de como for a publicação pode gerar confusão tanto na produção do documento quanto no seu controle de qualidade;
• devemos definir se vamos permitir publicação de pareceres à posteriori. Se assim for, sugiro que utilizemos o esquema de artigo individual, para evitar o retrabalho em publicações que já estão online (uma vez que para acrescentar o parecer num artigo já publicado teríamos de fazer reproc de todo o fascículo/lote, como se fosse um novo tipo de errata);
• será necessário criar um @article-type "peer-review" (ou algo que o valha) para pareceres publicados como artigos únicos, e alguns @article-type para sub-article no mesmo sentido também;
  -- para o caso dos @article-type de <sub-article> existem tipos sugeridos nas especificações JATS4R;
• será também necessário acrescentar valores para @related-article-type em <related-article>;
• as datas aceitas em <history> também deverão ter adição de um @date-type "referee-report-received" com @specific-use referente a qual parecerista aquele texto pertence ("referee-1, referee 2", etc)
• a tag <anonymous/> terá de ser aceita na publicação de peer reviews, ou teremos de limitar sua publicação a pareceristas que queiram ser identificados, apenas.

Acho que por enquanto é só, rs.

[cinthia-vieira]

Em nova reunião do subgrupo JATS4R para representação de pareceres, no dia 20/02/2020, foram decididas as seguintes recomendações:

• Poderão ser marcados múltiplos contribuidores anônimos com a tag <anonymous/>, sendo cada um deles um <contrib> distinto. Neste caso, o uso de <role> também será obrigatório para identificar os autores;

• O atributo @specific-use será utilizado, em <role> para especificar as qual a função do autor anônimo no parecer;

  • Lista de valores para @specific-use em <role>: reviewer, reader, author, editor;

[RPostalli]

Reunião 04/06/2020
Cinthia vai rever documentação do grupo e seguiremos a documentar as correções no SPS.

[robertatakenaka]

<date>
atributo @specific-use

* referee-1

* referee-2
  [...]

Em que contexto é este <date/>? Dentro de <history/>?

@cinthia-vieira @RPostalli

[cinthia-vieira]

@robertatakenaka sim, dentro de <history>

[cinthia-vieira]

Dei uma olhada nas revisões, nada de novo além dos já reportados. Existem algumas tags que poderão ser revisadas, mas teremos de aguardar os comentários da comunidade sobre a recomendação

[robertatakenaka]

@cinthia-vieira estou com dúvidas quanto a:

• contrib/@contrib-type
• role/@specific-use
• role/@content-type

Pode descrever cada um deles?

[robertatakenaka]

Levando em conta a discussão ocorrida na reunião do dia 10/01/2020, seguem novas amostras considerando a marcação como <article> e <sub-article>:
SPS-pr.zip

@cinthia-vieira alguns @article-type dos exemplos não estão corretos.

[robertatakenaka]

@RPostalli @cinthia-vieira vocês já tem as definições finais?, pois está um pouco difícil de saber pelos comentários o que já está valendo ou não. Há em alguns momentos aparentemente informações conflitantes e aí não tenho certeza de que o que vale são só os últimos comentários.

[RPostalli]

@robertatakenaka definições foram adicionadas. Em role teremos que usar specific use, pois a JATS 1.1 não permite content-type em role, só na versão 1.2.
veja se esta claro agora.

[RPostalli]

@robertatakenaka, Consegui falar com a Cinthia e o último pull 904 é a versão final do parecer que vamos adotar nesta versão 1.10.

São 3 tipos
1- OPR sozinho como article
2- OPR como sub-article do artigo
3- OPR publicado em outro lugar (como link)

Conforme conversamos nas reuniões (presenciais) por agora vamos aceitar 1 OPR por documento e iniciaremos publicando especificamente apenas a revisão por pares, não outros documentos afins como comentários, recomendações etc. Sendo assim vamos trabalhar com um único tipo de documento:

@article-typecom valor "referee-report".

Por este motivo vamos trabalhar com apenas dois tipos de role, são eles:

"reviewer" ou "editor"

Para role usar sempre "@specific-use".

E um único tipo de data que será: @date-type com valor "referee-report-received"

O resto das definições e estrutura está no pull e em breve estará na master. Tem algumas novas tags a serem consideradas como <custom-meta-group> + <custom-meta> + <meta-name> e <meta-value>.