Crítica ao Estudo da Prevent Senior

English summary: this pre-print study got ethics approval after they had already treated patients (used future start/end dates), had severe methodological flaws, highly subjective admission (main outcome) criteria, and to top it off most of the P values don’t seem to be correct at all.

Ontem circularam notícias sobre o estudo da Prevent Senior que investigou o tratamento precoce de pacientes COVID19 com hidroxicloroquina e azitromicina, embora tal estudo não estivesse disponível em nenhum servidor de artigos pre-print (estranho que a mídia teve acesso antes mesmo da comunidade científica). Hoje recebi um arquivo PDF da versão final pré-submissão de tal estudo.

Estudos clínicos que avaliam diferentes terapias são urgentemente necessários para auxiliar nossas estratégias de tratamento e controle da pandemia atual. Medicações que comprovadamente reduzam a progressão de casos leves para graves serão extremamente úteis e têm o potencial de levar a redução substancial no número de mortes. Por isso li com grande interesse o estudo liderado pelo Dr. Rodrigo Esper, intitulado “Empirical treatment with hydroxychloroquine and azithromycin for suspected cases of COVID-19 followed-up by telemedicine”.

Não sabemos ainda para qual revista esse estudo foi formatado ou enviado. O documento dá a entender que todos os 15 autores (todos médicos) são funcionários do instituto Prevent Senior em São Paulo. Nenhum conflito de interesse foi relatado pelos autores. O estudo foi financiado pela Prevent Senior.

Sabemos que a Prevent Senior está no spotlight de toda a polêmica envolvendo a cloroquina no Brasil, com seu diretor-executivo, que é um dos autores desse estudo, declarando para diversos jornais/revistas/entrevistas que os pacientes da rede eram tratados com hidroxicloroquina + azitromicina apesar das críticas das autoridades sanitárias. Ao fazer defesa tão pública e tão fervorosa de uma terapia não-comprovada, podemos imaginar que a Prevent Senior tenha interesse em que os resultados desse estudo sejam positivos. Isso levanta algumas suspeições sobre a isenção dos pesquisadores, e me faz olhar mais a fundo em outras questões antes de lê-lo.

O estudo foi autorizado pela CONEP (Comissão Nacional de Ética em Pesquisa) Plataforma Brasil CAAE:30586520.9.000.0003 (Parecer: 3.968.699).

Quando buscamos esse código na CONEP, encontramos as seguintes informações:

Vemos que a data de aprovação ética pelo comitê de ética em pesquisa/CONEP foi apenas em 14 de Abril de 2020, com data de início prevista para 06 de Abril a ser completada em 28 de Junho de 2020. No entanto o estudo diz o seguinte:

Compreendemos que pacientes foram tratados e dados foram coletados a partir de 26 de Março 2020, antes portanto da autorização da comissão nacional de ética em pesquisa (14/04/2020). A resolução 466/2012 do Ministério da Saúde é claro ao dizer que “cabe ao pesquisador apresentar o protocolo devidamente instruído ao CEP ou à CONEP, aguardando a decisão de aprovação ética, antes de iniciar a pesquisa”.

4 – POR QUE EU NÃO POSSO ENCAMINHAR MEU PROTOCOLO DE PESQUISA PARA ANÁLISE DO SISTEMA CEP/CONEP APÓS JÁ TER COLETADO DOS DADOS QUE NECESSITO PARA VALIDAÇÃO DO PROJETO?

A principal missão do Sistema CEP/CONEP é garantir a proteção dos  participantes de pesquisa. Não há como proteger alguém retrospectivamente! Proteção se faz para o futuro, e não para o passado... Neste sentido, se o pesquisador realizar procedimentos com os participantes de pesquisa antes de obter a aprovação do Sistema CEP/CONEP, seja o mero recrutamento, tais procedimentos já não poderão ser respaldados pela análise ética.

Por isso, cabe ao Sistema CEP/CONEP a análise dos protocolos de pesquisa que ainda não foram iniciados, sendo vedada a análise de projeto já iniciado. Os únicos procedimentos de uma pesquisa passíveis de serem iniciados antes da análise ética são os que não se referem a pessoas, tais como pesquisa bibliográfica, levantamento de necessidades, orçamentação, dentre outros.

Cabe ressaltar que o parecer de aprovação do Sistema CEP/CONEP à um projeto de pesquisa torna co-responsáveis pela sua execução todos os que dela participaram, dando maior segurança e respaldo ao pesquisador.

Fonte: https://cep.prpi.ufg.br/p/10879-o-que-deve-ser-analisado-pelo-sistema-cep-conep

Portanto identificamos uma falha ética grave dos autores e possivel fraude em pesquisa, mesmo antes de lermos o estudo. Para piorar, os dados registrados na plataforma ClinicalTrials.gov (identificador NCT04348474) também mostram diversas inconsistências.

Novamente vemos datas diferentes de início (20/04/2020) e término (30/06/2020) da pesquisa clínica em questão. Além disso, vemos pela primeira vez a empresa “Azidus Brasil” como patrocinadora (sponsor) da pesquisa. Uma busca rápida no mostra que a Azidus Brasil é uma Contract Research Organization, ou seja, uma empresa com experiência na criação e realização de protocolos de pesquisa.

ATUALIZAÇÃO IMPORTANTE (20/04): A Luciana Ferrara, CEO da Azidus Brasil, entrou em contato com o blog informando que os códigos CONEP/ClinicalTrials.gov se referem a outra pesquisa ainda não iniciada. O comentário dela pode ser encontrado na seção comentários dessa página. Mas vou colá-lo aqui para fins de transparência: “Ola a todos, meu nome é Luciana Ferrara e sou CEO da Azidus Brasil. Gostaria de fazer um esclarecimento. O estudo que foi enviado a CONEP e aprovado é o mesmo que está no ClinicalTRials.gov como ainda não recrutando. Este é o fato que deve ser levado em consideração. Os estudo de avaliação de dados da vida real que a Prevent Senior realizou não tem os mesmos objetivos que o estudo aprovado pela CONEP. Este estudo será ainda realizado pela Prevent Senior e os dados assim que finalizados também poderão ser publicados pela empresa. Como empresa de pesquisa clinica sabemos que um estudo regulado somente pode ser iniciado em pacientes após sua devida aprovação pela CONEP e, após os ritos de Bos Praticas Clinicas serem cumpridos. Assim na análise acima é feita uma mistura de estudo. A disposição para qualquer esclarecimento.” Eu respondi que os códigos foram incluídos no manuscrito e dão claramente a entender que se referem a pesquisa citada. Ela então responde: “Olá Ricardo. Eu estou explicando como parte interessada pois o nome de minha empresa foi citada no estudo e estou esclarecendo o que é realmente o fato. A Prevent também deve ter feito uma troca de documentos porque eles também devem ter trocado as intensões de cada estudo. Como a Prevent não tem cadastro na plataforma clinicaltrial.gov e quem fez o cadastro foi a minha empresa o nome sai como patrociandor o qual não é. Então eu não posso deixar isso sem explicações porque fica parecendo que fizemos algo fora das Boas Praticas Clínicas o que não foi o caso. Meu contrato com a Prevent Senior para monitorar este estudo ainda nem começou. E por isso preciso fazer este esclarecimento.”

Com todas essas informações em mente, podemos começar a analisar tecnicamente o pre-print.

Objetivo da pesquisa: avaliar se o tratamento empírico de pacientes suspeitos para COVID19 com hidroxicloroquina + azitromicina está associado a menor necessidade de hospitalização.

Metodologia

População estudada: pacientes do plano de saúde Prevent Senior, residentes na cidade de São Paulo, que apresentavam sintomas gripais persistentes por mais de 2 dias. Foram casos consecutivos entre 26 Março e 04 de Abril de 2020 que entraram em contato com serviço de telemedicina ou foram diretamente ao serviço de pronto-atendimento da Prevent Senior. Somente foram convidados a participar os casos leves, que não necessitavam de internação imediata, e que não possuiam contraindicações ao tratamento.

• Teste/Swab para RT-PCR não fez parte do protocolo

Os pacientes convidados a participar foram informados sobre os potenciais riscos e efeitos colaterais das medicações e que a terapêutica proposta para COVID19 não tem eficácia comprovada. O termo de consentimento foi enviado e assinado eletronicamente pelos pacientes ou presencialmente para os que foram recrutados no pronto-atendimento.

Critérios de Inclusão:
– Idade > 18 anos
– Sintomas gripais persistentes por >3 dias
– Diagnóstico provável de COVID19
– Sem necessidade imediata de hospitalização

Critérios de Exclusão:
– Gestantes
– Prolongamento intervalo QT já conhecido
– Insuficiência hepática ou renal grave
– Miastenia Gravis
– Retinopatia grave

• Não houve randomização
  • Pacientes que recusaram o protocolo de pesquisa se tornaram grupo controle
• Estudo aberto
  • Pacientes sabiam se estavam recebendo tratamento ou não
  • Médicos do serviço de telemedicina sabiam quem estava ou não sendo tratado
  • Médicos da pronto-atendimento sabiam quem estava ou não sendo tratado
  • Radiologistas poderiam caso quisesse saber se paciente recebeu tratamento ou não
  • Pesquisadores, Sponsor, Bioestatístico sabiam quem estava sendo tratado ou não

Tratamento prescrito (entregue gratuitamente na casa dos pacientes) :
– Hidroxicloroquina 800mg no primeiro dia, seguido por 400mg/dia por 6 dias (total 7 dias)
– Azitromicina 500mg/dia por 5 dias (total 5 dias)

Acompanhamento:
– Consultas uma vez ao dia por telemedicina até o 5° dia de sintomas
– Consultas duas vezes ao dia por telemedicina entre o 5° e 14° dias de sintomas

Nessas consultas por telemedicina foram avaliados:
– Padrão respiratório (observado via videoconferência)
– Dispnéia (sensação subjetiva referida pelo paciente)

Critérios para hospitalização:
– Queda do estado geral
– Saturação periférica de oxigênio < 90%

Desfechos:
– Necessidade de hospitalização (tratado vs. não-tratado)
– Necessidade de hospitalização (tratamento iniciado antes do 7° dia de sintomas vs. tratamento iniciado após o 7° dia de sintomas)

Comentários sobre objetivo e metodologia do estudo

• O estudo tenta responder a pergunta clínica “é possivel evitar hospitalizações ao tratarmos precocemente pacientes suspeitos para COVID19 com HCQ+AZT?”.
• A população estudada é tem um claro viés de ser mais idosa e de nível socioeconômico mais alto, já que são clientes privados da Prevent Senior que tinham condições de realizar videoconferências duas vezes ao dia.
• A falta de teste para RT-PCR não inviabiliza o estudo, pois na prática clínica brasileira não há indicação de realizar teste nos quadros leves como esses. No entanto, ao não saber o que estamos tratando, temos que imaginar que grande parte dos pacientes recrutados não possuia COVID19 e mesmo assim foi submetido aos riscos do tratamento. Uma questão a ser debatida pelo comitê de ética (acionado retrospectivamente).
• Os critérios de inclusão diferem muito dos registrados no ClinicalTrials.gov (>70 anos ou <70 anos com comorbidades)
• A criação do grupo controle com os pacientes que recusaram o tratamento é algo extremamente questionável. Essa prática introduz um potencial viés de seleção: pessoas que aceitam um tratamento experimental tendem a ser diferentes de pessoas que o recusam. Em tempos de politização da cloroquina e de sectos dos que a defendem ou criticam fervosaramente, esse viés é muito importante e pode impactar significativamente o tamanho de efeito placebo em um estudo open-label como esse.
• Há um problema muito grande na junção dos seguintes fatores em um mesmo estudo:
  • Politização do medicamento proposto
  • Hospital/plano de saúde envolvido em confusões políticas e midiáticas
  • Pacientes que recusam tratamento politizado se tornam grupo controle
  • Pacientes sabem se estão recebendo ou não o tratamento
  • Equipe de telemedicina sabe se paciente recebeu ou não tratamento
  • Dispnéia, possivelmente a mais subjetiva das sensações, e esforço respiratório (também de avaliação subjetiva) são avaliados remotamente e usados como critério para encaminhamento do paciente ao pronto-atendimento
  • No pronto atendimento a equipe assistencial sabe se o paciente está recebendo ou não tratamento.
  • Critério de internamento é “queda do estado geral” (extremamente subjetivo)
  • Internamento é o desfecho principal do estudo
• Imagino como me sentiria como o médico fazendo o plantão de telemedicina e ligando para um paciente de 73 anos, no 8° dia de sintomas, que recusou o tratamento proposto. Na primeira chamada ele me diz que está mais cansado que o habitual, e na segunda chamada eu preocupado questiono repetidamente se ele não sente falta de ar. Ele diz que sim, acha que teve alguns episódios de falta de ar quando levantou da cama mais cedo, mas agora está sentado vendo TV e sente-se bem. Fico preocupado, já que ele não está sendo tratado, e o encaminho ao pronto-atendimento para ser avaliado mais cuidadosamente. “Lá eles saberão o que fazer” penso eu.
• Agora me imagino como médico do pronto atendimento, atendente esse paciente encaminhado pelo colega da telemedicina, “pela minha falta de ar” diz o paciente. Coloco o oxímetro e vejo SpO2 92%, paciente respirando com FR 20 mas sem esforço. É um valor limítrofe. Pergunto ao paciente como tem sido os últimos dias, e ele me diz que teve alguns episódios de diarréia, está mais cansado que o habitual, e teve grande redução do apetite. Me preocupo devido a idade, ausência de tratamento, diarréia, redução da alimentação e interno o paciente por “queda do estado geral”.
• Ou seja, um simples “receio” do atendente de telemedicina inicia uma sequência de eventos que culmina em um desfecho clínico. Além disso, as vezes é uma benção não sabermos a saturação dos pacientes que ficam em casa e não visitam o pronto-atendimento. É possível que muitos pacientes COVID19 façam hipoxemia leve e se recuperem completamente sem que saibamos. Tais pacientes quando trazidos ao pronto-atendimento são admitidos, e podemos iatrogenizá-los (Happy Hypoxemics)
• O critério de internação “queda do estado geral” é extremamente subjetivo, e basicamente aceita qualquer coisa para internar um paciente idoso com suspeita de COVID19 que ainda por cima recusou aquele tratamento que “eu” acredito que “possa ajudar”.

Resultados

• 721 pacientes sintomáticos consecutivos passaram pelo serviço de telemedicina da Prevent Senior no período do estudo
• 636 pacientes puderam ser analisados (85 tiveram problemas técnicos/registro)
• 224 pacientes (35%) recusaram participar da pesquisa e se tornaram grupo controle (!!!)
• 412 pacientes (65%) concordaram em receber o tratamento proposto

Os grupos eram semelhantes o suficiente antes de se iniciar o tratamento?
– Idade semelhante
– Sexo feminino predominante semelhante
– Mais pacientes com fatores de risco/comorbidades no grupo intervenção
– Pacientes mais sintomáticos no grupo intervenção

Comentário:
A existência de pacientes com mais comorbidades, fatores de risco e mais sintomáticos no grupo intervenção não é surpresa em um estudo como esse. É de se esperar que pacientes que se sintam sob maior risco de adoecer ou que estejam se sentindo pior sejam mais propensos a consentir a receber tratamento experimental. De forma semelhante, pacientes mais saudáveis ou que estejam com sintomas mais leves tenderão a recusar o tratamento por julgarem menos provável que adoeçam gravemente.

Considerando que o critério de inclusão é existência de sintomas gripais, esperaríamos que todos os pacientes em ambos os grupos tivessem pelo menos um sintoma gripal ao início do tratamento. No entanto, uma análise rápida mostra que no grupo controle nem todos os paicentes tinham pelo menos um sintoma gripal. Como então foram incluídos no estudo? Estranho..

Efeitos Adversos
– Autores descrevem que não houve efeitos adversos graves no grupo intervenção
– No entanto relatam nenhuma morte no grupo controle e 2 mortes no grupo intervenção
– Uma das mortes foi por “síndrome coronariana aguda” (ou seja, cardiac-related death)
– A outra morte foi por “câncer metastático”, embora não expliquem mais detalhes.

Comentário:
A falta de dados nesse estudo é preocupante. Duas mortes em 412 pacientes comunitários ao longo de meros 14 dias de acompanhamento é algo que deve ser investigado, ainda mais se uma das mortes foi de causa cardíaca e a outra foi simplesmente colocada na conta do câncer metastático. Mortes em clinical trials precisam ser investigadas adequadamente, pois justamente os mais doentes é que tendem a desenvolver efeitos colaterais graves a medicações. Quando consideramos que esses eram pacientes comunitários, sem diagnóstico firme de COVID19, a balança de risco/benefício deve ser muito bem calibrada.

Desfechos
– 1.9% hospitalizados no grupo intervenção (calculado como 8 pacientes)
– 5.4% hospitalizados no grupo controle (calculado como 12 pacientes)
– Os autores descrevem desfechos em pacientes com tratamento iniciado antes vs. após 7° dia de sintomas, porém não nos informam o número absoluto nem quantos pacientes existem em cada uma dessas divisões
– 1.2% hospitalizados (Tratamento iniciado antes do 7° dia)
– 3.2% hospitaliados (Tratamento iniciado após o 7° dia)

Comentário
Quatro pacientes hospitalizados a mais no grupo controle. Um número incerto hospitalizados no tratamento precoce vs. tardio, já que os autores não nos deram os números absolutos de eventos. Não temos nenhuma indicação de em que momento os pacientes precisaram ser internados.
Os autores fazem cálculos bioestátisticos em cima desses valores, usando Chi-quadrado e teste exato de Fisher, sem dar mais detalhes. No entanto, os grupos não foram selecionados aleatoriamente, colocando em xeque qualquer significância estatística calculada. Além disso, o número de desfechos é muito pequeno e eu questiono seriamente a análise bioestatística realizada, já que literalmente todos os valores são P < 0.001, inclusive alguns com valores não tão discrepantes. Não temos como saber qual teste estatístico foi utilizado em qual momento, e não consigo reproduzir os resultados mostrados. Por exemplo, analisando o número de pacientes que apresentava coriza no início do tratamento:

	Coriza	Sem Coriza	Total
Grupo Intervenção	40	372	412
Grupo Controle	14	210	224

TOTAL | GRUPO TRATAMENTO | GRUPO CONTROLE | P

Os autores escreveram que a diferença entre os grupos para esse sintoma é estatisticamente significativa com P < 0.0001. Mas ao usar os mesmos números do estudo eu obtenho os seguintes resultados:

• Usando Chi-quadrado (two-tailed): P = 0.1350 (Sem correção de Yates)
• Usando Chi-quadrado (one-tailed): P = 0.0675 (Sem correção de Yates)
• Usando Chi-quadrado (two-tailed): P = 0.1784 (Com correção de Yates)
• Usando Chi-quadrado (one-tailed): P = 0.0892 (Com correção de Yates)
• Usando Fisher Exact (two-tailed): P = 0.1795
• Usando Fisher Exact (one-tailed): P = 0.0872

Fiz cálculos semelhantes para outras variáveis e também obtive resultados muito discrepantes. Algo de muito errado aconteceu na análise estatística desse estudo e precisa ser revista imediatamente.

Chegando nesse ponto, desisto de completar a análise pois perdi qualquer esperança de que os dados apresentados neste documento estejam corretos. Questiono se estou perdendo meu tempo analisando algo tão mal-feito que deve ser barrado no processo de peer review e necessitará de significativas alterações para que seja considerado minimamente confiável.

Conclusão: a pergunta do estudo continua em aberto.