Qualidade dos ensaios clínicos aleatórios publicados por cirurgiões plásticos: seguimento de longo prazo
Quality of randomized clinical trials published by plastic surgeons: a long-term follow-up study

INTRODUÇÃO

O ensaio clínico aleatório (ECA) é um desenho de estudo prospectivo que compara o efeito de intervenções em seres humanos, em um ou mais grupos contra um grupo controle. ECAs constituem a melhor fonte de evidências sobre intervenções em saúde. A medicina baseada em evidências (MBE) é definida como o uso da melhor evidência científica existente, fornecida pelos resultados de ECAs adequadamente desenhados e conduzidos, combinada com expertise clínica individual, além das preferências e valores do paciente, para a tomada de decisão sobre o cuidado individual deste^1-4.

A MBE popularizou-se na década de 1980 e impactou todos os campos da medicina, incluindo a Cirurgia Plástica⁵. A aplicação dos princípios da MBE não só pode determinar o melhor tratamento para o paciente, mas também pode reduzir os custos dos sistemas de saúde². Entretanto, particularmente nas áreas cirúrgicas, existem desafios a serem superados, inclusive a crença de que a aplicação da MBE poderia diminuir a autonomia dos cirurgiões, e nem sempre a melhores evidências científicas superam as melhores práticas. Essa preocupação ainda é maior na Cirurgia Plástica, em que os resultados são mensurados não apenas pela ocorrência de complicações e necessidade de reintervenção, mas principalmente pela satisfação dos pacientes com os resultados estéticos⁶.

Apesar disso, a prática da MBE na Cirurgia Plástica não é mais uma tendência, é uma realidade⁶. As informações obtidas de pesquisas que usam rigor científico nos métodos empregados têm se tornado o ponto chave da MBE e da tradução do conhecimento⁷. Portanto, os resultados de ECAs bem conduzidos podem ter um impacto significativo nos cuidados médicos, por contribuírem para o estabelecimento de uma sólida base de evidência científica, que irá embasar os protocolos de cuidados e intervenções clínicas⁸.

A pesquisa em Cirurgia Plástica terá uma influência muito maior na prática clínica se estudos com maior impacto forem publicados^9,10. Assim, a identificação e avaliação sistemática dos ECAs realizados por cirurgiões plásticos, e seu impacto na especialidade, permitem implementar a prática baseada em evidências, com benefício direto para os pacientes^11,12.

Vários estudos têm demonstrado que os cirurgiões plásticos reconhecem a necessidade de melhorar o nível de evidência da pesquisa em Cirurgia Plástica, sendo este reconhecimento refletido pelo contínuo aumento das publicações de ensaios clínicos na especialidade^2,8,12-17.

Um estudo prévio identificou os ECAs com sigilo de alocação descrito adequadamente, publicados por cirurgiões plásticos entre 1966 e 2003, e avaliou sua qualidade¹⁸. Posteriormente, em outro estudo, avaliou-se a evolução em um período subsequente de cinco anos (2004 a 2008) e se observou um aumento quantitativo e qualitativo dos ECAs publicados por cirurgiões plásticos⁸. O presente estudo pretendeu testar a hipótese de que houve melhora quantitativa e qualitativa dos ECAs em Cirurgia Plástica em mais um período de cinco anos (2009 a 2013), em relação aos períodos anteriormente estudados.

OBJETIVO

Avaliar a evolução dos ensaios clínicos aleatórios em Cirurgia Plástica com sigilo de alocação descrito adequadamente, publicados entre 2009 e 2013, em comparação com os períodos anteriormente estudados (1966-2003 e 2004-2008).

MÉTODOS

O projeto deste estudo foi aprovado pelo Comitê de Ética em Pesquisa da Universidade Federal de São Paulo – Escola Paulista de Medicina (UNIFESP - EPM), sob o nº 842.388, CAAE 37661814.8.0000.5505. A casuística foi por conveniência, constituída por todos os ECAs recuperados que preencheram os critérios de elegibilidade para o estudo, publicados em um período de cinco anos (de janeiro de 2009 a dezembro de 2013).

Foram realizadas buscas eletrônicas, com o objetivo de identificar o maior número de ECAs publicados por cirurgiões plásticos, em língua inglesa. Foram elaboradas estratégias de busca específicas para cada base de dados estudada, CCTR (Cochrane Central Register of Controlled Trials), LILACS (Literatura Latino-Americana e do Caribe em Ciências da Saúde), EMBASE (Excerpta Medica Database) e MEDLINE (MEDLARS- Medical Literature Retrieval System – online).

Os resumos de todas as referências recuperadas foram lidos por um avaliador e os que preenchiam os critérios de elegibilidade (possíveis ECAs com a participação de pelo menos um cirurgião plástico, publicados em língua inglesa entre 2009 e 2013) foram selecionados para leitura do texto na íntegra. Os estudos que não foram conduzidos por cirurgiões plásticos ou com a participação de, pelo menos, um cirurgião plástico, e os publicados em idioma diferente do inglês, foram excluídos. Nessa etapa, sempre que houve alguma dúvida, o estudo era selecionado para leitura na íntegra.

Os textos completos dos artigos referentes aos resumos selecionados foram lidos por um avaliador para confirmação dos critérios de elegibilidade. Em seguida, dois avaliadores independentes classificaram os artigos selecionados de acordo com o sigilo de alocação¹⁹, e as discordâncias foram resolvidas em uma reunião de consenso. Os ECAs publicados por cirurgiões plásticos, com sigilo de alocação descrito adequadamente, foram selecionados e constituíram a amostra desse estudo.

Os ECAs selecionados foram, a seguir, avaliados quanto à sua qualidade. A avaliação foi realizada de forma independente por dois avaliadores, seguida de reunião de consenso. Para a avaliação da qualidade foram utilizados dois instrumentos validados, a Lista de Delphi²⁰ e a Escala de Qualidade de Jadad²¹.

A Lista de Delphi é uma lista de critérios genéricos para avaliação de qualidade de ensaios clínicos, que deve ser utilizada em associação com outros instrumentos. Não é descrito um cálculo de pontuação e todos os itens têm duas opções de resposta: sim ou não (Quadro 1)²⁰.

Quadro 1 - Itens da Lista de Delphi²⁰

A Escala de Qualidade de Jadad é baseada em escores: um ponto é dado para cada resposta “sim”, e zero ponto para cada resposta “não”. Pontos contabilizados para os dois primeiros itens (randomização e duplo cegamento) dependem não apenas da forma como são descritos, mas também do uso de métodos apropriados para esse fim. Se os métodos forem descritos e apropriados, um ponto adicional é dado para cada item. Se os métodos usados para gerar a sequência de randomização ou criar as condições de cegamento forem descritos, mas inapropriados, todo o item receberá zero ponto. Portanto, a escala produz escores de 0 a 5. O estudo será julgado de má qualidade se receber dois ou menos pontos (Quadro 2)²¹.

Quadro 2 - Itens da Escala de Qualidade de Jadad²¹

Os resultados foram comparados com os obtidos nos dois estudos anteriores, que utilizaram o mesmo método para avaliar a qualidade dos ECAs, publicados por cirurgiões plásticos, nos períodos de 1966-2003 e 2004-2008^8,18.

RESULTADOS

A busca eletrônica identificou 6.997 referências nas bases de dados consultadas. Um avaliador selecionou 616 referências, excluindo as 6.381 que claramente não eram ECAs, estavam repetidas em bases de dados diferentes, ou não eram relativas a estudos realizados por/ou com a participação de, pelo menos, um cirurgião plástico.

Após a leitura dos textos completos das 616 publicações por um avaliador, 336 referências foram excluídas pelas seguintes razões: uma referência era relativa a estudo publicado em outro idioma que não o inglês (russo); 219 correspondiam a estudos que não tinham a participação de pelo menos um cirurgião plástico; 116 não eram referentes a ECAs. Das 280 referências remanescentes, 19 eram comuns dentro da mesma base de dados, razão pela qual a seleção final compreendeu 261 estudos.

Dois avaliadores classificaram, de forma independente, os 261 estudos selecionados, de acordo com o sigilo de alocação^{1 9}. O coeficiente de concordância (kw) entre os dois avaliadores foi de 0.94 (p = 0,000). Após uma reunião de consenso, foram encontrados 43 ECAs, publicados em língua inglesa, com a participação de pelo menos um cirurgião plástico, com sigilo de alocação descrito adequadamente.

A comparação entre o período de 2009 a 2013 e os estudos anteriores (1966- 2003 e 2004-2008), em relação aos itens da Lista de Delphi, são mostrados na Tabela 1. Uma melhora significante, em comparação com 1966 a 2003, e 2004 a 2008 foi observada para os itens “Os grupos eram comparáveis em relação às características mais importantes do prognóstico” (p < 0,001), “Os critérios de inclusão e exclusão foram especificados” (p = 0,0029) e “As medidas de variabilidade e a estimativa dos pontos foram apresentadas para a variável primária” (p = 0,0057).

Tabela 1 - Avaliação da qualidade pela Lista de Delphi, após reunião de consenso, e comparação com os períodos 1966-2003 e 2004-2008.

O coeficiente de concordância (kw) entre os avaliadores na avaliação dos 43 ECAs, quanto aos escores da Escala de Qualidade de Jadad²¹ foi de 0,67 (p = 0,0000). A Tabela 2 mostra a distribuição dos ECAs de acordo com os escores de Jadad.

Tabela 2 - Escores da Escala de Qualidade, após reunião de consenso.

DISCUSSÃO

O presente estudo permitiu avaliar a evolução da qualidade dos ECAs, publicados por cirurgiões plásticos, desde 1966. O acompanhamento em um longo período de tempo, de 47 anos, com o uso do mesmo método, possibilitou uma análise clara da evolução dos estudos ao decorrer dos anos

Considerando a crescente demanda por tratamentos especializados e a limitação de recursos para a saúde, tem havido um interesse crescente na prática da chamada “medicina baseada em evidências”^12,14,23,24 e o aumento qualitativo e quantitativo de publicações de ECAs por cirurgiões plásticos, no período de 47 anos avaliado, confirma esse interesse.

A realização de ECAs nas áreas cirúrgicas traz muitas dificuldades e desafios, que incluem questões éticas que impossibilitam o uso de procedimentos placebo ou mesmo de nenhum procedimento, em comparação a uma intervenção cirúrgica; a impossibilidade de se cegar o cirurgião; curvas de aprendizado; diferenças técnicas entre cirurgiões, entre outros^25,26. Assim, a produção de ECAs na área tem sido mais lenta do que em outras especialidades médicas^24,27-31.

Mas, apesar das dificuldades em se conduzir um ensaio clínico aleatório em Cirurgia Plástica, a medicina baseada em evidências é a chave para o progresso da especialidade¹⁵. Dessa forma, os ensaios clínicos que são efetivamente realizados devem seguir normas rígidas de qualidade e rigor metodológico, para que tenham mais impacto na prática clínica^11,12,32.

Com o objetivo de melhorar a qualidade dos artigos relativos a ECAs, um grupo de pesquisadores e editores desenvolveu o CONSORT (Consolidated Standards of Reporting Trials) Statement, publicado inicialmente em 1996 e atualizado em 2001^31,32. Mas foi a partir de sua revisão, publicada em 2010, que a utilização do CONSORT Statement, que compreende uma checklist e um flow diagram se popularizou, sendo adotado pela maioria dos jornais médicos como norma para descrição de ECAs³³.

A utilização do CONSORT Statement contribuiu para uma mudança no nível de qualidade das publicações de ECAs. Uma limitação importante do presente estudo foi não ter utilizado a checklist CONSORT para avaliar a qualidade das publicações dos ECAs. Mas há que se considerar que a checklist em sua forma atual não estava disponível quando os dois estudos prévios foram desenhados e conduzidos, e o presente estudo pretendeu utilizar rigorosamente o mesmo método dos dois estudos prévios, permitindo, assim, avaliar a evolução em longo prazo.

Observou-se um aumento progressivo do número de ECAs publicados por cirurgiões plásticos ao longo do tempo. Não se encontrou nenhum ECA com sigilo de alocação adequadamente descrito publicado por cirurgiões plásticos no período de 1966 a 1983. O primeiro ECA com essas características encontrado foi publicado em 1984, comparando a ocorrência de contratura capsular após o uso de implantes salinos ou de silicone gel para reconstrução mamária³⁴. A partir daí, observou-se um aumento progressivo, corroborando a popularização da MBE a partir da década de 1980⁶, mas com um aumento substancial a partir dos anos 2000.

No presente estudo, observou-se maior concentração de publicações na Europa e América do Norte, seguindo uma tendência descrita nos outros dois períodos de comparação (1966-2003 e 2004-2008). Momeni et al.¹¹, avaliando ECAs em três grandes revistas de cirurgia plástica, no período de 1990 a 2005, também encontraram essa tendência de crescimento das publicações nos continentes da Europa e América do Norte.

A Lista de Delphi²⁰, utilizada neste estudo, avalia três dimensões da qualidade de um ECA: a validade interna (grau de validade do estudo para a amostra avaliada), a validade externa (grau de validade do estudo, na extrapolação dos seus resultados para a população) e a análise estatística. A comparação entre o presente estudo (2009-2013) e o primeiro período estudado (1966-2003), em relação aos itens da Lista Delphi²⁰, indica um maior número de respostas, com significância estatística, para os itens: “Os grupos foram comparáveis, em relação às características mais importantes do prognóstico”; “Foram especificados os critérios de inclusão e exclusão” e “Medidas de variabilidade e estimativa de pontos foram apresentadas para a variável primária”. Isto demonstra um aumento na qualidade das publicações de ECAs no período atual, com relação a esses itens. No entanto, não houve alteração na qualidade dos estudos quando o período de 2009 a 2013 foi comparado aos cinco anos anteriores (2004 a 2008).

A Escala de Qualidade de Jadad é um instrumento curto, simples, confiável válido, e muito utilizado^21,35. Originalmente desenhada para avaliar ECAs sobre dor, pode ser aplicada a outras áreas da medicina, já que os itens não são específicos²¹. Olivo et al.³⁵, em uma revisão sistemática, analisaram as escalas utilizadas para avaliação da qualidade metodológica dos ECAs na área de saúde. Constataram que a maioria das escalas não tiveram um controle rigoroso no seu desenvolvimento, nem foram testadas em relação a sua validade e aplicabilidade. Observaram, ainda, que a Escala de Qualidade de Jadad²¹ tem sido uma das mais citadas e usadas na comunidade acadêmica da área de saúde, além de ter apresentado as melhores evidências de validade e aplicabilidade.

A avaliação dos escores da Escala de Qualidade de Jadad²¹ mostrou que houve um aumento na qualidade, com significância estatística, ao se comparar o período de 1966 a 2003 com os períodos de 2004 a 2008 e de 2009 a 2013. No entanto, também não foi observada uma melhora na qualidade, ao comparar o período de 2009 a 2013 com os cinco anos anteriores (2004 a 2008), indicando uma estabilização na qualidade dos ECAs.

Yu et al.³⁶ realizaram um estudo transversal com o objetivo de avaliar a qualidade das publicações dos ECAs em cirurgia, publicados no período de 2003 a 2013. Utilizaram como critério de qualidade o atendimento aos itens da checklist CONSORT 2010^32,36. Observaram que os estudos publicados em 2013 obtiveram escores maiores que os publicados em 2003, e isso foi estatisticamente significante, sugerindo uma melhora na qualidade das publicações. Concluíram que houve um aumento na qualidade das publicações dos ECAs em cirurgia na última década; no entanto, essa qualidade ainda permanece em níveis subótimos, principalmente no que se refere a intervenções cirúrgicas³⁶.

Já no presente estudo observou-se que os estudos apresentaram uma estabilização da sua qualidade em relação ao último período estudado (2009 a 2013) e os últimos cinco anos (2004 a 2008), no que se refere aos critérios metodológicos avaliados na Lista de Delphi²⁰  e à Escala de Qualidade de Jadad²¹. Isso poderia indicar que os cirurgiões plásticos, depois de uma expressiva melhora, podem ter atingido um nível básico de qualidade, quanto a critérios adotados para as publicações de ECAs. No entanto, vários outros itens precisariam ser incorporados, para um incremento crescente da sua qualidade. Essa necessidade se traduz pelo aprimoramento constante da checklist CONSORT 2010³⁷, e pela exigência, por um número cada vez maior de revistas, do cumprimento aos itens da checklist para aceite de um ECA para publicação.

A Cirurgia Plástica é caracterizada por uma longa história de inovação, que continua até os dias de hoje e tem muitas contribuições a compartilhar com outras especialidades médicas, clínicas ou cirúrgicas³¹. As barreiras existentes não devem representar obstáculos ao crescimento científico da especialidade, mas sim desafios a serem vencidos.

CONCLUSÃO

Não houve diferença na qualidade dos ensaios clínicos aleatórios (ECAs), com sigilo de alocação descrito adequadamente, publicados por cirurgiões plásticos no período de 2009 a 2013, em relação aos cinco anos anteriores (2004 a 2008), mas ambos os períodos apresentaram melhor qualidade em relação ao período de 1966 a 2003.