GPT-5.2, Gemini e Claude Vencem OpenEvidence e UpToDate: o Benchmark da Nature Medicine e a Colisão com a CFM 2.454
GPT-5.2, Gemini e Claude Vencem OpenEvidence e UpToDate: o Benchmark da Nature Medicine e a Colisão com a CFM 2.454
Em junho, um estudo da Nature Medicine mostrou que os modelos generalistas — GPT-5.2, Gemini 3.1 Pro e Claude Opus 4.6 — superam as ferramentas clínicas dedicadas (OpenEvidence e UpToDate Expert AI) em todos os benchmarks. Dois meses depois entra em vigor a CFM 2.454, que exige rastreabilidade e mediação humana. A ferramenta que funciona melhor é justamente a que mais expõe o médico.
📅 Publicado em 8 de julho de 2026
Por Que Este Cruzamento Importa
Em 23 de junho de 2026, a Nature Medicine publicou um dado que deveria incomodar todo gestor de saúde: os modelos de IA generalistas — não construídos especificamente para medicina — superaram as ferramentas clínicas dedicadas em todos os benchmarks testados. GPT-5.2, Gemini 3.1 Pro e Claude Opus 4.6 bateram o OpenEvidence e o UpToDate Expert AI em conhecimento, alinhamento e, sobretudo, em perguntas clínicas do mundo real.
Sessenta e quatro dias depois, o Brasil coloca em vigor a Resolução CFM nº 2.454/2026. A pergunta que importa não é “a IA vai substituir o médico?” — essa é preguiçosa. A pergunta que importa para quem opera no chão do hospital é: o que acontece quando a ferramenta que funciona melhor é exatamente a que deixa o médico mais exposto? Esse é o paradoxo que o intensivista brasileiro vai viver a partir de agosto.
O Que a Nature Medicine Mediu
O estudo comparou três modelos de propósito geral — GPT-5.2 (OpenAI), Gemini 3.1 Pro (Google) e Claude Opus 4.6 (Anthropic) — contra duas ferramentas clínicas dedicadas e amplamente adotadas: o OpenEvidence (usado por mais de 750 mil médicos verificados) e o UpToDate Expert AI (Wolters Kluwer). A avaliação teve três estágios: 500 questões estruturadas do MedQA (conhecimento), 500 itens do HealthBench (alinhamento) e, o mais importante, um benchmark de consultas clínicas reais (RCQ) — 100 perguntas desidentificadas que médicos de fato enviaram a um modelo de linguagem em ambiente clínico ao vivo, avaliadas por 12 clínicos norte-americanos em desenho randomizado e cego, gerando 1.800 anotações.
Por que o terceiro estágio muda tudo
Esse estágio é o que separa este trabalho da enxurrada de “IA passou na prova de residência”. Prova é ambiente controlado, alternativa A–D, resposta única. O bedside é pergunta mal formulada, contexto incompleto, ambiguidade — o território onde a maioria das ferramentas quebra. E foi exatamente ali que as ferramentas dedicadas perderam por mais.
⚠ O que NÃO se deve concluir do paper
Benchmark não é desfecho clínico. Acurácia em MedQA/HealthBench não equivale a redução de mortalidade, tempo de internação ou erro terapêutico. É sinal de capacidade, não prova de segurança em deploy prospectivo. Nenhum desses números autoriza uso autônomo em decisão terapêutica — a leitura correta é sobre qual ferramenta apoia melhor, não sobre substituir o julgamento.
Os Números, Sem Filtro
| Ferramenta | MedQA (%) | HealthBench (/100) | RCQ (média) | Categoria |
|---|---|---|---|---|
| Gemini 3.1 Pro | 97,4 | 79,3 | 3,62 | Generalista |
| GPT-5.2 | 94,2 | 88,0 | 3,54 | Generalista |
| Claude Opus 4.6 | 90,2 | 77,0 | 3,52 | Generalista |
| OpenEvidence | 89,6 | 62,6 | 3,24 | Especializado |
| UpToDate Expert AI | 88,4 | 61,3 | 3,17 | Especializado |
No MedQA a diferença é modesta. No HealthBench ela vira abismo: cerca de 26 pontos entre o melhor generalista (GPT-5.2, 88,0) e a melhor ferramenta dedicada (OpenEvidence, 62,6). E na consulta clínica real, os generalistas ficaram no topo (Gemini 3,62; GPT 3,54; Claude 3,52) contra 3,24 do OpenEvidence e 3,17 do UpToDate — com as ferramentas dedicadas tendo de 49% a 87% menos chance de receber a nota mais alta do clínico do que o Gemini. Detalhe que dói: nessa etapa, as ferramentas dedicadas performaram de modo comparável ao AI Overview do Google.
A leitura correta
Não é “generalista é melhor que especializado” em abstrato. É que o produto construído e vendido para uso clínico não sustenta superioridade justamente no tipo de pergunta que mais importa à beira do leito — a consulta não estruturada que chega no meio de um plantão. O selo de “ferramenta clínica dedicada”, hoje, não é garantia de melhor desempenho.
Precisão que te blinda entre pares
Cuidado com a manchete “IA generalista vence IA com clearance do FDA”. OpenEvidence e UpToDate Expert AI são plataformas de decisão clínica — não são, elas próprias, dispositivos médicos registrados. O que ganhou clearance do FDA em jun/2026 foi o EchoNext (Pathway Labs), um detector de cardiopatia estrutural em ECG que a OpenEvidence passou a integrar — coisa distinta da ferramenta de resposta que o estudo mediu. Repetir “FDA-cleared” para o produto errado é o tipo de imprecisão que um revisor atento derruba.
A CFM 2.454 na Prática
Publicada no DOU em 27 de fevereiro de 2026, a Resolução entra em vigor 180 dias depois — em 26 de agosto de 2026. Ela não proíbe IA; ela ancora responsabilidade. Três pilares importam para quem trabalha no chão do hospital:
Mediação humana obrigatória
É vedado delegar à IA a comunicação de diagnósticos, prognósticos ou condutas terapêuticas. O médico revisa e valida antes de a informação chegar ao paciente. A decisão final é sempre humana.
Classificação por risco
Sistemas são categorizados em baixo, médio, alto ou inaceitável (Anexo II), conforme impacto em direitos fundamentais, autonomia do modelo e sensibilidade dos dados. Aplicações de risco inaceitável são simplesmente incompatíveis com a norma — e a obrigação de classificar é da instituição, não do fornecedor.
Rastreabilidade no prontuário
O uso de IA como apoio à decisão deve ser registrado, garantindo trilha auditável e segurança jurídica.
Detalhe que quase ninguém leu
A Resolução funciona também como escudo: o médico não responde por falha atribuível exclusivamente ao sistema, desde que demonstre uso diligente, crítico e ético. Ou seja — o registro no prontuário não é burocracia, é a sua proteção jurídica. Quem documenta o uso crítico da IA transfere o ônus da falha sistêmica para onde ele pertence.
O Paradoxo da Ferramenta Dedicada
Junte as duas notícias e o desenho fica claro. A ferramenta que performa melhor é o LLM generalista, que não foi construído para medicina. A ferramenta com pedigree clínico — feita, curada e vendida para o médico — é justamente a que a Nature Medicine mostrou perder na consulta real. O intensivista brasileiro tende a usar o GPT-5.2 ou o Claude porque funcionam, mas o faz num vácuo de governança: o modelo genérico não nasce com trilha de auditoria clínica.
⚠ O “pedigree clínico” não é garantia de superioridade
Confiar cegamente na “ferramenta feita para médico” pode significar usar a opção que rende menos na pergunta que importa. E usar o modelo generalista superior sem registrar o uso crítico pode significar responder sozinho por uma falha que não é sua. O ponto de equilíbrio não está em escolher entre performance e conformidade — está em construir conformidade sobre a performance.
Supervisão Significativa e Rastreabilidade
O conceito mais subestimado da resolução é o de supervisão significativa. Ele inverte o ônus da prova da segurança: não basta afirmar “tem humano no laço”; é preciso provar que o humano tem condições reais de revisar — tempo, interface, contexto clínico e capacidade de auditar o que a IA propôs.
E aqui a evidência da própria Nature Medicine reforça o ponto: se o gargalo já não é a capacidade bruta do modelo, o diferencial passa a ser a camada de governança em torno dele. Um chat genérico brilha na resposta, mas não gera log clínico auditável por padrão. É exatamente essa lacuna que a CFM 2.454 obriga a fechar.
A Linha do Tempo
Da publicação da norma ao benchmark que a contradiz
Por que a coincidência de calendário entre a Nature Medicine e a CFM 2.454 define a janela de decisão do médico.
O Que Fazer na Segunda-Feira
Da teoria regulatória à conduta de plantão
Use IA no Bedside com Rigor Clínico e Cobertura Regulatória
A metodologia AIMED forma médicos que usam IA com rigor crítico, consciência regulatória e aplicação clínica real — do prompt à trilha no prontuário, com framework de implementação e casos aplicados. Prepare-se antes de agosto.
Conheça o AIMED →Considerações Finais
O benchmark da Nature Medicine não é uma ameaça ao médico brasileiro. É um espelho. Ele mostra que a capacidade bruta migrou para o modelo generalista — e, por contraste, ilumina o que continua sendo nosso: o julgamento sob incerteza, a responsabilidade pelo paciente concreto e a capacidade de auditar a própria ferramenta.
A Resolução 2.454 não freou o futuro; apenas exigiu que o futuro tenha um nome assinado embaixo. E esse nome, por lei e por mérito, continua sendo o do médico.
💡 Connecting the Dots: a CFM 2.454 amarra a proteção jurídica do médico à rastreabilidade do uso crítico, enquanto a Nature Medicine mostra que a melhor ferramenta é a que menos oferece essa trilha por padrão. A vantagem competitiva do médico-desenvolvedor está exatamente nessa fenda: construir a camada de rastreabilidade em torno do modelo generalista superior — capturar prompt, versão, resposta e validação humana no prontuário — é o que transforma a ferramenta mais capaz na ferramenta mais defensável. Não é escolher entre performance e conformidade; é engenharia de conformidade sobre a performance. Quem dominar isso primeiro define o padrão para o SUS.
Referências
- General-purpose large language models outperform specialized clinical AI tools on medical benchmarks. Nature Medicine. 2026 jun 23. Disponível em: https://www.nature.com/articles/s41591-026-04431-5
- Conselho Federal de Medicina. Resolução CFM nº 2.454, de 11 de fevereiro de 2026. DOU 2026 fev 27; Ed. 39, Seção 1, p. 158. Disponível em: https://sistemas.cfm.org.br/normas/arquivos/resolucoes/BR/2026/2454_2026.pdf
- Conselho Federal de Medicina. CFM normatiza uso da IA na medicina. Portal Médico. 2026. Disponível em: https://portal.cfm.org.br/noticias/cfm-normatiza-uso-da-ia-na-medicina/
GPT-5.2, Gemini and Claude Beat OpenEvidence and UpToDate: The Nature Medicine Benchmark and Its Collision with CFM 2.454
In June, a Nature Medicine study showed generalist models — GPT-5.2, Gemini 3.1 Pro and Claude Opus 4.6 — outperform dedicated clinical tools (OpenEvidence and UpToDate Expert AI) across every benchmark. Two months later, CFM 2.454 takes effect, demanding traceability and human mediation. The tool that works best is precisely the one that leaves the physician most exposed.
📅 Published July 8, 2026
Why This Cross-Reading Matters
On June 23, 2026, Nature Medicine published a finding that should unsettle every health administrator: generalist AI models — not purpose-built for medicine — outperformed dedicated clinical tools across every benchmark tested. GPT-5.2, Gemini 3.1 Pro, and Claude Opus 4.6 beat OpenEvidence and UpToDate Expert AI in knowledge, alignment, and above all in real-world clinical queries.
Sixty-four days later, Brazil enacts CFM Resolution 2.454/2026. The question that matters is not “will AI replace the physician?” — that one is lazy. The question that matters for those on the hospital floor is: what happens when the tool that works best is exactly the one that leaves the physician most exposed? That is the paradox the Brazilian intensivist will face from August on.
What Nature Medicine Measured
The study compared three general-purpose models — GPT-5.2 (OpenAI), Gemini 3.1 Pro (Google), and Claude Opus 4.6 (Anthropic) — against two widely adopted dedicated clinical tools: OpenEvidence (used by over 750,000 verified physicians) and UpToDate Expert AI (Wolters Kluwer). The evaluation had three stages: 500 structured MedQA questions (knowledge), 500 HealthBench items (alignment), and most importantly a real clinical queries (RCQ) benchmark — 100 de-identified questions physicians actually sent to a language model in a live clinical setting, reviewed by 12 US clinicians in a randomized, blinded design producing 1,800 annotations.
Why the third stage changes everything
That stage sets this apart from the flood of “AI passes the board exam” headlines. Exams are controlled: A–D options, single answer. The bedside is a poorly framed question, incomplete context, ambiguity — the terrain where most tools break. And that is exactly where the dedicated tools lost by the widest margin.
⚠ What NOT to conclude from the paper
A benchmark is not a clinical outcome. Accuracy on MedQA/HealthBench does not equal reduced mortality, length of stay, or therapeutic error. It signals capability, not prospective deployment safety. None of these numbers authorize autonomous use in therapeutic decisions — the correct reading is about which tool supports better, not about replacing judgment.
The Numbers, Unfiltered
| Tool | MedQA (%) | HealthBench (/100) | RCQ (mean) | Category |
|---|---|---|---|---|
| Gemini 3.1 Pro | 97.4 | 79.3 | 3.62 | Generalist |
| GPT-5.2 | 94.2 | 88.0 | 3.54 | Generalist |
| Claude Opus 4.6 | 90.2 | 77.0 | 3.52 | Generalist |
| OpenEvidence | 89.6 | 62.6 | 3.24 | Dedicated |
| UpToDate Expert AI | 88.4 | 61.3 | 3.17 | Dedicated |
On MedQA the gap is modest. On HealthBench it becomes a chasm: about 26 points between the best generalist (GPT-5.2, 88.0) and the best dedicated tool (OpenEvidence, 62.6). And on real clinical queries, the generalists clustered at the top (Gemini 3.62; GPT 3.54; Claude 3.52) versus 3.24 for OpenEvidence and 3.17 for UpToDate — with the dedicated tools having 49% to 87% lower odds of receiving the highest clinician rating than Gemini. A detail that stings: on this stage, the dedicated tools performed comparably to Google’s AI Overview.
The correct reading
It is not “generalist beats specialized” in the abstract. It is that the product built and sold for clinical use fails to hold superiority precisely on the question type that matters most at the bedside — the unstructured query that arrives mid-shift. The “dedicated clinical tool” label, today, is no guarantee of better performance.
Precision that shields you among peers
Beware the headline “generalist AI beats FDA-cleared AI.” OpenEvidence and UpToDate Expert AI are clinical decision platforms — they are not themselves registered medical devices. What received FDA clearance in June 2026 was EchoNext (Pathway Labs), a structural-heart-disease detector on ECG that OpenEvidence began to integrate — a different thing from the answer tool the study measured. Repeating “FDA-cleared” about the wrong product is the kind of imprecision an attentive reviewer takes down.
CFM 2.454 in Practice
Published in the Official Gazette on February 27, 2026, the Resolution takes effect 180 days later — on August 26, 2026. It does not ban AI; it anchors responsibility. Three pillars matter for those working on the hospital floor:
Mandatory human mediation
Delegating the communication of diagnoses, prognoses, or therapeutic decisions to AI is prohibited. The physician reviews and validates before information reaches the patient. The final decision is always human.
Risk classification
Systems are categorized as low, medium, high, or unacceptable (Annex II), by impact on fundamental rights, model autonomy, and data sensitivity. Unacceptable-risk applications are simply incompatible with the norm — and the duty to classify falls on the institution, not the vendor.
Traceability in the medical record
AI use as decision support must be recorded, ensuring an auditable trail and legal security.
The detail almost no one read
The Resolution also works as a shield: the physician is not liable for a failure attributable exclusively to the system — provided diligent, critical, and ethical use is demonstrated. In other words, the medical-record entry is not bureaucracy; it is your legal protection. Documenting critical AI use shifts the burden of systemic failure to where it belongs.
The Dedicated-Tool Paradox
Put the two stories together and the picture is clear. The best-performing tool is the generalist LLM, which was not built for medicine. The tool with clinical pedigree — made, curated, and sold to physicians — is precisely the one Nature Medicine showed loses on real queries. Brazilian intensivists tend to use GPT-5.2 or Claude because they work, but do so in a governance vacuum: the generic model is not born with a clinical audit trail.
⚠ “Clinical pedigree” is no guarantee of superiority
Blindly trusting the “tool made for physicians” may mean using the option that scores lower on the question that matters. And using the superior generalist model without recording critical use may mean answering alone for a failure that is not yours. The balance is not in choosing between performance and compliance — it is in building compliance on top of performance.
Significant Supervision and Traceability
The most underestimated concept in the resolution is significant supervision. It reverses the burden of proof for safety: it is not enough to claim “there’s a human in the loop”; it must be proven that the human has real conditions to review — time, interface, clinical context, and the ability to audit what the AI proposed.
And here Nature Medicine’s own evidence reinforces the point: if the bottleneck is no longer the model’s raw capability, the differentiator becomes the governance layer around it. A generic chat shines in the answer but generates no auditable clinical log by default. That is exactly the gap CFM 2.454 forces to close.
The Timeline
From the norm’s publication to the benchmark that contradicts it
Why the calendar coincidence between Nature Medicine and CFM 2.454 defines the physician’s decision window.
What to Do on Monday
From regulatory theory to bedside conduct
Use AI at the Bedside with Clinical Rigor and Regulatory Coverage
The AIMED methodology develops physicians who use AI with critical rigor, regulatory awareness, and real clinical application — from prompt to record trail, with an implementation framework and applied cases. Get ready before August.
Discover AIMED →Final Considerations
The Nature Medicine benchmark is not a threat to the Brazilian physician. It is a mirror. It shows that raw capability has migrated to the generalist model — and, by contrast, illuminates what remains ours: judgment under uncertainty, responsibility for the concrete patient, and the ability to audit the tool itself.
Resolution 2.454 did not stop the future; it merely required that the future carry a signed name beneath it. And that name, by law and by merit, remains the physician’s.
💡 Connecting the Dots: CFM 2.454 ties the physician’s legal protection to traceability of critical use, while Nature Medicine shows the best tool is the one that offers that trail least by default. The physician-developer’s competitive edge lies exactly in that gap: building the traceability layer around the superior generalist model — capturing prompt, version, response, and human validation in the record — is what turns the most capable tool into the most defensible one. It is not choosing between performance and compliance; it is compliance engineering on top of performance. Whoever masters this first sets the standard for the public health system.
References
- General-purpose large language models outperform specialized clinical AI tools on medical benchmarks. Nature Medicine. 2026 Jun 23. Available at: https://www.nature.com/articles/s41591-026-04431-5
- Federal Council of Medicine (CFM). Resolution CFM No. 2,454, of February 11, 2026. Official Gazette 2026 Feb 27; Ed. 39, Sec. 1, p. 158. Available at: https://sistemas.cfm.org.br/normas/arquivos/resolucoes/BR/2026/2454_2026.pdf
- Federal Council of Medicine. CFM regulates AI use in medicine. Portal Médico. 2026. Available at: https://portal.cfm.org.br/noticias/cfm-normatiza-uso-da-ia-na-medicina/