A forma como conteúdo e negócios são descobertos online está mudando rapidamente. No passado, o tráfego originava-se de mecanismos de busca tradicionais, e o SEO determinava quem era encontrado primeiro. Agora, o tráfego está cada vez mais vindo de crawlers e agentes de IA que exigem dados estruturados dentro da Web frequentemente não estruturada, que foi construída para humanos.
Como negócio, para continuar à frente, agora é o momento de considerar não apenas visitantes humanos, ou a sabedoria tradicional de otimização para SEO, mas começar a tratar agentes como cidadãos de primeira classe.
Por que o Markdown é importante
Alimentar HTML bruto para uma IA é como pagar por palavra para ler a embalagem em vez da carta que está dentro. Um simples “## About Us” em uma página em markdown custa aproximadamente 3 tokens; seu equivalente em HTML — <h2 class=”section-title” id=”about”>About Us</h2> — consome 12-15 tokens, e isso antes de contabilizar os wrappers <div>, barras de navegação e tags de script que preenchem cada página web real e têm zero valor semântico.
Este post de blog que você está lendo consome 16.180 tokens em HTML e 3.150 tokens quando convertido para markdown. Isso representa uma redução de 80% no uso de tokens.
O Markdown rapidamente se tornou a lingua franca para agentes e sistemas de IA como um todo. A estrutura explícita do formato o torna ideal para processamento por IA, resultando em melhores resultados enquanto minimiza o desperdício de tokens.
O problema é que a Web é feita de HTML, não de markdown, e o peso das páginas tem aumentado constantemente ao longo dos anos, tornando as páginas difíceis de analisar. Para agentes, o objetivo é filtrar todos os elementos não essenciais e escanear o conteúdo relevante.
A conversão de HTML para markdown é agora uma etapa comum para qualquer pipeline de IA. Ainda assim, esse processo está longe de ser ideal: desperdiça computação, adiciona custos e complexidade de processamento e, acima de tudo, pode não ser a forma como o criador do conteúdo pretendia que seu conteúdo fosse usado em primeiro lugar.
E se os agentes de IA pudessem contornar as complexidades da análise de intenção e conversão de documentos, e em vez disso recebessem markdown estruturado diretamente da fonte?
Converter HTML para Markdown, automaticamente
A rede da Cloudflare agora suporta conversão de conteúdo em tempo real na fonte, para zonas habilitadas usando cabeçalhos de negociação de conteúdo (content negotiation). Agora, quando sistemas de IA solicitam páginas de qualquer site que usa a Cloudflare e tem o Markdown for Agents habilitado, eles podem expressar a preferência por text/markdown na requisição. A rede da Cloudflare converterá automática e eficientemente o HTML para markdown, quando possível, em tempo real.
Veja como funciona. Para buscar a versão em markdown de qualquer página de uma zona com Markdown for Agents habilitado, o cliente precisa adicionar o cabeçalho de negociação Accept com text/markdown como uma das opções. A Cloudflare detectará isso, buscará a versão HTML original da origem e a converterá para markdown antes de servir ao cliente.
Aqui está um exemplo com curl usando o cabeçalho de negociação Accept solicitando uma página da documentação de desenvolvedores da Cloudflare:
curl https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/ -H "Accept: text/markdown"
Ou, se você está construindo um AI Agent usando Workers, pode usar TypeScript:
const r = await fetch(`https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/`, { headers: { Accept: "text/markdown, text/html" } }); const tokenCount = r.headers.get("x-markdown-tokens"); const markdown = await r.text();
Alguns dos agentes de codificação mais populares hoje — como Claude Code e OpenCode — já enviam esses cabeçalhos accept com suas requisições de conteúdo. Agora, a resposta a essa requisição é formatada em markdown. É simples assim.
Note que incluímos um cabeçalho x-markdown-tokens com a resposta convertida que indica o número estimado de tokens no documento markdown. Você pode usar esse valor no seu fluxo, por exemplo, para calcular o tamanho de uma janela de contexto ou para decidir sua estratégia de chunking.
Política de Content Signals
Durante a última Birthday Week, a Cloudflare anunciou o Content Signals — um framework que permite a qualquer pessoa expressar suas preferências sobre como seu conteúdo pode ser usado após ter sido acessado.
Quando você retorna markdown, quer garantir que seu conteúdo está sendo usado pelo agente ou crawler de IA. Por isso, as respostas convertidas pelo Markdown for Agents incluem o cabeçalho Content-Signal: ai-train=yes, search=yes, ai-input=yes, sinalizando que o conteúdo pode ser usado para treinamento de IA, resultados de busca e input de IA, o que inclui uso agêntico. O Markdown for Agents fornecerá opções para definir políticas personalizadas de Content Signal no futuro.
Consulte a página dedicada do Content Signals (contentsignals.org) para mais informações sobre este framework.
Experimente com o Blog e a Documentação de Desenvolvedores da Cloudflare
Habilitamos esse recurso na Documentação de Desenvolvedores (developers.cloudflare.com) e no Blog (blog.cloudflare.com), convidando todos os crawlers e agentes de IA a consumir nosso conteúdo usando markdown em vez de HTML.
Experimente agora solicitando este blog com Accept: text/markdown.
curl https://blog.cloudflare.com/markdown-for-agents/ -H "Accept: text/markdown"
Outras formas de converter para Markdown
Se você está construindo sistemas de IA que exigem conversão arbitrária de documentos fora da Cloudflare ou o Markdown for Agents não está disponível na fonte de conteúdo, fornecemos outras formas de converter documentos para markdown para suas aplicações:
Workers AI AI.toMarkdown() suporta múltiplos tipos de documentos, não apenas HTML, e sumarização.
Browser Rendering /markdown REST API suporta conversão para markdown se você precisa renderizar uma página dinâmica ou aplicação em um navegador real antes de convertê-la.
Acompanhamento do uso de markdown
Antecipando uma mudança na forma como sistemas de IA navegam pela Web, o Cloudflare Radar agora inclui insights de tipo de conteúdo para tráfego de bots e crawlers de IA, tanto globalmente na página AI Insights quanto nas páginas de informações de bots individuais.
A nova dimensão e filtro content_type mostra a distribuição de tipos de conteúdo retornados para agentes e crawlers de IA, agrupados por categoria de tipo MIME.
Você também pode ver as requisições por markdown filtradas por um agente ou crawler específico. Aqui estão as requisições que retornam markdown para o OAI-Searchbot, o crawler usado pela OpenAI para alimentar a busca do ChatGPT.
Esses novos dados nos permitirão acompanhar a evolução de como bots, crawlers e agentes de IA estão consumindo conteúdo da Web ao longo do tempo. Como sempre, tudo no Radar é acessível gratuitamente por meio das APIs públicas e do Data Explorer.
Comece a usar hoje
Para habilitar o Markdown for Agents para sua zona, faça login no painel da Cloudflare (dashboard), selecione sua conta, selecione a zona, procure por Quick Actions e ative o botão Markdown for Agents. Este recurso está disponível hoje em Beta sem custo adicional para planos Pro, Business e Enterprise, bem como para clientes SSL for SaaS.
Você pode encontrar mais informações sobre o Markdown for Agents na Documentação de Desenvolvedores. Agradecemos seu feedback enquanto continuamos a refinar e aprimorar este recurso. Estamos curiosos para ver como crawlers e agentes de IA navegam e se adaptam à natureza não estruturada da Web conforme ela evolui.
O que essa novidade significa para empresas — e como a WebSIA atua
O lançamento do Markdown for Agents pela Cloudflare sinaliza uma mudança estrutural na forma como conteúdo web será consumido nos próximos anos. Para empresas que dependem de presença digital — e-commerce, portais de serviço, plataformas SaaS —, garantir que seus sites sejam interpretáveis não apenas por humanos, mas por agentes de IA, deixou de ser uma vantagem competitiva e passou a ser requisito operacional. A redução de 80% no consumo de tokens ao servir markdown em vez de HTML impacta diretamente custos de integração com pipelines de IA e a qualidade das respostas geradas por assistentes e buscadores inteligentes.
O cenário de descoberta de conteúdo está se fragmentando. Além dos mecanismos de busca tradicionais, agentes autônomos, assistentes de codificação e crawlers de IA representam uma fatia crescente do tráfego qualificado. Empresas que não adaptarem sua infraestrutura web para atender a esses novos consumidores de conteúdo correm o risco de perder visibilidade em um ecossistema onde a otimização para máquinas é tão importante quanto a otimização para pessoas. O framework de Content Signals, integrado ao Markdown for Agents, adiciona uma camada de governança sobre como o conteúdo pode ser utilizado — um aspecto crítico para organizações preocupadas com propriedade intelectual e compliance.
A WebSIA atua como parceira estratégica na implementação e configuração das soluções Cloudflare, incluindo a habilitação do Markdown for Agents em conjunto com WAF, CDN e proteção DDoS já em operação. A ativação do recurso exige planejamento: é necessário avaliar quais zonas e domínios devem ser habilitados, definir políticas de Content Signals adequadas à estratégia de conteúdo da empresa, e garantir que a conversão automática funcione corretamente com a estrutura HTML existente do site.
Tecnologias como Markdown for Agents funcionam melhor quando integradas a uma arquitetura de segurança e performance já bem configurada. A WebSIA garante que a habilitação desse recurso ocorra dentro de um contexto de governança clara, com monitoramento via Cloudflare Radar e alinhamento às políticas de uso de conteúdo definidas pela organização. Cloudflare News
Converse com um especialista da WebSIA sobre como preparar sua infraestrutura web para a era dos agentes de IA
