Google Atualiza Documentação sobre Crawlers e Fetchers Acionados pelo Utilizador
26. 9. 2024
A Google atualizou a documentação dos seus crawlers e fetchers, fornecendo mais detalhes sobre produtos afetados e exemplos de robots.txt. Saiba como essas mudanças podem impactar o SEO e a configuração de sites.
A Google fez uma série de atualizações na documentação dos seus crawlers e fetchers acionados pelo Utilizador, organizando o conteúdo em várias páginas e adicionando exemplos específicos de como esses crawlers afetam diferentes produtos da Google.
Agora, a documentação especifica de forma mais clara como cada crawler afeta produtos como o Google Search, Imagens, Vídeos e Notícias. Além disso, foram incluídos exemplos de snippets de robots.txt para cada tipo de crawler, ajudando os desenvolvedores a configurar suas políticas de indexação de forma mais eficaz.
A mudança também esclarece o papel de fetchers como o Google-InspectionTool, usado para ferramentas de teste de resultados ricos e inspeção de URLs no Google Search Console, e outros crawlers menos conhecidos, como o Google-Extended e o Google-Safety, que tratam de tarefas específicas como segurança e verificação de abuso.
Com essas novas adições, a Google facilita para os desenvolvedores a configuração de suas políticas de indexação e permite que gerenciem melhor como seus sites interagem com os produtos da Google. Os snippets de robots.txt fornecem exemplos práticos, tornando o processo de otimização mais acessível para todos os níveis de desenvolvedores.
Por que é importante?
Essas mudanças na documentação podem ajudar os proprietários de sites a entender melhor como configurar o comportamento dos crawlers da Google em seus sites e garantir que eles sejam indexados de maneira correta e eficiente. Ao ter acesso a exemplos de robots.txt específicos para cada crawler, os desenvolvedores podem adaptar suas configurações para melhorar o SEO e o desempenho nos motores de busca da Google.
Em resumo, esta atualização fornece mais clareza e controle sobre como a Google indexa os sites, possibilitando uma melhor otimização do conteúdo e das políticas de rastreamento.
googlecrawlersdocumentaçãoexemplosGooglefetchersSEOrobots.txtGooglebotatualização de documentação
