Google Atualiza Documentação sobre Crawlers e Fetchers Acionados pelo Utilizador

A Google fez uma série de atualizações na documentação dos seus crawlers e fetchers acionados pelo Utilizador, organizando o conteúdo em várias páginas e adicionando exemplos específicos de como esses crawlers afetam diferentes produtos da Google.

Agora, a documentação especifica de forma mais clara como cada crawler afeta produtos como o Google Search, Imagens, Vídeos e Notícias. Além disso, foram incluídos exemplos de snippets de robots.txt para cada tipo de crawler, ajudando os desenvolvedores a configurar suas políticas de indexação de forma mais eficaz.

A mudança também esclarece o papel de fetchers como o Google-InspectionTool, usado para ferramentas de teste de resultados ricos e inspeção de URLs no Google Search Console, e outros crawlers menos conhecidos, como o Google-Extended e o Google-Safety, que tratam de tarefas específicas como segurança e verificação de abuso.

Com essas novas adições, a Google facilita para os desenvolvedores a configuração de suas políticas de indexação e permite que gerenciem melhor como seus sites interagem com os produtos da Google. Os snippets de robots.txt fornecem exemplos práticos, tornando o processo de otimização mais acessível para todos os níveis de desenvolvedores.

Por que é importante?

Essas mudanças na documentação podem ajudar os proprietários de sites a entender melhor como configurar o comportamento dos crawlers da Google em seus sites e garantir que eles sejam indexados de maneira correta e eficiente. Ao ter acesso a exemplos de robots.txt específicos para cada crawler, os desenvolvedores podem adaptar suas configurações para melhorar o SEO e o desempenho nos motores de pesquisa da Google.

Em resumo, esta atualização fornece mais clareza e controle sobre como a Google indexa os sites, possibilitando uma melhor otimização do conteúdo e das políticas de rastreamento.