Como Bloquear Bots e Melhorar o Desempenho do Seu Site: Dicas da Google

Recentemente, a Google divulgou novas orientações sobre como bloquear bots e melhorar o desempenho dos sites. Estes insights são cruciais para administradores de sites que procuram proteger suas plataformas contra tráfego indesejado e otimizar a experiência do utilizador. Neste artigo, exploramos as principais recomendações da Google e como implementá-las para obter um site mais seguro e rápido.

Os bots ou crawlers, que são programas automatizados que acedem aos sites com diversas finalidades, podem ter um impacto significativo no desempenho do seu site. Alguns bots são utilizados para realizar tarefas legítimas, como indexação de conteúdo pelos motores de pesquisa, enquanto outros podem causar problemas, como sobrecarregar servidores ou extrair dados sensíveis.

Para bloquear bots indesejados, a Google recomenda várias abordagens:

• Utilização do robots.txt: Configure o arquivo robots.txt no seu site para indicar aos bots quais páginas devem ou não ser indexadas. Esta ferramenta ajuda a controlar o acesso e a reduzir a carga no seu servidor.
• Implementação de Captchas: Utilize Captchas para verificar que os visitantes são humanos antes de permitir o acesso a certas áreas do seu site. Isso pode prevenir que bots automatizados realizem ações indesejadas.
• Configuração de Firewalls: Utilize firewalls de aplicações web (WAF) para identificar e bloquear tráfego suspeito e malicioso. Esta camada adicional de segurança pode proteger o seu site contra ataques e tráfego indesejado.
• Monitorização de Tráfego: Monitorize o tráfego do seu site para identificar padrões de bots. Ferramentas de análise e relatórios podem ajudar a detectar comportamentos anormais e a ajustar as suas regras de bloqueio conforme necessário.
• Restrições por IP: Bloqueie endereços IP conhecidos por originarem tráfego de bots. Embora esta abordagem possa ser eficaz, deve ser usada com cuidado para evitar bloquear também tráfego legítimo.

Além de bloquear bots, a Google também forneceu orientações para melhorar o desempenho do seu site. Um desempenho otimizado é crucial para a experiência do utilizador e pode impactar positivamente o ranking nos motores de pesquisa.

Algumas das recomendações incluem:

• Otimização do Tempo de Carregamento: Reduza o tempo de carregamento das páginas através da compressão de imagens, minimização de arquivos CSS e JavaScript, e implementação de técnicas de cache eficientes.
• Utilização de Rede de Distribuição de Conteúdo (CDN): Implementar uma CDN pode distribuir o conteúdo do seu site por diversos servidores ao redor do mundo, reduzindo o tempo de carregamento e melhorando a performance.
• Melhoria da Experiência do Utilizador: Garanta que o seu site seja responsivo e otimizado para dispositivos móveis. Uma boa experiência do utilizador pode reduzir a taxa de rejeição e melhorar o engajamento.
• Análise de Performance: Utilize ferramentas de análise de desempenho para monitorizar e identificar áreas que necessitam de melhoria. Acompanhando regularmente o desempenho, pode ajustar e otimizar a performance do seu site de forma contínua.

Seguindo estas orientações da Google, poderá proteger o seu site contra bots indesejados e melhorar significativamente o seu desempenho. Implementar medidas eficazes de segurança e otimização pode garantir uma experiência mais rápida e segura para os seus utilizadores.

A BYDAS pode também contribuir para esta causa e listar um conjunto de bots que classificamos como muito problemáticos:

• libwww-perl: Frequentemente associado a atividades maliciosas, incluindo ataques automatizados como scraping, tentativas de login por força bruta e roubo de dados.
• HTTrack: Um copiador de websites conhecido que pode clonar websites inteiros, frequentemente utilizado para scraping não autorizado.
• MJ12bot: Conhecido por uma rastreabilidade agressiva, este bot pode consumir recursos significativos do servidor e é frequentemente visto como intrusivo.
• AhrefsBot: Embora seja utilizado por uma ferramenta SEO legítima, o AhrefsBot é conhecido pela sua rastreabilidade agressiva, o que pode sobrecarregar os recursos do servidor.
• DotBot: Semelhante ao AhrefsBot, está associado a atividades de SEO, mas pode ser excessivamente agressivo, levando a um alto consumo de recursos.
• MegaIndex.com: Outro bot de SEO com uma reputação de comportamento agressivo e intrusivo durante a rastreabilidade.
• Baiduspider: O bot para o motor de busca chinês Baidu é conhecido pela sua rastreabilidade agressiva e por vezes indesejada.
• YandexBot e YandexMobileBot: Estes bots do motor de busca russo Yandex são frequentemente sinalizados por rastreabilidade agressiva, levando a um elevado consumo de recursos.
• CensysInspect e Censys: Utilizados para escaneamento em toda a internet, o que pode ser intrusivo e potencialmente prejudicial dependendo do seu propósito.
• zgrab: Parte do projeto ZMap, utilizado para escaneamento e reconhecimento, o que pode ser um precursor de ataques.
• NetcraftSurveyAgent: Conhecido pelo escaneamento web, este bot pode ser intrusivo e frequentemente é bloqueado por administradores de sites preocupados com a segurança.

Atualmente estamos também a monitorizar de perto um bot da Amazon (amazonbot) que verificamos que tem um comportamento muito persistente o que pode provocar muito consumo de tráfego, logo, tornar o seu website muito lento. Contudo, ainda não estamos em condições de o colocar na nossa black list.
De recordar que os nossos websites sob tecnologia Typething possuem 3 camadas de segurança (WAF) que permitem mitigar muitos dos problemas aqui repostados:

• Filtro a nível de servidor via .htaccess;
• Filtro a nível de processamento (PHP);
• Filtro a nível de pós-processamento (PHP);