Google Bot não entra no site, veja como resolver

Pessoal, estou de volta. Ainda quebrado por causa de uma virose violentíssima, que contraí do meu sogro. A parada me nocauteou como raramente outra doença conseguiu. Felizmente eu só fico gripado muito raramente. Devo pegar um resfriado a cada 4 anos ou coisa assim. Tem tanto tempo que não fico gripado que nem me lembro da última vez que fiquei mal assim.

Seja como for, hoje é o último dia dessa porcaria. A dor no corpo cedeu, a febre sumiu e só ficou a tosse.

Engraçado isso, porque a sensação que eu tinha era que o blog também ficou doente junto. Como vocês sabem, o Mundo Gump passou por um problema sério nos últimos dias. Do nada ele sumiu do Google. Mais de 3000 posts tinham desaparecido de uma hora para outra. Quando você tem um site só por diversão, isso não é um problema lá tão sério, mas quando você está planejando a sério viver desse trabalho, é mais ou menos como ser demitido sumariamente, sem nem saber porque. E o pior, sem FGTS ou seguro desemprego!

A queda nas visitas

Eu não tinha, até aquele momento a dimensão do quão dependente do buscador o blog era. Apesar de saber que existe uma massa gigante de gente que converteu a pagina do google na sua pagina inicial, eu fiquei impressionado com o crowd que entrava pelo buscador. Assim, quando este site sumiu do buscador, o monte de gente simplesmente ia para outros sites. Isso resultou num grave prejuízo financeiro, embora eu estivesse muito mais preocupado com o futuro do site.  Ao longo do período da crise conversei com muitas pessoas mais experientes, e as noticias não eram nada animadoras. Eu descobri que o Google tem o hábito de punir certos sites, e quando isso acontece, não há aviso nem canal de comunicação com o webmaster, mesmo quando o site é membro do sistema de monetização do próprio Google, o Google Adesense.

Então, se algo assim acontecer com seu site, é possível que ele tenha sido penalizado. E caberá unicamente a você descobrir o motivo disso. Então, mais cedo ou mais tarde, você acaba chegando  na central do webmaster. Um forum do Google onde as pessoas reportam problemas e tentam se ajudar na medida do possível.

O pior de tudo é que são tantos casos de sites sendo penalizados e por tantos motivos diferentes, que você descobre o pesadelo dentro do pesadelo. Todo mundo quer resolver o problema, mas se você não sabe qual é o problema, a coisa fica bem difícil, né?

A primeira coisa a fazer é entrar no Google Webmaster Tools. Todo site que se preze, tem que ter uma conta lá. Se você não tem, está cometendo o erro numero um. Resolva isso criando uma conta, e adicione seus sites lá.

Ali estarão uma série enorme de informações interessantes sobre o seu site, como as palavras que atraem mais visitas, as paginas que o robô do google não conseguiu entrar, o tempo que o site leva pra abrir, o link de envio do sitemap, etc.

Foi por ali que eu descobri que o sintoma do meu problema era muito estranho. Simplesmente o google parou de ver meu sitemap. Pensei que fosse talvez um erro de validação do sitemap. Usei então este validador de sitemap para saber se era isso. Mas não era. Validava direitinho.

Em erros de rastreamento tinha uns 4000 erros diversos.
O mais estranho é que no meio do caminho, algumas paginas apareciam no google. Depois sumiam, e eram substituídas por outras. Nessa fase, eu comecei a desconfiar que talvez o sistema do Google estivesse bugado.
O Google Webmaster Tools me dizia que o Google não conseguia achar o sitemap do Mundo Gump. Mas ele estava lá e eu conseguia acessar normal. Então comecei a desconfiar que talvez algo estivesse impedindo o robô do google de acessar o sitemap.

Havia um bloqueio em algum lugar. Eu conversei com o Janio da Porto Fácil, onde o Mundo Gump está hospedado. O Janio verificou e me disse que não tinha este tipo de problema com nenhum outro cliente. Ele verificou o firewall e viu que o Google não estava sendo bloqueado no server.

Aquilo era bastante estranho. Eu voltei ao Webmaster Tools e usei um complemento dele que fica na aba Google Labs, que se chama “Buscar com o Googlebot”. No caso, você pode escolher um endereço qualquer do seu site e mandar o robô do Google entrar lá. Ele vai entrar e vai gravar tudo que conseguir ver. Aí ele te mostra. É um recurso super útil. Foi graças a este recurso que eu constatei definitivamente que o site estava mesmo bloqueando o robô do Google, pois após mandar o google bot lá ele retornou o erro “falha”.

Eu encasquetei que era realmente um bloqueio no server. Pedi ao Janio que mudasse o meu blog de maquina, para testar se era mesmo isso. O Janio fez melhor. Mudou o blog não apenas de maquina, mas de datacenter.

Mas o problema continuou.

Aí a coisa ficou realmente estranha, pois o problema mudou junto com meu blog. Aquilo não fazia sentido.

Eu estava nesta etapa do problema quando o meu amigo Náiron me mandou um email contando que já tinha passado por algo semelhante. O caso dele era igualzinho o meu.

O Náiron disse que solucionou o problema dele quando descobriu que o firewall do site dele estava bloqueando o google bot. Até então, eu desconhecia que eu tinha um firewall no meu site. Eu achava que só o server tivesse um. Mas eu tinha. O Náiron me ensinou como consertar.  Tudo que precisei fazer foi entrar no Gerenciador de Webhost. ( acesse www.seudominio.com:2086 )

Em Plugins > ConfigServer Security & Firewall. Ali dentro eu acessei o csf – ConfigServer Firewall. Alid entro tem uma opção chamada FIREWALL ALLOW IPS (que indica uma lista branca pra colocarmos o Google).

O Náiron me mandou uma lista de Ips do Google. Aqui está:

209.185.108
209.185.253
209.85.238
209.85.238.11
209.85.238.4
216.239.33.96
216.239.33.97
216.239.33.98
216.239.33.99
216.239.37.98
216.239.37.99
216.239.39.98
216.239.39.99
216.239.41.96
216.239.41.97
216.239.41.98
216.239.41.99
216.239.45.4
216.239.51.96
216.239.51.97
216.239.51.98
216.239.51.99
216.239.53.98
216.239.53.99
216.239.57.96
216.239.57.97
216.239.57.98
216.239.57.99
216.239.59.98
216.239.59.99
216.33.229.163
64.233.173.193
64.233.173.194
64.233.173.195
64.233.173.196
64.233.173.197
64.233.173.198
64.233.173.199
64.233.173.200
64.233.173.201
64.233.173.202
64.233.173.203
64.233.173.204
64.233.173.205
64.233.173.206
64.233.173.207
64.233.173.208
64.233.173.209
64.233.173.210
64.233.173.211
64.233.173.212
64.233.173.213
64.233.173.214
64.233.173.215
64.233.173.216
64.233.173.217
64.233.173.218
64.233.173.219
64.233.173.220
64.233.173.221
64.233.173.222
64.233.173.223
64.233.173.224
64.233.173.225
64.233.173.226
64.233.173.227
64.233.173.228
64.233.173.229
64.233.173.230
64.233.173.231
64.233.173.232
64.233.173.233
64.233.173.234
64.233.173.235
64.233.173.236
64.233.173.237
64.233.173.238
64.233.173.239
64.233.173.240
64.233.173.241
64.233.173.242
64.233.173.243
64.233.173.244
64.233.173.245
64.233.173.246
64.233.173.247
64.233.173.248
64.233.173.249
64.233.173.250
64.233.173.251
64.233.173.252
64.233.173.253
64.233.173.254
64.233.173.255
64.68.90.1
64.68.90.10
64.68.90.11
64.68.90.12
64.68.90.129
64.68.90.13
64.68.90.130
64.68.90.131
64.68.90.132
64.68.90.133
64.68.90.134
64.68.90.135
64.68.90.136
64.68.90.137
64.68.90.138
64.68.90.139
64.68.90.14
64.68.90.140
64.68.90.141
64.68.90.142
64.68.90.143
64.68.90.144
64.68.90.145
64.68.90.146
64.68.90.147
64.68.90.148
64.68.90.149
64.68.90.15
64.68.90.150
64.68.90.151
64.68.90.152
64.68.90.153
64.68.90.154
64.68.90.155
64.68.90.156
64.68.90.157
64.68.90.158
64.68.90.159
64.68.90.16
64.68.90.160
64.68.90.161
64.68.90.162
64.68.90.163
64.68.90.164
64.68.90.165
64.68.90.166
64.68.90.167
64.68.90.168
64.68.90.169
64.68.90.17
64.68.90.170
64.68.90.171
64.68.90.172
64.68.90.173
64.68.90.174
64.68.90.175
64.68.90.176
64.68.90.177
64.68.90.178
64.68.90.179
64.68.90.18
64.68.90.180
64.68.90.181
64.68.90.182
64.68.90.183
64.68.90.184
64.68.90.185
64.68.90.186
64.68.90.187
64.68.90.188
64.68.90.189
64.68.90.19
64.68.90.190
64.68.90.191
64.68.90.192
64.68.90.193
64.68.90.194
64.68.90.195
64.68.90.196
64.68.90.197
64.68.90.198
64.68.90.199
64.68.90.2
64.68.90.20
64.68.90.200
64.68.90.201
64.68.90.202
64.68.90.203
64.68.90.204
64.68.90.205
64.68.90.206
64.68.90.207
64.68.90.208
64.68.90.21
64.68.90.22
64.68.90.23
64.68.90.24
64.68.90.25
64.68.90.26
64.68.90.27
64.68.90.28
64.68.90.29
64.68.90.3
64.68.90.30
64.68.90.31
64.68.90.32
64.68.90.33
64.68.90.34
64.68.90.35
64.68.90.36
64.68.90.37
64.68.90.38
64.68.90.39
64.68.90.4
64.68.90.40
64.68.90.41
64.68.90.42
64.68.90.43
64.68.90.44
64.68.90.45
64.68.90.46
64.68.90.47
64.68.90.48
64.68.90.49
64.68.90.5
64.68.90.50
64.68.90.51
64.68.90.52
64.68.90.53
64.68.90.54
64.68.90.55
64.68.90.56
64.68.90.57
64.68.90.58
64.68.90.59
64.68.90.6
64.68.90.60
64.68.90.61
64.68.90.62
64.68.90.63
64.68.90.64
64.68.90.65
64.68.90.66
64.68.90.67
64.68.90.68
64.68.90.69
64.68.90.7
64.68.90.70
64.68.90.71
64.68.90.72
64.68.90.73
64.68.90.74
64.68.90.75
64.68.90.76
64.68.90.77
64.68.90.78
64.68.90.79
64.68.90.8
64.68.90.80
64.68.90.9

Coloquei estes Ips na lista de ips permitidos e depois entrei em FLUSH ALL BLOCKS. Isso deleta todos os ips bloqueados no seu site. Se um ip do google estiver na boleira, ele vai pro ralo, e se este ip estiver nessa lista aí em cima, ele nunca mais volta a ser bloqueado no site.
Depois de ter feito isso, eu reenviei o sitemap do blog ao Google Webmaster Tools e finalmente funcionou. Ele achou meu sitemap.

Eu não sei dizer se este é o fim da novela. Hoje pela manhã o site aparentemente voltou à busca orgânica do jeito que estava antes. Vou esperar e acompanhar para ver se o gráfico de visitas vai voltar ao que era antes dessa crise. Também espero que a despencada no meu Pagerank, que já foi 5 e agora ficou em 3 se resolva logo. Agora pretendo obter ajuda de um especialista de SEO para verificar o Everest de erros no GWT.

Seja como for, eu preciso deixar meus agradecimentos a uma montanha de amigos que me ajudaram dando dicas e sugerindo soluções. Agradeço ao Janio, da Porto Fácil que não poupou esforços para me ajudar a resolver o problema, ao Náiron do El Micox, que passou por este perrengue antes e me ajudou a descobrir o que fazer, ao Carlos Carvalho do Iftk, ao Pedro Guedes, ao Allan Vital, ao Gilberto Knuttz, do Uêba, ao Cleiton, ao Kentaro Mori do Ceticismo Aberto, ao Eden do Um Passinho a frente , ao Helio Bentzen, ao Richard Placido e tantas outras pessoas que me mandaram dicas e ideias do que poderia ser feito, e também à aquelas que apenas mandaram mensagens de apoio pelo email, twitter e facebook.

Related Post

38 comentários em “Google Bot não entra no site, veja como resolver”

  1. Legal Philipe, fico feliz que esteja tudo voltando à normalidade, pois, para nós, leitores assíduos, foi muito triste imaginar o fim do blog. Acesso o Mundo Gump todo dia e me considero dependente dele. Lendo suas histórias, tenho a sensação que somos amigos de infância, acho que porque crescemos na mesma época e tivemos muitas experiências parecidas.
    Vida longa à você e ao Mundo Gump.

  2. Que legal Philipe! Fico feliz pelo problema ter se resolvido!

    Quanto à gripe, eu também sou assim… é difícil pegar uma, mas quando pego e me derruba… horrível!

    Um grande abraço.

  3. Pô cara, não senti o entusiasmo todo!!!

    Talvez você não esteja suficientemente elucidado da proporção do problema que resolveu, talvez ainda esteja muito furioso por isso ter acontecido… ou ou talvez você só esteja doente mesmo

    em todos os casos, meus parabéns

    vou procurar o mundo gump no google agora ahaha

    • É que… Bem, eu não tenho certeza absoluta, tipo 100% de que as coisas voltarão logo ao estágio que estavam quando deu o merdelhê. Mas só de saber qual era o problema foi um puta dum alívio mesmo.

    • Eu tô naquela fase em que o bicho feioso começa a sair do Pântano… Ainda sinto dor em tudo que é canto, mas a febre sumiu e só ficou a tosse de cachorro de rodoviária.

  4. Voltou dos mortos em Philipe? (lembrete: Preciso parar de ler historias de zumbis e fazer piadinhas idiotas q). Fico feliz em ver o site de volta ao google, qualquer um em sua situação ficaria irritado com os acontecimentos. Mas agora que tudo esta resolvido (esperamos), que o Mundo Gump continue a crescer e ganhar espaço o//
    Ps: Bom saber que você se sente melhor rapaz

    • Pois é… Tem hora que me dá uma tonteira, acho que é o labirinto cheio de muco, hahaha. Se eu fosse um super herói eu seria o “homem muco”! Ou talvez “Capitão catarro”!

  5. Rapaz, se não fosse pelo seu problema + solução, nunca teria passado pela minha cabeça ir lá olhar o Webmaster e ver como andavam as infos do meu site. Descobri que o google não conseguia ler o sitemap que estava lá.

    Minha solução foi trocar o atual (página do wordpress/html) pela versão em XML (que é a recomendada pelo google).

    Um super abraço e boa sorte para nós!,

    .faso

    • Pois é. Esse lance é fogo. Tem que ficar indo sempre lá, ver se está tudo bem… É tipo aqueles cuidados que mãe tem com recém nascido, que acorda no meio da madruga só pra ir ver se o bebê tá respirando…

  6. Fico feliz pelo Mundo Gump voltar a todo vapor, pois adoro este site pelo seu carácter multifacetado. Não sou um comentador, mas sou um apreciador dos conteúdos, e este gosto pelo site tem sido passado para os meus amigos que também apreciam o site com alguma assiduidade.

    Felicidades e Parabéns pela genuínidade Philipe.

    Abraços de Faro, Portugal.

  7. Olha, tem uma coisa que ue já tava pra comentar faz um tempo, também. esses dias eu quis mostrar pra uns amigos as fotos de bichos estranhos que você volta e meia posta… mas não consigo abrir nenhuma categoria, selecionando lá por “categorias”! Como foi uma coisa que ue só tentei fazer recentemente (e antes dava certo) eu pensei que fosse desse problema do google (não me julgue se eu estiver MUITO errada, eu não saco nada de computadores).
    Mas você disse que consertou e continua sem funcionar. Será que tem jeito? Era muito útil pra mim. =B

    • Valeu por informar, Rayssa. Eu investiguei aqui e descobri que depois que eu coloquei a pagina de arquivos, o menu parou de funcionar porque é redundante. Então eu arranquei este menu. As categorias estão na pagina de arquivo, que você acessa pelo menu do blog, ali na barra perto do logo.

  8. Olá Philipe! Ainda bem que aparentemente tudo se resolveu, eu ficaria bem triste se o Mundo Gump acabasse, ainda mais porque comecei a frequentar o mundo dos blogs depois de conhecer o mundo Gump, o que me motivou a ter um blog também. Sou fã do teu trabalho, e continua assim cara!

  9. Cara, tu ñ fazes ideia de como eu fiquei qndo tu disse q o Mundo Gump podia acabar.
    Eu fiquei maluco, pq sempre q eu entro na net em algum canto, uma das minhas paradas obrigatórias é o MG. Comecei qndo o meu velho me mostrou o post do Homem Árvore, e comecei a ler os posts. O meu gosto por isso aqui foi evoluindo.
    Comecei a frequentar assiduamente. Acesso a net quase todos os dias e sempre venho visitar o Mundo Gump. Eu me tornei oficialmente um viciado.

    Aí tu chega e diz q o Mundo Gump ia acabar?!? Eu quase tive um infarto!

    Mas graças ao Grande Arquiteto, tudo voltou ao normal (eu acho) e o Mundo Gump continuou. Eu fiquei aliviado.

    Philipe, continue com o Mundo Gump. Você tem muitos fãs, e ñ pode deixá-los.

    VAI COM TUDO, E QUE O SENHOR TE AJUDE NESSA AVENTURA!

    • Valeu mesmo, cara. Eu vou em frente. Mas eu nunca disse que o blog ia acabar, foram os leitores que interpretaram isso. Eu disse que a situação era tão frustrante que dava vontade de acabar com tudo, que era desmotivador.

  10. o meu blog é do blogger, e como faço para desbloquear o firewall do blogger, pois tive uma queda drástica de 3000 visitas por dia para 400. me ajude Por favor!

  11. Quero trabalhar,como faço,não quero ficar rica,só quero uma base de sobrevivência,pois no momento não posso trabalhar fora,tenho dois filhos pequenos.Gostaria de receber as instruções .Mande respostas,meu imail é:
    [email protected] .

Deixe um comentário

Esse site utiliza o Akismet para reduzir spam. Aprenda como seus dados de comentários são processados.

shares