Je SeznamBot k ničemu (k hovnu) ?
22. December 2007
Řekněme, že spustíte legitimní projekt větších rozměrů, taktak se vejdete do “normy” sitemap.xml (tj. 50k url). Projekt bude v češtině, je vzásadě jedno jestli je na tom kvalitativně dobře či špatně, to pro crawler nehraje roli, ostatně ani nemůže pokud stránku vživotě neviděl. Pustíte do světa pár celkem nevýznamných odkazů jen aby vás binary monkeys našli, splácáte dohromady sitemap a skouknete jestli někde něco nepřebejvá/nechybí, finálně ještě vyplníte formuláře kde to jde. Pak si uvaříte kafe…pustíte porno nebo ještě líp jedno s kamarádkou natočíte. Po pár dnech, řekněme čistě teoreticky po deseti, se mrknete jak si vlastně stojíte vkládajíce velké naděje do seznamu, přec váš superprojekt je výhradně pro české bfu a těm seznam vládne. Jednoduchým skriptíkem pak z logu vyparsujete vše potřebné a to:
Pokud to chcete číselně Googlebot - 1582, morfeo.centrum - 49, Yahoo! Slurp - 15, SeznamBot 3. Nutno podotknout, že je to počet přístupů na jednotlivé stránky nikoliv unikátní. Pokud bychom dělali statistiku indexování unikátních stránek tak s ostatníma to takřka nehne, akorát seznambot končí na jedné stránce a to indexu(!). Co víc, v absolutních číslech ho předběhlo i kvantitativně nepotřebné Centrum s morfeem (o yahoo nemluvě), ach, kam ten svět spěje. Objevilo se vůbec nějaké znatelné zlepšení po nasazení seznambota 2.0 ? Osobně jsem žádnou chválu neslyšel a to už na ní času bylo dost, ale samochvály že “jsme lepší než google” už jsem slyšel dost… a v tomhle desetidenním intermezzu už mi od toho “horšího” googlu začínají chodit první lidi.
ps: pokud by někdo chtěl ten propírač logů ;)
#!/usr/bin/perl
use strict;
my $file = shift;
my %se;
open IN, $file or die $!;
while (<IN>) {
$se{$1}++ if($_ =~ m{((Googlebot|Yahoo\! SmW'6W&G&fV6VG'VҒ֒bbEײ&&G2GG6FVғЧЦ66R⓰РЦf"6'BG6WF'G6WFW2W6RТ&B"G6WEBE#Ч
23 December, 2007 [12:31 am]
Mam trochu jinou zkusenost - treba stranky na nasem freewebu seznam indexuje celkem rychle a robot chodi prakticky dvakrat casteji nez google.
data za 21.12.2007
SeznamBot/2.0 - 96928
Yahoo - 91195
Googlebot - 49421
Morfeo - 13401
23 December, 2007 [1:09 am]
jasně…ona situace u Tebe bude asi jiná, je pravda, že se zaběhnutýma projektama žádný problém není. Nicméně tahle liknavost právě v “záběhu” i kdybych měl jakkoliv unikátní obsah mi trošku sere a imho i pro seznam je trošku neproduktivní
9 January, 2008 [3:49 pm]
no u mne po dlouhe dobe zabehu, jsem ted zacal stranky registrovat u vyhledavacu… a… google denne, yahoo denne, morfeo co druhy den… seznam… nikde, atlas nikde… (i kdyz mne zobrazuje v katalogu firem), seznam se neobtezuje ani zaradit do katalogu firem…. co si o tom myslet (vsude jsem vyplnil dotaznik pro boty… nebo aspon pro registraci do katalogu firem…) odpovedi prosim na mail…
9 January, 2008 [3:50 pm]
jo vite o nejakych botech kterym se da jeste nacpat???
11 January, 2008 [1:28 pm]
Mohu jen potvrdit Baz-uv nazor..
15 June, 2008 [9:44 pm]
ja mam taky zkusenost ze seznam je k nicemu. zvladl 1 stranku a google 192