prosim o radu: nechcem, aby sa mi do štatistiky MS analysis zaratávali návštevy robotov crawlers. Hlavne googleboot aj jeho
Crawler - Mozilla ma navštevuje stále. Urobila som aj opatrenie v robots.txt a to kodom User-agent: googlebot, Crawl-delay: 15, aby mi tam chodil len 15min.
Napriek tomu tam chodi stale.
Prečítala som , že známe sú štyri druhy robotov vyhľadávača Google a jedným z nich je práve tento môj, no on mi prechádza stránky, no ich neindixuje a má na starosti filtrovanie rôznych nepovolených (spam) techník ako cloacking. Pred nedávnom mi písal kamarát , že sa mi vôbec nedá poslať mail, že som na black list, potom to prestalo, no nerozumiem tomu, prečo ma nechodí pozerať iný googlebot ale práve tento, akoby som mala na webe nejaké nepovolené spamy, pritom o nicom neviem, resp. posielam niekedy oznámenia registr. členom.
Takže moje otázky: Ako zabrániť uvedenému Googlebotu , aby tam tak nechodil ked robots.txt som nastavovala a či to môže byť spôsobené tým rozosielanim emailov , alebo preco tam tak casto chodi a co mam teda robit?
Robots.txt som robila podla:
http://www.webring.sk/weblog/2005/08/03/googlebot-robot-vyhladavaca-google/
O googli robot som nasla tu:
http://pabi3.com/blog/seo-pouzivame-robots-txt/
Dakujem za radu prip. vysvetlenie.
Zpráva : MS-Analysis roboti
Přidej vlastní deníček