Vienas mano "prižiūrimas" magento shopas gauna trafiką išsipūtusi - kai
kuriais mėnesiais kyla iki 40GB (toks traffic limitas), kitais
atsitiktinai mažiau gaunas. Tikrų lankytojų ten dešimtim skaičiuojama
per mėnesį.
Vienintelė metrika, kurioje tas trafikas atsispindi AwStatsuose prie botų:
Unknown robot (identified by 'bot' followed by a space or one of the
following characters _+:,.;/\-) 1,000,529 33.43 GB
Bandžiau su htaccesu nežinomus botus užkišt, bet arba neveikia, arba per
durnas:
RewriteCond %{HTTP_USER_AGENT} bot
RewriteCond %{HTTP_USER_AGENT}
!(bing|Google|msn|MSR|Twitter|Yandex|Yahoo|spider)
RewriteRule !^robots\.txt$ - [F]
Kaip spręst?