Tema: www trafikas nuo botų
Autorius: cD-r0m
Data: 2017-09-28 16:33:34
Vienas mano "prižiūrimas" magento shopas gauna trafiką išsipūtusi - kai 
kuriais mėnesiais kyla iki 40GB (toks traffic limitas), kitais 
atsitiktinai mažiau gaunas. Tikrų lankytojų ten dešimtim skaičiuojama 
per mėnesį.

Vienintelė metrika, kurioje tas trafikas atsispindi AwStatsuose prie botų:
Unknown robot (identified by 'bot' followed by a space or one of the 
following characters _+:,.;/\-)	1,000,529	33.43 GB

Bandžiau su htaccesu nežinomus botus užkišt, bet arba neveikia, arba per 
durnas:

RewriteCond %{HTTP_USER_AGENT} bot
RewriteCond %{HTTP_USER_AGENT} 
!(bing|Google|msn|MSR|Twitter|Yandex|Yahoo|spider)
RewriteRule !^robots\.txt$ - [F]


Kaip spręst?