Tema: Re: www trafikas nuo botų
Autorius: Laimis
Data: 2017-09-28 22:14:33
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256

cD-r0m rašė:
> Ačiū už mintis! Galvojau, kad normalūs botai patys prisistato.
> Nujaučiu, kad tas htaccessas nelabai suveikė.. Pasidomėsiu dėl
> logų, čia pigus hostingas, tai ne viskas ten "kaip namie".

Jie prisistato, tačiau Awstats'ai nebūtinai visus atpažįsta
(priklausomai nuo versijos), o tada suveikia atsarginis regexp'as
('bot[\s_+:,\.\;\/\\\-]','Unknown robot identified by bot\*').

Todėl reikia:
1. žiūrėti log'us ir aiškintis, kas ten toks įkyrus (koks jo
HTTP_USER_AGENT);
2. įsitikinti, kad RewriteCond regexp'as užgriebs nepageidaujamą
HTTP_USER_AGENT (case (in)sensitivity — [NC]);
3. įsitikinti, kad suveiks whitelist'inų bot'ų RewriteCond regexp'as
(case (in)sensitivity — [NC])

p.s. aš ten kiek primaliau: nebūtina whitelist'intose alternatyvose
nurodyti ilgesnių vardų; užtenka, kad hit'intų pagal žinomą kw
(google, yandex ir t.t.), tačiau galioja case (in)sensitivity — [NC].
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v2

iQIcBAEBCAAGBQJZzUoYAAoJEIGZp48fbGsm0BEP/3RR5LGBJlEyFsW87k7Mf+zN
oZS5A8T2UhawTU78G2h6DFNOZByMYvGzdyvB5I/muduTldx5AssDamvwzkHz2tsO
XC1cbHdT3JNjtXLUrM5Bl0FUe5xXoieyzfiqGmXzrbArwL1XWSp9d5wDe0H/tfb5
WOUfAn9hzyKKrlNUGx9q4MOrCXTzQeyOdl8urOSel5g/KCYYug+qvCT50EVlustz
7ovFWnMtt/egExfI0z2UZQdR/xA4Bywhz8SARGUD9TpYP8kkf5Rf9t9cKoxbIhgA
5NwHRsT5Gxg6tnACNrDCRk/+FRqnCwZ2+g9vWk11byiIJnK/yUt4i/Ymztj68fns
pC5NczYANOcRlNa9n7D22LWLTOZnDNCMIQVieaY3qvtbdHAEZIvtvau4yTmay6Na
WlZdaphEk9j2CwjVdUqHqaM0Hg1VHOsjySPSlnXnssBlTFmddpqcY2pGe+XoYBkZ
tUMTLN8i4+IHndpHK01mMwAY1fIhc9hypB2GVcUoWLOQe69QAz4oALzq96l9kj2f
WvT+4qApllF4b3n4BSgYRsT3e5h3vuVarl8Y5vmHCfhOrs+kZAoXt3ysvyRgNMox
I1PBkKgYhe7imLLNNWP8wTKNgn64PYuEXxkOxjqQsQppXj//TzLVV5TngtsKIXzA
+zfv/ct7kZw9A13sqbZJ
=zqPP
-----END PGP SIGNATURE-----