Tema: Re: www trafikas nuo botų
Autorius: Laimis
Data: 2017-09-28 22:14:33
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256

cD-r0m rašė:
> Ačiū už mintis! Galvojau, kad normalūs botai patys prisistato.
> Nujaučiu, kad tas htaccessas nelabai suveikė.. Pasidomėsiu dėl
> logų, čia pigus hostingas, tai ne viskas ten "kaip namie".

Jie prisistato, tačiau Awstats'ai nebūtinai visus atpažįsta
(priklausomai nuo versijos), o tada suveikia atsarginis regexp'as
('bot[\s_+:,\.\;\/\\\-]','Unknown robot identified by bot\*').

Todėl reikia:
1. žiūrėti log'us ir aiškintis, kas ten toks įkyrus (koks jo
HTTP_USER_AGENT);
2. įsitikinti, kad RewriteCond regexp'as užgriebs nepageidaujamą
HTTP_USER_AGENT (case (in)sensitivity — [NC]);
3. įsitikinti, kad suveiks whitelist'inų bot'ų RewriteCond regexp'as
(case (in)sensitivity — [NC])

p.s. aš ten kiek primaliau: nebūtina whitelist'intose alternatyvose
nurodyti ilgesnių vardų; užtenka, kad hit'intų pagal žinomą kw
(google, yandex ir t.t.), tačiau galioja case (in)sensitivity — [NC].
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v2

iQIcBAEBCAAGBQJZzUoYAAoJEIGZp48fbGsm0BEP/3RR5LGBJlEyFsW87k7Mf+zN
oZS5A8T2UhawTU78G2h6DFNOZByMYvGzdyvB5I/muduTldx5AssDamvwzkHz2tsO
XC1cbHdT3JNjtXLUrM5Bl0FUe5xXoieyzfiqGmXzrbArwL1XWSp9d5wDe0H/tfb5
WOUfAn9hzyKKrlNUGx9q4MOrCXTzQeyOdl8urOSel5g/KCYYug+qvCT50EVlustz
7ovFWnMtt/egExfI0z2UZQdR/xA4Bywhz8SARGUD9TpYP8kkf5Rf9t9cKoxbIhgA
5NwHRsT5Gxg6tnACNrDCRk/+FRqnCwZ2+g9vWk11byiIJnK/yUt4i/Ymztj68fns
pC5NczYANOcRlNa9n7D22LWLTOZnDNCMIQVieaY3qvtbdHAEZIvtvau4yTmay6Na
WlZdaphEk9j2CwjVdUqHqaM0Hg1VHOsjySPSlnXnssBlTFmddpqcY2pGe+XoYBkZ
tUMTLN8i4+IHndpHK01mMwAY1fIhc9hypB2GVcUoWLOQe69QAz4oALzq96l9kj2f
WvT+4qApllF4b3n4BSgYRsT3e5h3vuVarl8Y5vmHCfhOrs+kZAoXt3ysvyRgNMox
I1PBkKgYhe7imLLNNWP8wTKNgn64PYuEXxkOxjqQsQppXj//TzLVV5TngtsKIXzA
+zfv/ct7kZw9A13sqbZJ
=zqPP
-----END PGP SIGNATURE-----
3Dastronomyagricultureaudioautosautos.audiautos.audioautos.binariesautos.bmwautos.clubautos.fordautos.hondacrxautos.japanautos.mercedesautos.opelautos.sportautos.volvoautos.vwaviaavia.binariesbankcardsbinariesbooksbuildingcinemacommercecomp.hardwarecomp.softwarecomp.lietuvinimascomp.networksculturedarbas.ieskaudarbas.siulaudesigneconomicselectronicsfaunafauna.aquafauna.binariesfishingflorafotofoto.binariesgamesgames.csgames.onlinegsmgurmanaihumourhumour.binariesinternetlawmicrosoftmotomusicmusic.binariesmusic.instrumentsmusic.LT.binariesnavigacijaphppoliticsprogrammingrpgsportstudyingsveikatatalktesttranslationtransportationtraveltravel.binariestvunixvideovideo.binarieswatersportswwwwww.flashpdaautos.supermama.ltmobiledarbasretro.3Dretro.agricultureretro.astronomyretro.audioretro.autosretro.autos.audiretro.autos.audioretro.autos.binariesretro.autos.bmwretro.autos.clubretro.autos.fordretro.autos.hondacrxretro.autos.japanretro.autos.mercedesretro.autos.opelretro.autos.sportretro.autos.supermamaretro.autos.supermama.ltretro.autos.volvoretro.autos.vwretro.aviaretro.avia.binariesretro.bankcardsretro.beosretro.binariesretro.booksretro.buildingretro.cinemaretro.commerceretro.compretro.comp.hardwareretro.comp.lietuvinimasretro.comp.networksretro.comp.softwareretro.cultureretro.darbasretro.darbas.ieskauretro.darbas.siulauretro.designretro.economicsretro.electronicsretro.e-vejasretro.faunaretro.fauna.aquaretro.fauna.binariesretro.fishingretro.floraretro.fotoretro.foto.binariesretro.gamesretro.games.csretro.games.onlineretro.games.rpgretro.genealogijaretro.gsmretro.gurmanairetro.humourretro.humour.binariesretro.internetretro.YZFretro.YZF.nebukretro.YZF.nebuk.netikintisretro.YZF.nebuk.netikintis.bukretro.YZF.nebuk.netikintis.buk.tikintisretro.lawretro.microsoftretro.mobileretro.motoretro.musicretro.music.binariesretro.music.instrumentsretro.music.LTretro.music.LT.binariesretro.navigacijaretro.newsretro.news.taisyklesretro.newuserretro.pdaretro.phpretro.politicsretro.programmingretro.rpgretro.sportretro.studyingretro.sveikataretro.talkretro.translationretro.transportationretro.travelretro.travel.binariesretro.tvretro.unixretro.videoretro.video.binariesretro.watersportsretro.wwwretro.www.flashdiylt.rkm.news.announcelt.rkm.news.newuser