[SEO対策]迷惑なWebボットに対抗する

Webボットの正式名称、インターネットボット、略称、ボット。インターネット上を徘徊する巡回ソフトで、検索エンジンのbotはサイトを持っている人には必要なソフトです。

wikipediaによれば

一方、DoS攻撃というサーバーに負荷を与えるボット、自分とそっくり同じ偽のサイトを作るためのボット、電子メールアドレスを回収するボットなど、有害なボットもあるそうです。

 

そのWebボットに対抗する方法の一つとして、下記のサイト（の筆者）様がとても有益な情報だったので、記事とさせて頂きました。

内容はサーバーに詳しい方ではないと難しいですが、「こういった手段がある」という知識として学ぶのは宜しいかと思います。

 

https://parudou3.com/nginx/818/

 

ただし、必要以上にWebボットのアクセスをブロックしてしまうと、自分のサイトの検索順位が下がる場合があるので、設定・運用には充分注意し、社内で検討してからの実施にして下さい。

 

現時点で管理人が確認しているWebボット

※ただし、許可する許可しないのは個人ごとに異なるため、あくまでも提示のみです。

AhrefsBot	SEOサービス
Baiduspider	中国検索エンジン
Barkrowler	フランス検索エンジン
Cincraw	SEOサービス
CloudFlare-AlwaysOnline	クラウドサービス
CriteoBot	広告系
DotBot	SEOサービス
GrapeshotCrawler	広告系
ias-sg	ADmantXマーケティング
Linespider	LINE内検索用
MJ12bot	英国検索エンジン
proximic	広告系
SemrushBot	SEOサービス
Sogou web spider	中国検索エンジン
TTD-Content	広告系

 

 

その他参考サイト

クローラ（ロボット）のユーザーエージェント（UA）一覧 | ホームページ制作 【スタジオCASIS】 (casis-iss.org)

 

https://htaccess.cman.jp/attention/

 

8