偽装されたユーザーエージェント
トップページへ
個人的メモです。
偽装の目的はわかりませんが、何かしらの意図があると思いますし、犯罪とは言えないもののグレーなので列挙します。
■Googlebot と名乗りつつ実際はGoogleとは全く異なった場合
偽装とは断言はできませんが、Nybula LLC（米アンカレッジ）
Googlebot/2.1
検索エンジンと同様のクロールで意図が不明
初回発見日時：2024/12/1
Amazon Technologies Inc （使用サーバーはアメリカ US）
初回発見日時：2024/7/12 6:30
2回目：2024/11/8 22:04
DigitalOcean （使用サーバーはアメリカ US）
初回発見日時：2024/6/10 15:04（パターンA）
2回目：2024/6/15 1:11（パターンA）
3回目：2024/10/18 14:25（パターンB）
特徴：
パターンA:特定のURLのみ
パターンB:いわゆるDos攻撃。HEADリクエストを大量に含んだアクセスを1秒間に50以上を複数行われたことで一時的にサーバーが過負荷状態に。対処は「IPアドレスブロック」
RACKIP CONSULTANCY PTE. LTD. (JP)
RACKIP CONSULTANCY PTE. LTD. (HK)
使用サーバーは日本(JP)と香港(HK)
初回発見日時：2024/6/21 20:23前後
二回目：2024/8/17 15:48
xmlrpc.phpへのアクセスで結果403
GoDaddy / BOM Allocation （使用サーバーはアメリカ USと推定）
初回発見日時：2024/6/26 8:02
二回目：2024/8/11 4:09
PT Qwords Company International (使用サーバーはインドネシア ID)
初回発見日時：2024/6/18 15:22
2回目：2024/8/6 20:45
Belarusian Cloud Technologies (使用サーバーはベラルーシ BY)
初回発見日時：2024/7/31 14:04
Contabo GmbH （使用サーバーはドイツ DE）
初回発見日時：2024/7/28 9:54
Dominios (使用サーバーはポルトガル PT)
初回発見日時：2024/7/11 16:48
Chengdu Giant Times Technology (使用サーバーは中国 CN)
初回発見日時：2024/7/8 15:08
Amazon EC2 IAD prefix （使用サーバーはアメリカ US）
初回発見日時：2024/5/30 22:32
2回目：2024/6/23 14:46
3回目：2024/6/28 12:24
4回目：2024/6/29 9:40
5回目：2024/7/2 18:14
Amazon EC2 ARN Prefix （使用サーバーはアメリカ US)
初回発見日時：2024/6/22 17:48
特徴：/.git/config へのアクセス
ShenZhenRunXunShuJuTongXinYouXianGongSi （使用サーバーは中国 CN）
初回発見日時：2024/6/21 13:14
（この記事の下部で詳細）
MNT-20i (GB, www.20i.comと推定) （使用サーバーはイギリス GB)
初回発見日時：2024/6/18 22:54
PROTON66 （使用サーバーはロシア RU）
初回発見日時：2024/6/2 3:07
2回目：2024/6/15 0:42
特徴：/.git/config へのアクセス、存在しないディレクトリへのアクセス
ALAXONA (使用サーバーはドイツ DE)
初回発見日時：2024/6/9 19:46
Ningbo Zhuo Zhi Innovation Network Technology （使用サーバーは中国 CN）
初回発見日時：2024/6/9 1:56
2回目：2024/6/16 17:47
特徴 存在しないファイルへのアクセス
Amazon EC2 DUB prefix （使用サーバーはアメリカ US）
初回発見日時：2024/6/6 12:10
2回目：2024/7/12 9:37
GoDaddy.com, LLC （使用サーバーはアメリカ US）
初回発見日時：2025/6/1 17:18
ORANGE SPAIN （使用サーバーはスペイン ES）
初回発見日時：2024/5/31 16:34
２回目：2024/6/9 7:37
1&1 IONOS SE （使用サーバーはドイツ DE）
初回発見日時：2024/5/25 13:45
Digitalocean （使用サーバーはオランダ NL）
初回発見日時：2024/5/24 11:35
2回目：2024/6/15 1:11
■Googlebot-Image/1.0 を名乗りつつ実際は異なった場合
Amazon AWS （サーバーは不明）
初回発見日時：2024/8/14 17:36
二回目：2024/9/18 22:30
Amazon SIN prefix （使用サーバーはアメリカ US）
初回発見日時：2024/8/2 3:41
China Telecom （使用サーバーは中国 CN）
初回発見日時：2024/6/7 19:08
2回目：2024/6/12 14:50-21:14まで複数回
3回目：2024/6/13 20:23から複数回
4回目：2024/6/14 13:35
特徴：ほぼ毎回特定のファイル、URLへのアクセス
■Googlebot-Mobile/2.1 を名乗りつつ実際は異なった場合
Amazon AWS （サーバーは不明）
初回発見日時：2024/9/26 13:07
Contabo GmbH （使用サーバーはドイツ DE）
*補足 同じ時間帯でUAをwii libnup/1.0とも設定していた
初回発見日時：2024/9/9 22:11
企業名不明（表記上、GLOBAL-DATA/us-simple-1） （使用サーバーはセーシェル SC）
初回発見日時：2024/7/11 11:10
なお、正規のGoolgeかどうかは「クローラーが Googlebot などの Google クローラーであることを確認する」を参考にしております。
■Googlebot-News を名乗りつつ実際は異なった場合
Amazon EC2 SIN prefix （使用サーバーはアメリカ US）
初回発見日時：2024/7/27 0:14
二回目：2024/9/9 20:34
３回目：2024/9/21 5:20
■bingbot/2.0 を名乗りつつ実際は異なった場合
lime-net-mnt （使用サーバーはオランダ）
初回発見日時：2024/7/27 16:42
■DuckDuckBotを名乗りつつ実際は異なった場合
Web4Africa (使用サーバーは南アフリカ ZA)
Tencent Cloud Computing (Beijing) Co., Ltd (使用サーバーは中国 CN)
初回発見日時：2024/6/8 23:38
備考：アクセス禁止ファイルへのアクセス
正規かどうかは「Is DuckDuckBot related to DuckDuckGo?」のIPアドレス一覧から判断しました。
ユーザーエージェントを偽装した「中国系組織 ShenZhenRunXunShuJuTongXinYouXianGongSi」の挙動
ShenZhenRunXunShuJuTongXinYouXianGongSi
国：中国
下はログを簡素化したものです。複数のユーザーエージェント(UA)に偽装しながらアクセスを試みていますが、存在しないファイルばかり、かつ中国全体をブロックしているので実害はありませんでした。
一方、偽装された baidu や Google 等にとっては迷惑な行動と判断される可能性があります。
では「動機は？」となると不明ですが、私の仮説として「サーバーコード 301(転送) を返したサーバーに対し何かを試みようとしているのかも」しれません。
[21/Jun/2024:13:15:13 +0900] “GET /static/images/nopic.png HTTP/1.1” 403 318 “Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/\xA1\xB1; )”
[21/Jun/2024:13:15:13 +0900] “GET /template/default/images/user.png HTTP/1.1” 403 318 “AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3”
[21/Jun/2024:13:15:11 +0900] “GET /static/images/nopic.png HTTP/1.1” 403 318 “Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/\xA1\xB1; )”
[21/Jun/2024:13:15:11 +0900] “GET /template/default/images/user.png HTTP/1.1” 403 318 “(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html\xA3\xA9”
[21/Jun/2024:13:15:08 +0900] “GET /static/images/nopic.png HTTP/1.1” 403 318 “msnbot/1.0 (+http://search.msn.com/msnbot.htm\xA1\xB1)”
[21/Jun/2024:13:15:08 +0900] “GET /template/default/images/user.png HTTP/1.1” 403 318 “Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07\xA1\xE5)”
[21/Jun/2024:13:14:59 +0900] “GET /static/images/nopic.png HTTP/1.1” 403 318 “Googlebot/2.1 (+http://www.googlebot.com/bot.html)”
[21/Jun/2024:13:14:59 +0900] “GET /template/default/images/user.png HTTP/1.1” 403 318 “Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07\xA1\xE5)”
[21/Jun/2024:13:12:27 +0900] “GET /static/images/nopic.png HTTP/1.1” 403 318 “Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html\xA1\xB1)”
[21/Jun/2024:13:12:27 +0900] “GET /template/default/images/user.png HTTP/1.1” 403 318 “Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html\xA1\xB1)”
関連記事