異様にサーバーの負荷をかけてくる奴がいるなぁ、、、と思って
サーバーのログを見ていたところ、見慣れないロボットを見つけました。

SEMrushBot
https://www.semrush.com/bot/

403を連続で出し続ける、この謎ロボット。
どうやらSEO・SEM関連の会社らしい。
何でサーバーに負荷かけまくるのかね、、、

ということで、robots.txtに追加してあげることにしました。

User-agent: baiduspider
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: Yandex
Disallow: /
User-agent: SemrushBot
Disallow: /

迷惑ロボットの親玉ともいえるbaiduを始め、
サーバーに負荷をかけまくるロボットを一掃します。