Note: この記事は、3年以上前に書かれています。Webの進化は速い!情報の正確性は自己責任で判断してください。
携帯サイト開発用。携帯サイトではIPによる閲覧制限を実施するケースが多いですが、キャリアのIPだけだと検索エンジンのクローラまで拒否してしまいます。ちゃんとクローリングしてもらうにはクローラのIPも許可リストに入れる必要がある ...ということで、調べたリストを投下してみる。
現時点でGoogleのIPは非公開なので、この部分はざっくり推測。公開されているIPアドレスは6月中旬から順次稼動していくそうなので、もう暫くは併用が必要かな。
#Google モバイル検索(2008 年 6 月中旬以降順次)
allow from 72.14.199.0/25
allow from 209.85.238.0/25
#Google (2008 年 6 月中旬まで)
allow from 216.239.0.0/16allow from 64.68.80.0/22allow from 64.233.0.0/16allow from 72.14.0.0/16allow from 66.102.0.0/16allow from 66.249.0.0/16allow from 209.85.0.0/16allow from 66.249.64.0/19#Yahoo! (2008年07月15日 情報公開)
allow from 74.6.0.0/16allow from 124.83.159.146/27
allow from 124.83.159.178/29
allow from 124.83.159.186allow from 124.83.159.224/28
allow from 124.83.159.240/29
#msn
allow from 65.52.0.0/14
#モバイルgoo
allow from 210.150.10.32/27
allow from 203.131.250.0/24
#Livedoor
allow from 203.104.254.0/24
#froute
allow from 60.43.36.253
#moba-crawler (モバゲータウン内の検索サービス)
allow from 202.238.103.126
allow from 202.213.221.97
memo: スラッシュ(/)以下はCIDR。詳しくはWikipediaにて。
参照(キャリアのIPアドレス)
- iモードセンタのIPアドレス帯域, DoCoMo
- EZサーバのIPアドレス帯域, au
- IPアドレス帯域について, Softbank
参照
- Google モバイル検索についてのウェブマスター向け情報, Google Japan Blog
- モバイル版Yahoo!検索の検索エンジン用ロボットについて, Yahoo!検索
- サイト検索用のクローラーについて, Livedoor
- 携帯検索クローラについて, モバイルgoo
- froute-crawler, エフルート
- moba-crawler, DeNA
- モバイルクローラーの IP アドレス, 19790401173.4
- IPアドレスで振り分けている携帯専用サイトでモバイル版AdSenseを使う方法, 風見鶏の目
- モバイル版Yahoo!検索のクローラー情報公開, Yahoo!検索 スタッフブログ
Note: スパム対策が面倒なので、コメント投稿を廃止しました。以前のコメントは残します。
ご意見・ご要望はtwitter@sigwygかはてブコメントにて。