IP-Adressen von Suchmaschinen
This page is also available in English.
Ich nutze meine eigene Website unter anderem auch als Testplattform für alles rund um das Internet. Dabei protokolliere ich auch die Zugriffe auf die Seiten.
Mich persönlich interessieren nur die wirklichen Zugriffe auf meine Website. Daher lösche ich aus dem MySQL Protokoll regelmäßig Suchmaschinen, die mir so auffallen. Da ich diese Liste ohnehin pflege, kann ich sie hier auch online zur Einsicht zur Verfügung stellen.
| Robot | Subnet / URL | Datensatz zuletzt aktualisiert | SQL String |
|---|---|---|---|
| Adobe | sjfw1.adobe.com | 13.10.2004 | = "sjfw1.adobe.com" |
| Alexa | 209.237.224.0/19 | 11.11.2004 | LIKE "209.237.2%" |
| Alexa | public.alexa.com | 01.10.2004 | LIKE "%public.alexa.com" |
| Allesklar | scooter.allesklar.de | 27.08.2004 | = "scooter.allesklar.de" |
| Almaden | wfp2.almaden.ibm.com | 01.10.2004 | = "wfp2.almaden.ibm.com" |
| Ask Jeeves | %.ask.com | 11.03.2005 | LIKE "%.ask.com" |
| Convera | 63.241.61.8 | 07.01.2005 | = "63.241.61.8" |
| Convera | 63.241.61.8 | 18.01.2005 | = "63.241.61.8" |
| Cosmix | %.cosmixcorp.com | 29.12.2005 | LIKE "%.cosmixcorp.com" |
| Cuill | %.cuill.com | 07.08.2007 | LIKE "%.cuill.com" |
| Diariofotografico | diariofotografico.com | 03.10.2005 | = "ns1.diariofotografico.com" |
| Dir.com | crawl20.dir.com | 14.03.2005 | = "crawl20.dir.com" |
| Echo | x-echo.com | 02.10.2004 | LIKE "%.x-echo.com" |
| Exabot | exabot.com | 02.10.2004 | LIKE "%.exabot.com" |
| Gamekit | bot1.gamekit.de | 23.10.2004 | = "bot1.gamekit.de" |
| Gigablast | www.gigablast.com | 14.03.2006 | = "www.gigablast.com" |
| GlobalSpec | 66.194.55.242 | 21.11.2004 | = "66.194.55.242" |
| Goo | goo.ne.jp | 18.02.2006 | LIKE "%.goo.ne.jp" |
| 64.233.0.0/17 | 01.10.2004 | LIKE "64.233.%" | |
| 64.68.64.0/19 | 01.10.2004 | LIKE "64.68.64.%" | |
| 64.68.88.0/21 | 01.10.2004 | LIKE "64.68.88.%" | |
| googlebot.com | 01.10.2004 | LIKE "%googlebot.com" | |
| proxy.google.com | 01.10.2004 | LIKE "%proxy.google.com" | |
| Google (Mediapartners) | 66.249.0.0/19 | 01.10.2004 | LIKE "66.249.%" |
| Inacts | search.inacts.com | 19.12.2004 | = "search.inacts.com" |
| Inktomi | %inktomisearch.com | 01.10.2004 | LIKE "%inktomisearch.com" |
| IRL Crawler | irl-crawler%.cs.tamu.edu | 20.07.2006 | LIKE "irl-crawler%.cs.tamu.edu" |
| Jeteye | jeteye.com | 03.10.2004 | LIKE "%.jeteye.com" |
| KnowItAll | hail.cs.washington.edu | 15.08.2004 | = "hail.cs.washington.edu" |
| Looksmart | looksmart.com | 15.01.2005 | LIKE "%.looksmart.com" |
| Majestic-12 | %.idi.ntnu.no | 07.08.2007 | LIKE "%.idi.ntnu.no" |
| Majestic-12 | 205.209.182.240 | 18.02.2006 | = "205.209.182.240" |
| metager2.de | 193.164.8.43 | 29.12.2005 | = "193.164.8.43" |
| Microsoft | 207.46.0.0/16 | 01.10.2004 | LIKE "207.46.%" |
| Microsoft | msnbot.msn.com | 19.12.2004 | = "msnbot.msn.com" |
| Microsoft | search.msn.com | 01.10.2004 | LIKE "%search.msn.com" |
| Microsoft Live | %.search.live.com | 07.01.2007 | LIKE "%.search.live.com" |
| Neofonie | spider.neofonie.de | 16.03.2007 | = "spider.neofonie.de" |
| Netcraft | 195.92.95.61 | 30.12.2004 | = "195.92.95.61" |
| NoxtrumBot | tpiol.tpiol.com | 07.08.2007 | = "tpiol.tpiol.com" |
| Overture | nat-yrl.overture.com | 18.02.2005 | = "nat-yrl.overture.com" |
| Picsearch | picsearch.com | 01.10.2004 | LIKE "%.picsearch.com" |
| Seekbot | %.seekbot.net | 29.12.2005 | LIKE "%.seekbot.net" |
| seventwentyfour.com | 209.167.50.???/?? | 01.10.2004 | LIKE "209.167.50.%" |
| Spammer | 211.157.8.44 | 03.10.2004 | = "211.157.8.44" |
| Spammer | 217.107.222.75 | 11.08.2005 | = "217.107.222.75" |
| Spammer | 66.246.218.107 | 29.12.2005 | = "66.246.218.107" |
| Spammer | 81.169.180.237 | 30.12.2004 | = "81.169.180.237" |
| Suchen.de | %.suchen.de | 07.08.2007 | LIKE "%.suchen.de" |
| Teoma | %.teoma.com | 01.10.2004 | LIKE "%.teoma.com" |
| Thunderstone | copilot.thunderstone.com | 02.10.2004 | = "copilot.thunderstone.com" |
| Tricus | 213.221.109.???/?? | 01.10.2004 | LIKE "213.221.109.%" |
| Turnitin | turnitin.com | 02.10.2004 | LIKE "%.turnitin.com" |
| W3C Validator | w3.org | 01.10.2004 | LIKE "%.w3.org" |
| Yahoo | yahoo.com | 13.12.2004 | LIKE "%.yahoo.com" |
Zur einfacheren Weiterverarbeitung steht die Liste auch als Befehlslisting für SQL zur Verfügung.
Die Liste ist selbstverständlich nur unvollständig. Ich kann hier nur die Robots auflisten, die ich tatsächlich auch über meine Websites identifizieren kann. Zudem sind die dargestellten SQL-Strings nur ungenau, da sie nicht exakt die genannten Subnetze abbilden. Ich greife aber gerne zu dieser Vereinfachung, um die Bearbeitung zu vereinfachen.
Weitere Informationen zum Thema gibt es unter anderem hier:
01.10.2004 - Klaus Ritter
Das ist eine tolle Sache! danke!!
Haftungshinweis: Trotz sorgfältiger inhaltlicher Kontrolle übernehme
ich keine Haftung für die Inhalte externer Links. Für den
Inhalt der verlinkten Seiten sind ausschließlich deren Betreiber
verantwortlich.
Besuchen Sie auch meine Bildergalerie unter
gallery.plogmann.net.
© Stefan Plogmann, 1996-2008
