Das unsichtbare Netz

Die Antwort ist irgendwo da draußen...

Seit Bestehen des Internet stellt sich eine große Frage: Wie umfassend ist dieses weltumspannende Netz? Wie viele Informationen und Seiten sind hinterlegt? Suchmaschinen und Verzeichnisse sind der zentrale Einstiegspunkt in das Datenuniversum – nur: wissen die Suchmaschinen wirklich alles?

Im August 1994 startete Lycos seinen Spider und erreichte im November den damals sensationellen Wert von 60 Millionen indexierten Dokumenten. AltaVista begann etwa zur gleichen Zeit mit dem Sammeln von Links. Dort schätzte man 1995, dass „da draußen“ etwa 80.000 Server und etwa 30 Millionen Dokumente aufzuspüren waren. 1999 stellten die Wissenschaftler Steve Lawrence und C. Lee Giles vom NEC Forschungsinstitut eine große Untersuchung zur Größe des Internet an. Sie stellten fest, dass nur etwa 16% des Internet durch Suchmaschinen erfasst wurden.

Im Vergleich zu heute mutet eine zweistellige Millionen Zahl erfasster Dokumente lächerlich an. Die heute führenden Suchmaschinen Google und Alltheweb jonglieren mehrere Milliarden Dokumente in ihren Indizes. Trotzdem ist das nach wie vor nur ein Bruchteil dessen, was wirklich verfügbar ist. Woran liegt das?