Nutch - Eine Open Source Suchmaschine will nach oben

Nutch will der Gegenpol zum beginnenden Suchmaschinenmonopol werden und eine Alternative zu den bekannten kommerziellen Suchmaschinen aufbauen – nach dem Vorbild des Open Directory (www.dmoz.org), nur eben als robotbasierte Suchmaschine. Und das in großem Stil: mehrere Milliarden Seiten pro Monat sollen gecrawlt und durchsucht, 1000 Anfragen pro Sekunde sollen bearbeitet werden können, das ganze bei Top Ergebnissen und minimalen Kosten.Derzeit arbeitet eine Handvoll Programmierer in Teilzeit an dem Projekt; der derzeitige Code ist komplett in Java gehalten, es kann aber auch in anderen Sprachen programmiert werden. Weitere Entwickler werden gesucht.Seit Juni besteht ein Demo-System aus 100 Millionen Seiten, das man aber mangels leistungsfähiger Hardware noch nicht publik machen möchte. Und da stoßen die Initiatoren auf eines von vielen Problemen: Hardware und Traffic in den angepeilten Dimensionen kosten ordentlich Geld. Entsprechend wird zu Spenden aufgerufen. Ziel des Projektes ist aber nicht ein öffentlicher lauffähiger Service, sondern nur eine kleine Demo-Site und vor allem ein Open Source Softwarepaket, von dem man hofft, dass kommerzielle Suchmaschinen es statt der bisherigen Software einsetzen.An der Qualität der Suchergebnisse, so wird mitgeteilt, muss noch gearbeitet werden. Man erhofft sich durch die Offenlegung der Ranking Algorithmen ähnliche Effekte wie von veröffentlichten Algorithmen von Verschlüsselungs- und Antivirensoftware, da interessierte Entwickler schneller Fehler finden und Verbesserungen einbauen können.Viele mag es skeptisch stimmen, dass ausgerechnet Overture, die größte Bezahl-Suchmaschine weltweit, zu den ersten Sponsoren zählt. Auch hier ein ungelöstes Problem: wie kann man sicherstellen, dass Sponsoren nicht einen unterschwelligen Einfluss auf das Projekt geltend machen?Es wird wie bei allen Open Source Projekten eine Herausforderung darstellen, all die unterschiedlichen Ideen und Ansätze zu koordinieren und die kommerziellen Anforderungen und Begehrlichkeiten zu fair und offen zu handhaben.Alles steht und fällt mit der dauerhaften Qualität der Suchergebnisse, und dieser Beweis steht noch aus. Andere Newcomer sind an der Datenmenge und der Forderung nach Aktualität gescheitert. Das als Open Source gestartete Projekt Grub hat mit vielen technischen Problemen zu kämpfen und ist längst nicht konkurrenzfähig.Es ist vollkommen offen, ob Nutch jemals einen Status erreichen wird, der die kommerzielle Konkurrenz aufhorchen lassen wird. Zumindest kann jeder, der es sich wünscht, dazu beitragen. Mit Spenden in Form von Geld oder in Form von Entwicklungsarbeit.

Kompletter Artikel: Heise Ticker Direktlink: Nutch Kontext: Grub: Seti@Home für Suchmaschinen

Mehr Meldungen vom September 2003

Archiv der bisherigen Meldungen