Suchmaschine Teil 1

Immer noch voll im Projektstreß (leider) und zu perfektionistisch (auch leider) habe ich lieber nichts als was Unausgegorenes geschrieben.

Na ja, hilft nichts. Jetzt ist es spät und ungenau geworden.

In Kürze: Yacy ist eine prima Idee, aber nichts für den Durchschnittshaushalt. Ich habe ein paar interessante Startseiten gecrawled und binnen kürzester Zeit hatte ich einige Hunderttausend Einträge in der Index-Queue.

Ach so, zum Verständnis: Biem Betrieb einer Suchmaschine gibt man eine Start-URL an und sagt dem System, wie es vorgehen soll. Beispielhaft und vereinfacht:

Mein Server soll, von der Start-URL „http://www.meinestarturl.de/index.html“ ausgehend, diese Seite (0. Ebene) und alle verlinkten Seiten (1. Ebene) und alle auf diesen Seiten verlinkten Seiten (2. Ebene) indizieren.

Zuerst findet der Crawl, das „Kriechen“ statt: Alle Links in Ebene 0 (der Startseite) werden in eine Liste geschrieben mit dem Vermerk, daß ihnen 2 Ebenen weit gefolgt wird. Dann werden die Links in der Liste durchgegangen, alle Seiten der 1. Ebene angesprungen, alle Links in die Liste „herausgeschrieben“ mit dem Vermerk, daß ihnen 1 Ebene weit zu folgen ist. Dann werden auch diese URLs durchgegangen, alle Links herausgeschrieben… ihr versteht schon. Das Resultat des Crawlers ist also eine große Liste von URLs.

Jetzt kommt der Indexer zum Zug, nimmt sich, eine nach der anderen, die Seiten in der großen Crawlliste vor, ruft sie auf und indiziert sie (vorausgesetzt, daß die Seite vorhanden, nicht zugriffsgeschützt und nicht von der robots.txt verboten ist). Beim Indizieren werden alle in der Seite vorhandenen Worte, die nicht zu trivial sind („ein“, „the“, „la“, „in“…), mit der Seiten-Adresse in eine Datenbank geschrieben.

Später, wenn man die Suchmaschine ein Wort suchen läßt, schaut der Server in seinen Tabellen nach und findet vielleicht das gesuchte „Lieschen“ auf sieben Seiten und gibt in der Ergebnisseite die sieben URLs aus.

Das war jetzt stark vereinfacht, aber hoffentlich nachvollziehbar, die Funktionsweise einer Suchmaschine im Allgemeinen.

Das Problem im Hausgebrauch ist, daß der Index Pi mal Daumen 30% bis 40% der Größe der indizierten Seiten als Speicherplatz braucht. Mit einer DLS-Anbindung kam ich innerhalb von vier Wochen zu einem Index von 5 GB. Eigentlich wäre das kein Problem, heutzutage sind die Festplatten groß genug. Allerdings will man ja auch bald mal was finden und der komplette Suchindex muß sich im schnellen Zugriff befinden. Diese 5 GB müssen irgendwo im RAM oder einer Auslagerungsdatei liegen und das kostet viel Performance.

Die Yacy-VM verlangte, immer mehr Hauptspeicher zugeteilt zu bekommen. Irgendwann war die Grenze erreicht, Yacy stürzte mir zu oft ab und ich mußte den Index verkleinern.

Später mehr dazu…

Wer suchet, der findet

Ich hab jetzt meine eigene Suchmaschine! Sie heißt Yacy und ist – wenn ich online bin – auch aus dem Internet benutzbar.

Und was soll das? Ehrlich gesagt, ist der Nutzen wohl eher symbolisch… Aber wer hat es noch nicht mitbekommen? MS will Yahoo kaufen, um die Informationsfreiheit der Welt gegen Google zu verteidigen, oder so ähnlich war die Begründung. Inwieweit das stimmt, kann ich nicht sagen. Allerdings ist der Zusammenhang von Suchmaschinen und Informationsfreiheit durchaus gegeben, denn wenn ich eine Seite erst garnicht finde, kann ich mich dort nicht informieren.

Suchergebnisse sind je nach verwendeter Suchmaschine durchaus unterschiedlich. Die Anbieter indizieren unterschiedliche Seiten und bewerten und gewichten die Ergebnisse nach eigenem Gutdünken. Das läßt sich z.B. mit folgenden (wahllos herausgegriffenen) Beispiel-Suchmaschinen testen:

http://metager.de/
http://search.live.com/
http://www.alltheweb.com/
http://www.baidu.com/
http://www.fireball.de/
http://www.google.co.uk/
http://www.google.co.nz/
http://www.google.de/
http://www.yahoo.com/
http://yacyweb.de/peer.htm

Wenn ich also meine eigene Suchmaschine mit eigenem Index habe, kann ich selbst bestimmen, welche Seiten indiziert und wie die Ergebnisse gewichtet werden.

Soweit die Theorie. Die Praxis beschreibe ich dann im nächsten Eintrag…

Bekanntheit die Dritte

Es war einmal ein Mann, der war ein großer Fan von einem Sänger. Leider war dieser Sänger nicht sehr erfolgreich, aber der Mann hielt ihn trotzdem für großartig und er wünschte, daß alle Welt diesen Künstler in wenigen Tagen in der magischen Kristallkugel, Fern-Seher genannt, erleben möge.

Dieser Mann wollte den Künstler bekanntmachen. Er sagte seiner Kollegin Bescheid, die Kollegin ihrer Freundin, die Freundin ihren Kollegen und so ging es weiter. Manch ein Netz-Tagebuch-Eintrag wurde verfaßt.

Die Freundin der Kollegin des Kollegen… kurz, das bin ich, und ich habe noch nie zuvor etwas von Herrn Menderez (das ist der Sänger) gehört. Macht auch nichts. DSDS (für Banausen wie mich: „Deutschland sucht den Superstar“) ist definitiv nicht mein Fachgebiet. Ich bin auch nicht ganz sicher, ob er wirklich singen kann, aber das macht auch nichts. Mich interessiert vielmehr die große Frage: Wird es die Webseite menderes4superstar.de in den nächsten Tagen zur Berühmtheit bringen? Wieviel kann man mit Mund-zu-Mund-Propaganda erreichen? Im Gegensatz zu dem Fall der Hommingberger Gepardenforelle ist die Zeit hier so knapp, daß Suchmaschinen keine große Rolle spielen können.

Copydingsda

Gerade habe ich folgenden Telepolis-Artikel über geistiges Eigentum und das gefürchtete Copyright gelesen.

<ironie>Offensichtlich ist es nicht eindeutig geklärt, ob ich Dinge, die ich besitze, oder Kleidung, die ich trage, auch fotographieren darf. Ein gewisses deutsches „Boulevardblatt“ könnte daraus folgende Schlagzeile basteln: „Skandal – Gesetz erzwingt Aktfotos!“.

Ach, was bin ich froh, daß ich keinen Schnurrbart abgelichtet und ins Web gestellt habe! Darf ich’s eigentlich noch wagen zuzugeben, daß ich Zappa für genial halte, oder ist schon die Nennung des Namens abmahnungswürdig?</ironie>

Ein paar Seiten weiter fand ich dann die Sieger der diesjährigen Darwin-Awards – und habe daraus gelernt, warum das Bett in manchen Situationen dem Dach vorzuziehen ist. Sherry-Einläufe sind übrigens auch eine schlechte Idee.

Gedankenspinnereien zu einem geposteten Bild

Wenn ich als Bewohnerin des Wolkenkuckucksheims den Himmel fotographiere und das Bild in einem Blog in einer .com-Domäne auf einem Server in den USA veröffentliche, sollte das nach meinem Verständnis gegen kein Recht verstoßen.

Wie sieht es aus, wenn ich eine auf einem öffentlichen Platz angebrachte Werbetafel fotographiere? Kein Problem. Wenn das Foto dann in besagtem Blog gepostet wird? Keine Ahnung.

Personen auf dem Bild wurden unkenntlich gemacht. Damit hätte keine internationale Zeitung ein Problem mit der Veröffentlichung. Nun, in einigen Kulturen der Erde dürfen generell keine Fotos von Menschen gemacht werden. Würde der Betreiber des Blogs in diesen Ländern Ärger bekommen?

Und überhaupt – ist der Betreiber des Servers oder der des Blogs oder der Artikelautor oder der Fotograph verantwortlich? Gilt das Recht des Landes, in dem der Server steht? In dem der Admin-C der Domäne lebt? Wo der Autor wohnt oder geboren ist oder wo das Bild aufgenommen wurde oder gar wo der Leser des Blogs sich gerade befindet? Oder das Recht des Heimatlandes des Lesers? Wenn ich was zu sagen habe, ist der Rechtsstand Wolkenkuckucksheim.

Aber da ich keine Ahnung von solchen Dingen habe, ist das Bild im Weihnachtsartikel wunderbar künstlerisch-kritisch modifiziert.

Prost Neujahr

Ich wünsche uns allen ein

friedliches und fröhliches 2008

habt Spaß!

schön ruhig

Schön ruhig ist es in dieser Zeit zwischen den Jahren. Zeit, über 2007 nachzudenken und sich für 2008 inspirieren zu lassen. Zeit genug, um im Warmen zu sitzen und Tee zu trinken. Dann TOR installieren, PHPWCMS testen, an XSLT verzweifeln, zur Entspannung alte Videos schauen, telefonieren, Schokolade essen und ausgehen. Wenn das nicht erholsam ist, weiß ich auch nicht…

Jahresendstreßalarm

Hektik breitet sich allüberall aus, der Jahresendstreß gewinnt an Macht. Verspätet und in unzureichender Menge werfe ich ein paar besinnliche Gedanken unters Volk:

Täglich ein Türchen voll poetischer Besinnlichkeit bietet der LEO – Adventskalender 2007, gestaltet von Christina Preuß.

Bei diesem kalendarischen Fundstück vom Forschungszentrum Matheon sollte man sich besser auf seine Mathefähigkeiten besinnen – guckt mich nicht so an, ich bin da ein hoffnungsloser Fall.

Fundsachen 2

Kultur-KI

Gefunden bei Soullounge: Music-Map – Die Landkarte der Musik. Dort gefunden: Literature-Map – The tourist map of literature. Gib eine Band oder einen Autoren ein und finde Ähnliche. Beides basiert auf einer selbstlernenden KI namens Gnod:

Herzlich willkommen bei Gnod!
Gnod ist eine Suchmaschine für Dinge die sich nicht formulieren lassen. Gnod ist ein Experiment der künstlichen Intelligenz und lernt selbstständig für wen was interessant sein könnte, indem es seine Besucher befragt. Um so mehr Gnod benutzt wird um so intelligenter wird es und eines Tages wird Gnod vielleicht die ultimative Quelle des verknüpften Wissens…

In Deutschland geht das Licht aus
BILD, BUND, Greenpeace, WWF, Google und ProSieben retten unsere Erde und rufen am 8. Dezember 2007 zu einer Aktion auf: von 20 Uhr bis 20.05 Uhr sollen die Lichter ausgeschaltet werden. Selbst auf der Google-Startseite sieht es finster aus.

Im Dunklen ist gut Munkeln.

ein Sharepoint-Umzug

Ich habe jetzt die Lösung für eine Sharepoint-Site-Migration von STS 2.0 auf MOSS 2007.

Die Ausgangslage:

• Ein System (A) mit Sharepoint Team Services 2.0 (STS 2.0), auf dem die Site „Lieblingsseite“ liegt.
• Ein System (B) mit MS Office Sharepoint Server 2007 (MOSS 2007), auf das die „Lieblingsseite“ soll.
• Bei beiden Systemen liegen die Daten in einer oder mehreren MS SQL-Datenbanken, beide Server laufen unter Windows 2003, jeweils mit halbwegs aktuellem Patchstand.
• Ich bin Admin auf den Sharepoint- und SQL-Systemen.

Das Ziel:

• Eine Sharepoint-Site „Lieblingsseite“ soll von (A) auf (B) migriert werden – und zwar eine einzelne Site, nicht der komplette Server oder die ganze Datenbank.

Der Weg:

Quellsystem

• Auf dem Quellsystem (A) C:\Program Files\Common Files\Microsoft Shared\web server extensions\60\BIN\PRESCAN.EXE ausführen und die zu migrierende Seite prüfen. Wenn in der/den resultierenden ..._log.txt-Datei/en steht „Number of unghosted pages: 0„, ist alles gut. „Unghosted pages“ sind Seiten, die nicht dem Standard-Template entsprechen. Sobald das Seitenlayout irgendwie (durch Frontpage, Office Designer, manuell…) verändert wurde, stehen diese Anpassungen in der Inhaltsdatenbank. Die Seite ist dann „unghosted“ und wird nicht 100% korrekt migriert. Was das genau heißt, konnte mir unser lokaler Microsoftie nicht verraten, die Folgen sind von Fall zu Fall unterschiedlich. In meinem Fall waren am Schluß nur ein paar Links verbogen.
• In der Sharepoint Central Administration von (A) herausfinden, in welcher Datenbank die „Lieblingsseite“ liegt.
• Betreffendes Web im IIS offline stellen, Backup der SQL-DB machen, Web wieder (read only) online stellen.

Zielsystem

• Auf dem SQL-Server des Systems (B) den DB-Backup restoren, die DB auf „full Index“ setzen, dem Sharepoint-User Berechtigung an der neuen DB geben.
• In der Sharepoint Central Admin von (B) eine neue Web Application anlegen (temporär, Details sind egal), als Datenbank die gerade restorte angeben, den Application Pool „Umzug“ und die Web Site „Umzug“ anlegen, Site testweise aufrufen.
• Jetzt von der nunmehr im MOSS 2007-Format vorliegenden „Lieblingsseite“ aus der Site „Umzug“ im System (B) mit Sharepoint-Bordmitteln (= die verläßliche stsadm.exe) einen Backup machen.
• Diesen Backup mit stsadm.exe an die gewünschte Stelle im System (B) restoren (z.B. in den gewünschten Managed Path oder die gewünschte Ziel-Sitecollection)

Aufräumen

• Die Site „Umzug“ im Sharepoint (B) löschen, die aus dem Backup von (A) restorte SQL-Datenbank im System (B) löschen.
• Interne Links der „Lieblingsseite“ prüfen und ggf. korrigieren
• Auf dem alten Sharepoint eine Ankündigung mit dem neuen Link hinterlassen

…und schon sind wir fertig…