Hi,
is there an interface to import data of other forums to mylittleforum?
I would like to import some data of some parsimony forums into the mlf database. Is that possible or must I write an own converter?
Best regards
Mario
by Willy 
, Germany, Monday, June 11, 2007, 21:13 (6157 days ago) @ Mario
Hallo Mario!
Wir haben stecken gerade mitten drin im Umzug.
Es wurden 3 Parsimonyforen mit in Summe rund 430.000 Beiträgen in ein MLF importiert. Die Stammposter sollen sich bei uns neu registrieren - am besten mit ihrem Stammposternamen. Damit werden die Karteileichen bereinigt. Ein Import der User wurde bewusst nicht gemacht.
Wir haben 2 Scripte im Einsatz:
1. ein Importscript welches die Beiträge importiert
2. ein Script welches den MLF Usern die importierten Beiträge zuordnet.
der Import der Beiträge funktioniert mit ein wenig Fingerspitzengefühl problemlos.
Die Zuordnung der User funktioniert nur soweit die Stammposter eindeutige Namen haben (bei uns Tendenz 99%)
Wir haben fast gut ein Jahr diverse Scripte getestet und uns für MLF 1.7 entschieden. Inzwischen sind wir zu weit um einen Rückzieher zu machen.
Die Entwicklung vom MLF geht derzeit aber in eine Richtung die uns im Nachhinein die Entscheidung pro MLF in Frage stellen lässt.
Frage Deine User, was sie wollen. Danach vergleiche die Funktionen von MLF 1.7 und 2.0 Wenn es MLF werden soll kann ich dir für den Import der Parsimonydaten Unterstützung anbieten.
Gruss, Willy
Hallo Willy,
vielen Dank für Deine Antwort.
Es soll definitv das MLF werden.
Es wäre super nett, wenn Du mich beim Import der Daten unterstützen könntest.
Habt ihr die Skripte selbst geschrieben oder gibt es schon entsprechende Lösungen?
Viele Grüße
Mario
by Willy , Germany, Thursday, August 09, 2007, 08:39 (6099 days ago) @ Mario
Wenn noch Interesse am Import der Parsimonydaten besteht könnte ich jetzt weiterhelfen. e-mail Anfragen von vor meinem Urlaub sind leider abhanden gekommen (vorm Urlaub zu euphorisch das Postfach geputzt :( )
by Willy Terlinden , Thursday, August 09, 2007, 09:13 (6099 days ago) @ Willy
Hier die Links zu den beiden Files:
http://www.vwbuswelt.de/03-misc/parsi/counter.php.zip
http://www.vwbuswelt.de/03-misc/parsi/import.php.zip
ACHTUNG:Beide Files haben die Endung .ZIP nur angehängt, damit der Apache sie nicht ausführt, sondern zum Download anbietet!
Also nach dem Download bei beiden einfach nur die Endung streichen!
Zunächst mal herlichen Dank an Udo Z., der der eigentliche Urheber ist.
Er hat zugestimmt, das ich sie bereitstelle, damit alle Parsimony-Geschädigten etwas davon haben ;) Wer von Euch einen VW Bus T4 fährt findet auf seiner Homepage
eine wahre Fundgrube an technischem Input!
So nun zu den beiden Files.
Was tun sie?
Der Counter läuft bei mir per cronjob stündlich (1 manueller Lauf nach Import aller Parsimonydaten reicht aber auch)und durchforstet alle Forenbeiträge. Dabei gleicht er die Usernamen der Beiträge mit den registrierten Usern ab.
Wozu? Ganz einfach. Wir haben bewusst darauf verzichtet die Parsimony User zu importieren. Der Schnitt war eine gute Gelegenheit die Karteileichen zu entsorgen.
Alle User müssen sich neu registrieren und wer dabei seinen alten Parsimony Stammposternamen wählt erhält alle Beiträge in der Datenbank wieder zugeordnet.
Da sich nicht alle auf einen Schlag wieder registrieren, sondern nach und nach, läuft das Script bei uns vorerst stündlich.
Das eigentlich interessante Script ist das zweite - import.php.
Bei Parsimony finden sich die Archivdaten des alten Forums als .zip Files zum Download. Jeweils mit rund 10.000 Beiträgen / Archiv.
Zu finden sind die Daten unter der URL:
fxx.parsimony.net/forumyyy/zip.htm
Also einfach an die Parsimony URL des betreffenden Forums zip.htm anhängen.
Die Daten sind öffentlich! Jeder kann die runterladen!
Ich habe einfach per script alle Archive auf den Webserver geladen (rootaccess sei dank ;) ) und mir ein Arbeitsverzeichnis angelegt.
Darin wird jetzt das erste Archiv entpackt.
Danach liegen im Arbeitsverzeichnis rund 10.000 Files mit der Endung .htm
Das importscript wird in den ersten Zeilen für die eigene Datenbank konfiguriert.
Neben den Serverdaten sind die letzten 4 Einträge wichtig.
der lokale Serverpfad zum Arbeitsverzeichnis muss als vollständiger Pfad in der Art:
/srv/www/htdocs/arbeitsverzeichnis/
angegeben werden.
Anzahl dient nur dazu dem Script zu sagen wann schluss ist.
Wenn ihr also die Beiträge in 10.000er Paketen importiert, reicht es wenn Anzahl auf 10.001 steht (höher als die Zahl der Beiträge, die importiert werden sollen).
Als Kategorie wird die ID der Zielkategorie angegeben (mit phpmyadmin in der Tabelle categories raussuchen).
$kategorie=1 wenn die Zielkategorie die ID 1 hat.
Der Offset wird wieder mit phpmyadmin ausgelesen. Diesmal aus den entries.
Ihr nehmt die ID des letzten Foreneintrages und setzt als Offset eins höher ein.
Also leeres Forum (0 Beiträge) $offset=1
Forum mit 10 Einträgen und keine gelöschten $offset=11
Der Wert für $offset muss vor jedem Import angepasst werden!
Sonst werden bestehende Einträge in der Tabelle entries mit gleicher ID gnadenlos überschrieben!
Das Importscript importiert den ersten Beitrag aus dem Arbeitsverzeichnis in die Tabelle entries und trägt als ID den Wert von $offset ein.
Der zweite Beitrag erhält die ID $offset+1 usw.
Nach dem ersten Import von 10.000 Beiträgen in ein leeres Forum sollte die höchste ID jetzt also um 10.000 liegen (kann etwas abweichen, wenn ihr im Parsimony Forum Beiträge gelöscht hattet).
Das script löscht alle .htm Dateien (nur die) im Arbeitsverzeichnis!
Je nach Zahl der Importe läuft das script recht lange. Mehr als 100.000 Beiträge auf einen Rutsch könnte zu Problemen führen, wenn das Script über den Apache läuft und nicht per Konsole aufgerufen wird.
Bei Fragen bitte nicht per e-Mail sondern diese hier stellen:
http://www.vwbuswelt.de/02forum/forum/forum.php?category=8
da liest Udo (der Author) auch mit.
Viel Spass!
Willy
by Irene , Tuesday, August 14, 2007, 10:10 (6094 days ago) @ Willy Terlinden
Hallo Willy und alle anderen, denen der Import bereits gelungen ist.
Vielen Dank für die Scripte und die dazu gelieferten Erklärungen. Trotz mehrmaligem Lesen komme ich damit aber nicht zurecht, da ich ein Neuling bin, was Datenbanken und PHP betrifft. Ich komme mit dem Import des Forums nicht weiter und wäre dankbar über ein paar Hinweise. Bitte nicht lachen über meine Fragen 
:
Die HTM-Files habe ich auf den Server geladen und die (angepaßte) import.php ebenfalls. Frage: Wie bringe ich nun das Script zum Laufen??? Ich habe es im Browser aufgerufen, aber da erscheinen nur ein paar Zahlen von 0-6500 in 500er Schritten und nichts tut sich.
Hätte ich z.B. die Pfadangabe falsch eingegeben, müßte ich doch zumindest eine Fehlermeldung bekommen, aber das passiert nicht.
Vielleicht liegt es daran, daß ich das nicht verstehe 
:
Als Kategorie wird die ID der Zielkategorie angegeben (mit phpmyadmin in der Tabelle categories raussuchen).
$kategorie=1 wenn die Zielkategorie die ID 1 hat.
Ich habe MLF 1.7 installiert und eine neue, leere Datenbank angelegt. In phpmyadmin bin ich in die Tabelle categories gegangen, aber ich weiß nicht, wo dort die Nummer der ID steht. Ich habe in MLF ja gar keine Kategorie angelegt. Also habe ich $kategorie=1 im Script stehen lassen. Ist das richtig so?
Jetzt brüte ich schon so lange über dieser Sache, wäre echt nett, wenn mir jemand auf die Sprünge helfen könnte.
Danke, irene
Hallo Willy,
ich habe genau das selbe Problem: möchte Userdaten und Beiträge vom Parsymonyforum ins MLF übertragen ... könntest Du die zwei kleinen Scripte hier öffentlich posten? das wäre super-nett! Dank und Hinweis auf Dich wären Dir gewiss 
Viele Grüße
Olly
Wir haben das ganze mal dokumentiert. Das betrifft aber nur die Version 1.7.
Lief bei uns absolut problemlos. Hier noch mal ein dickes Dankeschön an den Spender. 
Gruß Simon