Langsamer Import von größeren .BNA Dateien?

[Ekki]

Tag.

Diese Mail (das Bahn 3.84 da ist und nun 32kx32k Felder kann) wird mein Leben verändern. Wie vor einigen Jahren werde ich wieder tage- und nächtlang dran sitzen und Spaß haben Danke!

Aber zum Problem:
Gibt es Erfahrungen mit dem Import größerer BNA-Dateien? Ich versuche gerade eine 3MB große BNA Datei mit ca. 150 Tsd Zeilen einzulesen. Das dauert nun schon fast 24 Std. -_-

Das Programm ist noch am Arbeiten und hat sich keineswegs aufgehängt... die CPU-Last hängt seit 24 Std bei 100% (so heiss war meine CPU so lange noch nie), der Speicherverbrauch steigt langsam aber stetig (derzeit bei 2.7GB). Also schafft da was...

Ich frage mich nur wie lange ich noch warten soll... oder ob ich mal probieren soll das große BNA File in 4 Quadranten aufzuteilen und einzeln einzulesen...

Hat irgendjemand Erfahrung damit wie lange sowas dauern könnte?

Danke & Gruß,
Ekki

[micha88]

Aber zum Problem:
Gibt es Erfahrungen mit dem Import größerer BNA-Dateien? Ich versuche gerade eine 3MB große BNA Datei mit ca. 150 Tsd Zeilen einzulesen. Das dauert nun schon fast 24 Std. -_-

Das Programm ist noch am Arbeiten und hat sich keineswegs aufgehängt... die CPU-Last hängt seit 24 Std bei 100% (so heiss war meine CPU so lange noch nie), der Speicherverbrauch steigt langsam aber stetig (derzeit bei 2.7GB). Also schafft da was...

Ich frage mich nur wie lange ich noch warten soll... oder ob ich mal probieren soll das große BNA File in 4 Quadranten aufzuteilen und einzeln einzulesen...

2,7 GB Speicherverbrauch? Mit Sicherheit hast du nicht so viel Arbeitsspeicher. Das führt dazu, dass ein Teil des Arbeitsspeicher auf die Festplatte ausgelagert wird - die Geschwindigkeit sinkt dadurch extrem! Allerdings wundere ich mich, dass der Speicherverbrauch und die Rechenzeit so groß sind - das kann ich mir eigentlich nicht vorstellen, besonders das ständige ansteigen des Speicherverbrauchs ist nicht normal.

Um es einfach mal selber zu probieren, importiere ich jetzt mal eine 10 MB große bna-Datei (knapp 600.000 Zeilen), von der ich glaube, dass ich sie in BAHN 3.83 schonmal erfolgreich importiert habe...

[Ekki]

2,7 GB Speicherverbrauch? Mit Sicherheit hast du nicht so viel Arbeitsspeicher.

Richtig, es sind nur 1GB. Aber trotzdem swapt der Rechner nur erstaunlich wenig, wohl weil, je weiter das Einlesen läuft, die interne verarbeitung immer langsamer wird und nur selten neue Speicherblöcke anfordert. Das Ganze läuft unter Linux/wine, sonst recht problemlos und flott.

Allerdings wundere ich mich, dass der Speicherverbrauch und die Rechenzeit so groß sind - das kann ich mir eigentlich nicht vorstellen, besonders das ständige ansteigen des Speicherverbrauchs ist nicht normal.

Der Anstieg des Speicherverbrauchs ist extrem langsam, in den letzten Stunden. Es kommt zwar immer noch was dazu, aber eben nur sehr langsam. Müsste man Jan mal fragen, nach welcher Strategie da der Speicher alloziert wird.

Um es einfach mal selber zu probieren, importiere ich jetzt mal eine 10 MB große bna-Datei (knapp 600.000 Zeilen), von der ich glaube, dass ich sie in BAHN 3.83 schonmal erfolgreich importiert habe...

Auja, das wäre mal interessant. Ich habe die gleichen Daten (Ländergrenzen, Flüsse, alle Bahnlinien von D) vor vielen Jahren schon mal eingelesen, damals aber noch projiziert auf das bisherige 16kx16k Feld. Das hat auch einige Stunden gedauert, ich glaube so 2 oder 3, aber nicht 24... aber möglicherweise steigt die Verarbeitungszeit exponentiell, nicht linear...

Gruß,
Ekki

[micha88]

so, ich habe mal mit etwas kleineren Dateien probiert (die 10MB-Datei war doch ein bissel groß [img]icon_wink.gif[/img] ) - tatsächlich ist die Zeit von BAHN 3.83 zu BAHN 3.84 leider stark gestiegen. Eine BNA-Datei, die BAHN 3.83 in etwa 5 Minuten geschafft hat, braucht in BAHN 3.84 jetzt schon über eine Stunde.

[sepruecom]

na ja, wobei, unter wine brauchst du dich über diese Zeiten nicht zu wundern, da dieses nur Teile der Systemressourcen zuweist (und zwar ziemlich kleine Teile), und dadurch das Programm abbremst.

Gruss, sepruecom

[micha88]

na ja, wobei, unter wine brauchst du dich über diese Zeiten nicht zu wundern, da dieses nur Teile der Systemressourcen zuweist (und zwar ziemlich kleine Teile), und dadurch das Programm abbremst.

Klar, unter Wine ist es sicher etwas langsamer. Aber ich habe es ja garnicht mit Wine probiert - den beschriebenen großen Unterschied zwischen BAHN 3.83 und 3.84 gibt es schon unter Windows.

[Karsten Seifert]

Kann es sein, daß die "Langsamkeit" mit dem schon anderswo beschriebenen Phänomen zusammenhängt, daß der Neubau jetzt wesentlich länger dauert und man den Eindruck hat, der Tastaturpuffer spinnt. Im Endeffekt müßte es ja auf das selbe hinauskommen, ob ich nun eine Strecke von Hand baue oder das Programm es von einer *.bna Datei gesagt bekommt, wo eine Schiene hin soll.

Karsten

[Ekki]

Nur zur Info: Ich habe den Import der BNA Datei nun nach drei Tagen abgebrochen
Jetzt läuft das seit 1.5 Tagen auf einem etwas langsameren Win98SE Rechner, da solls laufen bis zum St.Nimmerleinstag. Wollen doch mal sehen ob das nicht geht...

Ich werde berichten.

Gruß,
Ekki

[Ekki]

Und als Nachtrag: Unter Win98SE hat der Import nun geklappt, dauerte nur zwei Tage insgesamt, das auf einem etwas langsameren Rechner als die Linuxbüchse.

Nur um dann festzustellen, dass ich das BNA-File etwas dumm angelegt habe, also alles von vorne... gerade läuft auf dem Win98 Rechner erneut der Import

Das BNA-File beschreibt ganz D, mit Grenzen, Stadtumrissen, Flüssen und allen Bahnlinien. Trotz der Dateigröße von 15MB bleibt das Ganze gut benutzbar, nur runterzoomen darf man nicht. Der Bildaufbau der ganz D zeigt dauert dann etwa 3 Minuten

Gruß,
Ekki

[Stuff]

Hallo zusammen!

@Ekki: Könntest Du mir die Datei mal zukommen lassen und damit meine Faulheit unterstützen. Wenn ja bitte PN an mich. Danke!

MfG Stuff

[Ekki]

@Ekki: Könntest Du mir die Datei mal zukommen lassen und damit meine Faulheit unterstützen. Wenn ja bitte PN an mich. Danke!

---------------------
Edit:

Ich kläre jetzt erstmal das Copyright an den von mir verwendeten Geodaten, also ob man die einfach so verwenden darf. Mal sehen was die antworten. Kann also sein, daß das noch ein paar Tage dauert. Sorry.
---------------------
Edit 2:
Ja, ich darf die Daten weitergeben. Ich werde die download-Adresse demnächst hier bekannt geben.
---------------------



Kein Problem, der erneute Import ist heute nacht fertig geworden. Was willst Du haben? Das BNA FIle und selber importieren oder die nt3-Datei mit dem importierten BNA File drin? Die ist etwa 16MB groß.
Dann habe ich ein separates BNA-File mit ca. 20Tsd Ortsnamen aus der OpengeoDB dazu. Auch haben wollen?

Aber Achtung:
- Geht nur mit 3.84 (32k x 32k)
- Das Streckennetz ist alles andere als sofort benutzbar, die Strecken sind eher grob gezeichnet und allesamt nicht miteinander verbunden. D.h. da ist noch enorm viel Handarbeit nötig um das zu einem funktionierenden Netz zu bringen.

Ich will jetzt erstmal ein paar Tests machen, wie lange Züge von Nord nach Süd und von Ost nach West über lange Strecken brauchen. Dabei will ich gucken ob ich die Skalierung richtig gewählt habe um realistische Fahrgeschwindigkeiten zu erzielen. Kann sein, daß das noch nicht ganz passt.

Ich denke ich werde die Dateien am besten auf meine Webseite stellen, da kann sich dann jeder ziehen was er/sie will.

Gruß,
Ekki

[Stuff]

Hallo erstmal!

Die .nt3-Datei wäre schon schön. Das spart Strom, weil der Rechner eine Nacht weniger läuft. [img]icon_biggrin.gif[/img] Die Strecken werde so wie so entfernen. Die Flüsse und die Lage der Städte sind für mich das Interessante. Da dann wird ein (reales) Fantasienetz draus.

Edit: Da wird dann ein (reales) Fantasienetz draus.

MfG Stuff

[Ekki]

So, ich habe die Datei zum Download bereitgestellt:
http://www.plicht.de/ekki/varia/bahn/index.html

Bitte die Hinweise zu den Problemen mit diesem Netz durchlesen und nicht meckern, wenn man sie nicht gelesen hat. Dies ist keine gebrauchsfertige Netzdatei, sondern erfordert noch sehr viel Arbeit.

Sorry für die großen Grafiken, ich war zu faul die noch zu skalieren.

Viel Spaß,
Ekki

[Stuff]

Hallo erstmal,

ich habe mir eben das Netz runtergeholt. Den gezeigten Screenshots nach ist es genau das, was ich erwartet habe und erspart mir eine Menge Recherchearbeit. Danke dafür.

MfG Stuff

[Sander Fondse]

Kann jemand mir das Datei (in ZIP) schicken via meine E-Mail Taste? Der Download von der Site funktioniert bei mir nicht. [img]icon_confused.gif[/img]