Herausforderungen von gerichteten linearen Netzwerken im peruanischen Amazonas.

Die Sitzung ist der letzte Tag des offenen Q im Monat, der sich auf die Fehlerbehebung in gerichteten linearen Netzwerken und die Verwendung von grafischen Modellen konzentriert. Nicholas wird Einblicke in die Behebung gerichteter Netzwerke geben und Tipps und Tricks für die Netzwerkanalyse bereitstellen.

Nicholas erklärt, dass "directional" in diesem Kontext auf die Bedeutung der Richtung hinweist, in der die Linie vektorisiert wurde, wie z.B. in einem Flussnetzwerk. Lineare Netzwerke werden aufgrund der Erfahrung des Sprechers mit netzwerkbezogenen Spam-E-Mails und dem Interesse an Netzwerkanalyse diskutiert.

Nicholas teilt seinen Hintergrund, beginnend als Lehrer Ende der 1990er Jahre, den Übergang zur Meeresarchäologie, die Arbeit am Schiffswrack der Elizabeth und Mary mit Parks Canada, die Verfolgung einer Karriere in der Archäologie und derzeit die Promotion im Megio Applied Remote Sensing Lab.

Das Parlap-Projekt, das peruanische Amazonas-Projekt für ländliche Lebensgrundlagen und Armut, ist eine multidisziplinäre Initiative, an der die Universität McGill Tokyo und die Universität Toronto beteiligt sind. Es konzentriert sich auf fünf Einzugsgebiete in Peru und untersucht die Lebensgrundlagen, Einkommensniveaus, Armut und Familienstrukturen kleiner Dörfer, die auf Landwirtschaft, Jagd, Fischerei und Extraktion basieren.

Waldressourcen und Flüsse spielen eine entscheidende Rolle bei der Kommunikation und dem Transport von Gütern in der Amazonasregion. Das Projekt zielt darauf ab, den Zusammenhang zwischen Transport, Kommunikation, Isolation und ländlicher Armut zu verstehen, wobei der Fokus insbesondere auf Armutsfallen liegt, in denen Menschen mit niedrigerem Einkommen wahrscheinlicher leben.

Das Ziel des Projekts ist es, politische Erkenntnisse für den Naturschutz und die Armutsbekämpfung bei gefährdeten Bevölkerungsgruppen in Amazonien bereitzustellen. Die Herausforderung bestand darin, 613 Millionen kürzeste Pfade zu berechnen, was Zusammenarbeit und den Einsatz verschiedener Werkzeuge und Techniken erforderte.

Die Umwandlung von Flusskarten von Polygonen in Linien war eine bedeutende Herausforderung, um die Kompatibilität mit Netzwerkanalysen sicherzustellen. Das Projekt erforderte die Berechnung der Flussrichtung und -klasse innerhalb jedes kürzesten Pfades, die durch die Ausrichtung der vektorisierten Daten mit NASA Dem erreicht wurde.

Das Projekt nutzte den gewichteten Dijkstra-Algorithmus für alle Paare von 46.000 Zentroiden in fünf Einzugsgebieten, um die Gesamtdistanzen, stromauf- und stromabwärts zurückgelegten Distanzen zu berechnen und nach Flussklasse zu klassifizieren. Dieser Ansatz lieferte Einblicke in Isolation und Schwierigkeitsindex für das Erreichen von Gemeinden.

Der Algorithmus reduzierte die Berechnungszeit signifikant von 146 Jahren auf 166 Stunden, was die Effizienz verbesserte. Die Ausgaben umfassten Prozentsätze für die Entfernungen stromaufwärts und stromabwärts sowie bekannte Textzeilenketten für jeden Pfad, was das Verständnis der Gemeinschaftskonnektivität und -isolation verbesserte.

Der Sprecher erwähnt, dass er zwischen 25 und 84.000 Berechnungen pro Minute durchführt und Multithreading verwendet, um den Prozess zu beschleunigen. Sie diskutieren die Erstellung von Gewichtsmatrizen für eine Software namens Shortest Path Matrix Builder, die darauf abzielt, die Autokorrelation für räumliche Analysen zu berechnen.

Die Autokorrelation wird als Maß für die Zufälligkeit im Raum erklärt, insbesondere in einkommensschwachen Gemeinden. Der Sprecher diskutiert die Verwendung verschiedener Distanzberechnungsmethoden wie Rooks Fall und Queens Fall und betont die Bedeutung der Verwendung der tatsächlichen Flussdistanz für eine genaue Analyse.

Der Sprecher beschreibt die Beschränkung der Analyse auf das tatsächliche Flussnetz für genaue Ergebnisse. Sie erwähnen, dass der Algorithmus Berichte über kürzeste Pfade nach Komponenten, Gruppierungen von Standorten und Visualisierungen von durchschnittlichen Entfernungen für Nachbarn liefert.

Der Sprecher hebt den Mangel an Toleranz im kürzesten Pfad Dijkstra für Netzwerkfehler hervor, der ein perfektes Netzwerk erfordert. Sie erwähnen die Erstellung von Modulen, um Probleme wie getrennte Knoten, sich kreuzende Linien, sich berührende oder überlappende Linien und Änderungen in der Vektorisierungsrichtung zu adressieren, um die Daten genauigkeit zu verbessern.

Mehrzeilige Zeichenfolgen in der Datenbank müssen für die kürzeste Pfadanalyse eliminiert werden. Parallele Kanten, bei denen zwei Linien am selben Ort beginnen und enden, müssen identifiziert und für Geschwindigkeit modifiziert werden. Im diskutierten Algorithmus bestand der Ansatz darin, die zweite Linie in der Mitte zu teilen, um Probleme zu lösen.

Die Verwendung von Topologietoleranzen wie in QGIS kann zu ungenauen Ergebnissen führen, da die Qualität der Daten direkten Einfluss auf die Ergebnisse hat. Wenn die Datenqualität schlecht ist, werden auch die Ergebnisse minderwertig sein. Ein Beispiel zeigte einen 25 Zentimeter Puffer, der eine 15 Meter Unterbrechung zwischen den Knoten verursachte und die Bedeutung der Datenpräzision hervorhob.

Die Auswahl einer zu hohen Toleranz kann zu erheblichen Fehlern bei der Berechnung des kürzesten Pfades führen. Eine Toleranz, die größer ist als der tatsächliche Abstand zwischen den Knoten, kann dazu führen, dass der Pfad erheblich abweicht und die Genauigkeit der Ergebnisse beeinträchtigt. Netzwerktoleranz kann Probleme verursachen, wenn sie nicht sorgfältig kalibriert wird.

Netzwerkmodule in QGIS fungieren als herunterladbare Plugins, die die Fähigkeiten der Software erweitern. Diese Module können installiert werden, um das Verarbeitungswerkzeugkasten zu erweitern und zusätzliche Funktionalitäten anzubieten. Der grafische Modellierer, einer der diskutierten Module, ermöglicht es den Benutzern, QGIS-Algorithmen visuell zu verbinden und komplexe Prozesse ohne umfangreiche Programmierkenntnisse zu vereinfachen.

Beim Erstellen von Modellen in QGIS sind wichtige Prinzipien der Schutz der Benutzerdaten durch das Nichtüberschreiben von Dateien, die Benachrichtigung der Benutzer über Änderungen, die Aufrechterhaltung der Datenbank- und Geometrieintegrität sowie das Verfolgen der ursprünglichen Feature-IDs zur Datenwiederherstellung. Ein weiteres Prinzip betont die Achtung der Benutzerintelligenz, indem nicht alles automatisch behoben wird, sodass Benutzer die Kontrolle behalten und informierte Entscheidungen treffen können.

Der Leitgedanke des Sprechers ist es, Benutzer zu informieren, indem er Informationen, Optionen und Werkzeuge bereitstellt. Er beteiligt sich aktiv an der QGIS-Community durch Foren, Symposien und einen YouTube-Kanal, um Wissen zu teilen und benutzerfreundliche Werkzeuge zu erstellen.

Der Sprecher hat drei Module für die Netzwerkanalyse entwickelt. Das erste Modul überprüft die Gültigkeit von Geometrien, korrigiert mehrteilige Geometrien und entfernt doppelte Geometrien. Das zweite Modul identifiziert potenzielle Netzwerkfehler, während das dritte Modul darauf abzielt, Netzwerkprobleme zu beheben.

Modul 1 gibt gültige Geometrien, transformierte Einzelteil-Geometrien und markierte ungültige Geometrien aus. Der Sprecher betont die Wichtigkeit, Benutzer über Änderungen an ihren Daten zu informieren, um Transparenz und Verständnis zu gewährleisten.

Der Sprecher versucht, ungültige Geometrien mit Werkzeugen zu reparieren, empfiehlt den Benutzern jedoch, die Geometrien im Modell erneut zu testen. Sie betonen die Notwendigkeit manueller Eingriffe bei der Behebung komplexer Geometrien, die automatisierte Werkzeuge möglicherweise nicht bewältigen können.

Der Sprecher gewährleistet die Datenbankintegrität, indem er die ursprüngliche Benutzer-ID beibehält und Anmerkungen zu den vorgenommenen Änderungen im File bereitstellt. Dazu gehört das Hinzufügen von Feldern, das Berechnen von Längen und das Entfernen von doppelten Knotenpunkten, um die Benutzer über Änderungen zu informieren.

Das erste Modul der Software überprüft Geometriefehler und behebt sie. Es konzentriert sich darauf, Probleme im Zusammenhang mit der geometrischen Struktur der Daten zu identifizieren und zu beheben.

Das zweite Modul ist der Netzwerkanalyse gewidmet. Es beinhaltet die Erstellung eines Graphen zur Kennzeichnung potenzieller Netzwerkprobleme, Identifizierung von getrennten Knoten und Linien sowie die Durchführung einer Nachbaranalyse, um Benutzern zu helfen, Datenprobleme zu verstehen.

Ein Graph wird als erster Schritt in der Netzwerkanalyse erstellt. Er besteht aus Knoten, die die ersten und letzten Vertices einer Linie repräsentieren, verbunden durch Kanten, die gerade Linien zwischen den Knoten sind. Die Visualisierung des Graphen zeigt Konnektivitätsprobleme auf, die in den Daten möglicherweise nicht offensichtlich sind.

Die Software kennzeichnet potenzielle Probleme in den Daten, wie Linien, die sich selbst verbinden oder nicht berührende Linien. Diese Probleme können zu Analysefehlern führen und erfordern manuelle Eingriffe zur Lösung.

Fehler in den Daten, wie nicht berührende Linien oder sich kreuzende Linien, werden auf der Grundlage eines bestimmten Schwellenwerts behoben. Wenn Fehler diesen Schwellenwert überschreiten, werden sie zur manuellen Korrektur markiert, um genaue Netzwerkanalyseergebnisse zu gewährleisten.

Die Software identifiziert falsche Polygone, die Linien sind, die geschlossene Schleifen bilden und Polygonen ähneln. Diese sich selbst berührenden Linien können Netzwerkanalyse-Algorithmen irreführen und müssen korrigiert werden, um fehlerhafte Ergebnisse zu verhindern.

Überlappende Linien, bei denen ein Segment zu mehreren Formen gehört, werden zur manuellen Intervention identifiziert. Diese teilweise überlappenden Geometrien erfordern Benutzereingriffe zur Lösung und Gewährleistung einer genauen Datenrepräsentation.

Parallele Kanten im Graphen werden als potenzielle Probleme markiert, die manuelle Intervention oder eine komplexere Datenstruktur erfordern, um sie zu beheben. Einfache Graphen zeigen möglicherweise nur die erste Kante in der Netzwerkanalyse an, was zu Ungenauigkeiten führt.

Komplexe Linien im Graphen, die potenziell zusammengeführt werden könnten, ohne die Integrität des Netzwerks zu beeinträchtigen, werden identifiziert. Das Zusammenführen dieser Linien kann Algorithmen erheblich beschleunigen, insbesondere wenn eine große Anzahl von Linien auf eine kleinere Menge reduziert wird.

Nicht verbundene Knoten, die Endpunkte sind, die nicht mit anderen Teilen des Netzwerks verbunden sind, werden als problematisch hervorgehoben. Diese Knoten müssen repariert werden, um die Netzwerkverbindung und -genauigkeit sicherzustellen.

Eine nächste Nachbaranalyse wird an getrennten Knoten durchgeführt, um Fehler in Entfernungen zu bestimmen. Das Verständnis des Ausmaßes und Typs von Fehlern hilft bei der Identifizierung und Behebung von Konnektivitätsproblemen im Netzwerk.

Die Anwendung eines 25-Zentimeter-Filters hilft dabei, Knotenpunkte zu identifizieren, die mehr als 25 Zentimeter voneinander entfernt sind, was dabei hilft, Bereiche für potenzielle Reparaturen genau zu lokalisieren. Dieser Filterprozess lenkt die Entscheidungsfindung darüber, welche Knotenpunkte zuerst angegangen werden sollen.

Die Entscheidung wird getroffen, alle Knoten zu reparieren, die durch weniger als 25 Zentimeter voneinander getrennt sind, um die Netzwerkintegrität und -verbindung sicherzustellen. Dieser Schritt bereitet den Weg für die Korrekturmaßnahmen des nächsten Moduls.

Das bevorstehende Modul zielt darauf ab, Linien innerhalb eines festgelegten Schwellenwerts basierend auf Benutzereingaben aus der nächsten Nachbaranalyse zu erfassen und aufzuteilen. Es wird ein korrigiertes Netzwerk generieren, das modifizierte Linien für die Überprüfung und den Vergleich mit dem Originalnetzwerk hervorhebt.

Es ist entscheidend, Kommentare in Modulen hinzuzufügen, um die Aktionen auf einzelnen Zeilen zu erklären. Dies hilft Benutzern, die vorgenommenen Änderungen zu verstehen, im Gegensatz zu anderen Modulen, die automatisch Änderungen vornehmen, ohne Erklärungen bereitzustellen.

Nachdem Fehler unter 25 Zentimetern behoben wurden, ist es notwendig, die Ergebnisse im Netzwerk zwei erneut auszuführen. Anschließend müssen Fehler identifiziert und korrigiert werden, wobei Fehler möglicherweise bis zu 50 Zentimetern korrigiert werden müssen. Der Prozess beinhaltet das sequenzielle Arbeiten am Modell eins, dann am Modell zwei und schließlich am Modell drei, wobei Geometrien kontinuierlich überprüft und korrigiert werden.

Während der Präsentation wurden Fehler entdeckt, hauptsächlich aufgrund neuer Optionen in der Funktion zur festen Geometrie. Diese Fehler wurden durch Modifikation des Algorithmus behoben und zusätzliche Überprüfungen an modifizierten Linien durchgeführt. Der Algorithmus zum Anheften an Ankerpunkte wurde ebenfalls verbessert, um ungültige doppelte Linien zu verhindern.

Modell eins verfolgt gelöschte doppelte Geometrien nicht genau, was zu Diskrepanzen führt, wenn Datenbanken nicht identisch sind. Die nächste Nachbaranalyse meldet manchmal eine Nullentfernung für sehr kleine Entfernungen, was potenziell Fehler verdecken kann. Modell drei kann Linien innerhalb eines Schwellenwerts aufteilen, was manuelle Eingriffe erfordert, um unerwünschtes Linienaufteilen zu verhindern.

Die Erstellung eines Plugins für das Modell würde die Funktionalität verbessern, indem Schleifen ermöglicht, die Fehlerbehandlung verbessert und die Stabilität über verschiedene Versionen der Software hinweg gewährleistet wird. Dieser Ansatz würde Abstürze verhindern, die durch neue Optionen verursacht werden, und die Gesamtleistung des Modells verbessern.

Der Sprecher drückt die Bereitschaft aus, Feedback und Fragen vom Publikum zu erhalten und bedankt sich für deren Teilnahme.

Positive Rückmeldungen werden vom Publikum erhalten, wobei Herr Ong, ein Archäologe und QGIS-Enthusiast, Dankbarkeit für die archäologische Perspektive in der Präsentation äußert.

Verschiedene Zuhörer, darunter Nabaz aus dem Wassersektor und Brendan, schätzen die Live-Demo und finden die Präsentation hilfreich.

Eine Frage wird von Cuckoo Jack gestellt, wie man ein Linienetzwerk zwischen Punkten erstellen kann, ohne durch Gebäude zu gehen, und sucht nach Expertenrat zu Netzwerkanalysetechniken.

Der Sprecher schlägt vor, Gebäude zu vektorisieren, ein Raster möglicher Linien zu erstellen und eine kürzeste Weganalyse durchzuführen, um zu vermeiden, durch Gebäude zu gehen, wenn ein Linienetzwerk zwischen Punkten erstellt wird.

Cougar Jacks Frage löst eine Diskussion unter dem Publikum aus, mit Vorschlägen wie Pufferanalyse, um Gebäude zu vermeiden, wenn ein Linienetzwerk erstellt wird.

Der Sprecher erklärt die Funktionalität in QGIS zum Umgang mit Multi-Teil-Geometrien, wobei er den Prozess des Zählens von Teilen und die Verwendung des Single-Part-zu-Multi-Part-Algorithmus im Detail beschreibt.

Der Sprecher schlägt vor, den Filmrechner zu verwenden, um Teile oder Geometrien zu zählen, was die Erstellung einer Spalte mit der Anzahl der Geometrien innerhalb jedes Teils ermöglicht. Diese Methode vereinfacht den Prozess und erleichtert das Management komplexer Geometrien.

Die Diskussion befasst sich mit der Interpretation von Polygonen als Flüssen, wobei der Sprecher erklärt, wie das Hinzufügen von Linien außerhalb eines Polygons die Illusion von Flüssen oder Bächen erzeugen kann. Ohne den See zu sehen, kann das Polygon als Netzwerk von Bächen wahrgenommen werden, was die Bedeutung des visuellen Kontexts bei der Interpretation geographischer Merkmale hervorhebt.

Der Sprecher erklärt das Problem mit parallelen Kanten in Graphenstrukturen und betont die Notwendigkeit einer Graphenstruktur, die mehrere Kanten zwischen denselben Knoten zulässt. Im Kontext der kürzesten Pfadanalyse ermöglicht die Verwendung einer komplexeren Graphenstruktur die Beibehaltung paralleler Kanten, was für bestimmte Graphenalgorithmen wie die in NetworkX entscheidend ist. Die Entscheidung, eine leichtere Graphenstruktur zu verwenden, wurde durch die Notwendigkeit von Geschwindigkeit und Effizienz bei der Verarbeitung einer großen Anzahl von kürzesten Pfaden getroffen.

Das Gespräch endet mit Dankbarkeit des Zuhörers gegenüber dem Sprecher für die aufschlussreichen Erklärungen. Der Sprecher bedankt sich für die Anerkennung und zeigt sich bereit, weiter zu helfen, wenn nötig. Die Sitzung endet positiv, mit dem Zuhörer, der Zufriedenheit mit den geteilten Informationen ausdrückt.

Nathan N drückt Dankbarkeit und Bewunderung für das Gespräch aus und erwähnt die hervorragende Arbeit von Herrn Nicholas.

Der Sprecher stimmt der Idee zu, dass das diskutierte Konzept gut als Plugin funktionieren könnte und zieht Parallelen zu bestehenden Tools wie dem Geometry Checker.

Aufgrund des aktuellen Engagements des Sprechers für den Abschluss eines Doktorats kann die weitere Entwicklung des diskutierten Konzepts verzögert werden.

Der Sprecher wurde inspiriert, nachdem er ähnliche Probleme wie die Benutzerliste von QGIS erlebt hatte, trotz der anfänglichen Herausforderung bei der Entwicklung, einen schnellen Algorithmus zu erstellen.

Der Sprecher bekundet ein großes Interesse an Programmierung, insbesondere im Kontext von GIS, und bietet Unterstützung für die QGIS-Community zur Optimierung der Grafikleistung.

Der Sprecher bietet Hilfe für alle an, die Unterstützung beim Beschleunigen von Grafiken innerhalb von QGIS benötigen, und betont die Bereitschaft, zu relevanten Projekten beizutragen.

Ein Kommentar aus dem Publikum hebt die iterative Natur der Plugin-Entwicklung hervor und betont die Bedeutung des Überarbeitens und Verfeinerns von Modellen, bevor mit der Netzwerkanalyse fortgefahren wird.

Trotz Zeitüberschreitung drückt das Publikum Dankbarkeit für den aufschlussreichen Vortrag aus und ermutigt zu weiterer Interaktion mit dem Sprecher per E-Mail oder bereitgestellten Links. Die Sitzung endet mit Dank an die Teilnehmer und einer Einladung, an zukünftigen Veranstaltungen teilzunehmen.