Seite 1 von 23

Projekt für KDGForum: KDG-Mapper

Verfasst: 25.08.2011, 20:11
von fLoo
UPDATE VOM 16.05.2013

http://breitbandatlas.com/2013/breitban ... -mai-2013/



Mediale Berichterstattung:

https://netzpolitik.org/2012/keine-scho ... utschland/
http://www.golem.de/news/kdgeo-db-kabel ... 94645.html
http://carta.info/48646/open-data-sorry-were-closed/

############### ORIGINALER THREAD ###################

Servus,

ich habe vor einigen Monaten begonnen ein Projekt zu erstellen, welches sich mit der Verfügbarkeit und dem Ausbau von KabelDeutschland-Produkten beschäftigt. Nach unzähligen Stunden Codeanalyse (die Webseite der KDG ist echt .. naja ;) ) bin ich nun soweit und kann dem Forum in Kürze ein erstes Ergebnis präsentieren.

Services:
  • Eigene GEO-Datenbank KDGEO-DB (synchronisiert mit den Servern der KDG).
  • KDGEO-DB beinhaltet alle Postleitzahlen, Orte, Straßen sowie Hausnummern
  • KDGEO-DB verfügt über die exakten Geokoordinaten zu jeder Adresse (realisiert mit Google-Maps-Geocode-API)
  • KDGEO-DB beinhaltet zu den jeweiligen Adressen auch Fotos der Straßenzüge, sofern Verfügbar (PREMIUM)
  • KDG-Frequenz-Analyse. Hiermit ist es möglich Daten per API zu schicken, um die derzeitige Auslastung des eigenen Segments online zu speichern und der Allgemeinheit zur Verfügung zu stellen.
Funktionen:
  • graphische Darstellung von Verfügbarkeiten per dynamischer Karte

Premium-Funktionen (nur für wirklich große Aufträge wie von Gemeinden, ausgenommen sind alle anderen ISPs):
  • graphische Darstellung von Verfügbarkeiten per statischer Karte (Offline als PDF / PNG / JPG / TIFF)
  • Generierung von Karten für Orte,PLZ-Bereiche,Bundesländer,Bundesweit oder eigene Gebiete (Angabe von Koordinaten LAT/LNG)
  • Nutzung des KDGEO-DB-PHOTO-Service um für Straßenzüge Fotos zu erhalten
  • statistische Auswertung von Verfügbarkeiten nach Postleitzahlen
  • statistische Auswertung von Verfügbarkeiten nach Orten
  • statistische Auswertung von Verfügbarkeiten nach Bundesländern
  • statistische Auswertung von Verfügbarkeiten Bundesweit
  • Statistik berücksichtigt die Verfügbarkeit von Produkten über die Netzte der KDG (auch Reseller wie Telecolumbus)
Geplant:
  • Einbindung der Netze Telecolumbus & UnityMedia in die Statistiken (derzeit wird nur die Resellermöglichkeit über KDG-Leitungen geprüft)
  • Letztendlich eine Kabelkarte für alle Kabelanbieter bundesweit generieren (Zukunftsmusik :flöt: )
Kosten:

Das Projekt steht für jeden Nutzer kostenlos zur Verfügung. Einige Funktionen wie die Generierung von statischen Karten gibt es jedoch lediglich gegen eine Spendengebühr pro erstmaligem Abruf der Daten. Dies geschieht aus dem Grund, da dies enorm CPU-Power beansprucht und alleine hierfür circa 130 Arbeitsstunden draufgegangen sind.

URL:

Re: Projekt für KDGForum: KDG-Mapper

Verfasst: 25.08.2011, 23:29
von fLoo
[ ----------------- Platzhalter -------------- ]

Re: Projekt für KDGForum: KDG-Mapper

Verfasst: 25.08.2011, 23:30
von fLoo
So, ich habe nun den nächsten Schritt geschafft, zu jeder Adresse gibt es jetzt die genauen (mehr oder weniger) Koordinaten, nächster Schritt wird es sein, anhand der Vorhandenen Daten + Koordinaten eine Karte zu erstellen. Die Nacht wird lang :)

Re: Projekt für KDGForum: KDG-Mapper

Verfasst: 25.08.2011, 23:33
von BastardLawyerFrmHell
Dein Engagement in allen Ehren, aber geht das nicht bereits über KDGs Homepage/Preis24s Homepage selbst? Ich meine, dass ich vor einigen Monaten so die Verfügbarkeit meines Anschlusses testete.

Re: Projekt für KDGForum: KDG-Mapper

Verfasst: 25.08.2011, 23:49
von fLoo
BastardLawyerFrmHell hat geschrieben:Dein Engagement in allen Ehren
Danke
BastardLawyerFrmHell hat geschrieben:aber geht das nicht bereits über KDGs Homepage/Preis24s Homepage selbst? Ich meine, dass ich vor einigen Monaten so die Verfügbarkeit meines Anschlusses testete.
Aber sicher, so prüfe ich auch meinen Anschluss

Hier geht es aber darum, eine Verfügbarkeits-Karte zu erstellen um ein möglichst genaues Bild einer Stadt, respektive eines Stadtteils abzubilden. Sowas wird es von KDG niemals geben, daher mache ich das jetzt.

Re: Projekt für KDGForum: KDG-Mapper

Verfasst: 26.08.2011, 08:44
von RcRaCk2k
Also ich finde das Projekt interessant :)

Verwendest du den AJAX-Aufruf von der Seite, um die Straßennamen und die Hausnummern herauszufinden?
Da du ja nicht weist, welche Hausnummern und Straßen es in einem Ort geben kann.

Geil wäre, wenn dann auf der Google-Map bei einer Adresse ein grüner / oranger / roter Punkt zu sehen wäre :)

AJAX-URL: http://www.kabeldeutschland.de/static/s ... reilassing
Results in:

Code: Alles auswählen

[{value:Ahornstr.}, {value:Akeleiweg}, {value:Alpenstr.}, {value:Am Feuerhaus}, {value:Am Hang},…]
Anscheinend hat der Betreiber der Seite eine kleine Sicherheit eingebaut. Im Abstand von 5 Sekunden wird jedesmal ein Ping an die Seite http://www.kabeldeutschland.de/static/s ... ction=ping gesendet.

Hier findest du alle möglichen Abfrageparameter:
http://www.kabeldeutschland.de/static/s ... ion=config

Früher ging es auch mal, die Hausnummer der Datenbank zu extrahieren... Ich habe gerade den kompletten Code nach alten Rückständen abgesucht, aber nichts gefunden. Habe mir damals leider nicht aufgeschrieben, wie die Abfrage gelautet hat. Vielleicht findest du das ja noch raus?

EDIT: Ach Fuck... Ich dachte schon, das wären Daten aus der Live-Datenbank von Kabel-Deutschland. So hätte man sehen können, welche Straßenzüge versorgt werden und welche nicht. Aber anscheinend kommen die Daten von einem Produkt der deutschen Post: http://www.deutschepost.de/dpag?check=y ... 15592_1041 Hinweis darauf gibt die Javascript-Bibliothek "datafactory.min.js".

Re: Projekt für KDGForum: KDG-Mapper

Verfasst: 26.08.2011, 10:07
von Kabelmensch
fLoo hat geschrieben:Servus,

ich habe aus aktuellem Anlass gerade begonnen ein Tool zu schreiben, welches anhand von Adressen die Verfügbarkeit von KDG-Produkten überprüft und diese dann ausgibt. Ich bitte Euch um Wünsche, was das Programm machen kann/soll/muss. Danke Euch!
Sieht nach hoher Netzlast aus, da ja sicherlich regelmäßig abgefragt werden soll.
Wie willst Du den DoS-Verdacht abwenden?

Re: Projekt für KDGForum: KDG-Mapper

Verfasst: 26.08.2011, 11:48
von fLoo
Danke für die rege Teilnahme, hier die Antworten:
RcRaCk2k hat geschrieben:Verwendest du den AJAX-Aufruf von der Seite, um die Straßennamen und die Hausnummern herauszufinden?
Da du ja nicht weist, welche Hausnummern und Straßen es in einem Ort geben kann.
Genau den Verwende ich ;)
RcRaCk2k hat geschrieben:Geil wäre, wenn dann auf der Google-Map bei einer Adresse ein grüner / oranger / roter Punkt zu sehen wäre :)
Genau dabei bin ich gerade ^^
RcRaCk2k hat geschrieben:Anscheinend hat der Betreiber der Seite eine kleine Sicherheit eingebaut. Im Abstand von 5 Sekunden wird jedesmal ein Ping an die Seite http://www.kabeldeutschland.de/static/s ... ction=ping gesendet.
Mehr Schein als Sein. Das hat nichts mit Sicherheit zutun.
config
RcRaCk2k hat geschrieben:Früher ging es auch mal, die Hausnummer der Datenbank zu extrahieren... Ich habe gerade den kompletten Code nach alten Rückständen abgesucht, aber nichts gefunden. Habe mir damals leider nicht aufgeschrieben, wie die Abfrage gelautet hat. Vielleicht findest du das ja noch raus?
Soweit Hausnummer Verfügbar (abfragbar) sind, kann man diese folgendermaßen auslesen:

An folgende Adresse einen Post-Request senden : http://www.kabeldeutschland.de/start/ve ... resse.html
Inhalt: "serviceAdressRedirect=&serviceAdressProduct=&serviceAdressAdressId=&serviceAdressQuarter=&_qf_default=adress%3AVALIDATE&serviceAdressZipCode=21335&serviceAdressCity=L%FCneburg&serviceAdressStreet=Rosenstr.&serviceAdressStreetNo=&serviceAdressHouseAdd="

Daraus ergibt sich in der Antwortseite, soweit Verfügbar:

Code: Alles auswählen

<option value="21335,Lüneburg,Altstadt,Rosenstr.,,,-1">21335 Lüneburg, Rosenstr.  (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,1,,4107928">21335 Lüneburg, Rosenstr. 1 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,2,,4107929">21335 Lüneburg, Rosenstr. 2 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,3,,4107930">21335 Lüneburg, Rosenstr. 3 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,4,,4107931">21335 Lüneburg, Rosenstr. 4 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,5,,4107932">21335 Lüneburg, Rosenstr. 5 (Altstadt)</option>

	<option value="21335,Lüneburg,Altstadt,Rosenstr.,6,,6211354">21335 Lüneburg, Rosenstr. 6 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,7,,4107934">21335 Lüneburg, Rosenstr. 7 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,8,,4107935">21335 Lüneburg, Rosenstr. 8 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,9,,4107936">21335 Lüneburg, Rosenstr. 9 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,10,,4107937">21335 Lüneburg, Rosenstr. 10 (Altstadt)</option>
	<option value="21335,Lüneburg,Altstadt,Rosenstr.,11,,4107938">21335 Lüneburg, Rosenstr. 11 (Altstadt)</option>
Kabelmensch hat geschrieben:Sieht nach hoher Netzlast aus, da ja sicherlich regelmäßig abgefragt werden soll.Wie willst Du den DoS-Verdacht abwenden?
Ich habe ein /24 Subnet, aus dem ich Anfragen von 253 IPs senden kann, läuft :)

Re: Projekt für KDGForum: KDG-Mapper

Verfasst: 26.08.2011, 12:20
von fLoo
Update: Drückt mir die Daumen, nach Rücksprache mit der Deutschen Post bekomme ich ggf. die Datafactory der Deutschen Post gratis für dieses Projekt, dass heisst im Umkehrschluss, dass ich nativen Zugang zu Hausnummern aller Straßen haben :party:

Re: Projekt für KDGForum: KDG-Mapper

Verfasst: 26.08.2011, 13:34
von fLoo
Yay - SEHR große Fortschritte gemacht.
Ich komme jetzt auch ohne die "Datafactory Postalcode"-API der Deutschen Post aus. Ziehe mir die Adressen direkt von KDG :love: