GRB import tool: megathread

[pietervdvn]

Please, leave all feedback, remarks and discussion on the GRB theme here.

TODO:

• [x] The conflation tool might leave leftover points if conflating to less points
• [x] The conflation tool moves points to aggressively
• [x] Importing a building, then editing it while not yet uploading breaks the uploader - especially if editing happens while the upload is happenen as id rewrite doesn't happen.
• [x] The conflation tool snaps to aggressively in some cases (e.g. imported building which is closeby)
• [x] Address logic: deal with units
• [x] Address logic: don't show crab if it is included in the GRB-building
• [x] Address logic: actually copy the address data of the GRB-building into OSM when 'import building' is clicked
• [x] Address logic: a hnrlabel which has a dash is an interpolation, often in steps of two
• [x] Fix CORS issues
• [x] Detect intersections with other objects
• [x] Allow to add multipolygons (e.g. here)
• [ ] Block import if the OSM-layer hasn't loaded yet
• [x] Recalculate metatagging after an import to fix various detections (addresses, ...)
• [x] Import ref:urbis and ref:picc
• [x] The importer sometimes generates duplicate points in a way
• [x] Duplicate buildings are introduced on tile bounds

Feedback log:

• [x] By hgcvm: addresses as node or on the building: this has been improved
• [x] By joost: address logic has improved
• [x] Stijn Claes: wonky rendering and/or with delay: won't fix for now
• [x] Stijn Claes: not adding a tag/deleting a tag gets a strikethrough now (if the property is present on the original object)
• [x] Stijn Claes: 'The overlapping openstreetmap-building has no address information at all' even when there is no building in OSM at all: should be fixed, to validate when GRB is online
• [x] Stijn Claes: Clicking on a CRAB-address-label after an import indicates 'Dit CRAB-adres ligt in een OSM-gebouw. Het OSM-gebouw heeft geen volledig adres' even when the correct address was imported together with the building outline. --> IN the todolist above
• [x] Pietervdvn, hgcvm: failed detections: should be fixed with intersection detection and import block if OSM hasn't loaded
• [x] Tim Couwelier: background is fixed, man_made=mast is filtered away now

[hgcvm]

Are address being added as node inside building? Why not on the outline of the building itself? Or am I doing something wrong? https://www.openstreetmap.org/node/9255807782 https://www.openstreetmap.org/way/1002945461

[joostschouppe]

Building on @hgcvm 's remark, this is the address logic I'd propose:

• never upload addr:flats by default
• do not show ALL crab addresses by default
• if a building has a single address, upload address-on-building to OSM by default
  • edge case: building has address from two different streets, but somehow GRB didn't realize > if a CRAB address is on top of a GRB building that does NOT include that address, do show that CRAB address
• if a building has more than one address:
  • and all the CRAB address nodes are on the same XY, DO upload address to OSM by default
  • and there are CRAB address nodes on more than one
• if a building has NO address, always show CRAB addresses if they are on top
• if a CRAB address exists, and there is no building nearby that contains that same address, DO show the address

Note: it seems to have a lot of this logic already IF most of the import has already been done. It does seem to fail to detect0 some addresses mapped on nodes and some notations on buildings.

[pietervdvn]

Yeah, the address logic is still very wonky and unimplemented.

[pietervdvn]

https://www.openstreetmap.org/way/1009407631

The GRB overlap detection doesn't work for this building

[StijnClaes]

Quick comments on version of the tool Pieter indicated on 12:50 on 6/12/2021:

• There seems to be some delay in the visualization after importing a building with the tool. Some buildings change color, some not.
• Current tool gives the impression that the tag 'building:min_level' is added, but that's not the case.
• Current tool indicates 'The overlapping openstreetmap-building has no address information at all' even when there is no building in OSM at all
• A quick look in iD shows good results of the import.
• Clicking on a CRAB-address-label after an import indicates 'Dit CRAB-adres ligt in een OSM-gebouw. Het OSM-gebouw heeft geen volledig adres' even when the correct address was imported together with the building outline.

Test area: https://www.openstreetmap.org/#map=19/50.77399/4.99326

[pietervdvn]

Detection of already imported buildings failed here: https://www.openstreetmap.org/way/551248816/history

Still offered to import anyway...

[hgcvm]

Hier is ook iets foutgelopen: https://www.openstreetmap.org/way/551248811 staat bovenop https://www.openstreetmap.org/way/491720506

[timcouwelier]

Gebruik makend van mapcomplete.osm.be

• Kan er een andere default achtergrond? GRB of OSM, of recente ortho vlaanderen, ipv de gedateerde luchtfoto?
• in Roeselare zijn Weidestraat 108 en Jacobus Vermanderstraat 19 voorbeeld van waar het bestaande OSM-gebouw eronder blijkbaar niet gedetecteerd wordt, onduidelijk waarom.
• man_made = mast toont als building = yes, terwijl die er uit gefilterd mogen worden. Die worden normaal als punt gemapt.

[timcouwelier]

(dev versie heeft blijkbaar al OSM als default achtergrond)

[pietervdvn]

@timcouwelier About the background: you can quickly switch those with the three buttons on the bottom-left. Defaults are the best layers according to the editor-layer-index and are currently GRB and AIV-latest.

Default layer is GRB according to the theme, but opening the theme on a global zoom level or outside belgium will default to OSM as GRB is not available there.

The failed detections are hard to reproduce, will have a look when the tool is up and running again.

I've filtered out the man_made=mast (see 4131e9b9)

[gplv2]

Hi, FYI:

man_made=mast has been fixed in the postgis API. It's transformed to a point instead of a polygon. It's included in grbosm.site again. Maybe the filter can be switched off/ made optional again.

[pietervdvn]

@gplv2 I'm gonna leave them out for now - the theme is already complicated enough. Ideally, the 'masts' theme should also pickup the antenna import that has been done.

[pietervdvn]

https://www.openstreetmap.org/changeset/99373302#map=17/50.84905/5.48344

Ik vind alsmaar meer fouten: 1) dat script gebruikt een lijn i.p.v. een vlak om een gebouw aan te duiden. 2) hoeken van gebouwen die dicht tegen elkaar staan voegt ie samen bij die hoeken terwijl dat in werkelijkheid zo niet is: Stippelstraat 23, Sint-Truiden. Stippelstraat 24 en 26. 3) Als er een binnenplaats is in een gebouw dan maakt ie alleen de "outer" lijn maar niet de "inner" of hij maakt ze verkeerd: Startelstraat 53.

[gplv2]

1. welk script hebben we het over juist ?

[pietervdvn]

De CS-comment is wat uit context getrokken, het gaat specifiek om de GRB-importer van mapcomplete waar er wat issues mee waren, zijn ondertussen rechtgezet.

[gplv2]

Ok thanks. net Startelstraat 53 gecheckt, source data ziet er ok uit, ook na filter/postprocessing ziet die relatie er goed uit. Laat maar weten als er een source data issue is.

Dus als ik het goed begrijp gaat het (allemaal ?) over mapcomplete, want veel van wat hij beschrijft zijn ook technieken die ik heb geimplementeerd, samenvoegen van punten die minimaal afwijken bv op hoeken, het is moeilijk om daar een werkende threshold op te vinden om afwijkingen op metingen te compenseren maar mij lijkt het toch ok in de import tool.

En blijkbaar is github van microsoft , haha... is me volledig ontgaan trouwens. Ik ben dan wel de laatste fan van microsoft maar zie daar toch geen graten in.

[pietervdvn]

Ja, dit zijn 100% MC-issues. Het samenvoegen van punten stond te ruim, uploaden van polygons met holes was gebroken, een issue waar de UI naar lon/lat ipv lat/lon sprong,... Niets aan jouw kant dus.

[gplv2]

Maakt mij niet uit welke kant, fix the problem, not the blame :)

het leek me zeer herkenbaar / dingen die ik ook doe achterliggend.

[pietervdvn]

Maakt mij niet uit welke kant, fix the problem, not the blame :)

Probeer ik ook wat te doen, ik wou je gewoon geruststellen dat jij niets hoeft te doen.

[joostschouppe]

Some feedback from user Jozin:

• Soms gebeurt het dat Mapcomplete een “Upload this building to OpenStreetMap” wil uitvoeren terwijl Mapcomplete in feite een “Replace the geometry in OpenStreetMap” moet doen.

• Ik merk dat wanneer dat 20.000 MiB van het geheugen van mijn (splinternieuwe) PC bereikt, Mapcomplete crasht. Ik zie dan geen andere mogelijkheid dan Mozilla Firefox af te sluiten en opnieuw op te starten. Wanneer ik Firefox opnieuw opgestart heb dan moet ik op “Reload page” drukken om de juiste situatie van GRB te krijgen.

• Zelfs wanneer een gebouw reeds door Mapcomplete geüpload is naar OpenStreetMap duidt Mapcomplete dat gebouw aan als zijnde niet geüpload. Dit gebeurt soms.

• Mapcomplete verbindt gebouwen met elkaar die niet aan elkaar gemaakt mogen worden, meestal aan één hoek

[pietervdvn]

Most of the issues have been fixed by now, and this issue is stale - so I'm closing it now.