osm-yolo-crossings icon indicating copy to clipboard operation
osm-yolo-crossings copied to clipboard

False positives report

Open Zaczero opened this issue 2 years ago • 32 comments

  • https://www.openstreetmap.org/node/11102695229

Zaczero avatar Aug 09 '23 19:08 Zaczero

  • https://www.openstreetmap.org/node/11104001796
  • https://www.openstreetmap.org/node/11104001797
  • https://www.openstreetmap.org/node/11103968834
  • https://www.openstreetmap.org/node/11103968842
  • https://www.openstreetmap.org/node/11103968844

Zaczero avatar Aug 10 '23 13:08 Zaczero

  • https://www.openstreetmap.org/node/11104852015

Zaczero avatar Aug 10 '23 14:08 Zaczero

  • https://www.openstreetmap.org/node/1880610620

Zaczero avatar Aug 10 '23 22:08 Zaczero

  • https://www.openstreetmap.org/node/11105924842
  • https://www.openstreetmap.org/node/11105924848

Zaczero avatar Aug 10 '23 23:08 Zaczero

  • https://www.openstreetmap.org/node/11106092755
  • https://www.openstreetmap.org/node/11106092762
  • https://www.openstreetmap.org/node/11106937513

Zaczero avatar Aug 11 '23 14:08 Zaczero

  • https://www.openstreetmap.org/node/7814605551

Zaczero avatar Aug 12 '23 12:08 Zaczero

  • https://www.openstreetmap.org/node/11110486277
  • https://www.openstreetmap.org/node/11110486278

Zaczero avatar Aug 12 '23 22:08 Zaczero

  • https://www.openstreetmap.org/node/11110949914
  • https://www.openstreetmap.org/node/11110949916
  • https://www.openstreetmap.org/node/11111027801
  • https://www.openstreetmap.org/node/11111027803
  • https://www.openstreetmap.org/node/11111231323
  • https://www.openstreetmap.org/node/11112276961
  • https://www.openstreetmap.org/node/3021017464
  • https://www.openstreetmap.org/node/6412765258
  • https://www.openstreetmap.org/node/11112699652
  • https://www.openstreetmap.org/node/11112967664

Zaczero avatar Aug 14 '23 00:08 Zaczero

Sprawdziłem ostatnie 4 changesety i jest dość dużo false-positive. Z tych 4 changesetów wychodzi mi 89% skuteczności (57 poprawnych, na 64 dodanych), najczęstszy false-positive to chyba cien drzew który przypomina troche przejście dla pieszych.

False-positive: https://www.openstreetmap.org/node/11113988757 https://www.openstreetmap.org/node/11113617880 https://www.openstreetmap.org/node/11113617874 https://www.openstreetmap.org/node/11113617873 https://www.openstreetmap.org/node/11113074164 https://www.openstreetmap.org/node/11113074165

Sprawdzone changesety: https://www.openstreetmap.org/changeset/139866510 https://www.openstreetmap.org/changeset/139858861 https://www.openstreetmap.org/changeset/139850963 https://www.openstreetmap.org/changeset/139850270

michalgwo avatar Aug 14 '23 11:08 michalgwo

@michalgwo Po prostu zbyt mało danych treningowych i zbieram takie false positive żeby wypuścić nową wersję AI. Nie jest tak prosto znaleźć trudne miejsca, co wyglądają jak przejście, na OSM. Najprościej jest pozwolić AI robić swoje, monitorować, i zobaczyć gdzie sobie nie daje rady. Po prostu czekam na większą ilość FP aby (miejmy nadzieję) raz a porządnie wypuścić aktualizację która poprawi jakość dla tych cięższych przypadków.

Zaczero avatar Aug 14 '23 11:08 Zaczero


Do tego momentu zgłoszenia FP zostały już pobrane.

Nowa wersja: 1.4


  • https://www.openstreetmap.org/node/11114383231
  • https://www.openstreetmap.org/node/11114383240

Zaczero avatar Aug 14 '23 13:08 Zaczero

  • https://www.openstreetmap.org/node/11115494631
  • https://www.openstreetmap.org/node/11115494632
  • https://www.openstreetmap.org/node/11115494633
  • https://www.openstreetmap.org/node/11115494636
  • https://www.openstreetmap.org/node/11115494642
  • https://www.openstreetmap.org/node/3013697320

Zaczero avatar Aug 15 '23 04:08 Zaczero


Do tego momentu zgłoszenia FP zostały już pobrane.

Nowa wersja: 1.4.1


  • https://www.openstreetmap.org/node/5771680021

Zaczero avatar Aug 18 '23 04:08 Zaczero

  • https://www.openstreetmap.org/node/11162089431

Zaczero avatar Sep 02 '23 09:09 Zaczero

Sprawdziłem wyrywkowo kilka starszych changesetów i znalazłem 2 false positive: https://www.openstreetmap.org/node/11180462354 https://www.openstreetmap.org/node/11180462356

michalgwo avatar Sep 20 '23 14:09 michalgwo

  • https://www.openstreetmap.org/node/11210627802

Zaczero avatar Sep 22 '23 17:09 Zaczero

  • https://www.openstreetmap.org/node/11232636400

Zaczero avatar Oct 02 '23 16:10 Zaczero

Najnowsza wersja 1.6 posiada błąd klasyfikacji (AUC) mniejszy o 28%. Jest to głównie zasługa nowego zestawu 5000 zdjęć, który koncentruje się na trudniejszych, negatywnych przypadkach, takich jak tuje, znaki drogowe poziome, dachy, itp. Nowa wersja rzadziej popełnia błędy i importuje jeszcze większą ilość przejść.

Zaczero avatar Oct 04 '23 09:10 Zaczero

  • https://www.openstreetmap.org/node/1892705576
  • https://www.openstreetmap.org/node/11238086619

Zaczero avatar Oct 04 '23 10:10 Zaczero

  • https://www.openstreetmap.org/node/11254859813

Zaczero avatar Oct 11 '23 11:10 Zaczero

  • https://www.openstreetmap.org/node/11258674028

Zaczero avatar Oct 13 '23 00:10 Zaczero

  • https://www.openstreetmap.org/node/3058222672

Zaczero avatar Oct 14 '23 01:10 Zaczero

  • https://www.openstreetmap.org/node/11287257087

Zaczero avatar Oct 25 '23 12:10 Zaczero

To chyba jakiś wzór z kostki:

https://www.openstreetmap.org/node/11287471019 Zrzut ekranu z 2023-10-26 00-21-39

kubahaha avatar Oct 25 '23 22:10 kubahaha

Były dachy, potem krzewy, teraz przejazdy kolejowe i kostka brukowa :smile:

Zaczero avatar Oct 25 '23 22:10 Zaczero

  • https://www.openstreetmap.org/node/11290451711

Jak skończę pracę nad aktualnym projektem (koniec przyszłego tygodnia), to zabiorę się za korygowanie błędów w AI.

Zaczero avatar Oct 26 '23 22:10 Zaczero

  • https://www.openstreetmap.org/node/11400122670

Zaczero avatar Dec 08 '23 15:12 Zaczero

  • https://community.openstreetmap.org/t/automatyczne-znakowanie-przejsc-dla-pieszych-oraz-przejazdow-rowerowych/101590/85

Zaczero avatar Jan 03 '24 23:01 Zaczero

https://www.openstreetmap.org/node/11192505432

michalgwo avatar Jan 06 '24 00:01 michalgwo

  • https://www.openstreetmap.org/node/4594867484
  • https://www.openstreetmap.org/node/11516445148
  • https://www.openstreetmap.org/node/11516445145
  • https://www.openstreetmap.org/node/11516445147
  • https://www.openstreetmap.org/node/2428510157
  • https://www.openstreetmap.org/node/11516024258

Zaczero avatar Jan 15 '24 05:01 Zaczero