deprem-yardim-backend
deprem-yardim-backend copied to clipboard
acikkaynak
Filter/Fix buyuksehir deprem raporlari
Database'te fazla derecede buyuksehirlerden rapor gozukuyor. 2 nedeni olabilir:
- Sahte data yukleniyor
- AI / Regex ve Trendyol processing pipelineinda unlu mahalleler gereken il yerine ayni isimli mahalleler buyuksehirlerden soruldugu tahmin ediliyor.
Bunlari ya discard etmek yada dogru adrese convert etmek gerekiyor.
- durum için deneme yaptım, Trendyol'dan "Necip Fazıl" yazınca bir sürü sonuç çıkıyor ve yanlış yönlendirmeye sebep oluyor. Eğer uygun görürseniz en yoğun olan bölgeye yakın olan sonucun seçilmesi gibi bir algoritma yazıyorum.
Burada bir veri tabanı tablosunda ya da json dosyası içerisinde twitter'da troll olduğu düşülülen hesaplar kara liste gibi eklenerek, bu hesaplardan gelen tweetlerin değerlendirmeye tabi tutulmaması veya sisteme yüklenmemesi sağlanabilir. Tabi hangi hesabın troll olduğunu belirlemek de bir mesele
Genel olarak bot kısmında yaratıldığı tarih, attığı tweetler veya tweetlerin tarihi gibi filtreler eklenerek temizlenebilir ama troll olduğu düşünülen hesaplar eğer uygun yazarlarsa sisteme ayırt etmesi zor. Açıkçası yoğunluk haritası olduğu için projenin ana amaçlarından biri "Hatayda x'de kaldım" diye troll bir dönüş yapılması şu anlık büyük bir problem yaratmaz diye düşünüyorum. İleride eğer -yapılması zor bir konu- kişinin bilgisinin güncellenmesi için bir fikir düşünülürse belki sorun yaratablir ama onu düşünmeden önce backend tarafında biraz mimari konular var. Onları konuşuyoruz.
Elimden gelen ne olursa yardım etmeye hazırım. Python vb. dillere pek aşinalığım yok ama iş akışları, veri saklanması vb. konularda yapabileceğim bir şeyler olursa söylemeniz yeter