milei-twitter icon indicating copy to clipboard operation
milei-twitter copied to clipboard

mejorar estimación de tiempo

Open catdevnull opened this issue 6 months ago • 1 comments

generalmente sabemos que milei likeó algo al minuto que lo postió, porque scrapeamos cada esa cantidad de tiempo. en los calculos de estimación de tiempo usamos "la primera vez que vimos el tweet likeado" como medida de "cuando lo likeó". pero eso no es preciso:

hay casos en donde el scraper se rompe (porque se bloquean las cuentas por ejemplo) y cuando se restaura el servicio aparecen muchos posts "al mismo tiempo" en la BD

habría que considerar eso, y si vemos, por ejemplo, >7 posts en un minuto, asumir que es un caso como este y compensar de alguna manera. quizás poniendo un rate máximo de posts por minuto, y cuando supera eso, contar cada esa cantidad de posts un minuto adicional?

catdevnull avatar Feb 13 '24 19:02 catdevnull