Investigar Spiders Contracts para testar las Spiders.

[matiskay]

Ahora que se esta en proceso de refactorizar las spiders y agregar items loaders para la recoleccion de datos. Nos vemos con la necesidad de testar las spider de una manera programatica.

Actualmente mi forma de testar una spider es:

• Comparar el total de elementos de una fecha.

• Escoger un item de la primera pagina y buscar este elemento en la base de datos.

• Escoger un item de una pagina intermedia y buscar este elemento en la base de datos.

• Escoger un item de la pagina final y buscar este elemento en la base de datos.

  Cosas interesantes sobre los registros de visitas.

• Hay "invarianza" en el total de visitas de una determinada fecha.

• Hay "invarianza" en los items de una determinada fecha.

Si es que spider contracts no funciona para nuestro caso la idea seria usar pytest conectado a la base de datos y verificar que los registros estan en la base de datos.

Creo que se va necesitar agregar una comando para hacer crawling de una fecha especifica.

Link: Spider Contracts: http://doc.scrapy.org/en/latest/topics/contracts.html