Парсер по автоматической выгрузке данных из системы ЕМИСС (fedstat.ru) в хаб открытых данных

[ivbeg]

Цель

Нужен парсер который бы на регулярной основе выгружал бы данные из системы ЕМИСС (fedstat.ru) в хаб открытых данных.

Задача

• перенести все имеющиеся данные и их описание с портала fedstat.ru на портал hubofdata.ru
• предусмотреть возможность обновления без перегрузки всех данных

Требования

• открытый исходный код в Github под свободной лицензией
• межплатформенный код (возможность запуска на Linux/Windows)
• предусмотреть перенос всех метаданных в CKAN в виде тегов и атрибутов
• переносить все данные в CKAN или на отдельный хостинг (например, в Github)
• необходимо создавать профили ведомств в CKAN аналогично профилям организаций на fedstat.ru

Пожелания

• реализация в виде программы командной строки или веб-приложения
• возможность запуска на MacOSX
• использовать скриптовые языки такие как Python, Perl, R и другие.

Оценки трудоёмкости

Задача должна занять не более 1 недели.

Вспомогательные материалы:

• документация API CKAN - http://docs.ckan.org/en/latest/api/index.html
• портал ЕМИСС http://fedstat.ru/indicators/start.do