radar
radar copied to clipboard
radar-parlamentar
Partidos não existentes
Se Radar encontra partido que não está em sua lista partidos.txt, o parlamentar será computado como "sem partido", o que não parece desejável (no importador da cdep).
Talvez o ideal fosse gerar um partido sem número, mas isso complica na hora de gerar o gráfico e tb pra descobrir quem realmente não tem partido.
Não sei oq fazer =P
@leonardofl, tem como dar mais informações a respeito? Como, exatamente, esta ocorrendo esse bug?
Acontece q no gráfico temos uma esfera "sem partido", mas se um parlamentar tem um partido estranho q não conhecemos, ele é contado como sem partido e deixa a bolinha do sem partido ainda maior, oq dá uma falsa informação pro usuário, a de q existem mts parlamentares sem partido, qd na verdade existe vários parlamentares de estranhos partidos desconhecidos.
Certo, essa lista de partidos no arquivo partidos.txt é a lista de partidos atuais ou a lista de todos os partidos, incluindo os que um dia existiram?
Fiz um parser para a página de partidos existentes. Mas pelo que eu olhei, isso não basta. São precisos todos os partidos e seus respectivios números, mesmo que eles não existam mais.
Alguém sabe onde acho isso? O TSE não foi amigável e não consegui essas informações em um formato fácil de se parsear.
Uma coisa que pensei é: Inserimos os partidos antigos manualmente no arquivo (pq esses já se foram e não vão mudar mesmo) e fazemos um bot de verificação usando o parser na página onde o TSE mantém atualizados todos os partidos atuais. O bot encontrando um partido novo ele insere no final do arquivo partidos.txt.
O que acham? Não é a mais elegante, mas é uma solução :)
É uma solução, e é suficientemente elegante para o meu gosto! Esta lista de partidos não é uma coisa que esperamos que sofra muitas modificações.
Se quiserem podem fazer o bot, mas como não é todo dia q surgem novos partidos, acho q updates manuais seriam suficientes... o TSE disponibiliza isso em dados abertos? pq se não, mais chances ainda do bot quebrar no longo prazo (e esse é um bot pra funcionar a longo prazo)
sobre achar números de partidos antigos é realmente um desafio! alguns achei com pesquisas (não tão simples na Internet). De repente conversando com algumas pessoas por aí pode serum caminho...
Eles disponibilizam uma tabela no link: http://www.tse.jus.br/partidos/partidos-politicos
É bem fácil de parsear, pq ela tá meio q padronizada. Mas concordo que é algo que pode mudar.
O que pode ser feito é adicionar junto ao bot um verificador para analisar a estrutura do html retornado, em caso de mudança, ele dispara um alerta para algum lugar.
Acho que é super suficiente Alê. Até agora o que temos de mais antigo de dados é de 1991.... Se precisarmos de algo mais lá pra trás ai avaliamos.
Diego Rabatone Oliveira diraol(arroba)diraol(ponto)eng(ponto)br Identica: (@diraol) http://identi.ca/diraol Twitter: @diraol
2013/4/26 Alê Borba [email protected]
Pessoal, A partir de 1979 é suficiente?
— Reply to this email directly or view it on GitHubhttps://github.com/leonardofl/radar_parlamentar/issues/69#issuecomment-17104713 .
Vasculhando arquivos do TSE por aqui eu acabei encontrando um possível problema. Alguns partidos acabaram utilizando a mesma sigla de outros, mas com significados diferentes.
Como o radar trata isso hoje?
PS. Já levantei 95 siglas
Legal, por mim 1988 já seria suficiente.
Essa questão da mudança de nomes é complicado mesmo, mas pro Radar acho melhor considerar cada par [nome, número] um partido diferente.
Um grande problema encontrado pessoal, a API do Senado não traz o número do partido, apenas a sigla. (ao menos eu não consegui encontrar. Dessa forma, se eu terminar de implementar a mudança (na verdade já esta implementada) vai quebrar no importador do Senado (ainda não examinei os outros).
Vou mandar um email para o pessoal da API (se vocês já tiverem um contato direto, ajudaria) para pedir a possível inclusão dessa informação no retorno da API.
Alê, nós temos um bom contato com o pessoal lá do Senado sim, vou mandar email pedindo para adicionarem isso na API (mando com cópia para a lista do radar).
Acabei de verificar e o mesmo acontece com a Câmara Federal e com a Câmara Municipal de SP. Temos as siglas mas não temos os números.
Mas da pesquisa q eu fiz, lembro q o normal é q um partido troque de nome, mas mantenha o número. e q praticamente (?) não tem partido que tenha mudado de número enquanto mantivesse o nome. Talvez possamos considerar essa proposição como uma premissa... (?)
Será que isso ajuda? http://diraol.eng.br/arquivos/tabela_de_partidos_politicos_brasileiros_1994_a_2010_cem.ods (via Centro de Estudos da Metrópole)
Diego Rabatone Oliveira diraol(arroba)diraol(ponto)eng(ponto)br Identica: (@diraol) http://identi.ca/diraol Twitter: @diraol
Em 24 de maio de 2013 20:20, Leonardo Leite [email protected]:
Mas da pesquisa q eu fiz, lembro q o normal é q um partido troque de nome, mas mantenha o número. e q praticamente (?) não tem partido que tenha mudado de número enquanto mantivesse o nome. Talvez possamos considerar essa proposição como uma premissa... (?)
— Reply to this email directly or view it on GitHubhttps://github.com/leonardofl/radar_parlamentar/issues/69#issuecomment-18435195 .
@leonardofl o problema não é o nome. Realmente um partido pode trocar de nome mas não pode trocar de número. O problema é que trabalhamos com siglas, e não o nome completo. Dessa forma, (exemplos da minha cabeça) PSC, 12 => Partido Social Cristão, numero 12 e PSC, 43 => Partido Socialista Comunista, numero 43 Temos dois partidos diferentes com siglas iguais e numeros diferentes.
Mas @aleborba , que eu saiba não podem haver dois partidos com a mesma sigla ao mesmo tempo.
Ai é uma questão de cruzar o período com a lista de partidos existentes naquele período, não? (Claro que se vier da casa legislativa é melhor)
Isso é verdade @diraol. Não podem existir duas siglas iguais no mesmo período. (na verdade eu não sei se isso é uma lei, mas eu não encontrei ocorrências na pesquisa que eu fiz no TSE).
Mas ai teríamos que colocar um dado a mais na lista de partidos.txt e na base, que é o período de existência do partido. Certo?
Certo! (Já não temos isso? Seria legal ter essa informação, pode ser importante em algum momento não muito longe).
Não temos isso não. O modelo de dados ficaria um pouco mais pesado, mas talvez tenhamos que fazer isso realmente. Só que vamos ter que inserir as datas de criação e eventual extinção de cada partido. Ou, para partidos que não tenham essa informação o programa pode agir como se o partido sempre tivesse existido.
No mesmo lugar onde encontrei as 96 legendas que tenho no arquivo, também consigo as datas de inicio e fim dos partidos. :)
Vou varrer de novo pra levantar essas infos. :metal:
Eu to pendurado com essa issue. O pessoal do senado inclusive incluiu um parametro extra pra ver isso. Mas eu confesso que fiquei muito sem tempo :(