radar
radar copied to clipboard
radar-parlamentar
Reduzir tamanho do repositório
Pessoal, fui clonar o projeto agora e demorou muito para finalizar a clonagem.
Isso se dá pelo fato de termos muitos arquivos grandes no repositório.
Eu pessoalmente acho que esses arquivos não deveriam estar nos repositórios (da mesma forma como decidimos lá atrás não versionar o dump da base). O que podemos fazer, eventualmente, é criar um repositório só para dados e utilizar submódulos do git para isso.
Assim, esta pasta eu acho que deveriam ser retiradas deste repositório: https://github.com/radar-parlamentar/radar/tree/master/radar_parlamentar/importadores/dados https://github.com/radar-parlamentar/radar/blob/master/radar_parlamentar/static/files/codes/js/matrix.json (Este arquivo deverá ser gerado automaticamente depois que o pessoal da UNB resolver as issues de automatização dos gráficos de gênero), assim como os outros arquivos JSON da pasta (https://github.com/radar-parlamentar/radar/tree/master/radar_parlamentar/static/files/codes/js).
Outra coisa a se fazer é reduzir o tamanho do arquivo "radar_tema.pdf" (que está com 24Mb!!!!): https://github.com/radar-parlamentar/radar/blob/master/radar_parlamentar/static/assets/radar_tema.pdf
Mas, além de resolver a localização/tamanho desses arquivos todos, acho que seria fundamental "remover" o histórico desses arquivos do git, senão não resolve nada.... http://stevelorek.com/how-to-shrink-a-git-repository.html
O que acham? Todos de acordo?
Só pra documentar:
- https://github.com/radar-parlamentar/radar/tree/master/radar_parlamentar/importadores/dados
- 59Mb
- https://github.com/radar-parlamentar/radar/blob/master/radar_parlamentar/static/files/codes/js/matrix.json
- 6,1Mb
- https://github.com/radar-parlamentar/radar/blob/master/radar_parlamentar/static/assets/radar_tema.pdf
- 24Mb
Por mim blz!
Em 20 de abril de 2015 20:57, Diego Rabatone Oliveira < [email protected]> escreveu:
Pessoal, fui clonar o projeto agora e demorou muito para finalizar a clonagem.
Isso se dá pelo fato de termos muitos arquivos grandes no repositório.
Eu pessoalmente acho que esses arquivos não deveriam estar nos repositórios (da mesma forma como decidimos lá atrás não versionar o dump da base). O que podemos fazer, eventualmente, é criar um repositório só para dados e utilizar submódulos do git para isso.
Assim, esta pasta eu acho que deveriam ser retiradas deste repositório:
https://github.com/radar-parlamentar/radar/tree/master/radar_parlamentar/importadores/dados
https://github.com/radar-parlamentar/radar/blob/master/radar_parlamentar/static/files/codes/js/matrix.json (Este arquivo deverá ser gerado automaticamente depois que o pessoal da UNB resolver as issues de automatização dos gráficos de gênero), assim como os outros arquivos JSON da pasta ( https://github.com/radar-parlamentar/radar/tree/master/radar_parlamentar/static/files/codes/js ).
Outra coisa a se fazer é reduzir o tamanho do arquivo "radar_tema.pdf" (que está com 24Mb!!!!):
https://github.com/radar-parlamentar/radar/blob/master/radar_parlamentar/static/assets/radar_tema.pdf
Mas, além de resolver a localização/tamanho desses arquivos todos, acho que seria fundamental "remover" o histórico desses arquivos do git, senão não resolve nada.... http://stevelorek.com/how-to-shrink-a-git-repository.html
O que acham? Todos de acordo?
— Reply to this email directly or view it on GitHub https://github.com/radar-parlamentar/radar/issues/270.
Outro link que pode ajudar no processo de limpar o "histórico": https://confluence.atlassian.com/display/BITBUCKET/Maintaining+a+Git+Repository
OK, vou tentar reduzir o PDF lá da Tema. Depois que a gente conseguir tirar outros arquivos do repo, vamo ver essa parada de limpar o histórico.
Mas tirar o importacao/dados pode ser meio difícil, teria q pensar bem como fazer isso. Além disso vale uma análise mais refinada para ver quais dados de lá estão ocupando muito espaço.
Valeu Di!
Ah, sobre o "importacao/dados", podemos compactar os arquivos, isso deve ajudar muito (bz2 em geral consegue reduzir para 10% do tamanho original em arquivos txt, um xml talvez até mais).
Sobre o "como fazer", é como eu disse, uma opção é jogar aqueles dados para outro repositório porque eles não precisa estar versionados necessariamente, muito menos com o código fonte do projeto. Ai poderíamos usar como "submódulos" (do git), ou mesmo fazer o download direto do "raw"/"binário" dos arquivos ao invés de clonar com git.
Reduzi o tamanho do PDF da Tema e da Apartes: 9ae571513e27a63a41b04b9415443dbb08bf244a
acho q gosto da opção "ou mesmo fazer o download direto do "raw"/"binário""... mas tb não tenho experiência com "submódulos".