Sung Kim

[Exception] [0] 해당 의안 정보가 존재하지 않습니다.

5

일부 법안에 대해 다음과 같은 에러가 나는데. CSV목록에는 있는데 법안 detail은 정보가 없다고 나옵니다. http://likms.assembly.go.kr/bill/jsp/BillDetail.jsp?bill_id=PRC_E1O4I0W4F2D5L1G0D3S6M3N5V3X3Q4  이런경우 현재 html2json에서는 IndexError exception을 내는데 따로 처리 해주는 것이 좋지 않을까요? ``` Traceback...

Safe crawling?

1

제 생각에는 crawling과 parsing을 조금 reliable하게 refactoring 해보면 어떨까요? 1. 지금 crawling과 parsing이 나누어져 있는데 법안 하나를 crawl하고 이를 parsing하면 어떨까요? 그러면 서버에 hit 하는 시간을 줄여주어 서버 부하를 적게할것...

Failed to get ... ConnectionError object

7

Crawler 돌리다가 이런 에러가 많이 보이는데 일단 Total 18119 bills, 363 pages to ./sources/list/19 정보는 받아 오는 것으로 봐서 제 서버를 막은 것은 아닌것 같은데 왜 그런 것일까요? 그리고 이렇게...

make proposers and withdrawers the same format (for assembly_id < 19)… #31

2

제가 #31 에 올려둔 이슈를 해결했습니다. 이제 19대 이상의 자료에서는 withdrawers도 proposers와 같은 형식으로 자료가 나옵니다. 제가 19대에 자료에 시험해보니 잘 됩니다. ``` "withdrawers": [ { "name_kr": "\uac15\uae30\uc724", "party": "\uc0c8\ub204\ub9ac\ub2f9",...

국회의원 검색 API 결과에 지역구등의 추가 정보

1

현재 API는 ``` items: [ { wiki: null, address_id: null, name: "윤택중", twitter: null, gender: "m", image: null, name_cn: "尹宅重", blog: null, birthday: "1910-01-01", facebook: null, address: null, name_en: "Yoon...

got을 설치하는데 에러가 나는듯 합니다. ```bash Function Logs: START RequestId: f3208799-9953-4da4-84ff-1ccad6ad276f Version: $LATEST 2020-05-13T21:59:33.002Z undefined ERROR Uncaught Exception {"errorType":"Runtime.ImportModuleError","errorMessage":"Error: Cannot find module 'got'\nRequire stack:\n- /var/task/handler.js\n- /var/runtime/UserFunction.js\n- /var/runtime/index.js","stack":["Runtime.ImportModuleError: Error: Cannot find...

일단 user이름은 사용자마다 달라서 cd ec2-user:~/.../serverless-crawler가 안될수도. 간단하게 cd serverless-crawler도 될듯 하고요. npm init는 다른줄 같아서.

JSON은 comment를 지원하지 않아서 //를 복사하면 에러가 납니다. JSON은 commente도 데이타로. ㅋㅋ

버전이 너무 오래 되어 에러가 발생합니다. airesearch:~/environment/serverless-crawler $ node handler.test.js /home/ec2-user/node_modules/got/dist/source/create.js:131 got.paginate = (async function* (url, options) { ^ SyntaxError: Unexpected token * at createScript (vm.js:80:10) at Object.runInThisContext (vm.js:139:10) at...

I really appreciate your tutorial and MNIST code that demonstrates the Lora concept. Would it be possible for you to create a next example using LoraConfig and PeftModel for your...