konfuzio-sdk
konfuzio-sdk copied to clipboard
Published
20 hours ago •
konfuzio-ai
konfuzio-ai
Changed: logic in calculating evaluation metrics
- Added ConfusionMatrix class.
- Changed how TNs are calculated.
- Added ground truth calculation as a property.
- Added mock tests for various prediction types and values (TP/FP/FN) they receive
- Changed the logic of priority_rows grouping for labels with
has_multiple_top_candidates=True
Name Stmts Miss Cover
----------------------------------------------------------------------
konfuzio_sdk/__init__.py 8 1 88%
konfuzio_sdk/api.py 453 83 82%
konfuzio_sdk/cli.py 39 0 100%
konfuzio_sdk/data.py 2313 261 89%
konfuzio_sdk/evaluate.py 426 82 81%
konfuzio_sdk/extras.py 73 17 77%
konfuzio_sdk/normalize.py 380 27 93%
konfuzio_sdk/regex.py 107 0 100%
konfuzio_sdk/samples.py 149 0 100%
konfuzio_sdk/settings_importer.py 35 1 97%
konfuzio_sdk/tokenizer/__init__.py 0 0 100%
konfuzio_sdk/tokenizer/base.py 173 29 83%
konfuzio_sdk/tokenizer/paragraph_and_sentence.py 174 151 13%
konfuzio_sdk/tokenizer/regex.py 96 2 98%
konfuzio_sdk/trainer/__init__.py 0 0 100%
konfuzio_sdk/trainer/base.py 161 23 86%
konfuzio_sdk/trainer/document_categorization.py 784 74 91%
konfuzio_sdk/trainer/file_splitting.py 525 39 93%
konfuzio_sdk/trainer/image.py 46 17 63%
konfuzio_sdk/trainer/information_extraction.py 1064 118 89%
konfuzio_sdk/trainer/tokenization.py 136 97 29%
konfuzio_sdk/trainer/utils.py 47 0 100%
konfuzio_sdk/urls.py 133 12 91%
konfuzio_sdk/utils.py 415 137 67%
----------------------------------------------------------------------
TOTAL 7737 1171 85%
![github-actions[bot] avatar](https://avatars.githubusercontent.com/in/15368?v=4 "Published by a pub.dev verified publisher"){kind=small}
Name Stmts Miss Cover
----------------------------------------------------------------------
konfuzio_sdk/__init__.py 8 1 88%
konfuzio_sdk/api.py 453 83 82%
konfuzio_sdk/cli.py 39 0 100%
konfuzio_sdk/data.py 2340 262 89%
konfuzio_sdk/evaluate.py 399 41 90%
konfuzio_sdk/extras.py 73 17 77%
konfuzio_sdk/normalize.py 380 27 93%
konfuzio_sdk/regex.py 107 0 100%
konfuzio_sdk/samples.py 149 0 100%
konfuzio_sdk/settings_importer.py 35 1 97%
konfuzio_sdk/tokenizer/__init__.py 0 0 100%
konfuzio_sdk/tokenizer/base.py 173 29 83%
konfuzio_sdk/tokenizer/paragraph_and_sentence.py 174 151 13%
konfuzio_sdk/tokenizer/regex.py 96 2 98%
konfuzio_sdk/trainer/__init__.py 0 0 100%
konfuzio_sdk/trainer/base.py 161 23 86%
konfuzio_sdk/trainer/document_categorization.py 784 74 91%
konfuzio_sdk/trainer/file_splitting.py 525 39 93%
konfuzio_sdk/trainer/image.py 46 17 63%
konfuzio_sdk/trainer/information_extraction.py 1070 118 89%
konfuzio_sdk/trainer/tokenization.py 136 97 29%
konfuzio_sdk/trainer/utils.py 47 0 100%
konfuzio_sdk/urls.py 133 12 91%
konfuzio_sdk/utils.py 415 86 79%
----------------------------------------------------------------------
TOTAL 7743 1080 86%
Name Stmts Miss Cover
----------------------------------------------------------------------
konfuzio_sdk/__init__.py 8 1 88%
konfuzio_sdk/api.py 456 41 91%
konfuzio_sdk/cli.py 40 0 100%
konfuzio_sdk/data.py 2361 253 89%
konfuzio_sdk/evaluate.py 399 41 90%
konfuzio_sdk/extras.py 73 17 77%
konfuzio_sdk/normalize.py 386 25 94%
konfuzio_sdk/regex.py 107 0 100%
konfuzio_sdk/samples.py 149 0 100%
konfuzio_sdk/settings_importer.py 35 1 97%
konfuzio_sdk/tokenizer/__init__.py 0 0 100%
konfuzio_sdk/tokenizer/base.py 173 29 83%
konfuzio_sdk/tokenizer/paragraph_and_sentence.py 174 151 13%
konfuzio_sdk/tokenizer/regex.py 96 2 98%
konfuzio_sdk/trainer/__init__.py 0 0 100%
konfuzio_sdk/trainer/base.py 161 23 86%
konfuzio_sdk/trainer/document_categorization.py 786 74 91%
konfuzio_sdk/trainer/file_splitting.py 542 45 92%
konfuzio_sdk/trainer/image.py 46 17 63%
konfuzio_sdk/trainer/information_extraction.py 1070 118 89%
konfuzio_sdk/trainer/tokenization.py 136 97 29%
konfuzio_sdk/trainer/utils.py 58 1 98%
konfuzio_sdk/urls.py 138 3 98%
konfuzio_sdk/utils.py 420 86 80%
----------------------------------------------------------------------
TOTAL 7814 1025 87%
Name Stmts Miss Cover
----------------------------------------------------------------------
konfuzio_sdk/__init__.py 8 1 88%
konfuzio_sdk/api.py 456 41 91%
konfuzio_sdk/cli.py 40 0 100%
konfuzio_sdk/data.py 2364 254 89%
konfuzio_sdk/evaluate.py 443 35 92%
konfuzio_sdk/extras.py 73 17 77%
konfuzio_sdk/normalize.py 386 25 94%
konfuzio_sdk/regex.py 107 0 100%
konfuzio_sdk/samples.py 149 0 100%
konfuzio_sdk/settings_importer.py 35 1 97%
konfuzio_sdk/tokenizer/__init__.py 0 0 100%
konfuzio_sdk/tokenizer/base.py 173 29 83%
konfuzio_sdk/tokenizer/paragraph_and_sentence.py 174 151 13%
konfuzio_sdk/tokenizer/regex.py 96 2 98%
konfuzio_sdk/trainer/__init__.py 0 0 100%
konfuzio_sdk/trainer/base.py 161 23 86%
konfuzio_sdk/trainer/document_categorization.py 786 74 91%
konfuzio_sdk/trainer/file_splitting.py 543 45 92%
konfuzio_sdk/trainer/image.py 46 17 63%
konfuzio_sdk/trainer/information_extraction.py 1072 118 89%
konfuzio_sdk/trainer/tokenization.py 136 97 29%
konfuzio_sdk/trainer/utils.py 58 1 98%
konfuzio_sdk/urls.py 138 3 98%
konfuzio_sdk/utils.py 420 86 80%
----------------------------------------------------------------------
TOTAL 7864 1020 87%
Name Stmts Miss Cover
----------------------------------------------------------------------
konfuzio_sdk/__init__.py 8 1 88%
konfuzio_sdk/api.py 456 41 91%
konfuzio_sdk/cli.py 40 0 100%
konfuzio_sdk/data.py 2364 254 89%
konfuzio_sdk/evaluate.py 448 35 92%
konfuzio_sdk/extras.py 73 17 77%
konfuzio_sdk/normalize.py 386 25 94%
konfuzio_sdk/regex.py 107 0 100%
konfuzio_sdk/samples.py 149 0 100%
konfuzio_sdk/settings_importer.py 35 1 97%
konfuzio_sdk/tokenizer/__init__.py 0 0 100%
konfuzio_sdk/tokenizer/base.py 173 29 83%
konfuzio_sdk/tokenizer/paragraph_and_sentence.py 174 151 13%
konfuzio_sdk/tokenizer/regex.py 96 2 98%
konfuzio_sdk/trainer/__init__.py 0 0 100%
konfuzio_sdk/trainer/base.py 161 23 86%
konfuzio_sdk/trainer/document_categorization.py 786 74 91%
konfuzio_sdk/trainer/file_splitting.py 543 45 92%
konfuzio_sdk/trainer/image.py 46 17 63%
konfuzio_sdk/trainer/information_extraction.py 1072 118 89%
konfuzio_sdk/trainer/tokenization.py 136 97 29%
konfuzio_sdk/trainer/utils.py 58 1 98%
konfuzio_sdk/urls.py 138 3 98%
konfuzio_sdk/utils.py 420 86 80%
----------------------------------------------------------------------
TOTAL 7869 1020 87%
Name Stmts Miss Cover
----------------------------------------------------------------------
konfuzio_sdk/__init__.py 8 1 88%
konfuzio_sdk/api.py 456 41 91%
konfuzio_sdk/cli.py 40 0 100%
konfuzio_sdk/data.py 2364 253 89%
konfuzio_sdk/evaluate.py 448 35 92%
konfuzio_sdk/extras.py 73 17 77%
konfuzio_sdk/normalize.py 386 25 94%
konfuzio_sdk/regex.py 107 0 100%
konfuzio_sdk/samples.py 149 0 100%
konfuzio_sdk/settings_importer.py 35 1 97%
konfuzio_sdk/tokenizer/__init__.py 0 0 100%
konfuzio_sdk/tokenizer/base.py 173 29 83%
konfuzio_sdk/tokenizer/paragraph_and_sentence.py 174 151 13%
konfuzio_sdk/tokenizer/regex.py 96 2 98%
konfuzio_sdk/trainer/__init__.py 0 0 100%
konfuzio_sdk/trainer/base.py 161 23 86%
konfuzio_sdk/trainer/document_categorization.py 786 74 91%
konfuzio_sdk/trainer/file_splitting.py 543 45 92%
konfuzio_sdk/trainer/image.py 46 17 63%
konfuzio_sdk/trainer/information_extraction.py 1072 118 89%
konfuzio_sdk/trainer/tokenization.py 136 97 29%
konfuzio_sdk/trainer/utils.py 58 1 98%
konfuzio_sdk/urls.py 138 3 98%
konfuzio_sdk/utils.py 420 86 80%
----------------------------------------------------------------------
TOTAL 7869 1019 87%
Name Stmts Miss Cover
----------------------------------------------------------------------
konfuzio_sdk/__init__.py 8 1 88%
konfuzio_sdk/api.py 456 41 91%
konfuzio_sdk/cli.py 40 0 100%
konfuzio_sdk/data.py 2364 254 89%
konfuzio_sdk/evaluate.py 448 35 92%
konfuzio_sdk/extras.py 73 17 77%
konfuzio_sdk/normalize.py 386 25 94%
konfuzio_sdk/regex.py 107 0 100%
konfuzio_sdk/samples.py 149 0 100%
konfuzio_sdk/settings_importer.py 35 1 97%
konfuzio_sdk/tokenizer/__init__.py 0 0 100%
konfuzio_sdk/tokenizer/base.py 173 29 83%
konfuzio_sdk/tokenizer/paragraph_and_sentence.py 174 151 13%
konfuzio_sdk/tokenizer/regex.py 96 2 98%
konfuzio_sdk/trainer/__init__.py 0 0 100%
konfuzio_sdk/trainer/base.py 161 23 86%
konfuzio_sdk/trainer/document_categorization.py 786 74 91%
konfuzio_sdk/trainer/file_splitting.py 543 45 92%
konfuzio_sdk/trainer/image.py 46 17 63%
konfuzio_sdk/trainer/information_extraction.py 1072 118 89%
konfuzio_sdk/trainer/tokenization.py 136 97 29%
konfuzio_sdk/trainer/utils.py 58 1 98%
konfuzio_sdk/urls.py 138 3 98%
konfuzio_sdk/utils.py 420 86 80%
----------------------------------------------------------------------
TOTAL 7869 1020 87%
Name Stmts Miss Cover
----------------------------------------------------------------------
konfuzio_sdk/__init__.py 8 1 88%
konfuzio_sdk/api.py 456 41 91%
konfuzio_sdk/bento/__init__.py 0 0 100%
konfuzio_sdk/bento/extraction/__init__.py 0 0 100%
konfuzio_sdk/bento/extraction/schemas.py 57 7 88%
konfuzio_sdk/bento/extraction/utils.py 49 24 51%
konfuzio_sdk/cli.py 40 0 100%
konfuzio_sdk/data.py 2371 254 89%
konfuzio_sdk/evaluate.py 448 35 92%
konfuzio_sdk/extras.py 73 17 77%
konfuzio_sdk/normalize.py 386 25 94%
konfuzio_sdk/regex.py 107 0 100%
konfuzio_sdk/samples.py 149 0 100%
konfuzio_sdk/settings_importer.py 35 0 100%
konfuzio_sdk/tokenizer/__init__.py 0 0 100%
konfuzio_sdk/tokenizer/base.py 173 29 83%
konfuzio_sdk/tokenizer/paragraph_and_sentence.py 174 151 13%
konfuzio_sdk/tokenizer/regex.py 96 2 98%
konfuzio_sdk/trainer/__init__.py 0 0 100%
konfuzio_sdk/trainer/base.py 185 29 84%
konfuzio_sdk/trainer/document_categorization.py 792 76 90%
konfuzio_sdk/trainer/file_splitting.py 549 47 91%
konfuzio_sdk/trainer/image.py 46 17 63%
konfuzio_sdk/trainer/information_extraction.py 1096 115 90%
konfuzio_sdk/trainer/tokenization.py 136 97 29%
konfuzio_sdk/trainer/utils.py 58 1 98%
konfuzio_sdk/urls.py 138 3 98%
konfuzio_sdk/utils.py 428 92 79%
----------------------------------------------------------------------
TOTAL 8050 1063 87%