topics/stories/list is too slow

[hroberts]

30 seconds for the biggest topics.

[hroberts]

The top level stories/list call is good enough not to timeout now. the lists for individual media sources is still very slow for large topics.

[rahulbot]

My query to stories_public/list with 1000 story ids took almost 15 minutes to resolve!

[11:10:44][DEBUG] mediacloud.api api.py:_query:469 | Profiling: 866.287291765213s for GET to https://api.mediacloud.org/api/v2/stories_public/list (with {'q': 'stories_id:(838400759 275330304 418740545 664178097 904021631 580989527 932872360 333083774 1033975865 943374802 1307710890 747949077 1033975890 329542081 953210741 1091247775 1307693489 749495189 1033976046 1307708420 932839970 1195350983 1307691264 1033976015 794635573 1033975988 1033976588 1307695357 649613416 921368602 828173307 667090058 1033976232 662425494 507331144 1307708522 932924583 1307710984 1033975934 1004213559 1036763375 1032097564 1033976543 659750882 995818924 668371799 1307690457 1273992356 905190988 907900839 1274233741 1003843114 1062366355 1033976147 1033976009 1307690469 1307698458 1004173330 907567462 1033975979 658674242 1307693500 1307709096 1033976269 1239216720 1033976112 1033976001 1184875029 1033975842 1033976235 1307708631 1307698424 1033976114 926821854 1027120564 1033976022 658834712 657179124 657638793 1277600970 1307690465 1307708979 1307696781 1036472200 1033976595 937712497 1273953857 935544615 1033976012 1273973600 811986644 1033976263 1298312195 1033975862 958739963 775494204 1307711395 987993918 1307690503 1033976604 972453379 1214810921 1004082239 944986249 896015042 1307708530 1307694480 852739324 766352083 1006482735 1033976068 1307708712 471317320 1160905658 987983630 1268028729 1307692254 988424953 1033976054 888513810 1033976868 905280036 779181440 1307708328 1307733667 1226133301 1307692748 890439955 1307693414 798070371 1307690485 1274660708 657564087 779712829 1307708244 1033975871 1307692903 1297069314 1033976858 1307690467 1307693399 905365301 1070485481 1033975845 1307708758 1307698474 1307699830 1033975931 1033975947 1033976744 983349032 1307708396 1184798574 1074595450 1307708629 1307693370 663723015 1283498516 1033984453 1307708709 1307690506 1003987531 1307690443 1035397656 1033976219 1033975917 1033976741 1307711081 1033976008 1307709302 1184873032 1033976586 1307692010 810658074 1184873887 1033976094 1033976794 1033988803 1307711009 1033975944 1307710900 656585611 1307690504 1307710852 1033976266 971832463 1033976542 1033976660 1307691954 1033976275 1307709170 1307709116 1033976686 471513363 1307708672 1207636437 1307709156 1004060625 649850902 1307710937 1307691271 1033976020 875673642 1268062204 1307690579 1196109493 792588888 1033976227 1230230604 1307691006 905265093 1033976649 870404975 1307708870 863670029 1307708408 1033975851 1307702151 1033975849 1307709123 1275840641 1307690460 1099067710 1074012910 1033975926 1240656923 883204816 1307708856 1307710916 1137696447 1033988837 1273953822 1307711268 1079744259 1307713751 1307731476 1033975834 1307698313 1033976270 1307710742 781936177 1307690476 1033981833 1278105857 1033983063 1282103355 1119966044 961352085 1033989265 1281066971 1307711344 1307713657 1033976172 916721906 1307710940 1307710613 888465047 1307709469 838181201 1307710754 1033976258 794184860 876770914 663747014 841631162 1033976597 902804146 1307708665 1307710827 824653032 996426416 1137700243 812047496 1112545702 1307709374 1307733639 1033976664 556799671 1307729651 1307701607 1033976056 940160819 1307700995 1227118859 1184796437 1307695302 1307711324 769394996 1033977015 1307711379 972518898 1307711457 879446811 1033976199 1307708524 904483713 1307711292 1307708975 1307709082 1307710887 1307708622 663189654 929340876 793885647 1307708782 1004289019 1307710809 924892235 1307733663 1000643117 819059838 1271327925 1307708845 1307710741 1017275253 1307710857 1273934793 1307710398 1307697078 1033975938 1307708596 1175316526 1307711289 1307709308 984872349 1307692746 1307710888 998118959 849478703 1114983151 1307708772 1307711017 817262041 663356187 1033976285 1307699807 882992718 1307708352 1229383877 1274640213 923840257 1033976860 1033976155 1004336307 1002851329 1307708965 937166597 1307733023 1307710981 886389911 1282198701 1307710814 1307711310 1044482113 1307733664 1307708858 914319312 1307708714 1307711033 1004028866 1004597072 1307709068 1307733100 835641964 678899275 1033976599 1137700053 1033976685 1307708682 1307699671 1307696227 1245359271 1307709107 705377696 1307711367 1033977245 1307729999 1307690500 1033976025 1033976880 1268039227 1184797539 1307710927 1307710688 1033976059 1033976253 843841660 1307711359 1307713673 1033976608 957893405 330013186 999618970 904483686 1307710955 1307690509 1307713659 1307696281 1033975881 1033989477 1033976085 1307690486 1033976117 1033975895 960217105 880667032 1033976194 1307710677 1307700462 926391449 1307710800 1033976006 1307709182 1307722986 1307691996 1036748743 1307713157 1033976228 1307691002 1307710712 1307710939 1033976239 1307693422 1033977294 767601139 1033976575 877572773 1033976723 1002110872 1307709005 1003843180 1307713674 1307697404 1001557277 1086494496 1033976005 1307701172 1207613160 1307708809 1033976084 1033976104 1033976045 1307708923 1033976733 1301960750 1307709391 1067960764 1307708423 1307709074 840947866 825464558 1184870476 1033976064 1307732923 1307690463 831708091 1184723060 1283564000 808552929 1307710703 330666386 1033975971 1276504719 1307709007 1307713675 1307709131 1307710846 1307710801 1033977140 1307710699 1289065456 1282102440 1269267114 1242158412 872819729 1307711358 1307713167 1307733668 1307709254 1245094861 879849544 1033977283 1307710700 915278457 1033976905 1307693233 1000415250 1307693354 1033988793 1033976654 1278762793 1307708971 1091767272 659261476 1307727164 1039913932 761763029 1105456786 1307697190 1307711352 1033976011 999789342 1057865937 1307690454 1307711403 1033976081 1070586180 1307713665 1297069486 912638330 1033982883 1307710798 1033976613 1307733651 916916565 1307710822 1307711422 769377793 1307711458 1307730739 826578340 1003125329 1307708573 1307708405 1307713729 1307696500 1307713215 1033976290 1307700116 1113965694 1307708243 1307711076 1307713260 1307710716 1307710746 1307696260 1307690439 1307708537 1307690436 1033976680 1307733642 1184723154 1184870844 1033975937 814077678 1307708433 1307713662 1033976643 1307710834 1003891238 969058145 1256281213 857169159 932840164 1307709307 885854451 1307709464 1033976037 1307733675 1033976097 1307710847 1278668666 1307691799 1234207398 1002836087 1307711389 1307691088 1033975930 1307711376 1033988954 883068649 1307711420 1112631812 1247789887 985265978 1307733653 793144428 1307708976 1295748211 1108455550 1095847680 1033976065 1229762747 1307706371 1033976128 987441796 1002953274 1307692334 1307711273 1005385555 1307710811 1139250388 1033977605 1033989295 767116932 663569793 1307690493 1307710661 1307713211 996164336 1033977242 1307708587 1006456500 790050202 1307690449 1307697828 1307709188 1044614810 1033976871 901191236 1033976879 1307708246 1307710723 1307695170 1195375544 1307708329 1033976067 1000585589 1307722982 1307711309 1184874907 1035465082 709185704 1033976214 1093839334 832538740 1307709161 1033987931 871386430 1176972596 710536378 1147471578 1307690819 1307709411 1031960085 1307710701 1307695108 1033976202 1307690431 1307713680 1307713309 1184871304 1307710986 1019742240 910127943 1307711435 943337498 960216480 1033975835 1307696211 1307708722 1307710859 1307711025 654441465 1033976571 1029814677 843366587 1307710874 842637032 1044931685 1240876888 1307710977 1307711430 983606308 1307710854 1033976721 1301981834 1307724074 810958714 280680655 1286144423 1033976030 1039913920 1307710775 1307733679 1265333660 1307710215 1307708263 1033976089 1307708368 1070571769 1307713670 1307713660 1307711375 1025492446 1214090838 1284559402 794451269 792273668 1184871218 1172529747 1307709216 1307691755 1238711767 843898047 1307703185 1307710963 851783998 1033976106 1307710749 968332709 1307701282 1033975832 875892091 1307711269 822000508 1073729462 929653789 1033976790 1307701889 1307710823 1307690435 1307710750 1307709130 820866163 1033976196 1307708812 1073156332 839640976 1033977584 1307713669 1307694044 1239271973 1307709040 1307693610 1297412522 1307708418 1307709172 1307693242 1307692802 1307724379 1307692676 1307693409 1033976578 1184874452 1295978557 1033985583 1307708980 1286226569 1307713292 949505338 972439972 1273954485 697765624 1033975948 1033976593 914397840 1307710667 1307711064 880782153 1307709134 1307697188 1307710987 1307709128 1033976642 663371123 1215424201 1307711013 1059650684 1293684493 657697045 1307711478 1206349681 1109548310 1033976652 1307710907 1033975872 657190577 859216321 1307692729 1033975889 996041594 1222213677 1033988780 1129248447 1307709465 1307733674 1307690502 1307711098 896290548 1307710748 663267742 1307710781 1232982693 901169430 1307711401 1033975891 1033975987 1307695577 1307708681 1307728904 1033975984 1307709079 959101841 1307690461 1307693364 1307713668 1307710853 951321398 1307730990 1033989427 900374741 905880397 1033976675 1307708612 1307710658 1307709888 1238903417 1307728989 1232019413 1307713671 789766632 1115307960 1307710722 1033982757 1307710832 1307710730 1239203329 1040883709 1307710866 1033976057 780327623 1307710777 1307713666 1307711326 1033976261 911604960 1260444862 1186483224 1307710831 1307710662 1307708475 1307713658 1301982010 1307698524 1307710899 1033976852 1286188808 1307708597 1258613275 1307710860 1033975928 1307715710 1281862945 1185003613 1307697844 1033976119 860760150 1307710968 840935881 1004190047 1307699675 1033975888 1033975903 987687692 1033989098 1307702513 1033976601 1033976864 1307711366 1307711077 1307711341 698492688 1307709002 1307711425 781938510 1307711449 911276106 1307711337 663633801 1278636729 1276770031 1033976264 1307733670 1307708481 1033975993 895552206 1307709567 1307709232 1307708762 1033976034 1307710680 1307711028 1307710875 1291552966 1307711029 1307710843 1307710864 1307690464 697847055 824677223 1307710905 1277484981 1033976549 1307697866 1033976028 1208322195 1033976078 1033976162 1298325694 909966403 338973203 1307733648 1255149177 1307709183 919848172 854180600 805579724 1307711075 1307701450 1123036451 1307690458 1307709315 1307690511 1307697855 927248983 1307696797 1307732680 1307692564 1307710938 1255122088 1307709299 937582048 1307710743 1080372155 1194990052 1307712779 1033976657 1192389961 1307710819 1008444001 1307710787 1307711063 1307695350 1307710796 1307708633 1218369244 1245091136 911102709 1033983835 1307710710 1307695127 1033975952 1184871702 853537946 1117319750 893621481 942646258 1307710824 1307708476 1275581652 1033976594 1307708619 1307709407 1033975873 1307699132 1307690438 1307728660 1036539806 994291537 841006424 1307711014 1033976212 1033976260 1307710923 1307713663 1033975831 1307708766 1033975974 1273992506 1307710721 1307708491 1307710665 1307690445 1307710967 1307711001 1033976535 1307690758 1307713103 1184834880 1003237623 777866862 1307710726 1033976273 810494939 841641866 1307705694 1033976607 1043483197 1033975910 1307694558 1231814640 1307708599 872543210 1185003988 823118559 1275674507 1033975905 1033976063 930548596)', 'fq': '', 'last_processed_stories_id': 0, 'rows': 1000, 'sort': 'processed_stories_id', 'wc': 0, 'feeds_id': None, 'show_feeds': 0, 'key': 'MY_KEY'} / null)

When calling topics/stories/list API endpoints, the stories returned don't include the tags. To support downloading themes and subtopics in that CSV, the UI has an option to include these two things in the download. When checked, our server first makes a call for a page of topic stories, then combines stories_ids returned those into a stories_id:(1 2 3 4 ...) query and calls the regular stories_public/list endpoint. Those calls are taking forever to return.