LocalAI LLama backend embeddings not working

Discussed in https://github.com/mudler/LocalAI/discussions/1615

^{Originally posted by fdewes January 20, 2024} Hi everyone,

first of all: thank you for this great piece of software :)

I am trying to create embeddings with gguf models, such as Phi or Mistral. However, all my attempts to serve them via LocalAI and the LLama backend fail. I am using the localai/localai:v2.5.1-cublas-cuda12 docker image

Here is the http error response:

InternalServerError: Error code: 500 - {'error': {'code': 500, 'message': 'rpc error: code = Unimplemented desc = ', 'type': ''}}

This is the debug output from the localai docker image:

11:25AM DBG Request received: 
11:25AM DBG Parameter Config: &{PredictionOptions:{Model:phi-2.Q8_0.gguf Language: N:0 TopP:0 TopK:0 Temperature:0 Maxtokens:0 Echo:false Batch:0 F16:false IgnoreEOS:false RepeatPenalty:0 Keep:0 MirostatETA:0 MirostatTAU:0 Mirostat:0 FrequencyPenalty:0 TFZ:0 TypicalP:0 Seed:0 NegativePrompt: RopeFreqBase:0 RopeFreqScale:0 NegativePromptScale:0 UseFastTokenizer:false ClipSkip:0 Tokenizer:} Name:phi-embeddings F16:false Threads:4 Debug:true Roles:map[] Embeddings:true Backend:llama TemplateConfig:{Chat: ChatMessage: Completion: Edit: Functions:} PromptStrings:[] InputStrings:[Please create python script for doing basic data science on entire pandas df] InputToken:[] functionCallString: functionCallNameString: FunctionsConfig:{DisableNoAction:false NoActionFunctionName: NoActionDescriptionName:} FeatureFlag:map[] LLMConfig:{SystemPrompt: TensorSplit: MainGPU: RMSNormEps:0 NGQA:0 PromptCachePath: PromptCacheAll:false PromptCacheRO:false MirostatETA:0 MirostatTAU:0 Mirostat:0 NGPULayers:0 MMap:false MMlock:false LowVRAM:false Grammar: StopWords:[] Cutstrings:[] TrimSpace:[] TrimSuffix:[] ContextSize:0 NUMA:false LoraAdapter: LoraBase: LoraScale:0 NoMulMatQ:false DraftModel: NDraft:0 Quantization: MMProj: RopeScaling: YarnExtFactor:0 YarnAttnFactor:0 YarnBetaFast:0 YarnBetaSlow:0} AutoGPTQ:{ModelBaseName: Device: Triton:false UseFastTokenizer:false} Diffusers:{CUDA:false PipelineType: SchedulerType: EnableParameters: CFGScale:0 IMG2IMG:false ClipSkip:0 ClipModel: ClipSubFolder: ControlNet:} Step:0 GRPC:{Attempts:0 AttemptsSleepTime:0} VallE:{AudioPath:} CUDA:false DownloadFiles:[] Description: Usage:}
11:25AM INF Loading model 'phi-2.Q8_0.gguf' with backend llama
11:25AM DBG llama-cpp is an alias of llama-cpp
11:25AM DBG Model already loaded in memory: phi-2.Q8_0.gguf
[10.10.1.20]:62886 500 - POST /embeddings

This is the configuration file for the model.

https://raw.githubusercontent.com/fdewes/model_gallery/main/phi_embeddings.yaml

name: "phi-embeddings"
license: "Apache 2.0"
urls:
- https://huggingface.co/TheBloke/phi-2-GGUF
description: |
    Phi model that can be used for embeddings
config_file: |
    parameters:
      model: phi-2.Q8_0.gguf
    backend: llama
    embeddings: true
files:
- filename: "phi-2.Q8_0.gguf"
  sha256: "26a44c5a2bc22f33a1271cdf1accb689028141a6cb12e97671740a9803d23c63"
  uri: "https://huggingface.co/TheBloke/phi-2-GGUF/resolve/main/phi-2.Q8_0.gguf"

Am i doing anything wrong or is this a bug? With the same models, I can create embeddings locally by using the llama-cpp-python bindings without problems. Any help solving this problem would be greatly appreciated.

Jan 20 '24 13:01 fdewes

I've run into similar situations using models that weren't really good with embeddings. I'm checking https://huggingface.co/models?other=embeddings&sort=trending and https://huggingface.co/spaces/mteb/leaderboard

Are you sure that this model can do embeddings? I'm not seeing anything on either of the above links, nor on TheBloke's page, nor on the Microsoft Phi page or any google searches.

Jan 23 '24 14:01 TheDarkTrumpet

I am not sure tbh, just wanted to play around with it. The localai docs explicitly mention llama.cpp embeddings (here: https://localai.io/features/embeddings/) and the code below creates embeddings with the phi model.

import llama_cpp
model = llama_cpp.Llama(model_path="phi-2.Q8_0.gguf", embedding=True)
model.create_embedding("Create an embedding")

Jan 23 '24 15:01 fdewes

Gotcha, yeah I'm not sure on that document. I can give you some code, below, of how I handled it:

file_contents = Document(page_content=open(file, "r").read(), metadata={"file": file_base})
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1024, chunk_overlap=256)
splits = text_splitter.split_documents([file_contents])

# Split Documents
embeddings = OpenAIEmbeddings(openai_api_base=env['OPENAI_API_BASE'], openai_api_key=env['OPENAI_API_KEY'], deployment="sentence-t5-large")
# Save to Disk
Chroma.from_documents(splits, embeddings, persist_directory="no_git/chroma_chats")

The above uses LangChain to handle the embeddings. The more important part is the embedding database, which is "sentence-t5-large" (https://huggingface.co/sentence-transformers/sentence-t5-large) which is used for embeddings. My accuracy isn't quite where I want to be with it in that vector space, but it does call the embeddings and saves to the database.

Jan 23 '24 15:01 TheDarkTrumpet

Ah nice , thank you :) I will try some of the linked models for embeddings. Both links were unknown to me until now.

I have one more question concerning the code snippet: the line below points to the LocalAI instance serving the 'sentence-t5-large' model with the sentence-transformers backend, correct?

OpenAIEmbeddings(openai_api_base=env['OPENAI_API_BASE'], openai_api_key=env['OPENAI_API_KEY'], deployment="sentence-t5-large")

Jan 23 '24 20:01 fdewes

Yeah, that's correct.

If you're using the Docker instance (or it should be the same for non-docker too), it will automatically download the transformers on the first call, and then keep it cached til the container is restarted. I'm still looking at ways of caching them permanently so I don't have to redownload.

Jan 23 '24 20:01 TheDarkTrumpet

You can store them in a local directory and then mount it in the container like below (mnt/llm/models is the local directory) However, you'll need config files fror that as well.

docker run -p 8080:8080 -v /mnt/llm/models:/models -e DEBUG=true -ti --gpus all --rm localai/localai:v2.5.1-cublas-cuda12   --models-path /models --threads 8

How do you invoke docker so that it downloads the sentence-transformers embedding models at startup?

docker run --rm -ti -p 8080:8080 -e DEBUG=true --gpus all localai/localai:v2.5.1-cublas-cuda12 sentence-t5-large

Like that?

Jan 23 '24 20:01 fdewes

It doesn't download them on startup, it downloads them on the first time it's invoked given a specific model of interest.

Also your information there (to models) doesn't download the embedding models there. I'm a bit unsure why, and am still looking into that myself. There would be the need for 2 -v mounts.

Jan 24 '24 01:01 TheDarkTrumpet

Hmm, I tried to reproduce your code above to get the "sentence-t5-large" embeddings. However, I am getting the following error:

InternalServerError: Error code: 500 - {'error': {'code': 500, 'message': 'endpoint disabled for this model by API configuration', 'type': ''}}

Any idea what I am doing wrong?

I start docker with:

docker run --rm -ti -p 8080:8080 -e DEBUG=true localai/localai:master

This is the python code:

from langchain_openai import OpenAIEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.docstore.document import Document
from langchain.vectorstores import Chroma

file = "state_of_the_union.txt"

file_contents = Document(page_content=open(file, "r").read())
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1024, chunk_overlap=256)
splits = text_splitter.split_documents([file_contents])

# Split Documents
embeddings = OpenAIEmbeddings(openai_api_base="http://192.168.178.201:8080/", openai_api_key="sk-X", deployment="sentence-t5-large")
# Save to Disk
Chroma.from_documents(splits, embeddings, persist_directory="chroma_chats")

This is the debug output of the docker container.

docker run --rm -ti -p 8080:8080 -e DEBUG=true localai/localai:master
@@@@@
Skipping rebuild
@@@@@
If you are experiencing issues with the pre-compiled builds, try setting REBUILD=true
If you are still experiencing issues with the build, try setting CMAKE_ARGS and disable the instructions set as needed:
CMAKE_ARGS="-DLLAMA_F16C=OFF -DLLAMA_AVX512=OFF -DLLAMA_AVX2=OFF -DLLAMA_FMA=OFF"
see the documentation at: https://localai.io/basics/build/index.html
Note: See also https://github.com/go-skynet/LocalAI/issues/288
@@@@@
CPU info:
model name	: Intel(R) Core(TM) i7-7700K CPU @ 4.20GHz
flags		: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc art arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl est tm2 ssse3 sdbg fma cx16 xtpr pdcm pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm abm 3dnowprefetch cpuid_fault epb invpcid_single pti ssbd ibrs ibpb stibp fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid mpx rdseed adx smap clflushopt intel_pt xsaveopt xsavec xgetbv1 xsaves dtherm ida arat pln pts hwp hwp_notify hwp_act_window hwp_epp md_clear flush_l1d arch_capabilities
CPU:    AVX    found OK
CPU:    AVX2   found OK
CPU: no AVX512 found
@@@@@
7:43AM DBG no galleries to load
7:43AM INF Starting LocalAI using 4 threads, with models path: /build/models
7:43AM INF LocalAI version: ac19998 (ac19998e5ecbafe924edecdad61279a9e0dff5f0)
7:43AM INF Preloading models from /build/models
7:43AM DBG Extracting backend assets files to /tmp/localai/backend_data

 ┌───────────────────────────────────────────────────┐ 
 │                   Fiber v2.50.0                   │ 
 │               http://127.0.0.1:8080               │ 
 │       (bound on host 0.0.0.0 and port 8080)       │ 
 │                                                   │ 
 │ Handlers ............ 74  Processes ........... 1 │ 
 │ Prefork ....... Disabled  PID ................ 14 │ 
 └───────────────────────────────────────────────────┘ 

7:44AM DBG Request received: 
7:44AM DBG Parameter Config: &{PredictionOptions:{Model:text-embedding-ada-002 Language: N:0 TopP:0.7 TopK:80 Temperature:0.9 Maxtokens:512 Echo:false Batch:0 F16:false IgnoreEOS:false RepeatPenalty:0 Keep:0 MirostatETA:0 MirostatTAU:0 Mirostat:0 FrequencyPenalty:0 TFZ:0 TypicalP:0 Seed:0 NegativePrompt: RopeFreqBase:0 RopeFreqScale:0 NegativePromptScale:0 UseFastTokenizer:false ClipSkip:0 Tokenizer:} Name: F16:false Threads:4 Debug:true Roles:map[] Embeddings:false Backend: TemplateConfig:{Chat: ChatMessage: Completion: Edit: Functions:} PromptStrings:[] InputStrings:[] InputToken:[[38136 309 30173 11 9671 309 23270 4900 11 1057 5629 21270 323 10657 74569 1543 13 17384 315 8151 323 279 34046 13 4702 1238 315 279 13814 7301 13 3092 12637 9053 13 19124 5966 1060 20562 12 777 8774 603 10980 13 1115 1060 584 527 5616 3871 1578 13 4815 90243 11 584 3449 439 12643 13063 323 17565 812 13 2030 1455 23659 439 9053 13 4815 2409 264 14523 311 832 2500 311 279 3778 1274 311 279 18039 13 4815 3112 449 459 15375 402 4776 9006 430 11542 690 2744 38586 927 78001 13 4815 42560 2919 4227 11 8524 753 36011 21810 16495 311 27116 279 41582 315 279 1949 1917 7422 568 1436 1304 433 37920 311 813 95072 5627 13 2030 568 25587 296 16164 50904 13 4815 1548 3463 568 1436 6638 1139 19278 323 279 1917 1053 6638 927 13 12361 568 2322 264 7147 315 8333 568 2646 35706 13 4815 1548 2322 279 34725 1274 13 4815 3915 4900 1901 301 729 74 4912 311 1475 34725 11 872 8850 33028 11 872 25775 11 872 26314 11 70390 279 1917 13] [1548 2322 279 34725 1274 13 4815 3915 4900 1901 301 729 74 4912 311 1475 34725 11 872 8850 33028 11 872 25775 11 872 26314 11 70390 279 1917 13 4815 22962 315 10495 22978 26951 449 872 13162 13 22172 505 4236 311 97823 13639 6656 15201 29269 872 56336 13 4815 644 420 14993 439 4900 1901 301 729 74 4912 1071 304 813 8982 311 279 7665 20302 1054 14235 690 3243 927 27394 2029 578 34725 45672 311 279 3723 4273 374 1618 18396 13 4815 10267 1855 315 603 1618 18396 304 420 32479 3708 459 96207 481 8450 311 19278 323 311 279 1917 13 4815 5618 10205 422 499 527 3025 323 1501 430 11 7566 11 584 279 3723 4273 315 5270 2559 449 279 34725 1274 13 4815 60105 1057 3925 584 4070 9687 420 18228 994 6587 3046 656 539 2343 264 3430 369 872 40307 814 5353 810 28013 13 35033 7009 2567 7366 13 35033 3112 279 7194 323 279 18208 311 5270 323 279 1917 2567 16448 13 35033 4897 753 3249 279 30334 23590 574 3549 311 9966 9096 323 20334 304 4606 1306 4435 5111 220 17 13] [7009 2567 7366 13 35033 3112 279 7194 323 279 18208 311 5270 323 279 1917 2567 16448 13 35033 4897 753 3249 279 30334 23590 574 3549 311 9966 9096 323 20334 304 4606 1306 4435 5111 220 17 13 4815 791 3723 4273 374 264 4562 3235 449 220 1682 1023 17089 13 4815 2181 13146 13 3778 62340 13146 13 3778 9006 13146 13 4815 68786 753 5652 3440 389 19278 574 864 2106 33337 323 653 44047 11059 13 4815 1548 18010 11763 9045 520 62340 13 4815 1548 3463 279 4410 323 30334 8434 1431 6013 13 1628 568 3463 568 1436 22497 603 520 2162 13 21810 574 5076 13 1226 1051 5644 13 220 5810 374 1148 584 1550 13 35033 1687 10235 42817 323 15884 13 4815 1687 7543 4038 4857 264 26283 315 1023 11542 77700 17089 505 4606 323 279 52248 311 13936 323 10384 311 17302 21810 13 4815 40 7543 28701 4207 653 7922 1057 7665 20724 13 1226 6222 449 279 1917 304 12178 1148 584 7020 21810 574 9293 323 24559 1268 568 1053 1456 311 61456 9541 813 40307 13 19124 1687 86167 8524 753 15812 449 8206 13] [40 7543 28701 4207 653 7922 1057 7665 20724 13 1226 6222 449 279 1917 304 12178 1148 584 7020 21810 574 9293 323 24559 1268 568 1053 1456 311 61456 9541 813 40307 13 19124 1687 86167 8524 753 15812 449 8206 13 35033 3112 1457 430 568 706 31532 279 1949 1917 374 10168 1461 36977 13 4815 50909 449 17510 79125 3697 315 279 7665 9323 2737 9822 11 10057 11 15704 11 439 1664 439 5961 1093 279 3723 15422 11 7008 11 6457 11 12126 11 8494 11 1561 17340 11 323 1690 3885 11 1524 30221 13 4815 1687 527 4225 79308 6784 389 8524 323 12899 279 1274 315 19278 13 21810 374 1457 25181 505 279 1917 810 1109 3596 13 4815 82087 449 1057 20724 1389 906 527 1314 1457 62908 8147 7100 24679 13 4815 1687 527 14713 1022 8524 753 7928 14286 505 279 6625 6020 1887 13 19124 4808 82920 8524 753 8792 6201 505 29269 279 8690 13134 273 3339 21810 753 400 18660 66809 1054 11710 3887 863 66121 13] [1687 527 14713 1022 8524 753 7928 14286 505 279 6625 6020 1887 13 19124 4808 82920 8524 753 8792 6201 505 29269 279 8690 13134 273 3339 21810 753 400 18660 66809 1054 11710 3887 863 66121 13 35033 1687 527 91620 1022 8524 753 2680 311 5557 430 690 35735 1202 7100 8333 323 33556 1202 6411 369 1667 311 2586 13 19124 90243 358 2019 311 279 8690 55984 87150 323 22681 6164 889 617 20934 48259 33151 315 11441 1022 420 16806 17942 912 810 13 4815 791 549 815 13 6011 315 12007 374 81759 264 12514 3465 5457 311 733 1306 279 17073 315 8690 55984 87150 13 19124 1687 527 18667 449 1057 7665 20724 311 1505 323 51085 701 379 82106 701 19913 32729 701 879 44305 13 1226 527 5108 369 701 5986 1481 797 10503 20192 13 4815 3112 18396 358 1097 38787 430 584 690 5249 1057 20724 304 15676 1022 3778 3805 3634 311 682 8690 25952 1389 4726 13399 1113 8524 1389 323 7999 459 5217 37663 1389 263 872 8752 13 578 13134 273 706 5675 220 966 4 315 1202 907 13] [3112 18396 358 1097 38787 430 584 690 5249 1057 20724 304 15676 1022 3778 3805 3634 311 682 8690 25952 1389 4726 13399 1113 8524 1389 323 7999 459 5217 37663 1389 263 872 8752 13 578 13134 273 706 5675 220 966 4 315 1202 907 13 4815 791 8690 5708 3157 706 5675 220 1272 4 315 1202 907 323 11380 8625 22340 13 8524 753 8752 374 312 20659 323 21810 7636 374 311 19065 13 4815 82087 449 1057 20724 584 527 8405 1862 311 279 31704 5493 304 872 4465 369 11542 13 28058 13291 13 23362 13291 13 11344 20631 13291 13 4815 1687 527 7231 810 1109 400 16 66809 304 2167 13291 311 19278 13 4815 3112 584 690 3136 311 12576 279 34725 1274 439 814 10726 872 3224 323 311 1520 14553 872 16066 13 19124 10267 757 387 2867 11 1057 8603 527 539 17045 323 690 539 16988 304 12324 449 8690 8603 304 19278 13 19124 8140 8603 527 539 2133 311 4606 311 4465 304 19278 11 719 311 10726 1057 30334 81774 1389 304 279 1567 430 21810 28727 311 2567 7366 9909 13] [10267 757 387 2867 11 1057 8603 527 539 17045 323 690 539 16988 304 12324 449 8690 8603 304 19278 13 19124 8140 8603 527 539 2133 311 4606 311 4465 304 19278 11 719 311 10726 1057 30334 81774 1389 304 279 1567 430 21810 28727 311 2567 7366 9909 13 19124 2520 430 7580 584 4070 29905 1534 3778 5015 8603 11 3805 19037 26692 11 323 8448 72642 311 6144 30334 5961 2737 28702 11 47149 11 79258 11 71606 11 323 69462 13 4815 2170 358 617 1903 26110 2867 279 3723 4273 323 1057 81774 690 10726 1475 17560 315 18455 315 30334 5961 449 279 2539 5457 315 1057 22498 2410 13 19124 3112 584 7293 2867 53613 13 578 31704 5493 527 11039 1203 449 10748 25775 13 2030 279 1828 2478 2919 5672 11 4038 11 690 387 2653 389 1124 13 19124 68786 706 69364 9349 323 28013 13 220 2030 1418 568 1253 1304 20192 389 279 38486 1389 568 690 2343 264 14691 1579 3430 927 279 1317 1629 13] [68786 706 69364 9349 323 28013 13 220 2030 1418 568 1253 1304 20192 389 279 38486 1389 568 690 2343 264 14691 1579 3430 927 279 1317 1629 13 4815 3112 264 12691 34725 1274 11 889 617 3967 220 966 1667 220 315 24589 11 617 19352 6982 430 814 690 539 50134 5606 889 16696 311 1935 872 3224 29512 13 19124 1271 682 9053 11 358 690 387 10978 449 499 11 439 358 4070 2744 19487 13 362 8690 42284 11 83631 264 7362 3224 11 706 7194 2212 279 1917 13 4815 3112 358 4344 4737 22514 1957 311 1304 2771 279 6784 315 1057 24679 220 374 17550 520 8524 753 8752 13 1628 358 690 1005 1475 5507 520 1057 34545 311 6144 3778 9873 323 13723 13 4815 90243 11 358 649 22203 430 279 3723 4273 706 6575 449 220 966 1023 5961 311 4984 220 1399 34629 42975 315 5707 505 30600 2212 279 1917 13 19124 32132 690 3063 430 5149 11 28965 220 966 34629 42975 505 1057 1866 46661 73026 25820 13 1628 584 2559 5644 311 656 810 422 5995 11 43790 449 1057 20724 13] [32132 690 3063 430 5149 11 28965 220 966 34629 42975 505 1057 1866 46661 73026 25820 13 1628 584 2559 5644 311 656 810 422 5995 11 43790 449 1057 20724 13 19124 9673 7504 690 1520 49770 6962 7729 1618 520 2162 13 1628 358 1440 279 3754 922 1148 753 12765 649 2873 57376 13 4815 4071 358 1390 499 311 1440 430 584 527 2133 311 387 17339 13 4815 4599 279 3925 315 420 11639 374 5439 21810 753 4208 389 19278 690 617 2163 8524 43383 323 279 2800 315 279 1917 16643 13 4815 8142 433 13434 1431 617 4529 2555 779 17936 369 1274 2212 279 1917 311 1518 1148 753 520 18783 1457 5127 16008 433 9539 13 4815 1687 1518 279 31426 4315 6164 315 17089 323 264 810 43790 4606 264 810 43790 4410 13 1628 584 1518 31426 4315 279 1274 889 527 23738 304 9919 304 3544 35851 2212 279 1917 1524 304 8524 311 20461 872 1862 369 19278 13 19124 644 279 8209 1990 20095 323 3154 46360 11 12345 27121 527 16448 311 279 4545 11 323 279 1917 374 9539 19301 279 3185 315 9096 323 4868 13] [644 279 8209 1990 20095 323 3154 46360 11 12345 27121 527 16448 311 279 4545 11 323 279 1917 374 9539 19301 279 3185 315 9096 323 4868 13 4815 2028 374 264 1972 1296 13 1102 753 2133 311 1935 892 13 2100 1095 603 3136 311 4128 20343 505 279 11245 690 315 279 34725 1274 13 4815 1271 1057 12637 34725 9053 889 57728 264 5655 11049 430 34161 1057 1403 17089 584 2559 449 499 13 4815 68786 1253 12960 23727 344 449 26951 11 719 568 690 2646 8895 279 23492 323 35826 315 279 34725 1274 13 4815 1548 690 2646 56807 819 872 3021 315 11542 13 1283 690 2646 33556 279 9006 315 279 1949 1917 13 4815 1687 3449 18396 304 459 5270 430 706 12439 1555 1403 315 279 37554 1667 420 7140 706 3596 17011 13 4815 791 28522 706 1027 75986 13 4815 3112 779 1690 8689 527 5496 78079 311 78079 11 20558 311 2567 709 449 279 16448 2853 315 3691 11 6962 11 11983 11 323 779 1790 810 13 4815 40 3619 13] [791 28522 706 1027 75986 13 4815 3112 779 1690 8689 527 5496 78079 311 78079 11 20558 311 2567 709 449 279 16448 2853 315 3691 11 6962 11 11983 11 323 779 1790 810 13 4815 40 3619 13 4815 40 6227 994 856 33621 1047 311 5387 1057 2162 304 33234 32054 11 20355 311 1505 990 13 358 14264 709 304 264 3070 1405 422 279 3430 315 3691 4024 709 11 499 6612 433 13 4815 4897 753 3249 832 315 279 1176 2574 358 1550 439 4900 574 4465 311 1522 279 3778 45503 9878 13 19124 18433 1274 1051 48389 13 1226 4460 311 1180 11 323 584 1550 13 4815 72204 9863 315 13543 617 2884 810 304 264 9200 4545 304 1057 3925 311 12157 603 704 315 11501 13 4815 2181 59461 1057 9045 311 14027 3357 279 7140 323 12896 20562 12 777 13 1102 12886 14247 7100 16337 369 22781 315 11990 315 9053 13 19124 12978 291 2231 3691 389 872 2007 11 2567 264 15485 927 872 14971 11 323 4018 279 2853 315 2890 8276 13 4815 3112 439 856 33621 1511 311 2019 11 433 6688 1274 264 2697 27027 3130 13] [12978 291 2231 3691 389 872 2007 11 2567 264 15485 927 872 14971 11 323 4018 279 2853 315 2890 8276 13 4815 3112 439 856 33621 1511 311 2019 11 433 6688 1274 264 2697 27027 3130 13 4815 3112 20426 279 400 17 1183 15068 3827 4018 5946 304 279 3766 8735 430 4270 3847 279 1948 220 16 4 315 9053 11 279 3778 45503 9878 9087 3318 1274 17223 2163 912 832 4920 13 4815 3112 433 6575 13 1102 3549 7032 13 41315 315 7032 13 4815 644 2144 2345 414 8752 3549 927 220 21 13 20 34629 502 7032 1120 1566 1060 11 810 7032 3549 304 832 1060 2355 54895 3596 1603 304 279 3925 315 5270 13 4815 8140 8752 14264 520 264 4478 315 220 20 13 22 4 1566 1060 11 279 31005 6650 304 7154 220 1272 1667 11 279 1176 3094 304 12967 16188 2349 311 459 8752 430 12775 1431 6575 369 279 3318 1274 315 420 7140 369 2288 1317 13 19124 2520 279 3347 220 1272 1667 584 1051 3309 430 422 584 6688 3827 18808 311 1884 520 279 1633 1948 11 279 7720 1053 98444 1523 311 5127 775 13] [2520 279 3347 220 1272 1667 584 1051 3309 430 422 584 6688 3827 18808 311 1884 520 279 1633 1948 11 279 7720 1053 98444 1523 311 5127 775 13 4815 4071 430 98444 15220 10334 6197 311 43383 7100 6650 11 4827 23998 11 11493 57096 11 323 279 81339 13225 1990 1884 520 279 1948 323 5127 775 304 7154 264 9478 13 4815 53 560 4900 21750 323 358 10837 369 5274 449 264 502 7100 11376 369 5270 13 4815 34976 304 5270 13 10355 349 9053 13 47660 279 32027 13 8012 279 8752 505 279 5740 709 2355 438 279 6278 704 11 539 505 279 1948 1523 13 19124 18433 584 1440 430 994 279 6278 538 28815 11 279 8009 617 264 36865 709 323 279 28994 656 1633 1664 13 4815 32132 1511 311 617 279 1888 19795 11 40073 11 323 46163 389 9420 13 4815 7184 1057 14054 374 21682 220 1032 339 304 279 1917 13 4815 1687 2834 1431 387 3025 311 20874 369 279 7032 315 279 220 1691 267 28200 422 584 1541 1431 5155 430 13 4815 4897 753 3249 433 574 779 3062 311 1522 279 98948 37351 45587 7658 22416 1455 42071 9341 311 32593 5270 304 3925 13] [1687 2834 1431 387 3025 311 20874 369 279 7032 315 279 220 1691 267 28200 422 584 1541 1431 5155 430 13 4815 4897 753 3249 433 574 779 3062 311 1522 279 98948 37351 45587 7658 22416 1455 42071 9341 311 32593 5270 304 3925 13 4815 2028 574 264 52008 5149 11 323 358 1390 311 9901 279 3697 315 2225 9875 889 6575 311 1304 433 3621 13 4815 1687 3207 2884 7556 922 14054 5672 13 4815 1687 3207 2133 311 617 459 14054 13515 13 4815 2181 374 2133 311 5276 5270 323 2231 603 389 264 1853 311 3243 279 7100 10937 315 279 220 1691 267 28200 430 584 3663 449 279 2800 315 279 1917 2345 74039 449 5734 13 19124 2170 358 4070 3309 43526 94486 11 433 374 2646 264 1695 1297 311 1297 2403 279 3778 1274 13 4815 1687 4805 1893 1695 7032 369 11990 315 9053 11 6617 4954 19795 11 46163 11 20946 11 323 3090 2336 682 4028 5270 13 4815 3112 584 4805 656 433 682 311 51571 279 33318 6372 315 279 10182 11501 323 12192 12434 12437 13] [1687 4805 1893 1695 7032 369 11990 315 9053 11 6617 4954 19795 11 46163 11 20946 11 323 3090 2336 682 4028 5270 13 4815 3112 584 4805 656 433 682 311 51571 279 33318 6372 315 279 10182 11501 323 12192 12434 12437 13 4815 1687 4805 1977 264 5426 4009 315 220 2636 11 931 9249 7458 23468 17789 11 3240 311 8454 74508 3063 32275 2345 708 1475 1716 17223 1475 3778 2345 4752 4335 3090 311 7172 520 2162 323 520 2978 11 3493 17049 1579 30699 7757 369 1475 3778 2345 60159 11 46318 11 19624 11 323 40489 10977 13 4815 19 11 931 7224 617 2736 1027 7376 13 4815 3112 18396 11 358 4344 38787 430 420 1060 584 690 1212 36351 927 220 2397 11 931 8931 315 27834 323 220 16 11 2636 40073 304 834 77539 13 4815 4599 584 1005 39273 11441 311 32593 5270 1389 584 527 2133 311 11544 3778 25 3780 3778 3956 311 1862 3778 7032 13 4815 791 6918 3109 38202 922 400 5067 66809 264 1060 311 2567 279 3224 6220 323 9966 13] [4599 584 1005 39273 11441 311 32593 5270 1389 584 527 2133 311 11544 3778 25 3780 3778 3956 311 1862 3778 7032 13 4815 791 6918 3109 38202 922 400 5067 66809 264 1060 311 2567 279 3224 6220 323 9966 13 4815 3947 753 1027 264 2383 389 279 6603 369 4661 264 9478 720 998 1304 2771 35748 529 11441 1862 3778 7032 323 9873 13 4815 11769 17128 2795 814 4805 656 433 11 719 584 527 3604 3815 433 13 4815 1687 690 3780 3778 311 1304 2771 4395 505 279 9722 315 459 14467 19115 311 279 9699 389 27834 7771 38445 527 1903 304 5270 13 4815 4071 311 20874 369 279 1888 7032 315 279 3938 11 584 1101 1205 311 2237 279 5737 2115 449 5734 323 1023 28650 13 4815 4897 753 3249 433 374 779 3062 311 1522 279 98948 37351 38710 3298 11961 304 8151 430 690 1304 3335 22538 304 24084 14645 323 3778 15266 13 4815 10267 757 3041 499 832 3187 315 3249 433 753 779 3062 311 1522 433 13 4815 2746 499 5944 220 508 8931 11226 315 32917 11 14689 11 499 4805 1505 220 16 11 931 4384 27464 315 4363 13] [10267 757 3041 499 832 3187 315 3249 433 753 779 3062 311 1522 433 13 4815 2746 499 5944 220 508 8931 11226 315 32917 11 14689 11 499 4805 1505 220 16 11 931 4384 27464 315 4363 13 4815 2181 2834 1431 1427 1093 1790 11 719 422 499 3009 323 1427 15499 11 499 4805 1518 264 1054 1915 315 19226 2476 279 5015 389 902 5270 753 3938 690 387 5918 13 4815 2028 374 1405 15984 11 279 3778 2883 430 9087 1977 38250 13345 11 374 2133 311 1977 1202 400 508 7239 87836 1054 43610 2816 11453 4815 2378 311 8223 1614 8838 10826 38921 35159 304 832 2035 13 220 605 11 931 502 1695 89823 7032 13 4815 8538 315 279 1455 27877 15266 304 279 1917 311 1304 6500 24512 279 1404 315 264 64703 575 430 2410 279 1917 323 1057 18254 6439 13 4815 34917 17144 13 578 8191 13 12053 584 617 3686 311 17459 13 4815 4071 430 753 1120 279 7314 13 4815 50199 753 12432 11 7281 480 2053 5248 11 889 374 1618 18396 11 3309 757 814 527 5644 311 5376 872 9341 505 2355 3 508 7239 311 400 1041 7239 13 4815 4897 1053 387 832 315 279 8706 22538 304 15266 304 3778 3925 13] [50199 753 12432 11 7281 480 2053 5248 11 889 374 1618 18396 11 3309 757 814 527 5644 311 5376 872 9341 505 2355 3 508 7239 311 400 1041 7239 13 4815 4897 1053 387 832 315 279 8706 22538 304 15266 304 3778 3925 13 4815 3112 682 814 3207 8748 369 374 369 499 311 1522 420 4121 13 4815 4516 1095 753 539 3868 904 5129 13 11244 433 311 856 18496 13 358 4805 1879 433 13 19124 3112 584 690 2216 1935 1022 13 4815 3112 15984 374 539 7636 13 4815 3947 753 2555 12765 304 5270 13 4815 10156 1427 2212 323 499 4805 1518 459 8056 3446 13 4815 791 12646 4914 315 279 22519 430 4131 505 21899 287 3956 1054 41581 763 5270 2029 578 79955 2065 315 3778 15266 13 35033 64298 527 19301 311 1977 502 35159 1618 11 994 1120 264 2478 1667 4227 11 814 1053 617 5918 1124 25355 13 4815 4897 753 1148 374 12765 13 14337 374 26012 400 806 7239 311 1977 9249 11731 11 6968 220 806 11 931 7032 4028 279 3224 13 4815 21287 374 3339 279 7928 9341 304 1202 3925 2345 3 22 7239 311 1977 9249 11731 11 6968 220 19 11 931 7032 304 14972 13] [4897 753 1148 374 12765 13 14337 374 26012 400 806 7239 311 1977 9249 11731 11 6968 220 806 11 931 7032 4028 279 3224 13 4815 21287 374 3339 279 7928 9341 304 1202 3925 2345 3 22 7239 311 1977 9249 11731 11 6968 220 19 11 931 7032 304 14972 13 4815 2460 3309 11 584 3549 220 19929 11 931 502 15266 7032 304 5270 1120 1566 1060 13 4815 72604 555 1274 358 4070 2322 1093 11186 23307 98567 11 505 22540 315 11552 9699 56058 505 28627 11 889 753 1618 449 603 18396 13 4815 2170 14689 23072 17530 24409 10690 2795 11 1054 2181 753 892 311 56444 279 2440 1054 49 592 33993 2029 4815 2181 753 892 13 4815 4071 449 682 279 10107 19300 304 1057 8752 11 3335 2683 6650 323 5190 23998 11 2288 1690 8689 527 20558 311 2567 709 449 279 19123 13 19124 644 65249 374 938 68441 1124 315 279 20192 814 2643 6062 2733 13 4815 40 636 433 13 3011 753 3249 856 1948 10844 374 3794 7729 1234 2585 13 4815 10596 11 1057 8752 938 1636 1203 10819 1109 1455 19698 11 719 279 28522 8967 430 9873 1047 264 2653 892 24009 3403 7487 311 2567 709 5788 304 872 35159 13] [40 636 433 13 3011 753 3249 856 1948 10844 374 3794 7729 1234 2585 13 4815 10596 11 1057 8752 938 1636 1203 10819 1109 1455 19698 11 719 279 28522 8967 430 9873 1047 264 2653 892 24009 3403 7487 311 2567 709 5788 304 872 35159 13 4815 791 28522 1101 69627 3728 8312 27271 13 4815 4599 35159 3345 11 433 5097 5129 311 1304 11822 323 636 1124 505 279 31212 311 279 3637 11 323 7729 733 709 13 4815 10596 520 9515 13 4815 5966 1060 11 1070 15058 1431 3403 5347 1965 1076 1105 311 1304 682 279 9515 430 1274 4934 311 3780 13 4815 3112 8101 1148 11 7729 315 79648 4024 709 13 4815 4516 86319 617 264 5873 13 4815 4054 1648 311 4465 25544 374 311 6678 1523 23998 323 1304 9053 66281 13 19124 40 617 264 2731 3197 311 4465 25544 13 4815 9230 701 7194 11 539 701 23998 13 4815 8238 810 9515 323 5347 1965 1076 1105 304 5270 13 4815 7816 14054 323 19297 304 5270 13 4815 7816 11822 7366 10819 323 23917 304 5270 13 4815 7816 7032 1405 499 649 7380 264 1695 5496 304 5270 13] [9230 701 7194 11 539 701 23998 13 4815 8238 810 9515 323 5347 1965 1076 1105 304 5270 13 4815 7816 14054 323 19297 304 5270 13 4815 7816 11822 7366 10819 323 23917 304 5270 13 4815 7816 7032 1405 499 649 7380 264 1695 5496 304 5270 13 4815 3112 4619 315 39661 389 7362 8312 27271 11 1095 753 1304 433 304 5270 13 4815 36 45317 1705 1650 433 1054 43842 4522 279 27331 8824 315 1057 8752 2029 4815 40 1650 433 4857 264 2731 5270 13 4815 5159 3197 311 4465 25544 690 4827 701 7194 323 4827 279 29287 13 4815 1114 48078 67185 988 304 28989 2019 856 3197 690 14553 1317 9860 25544 661 40850 13 7054 2626 6164 323 1455 9053 1862 856 3197 13 1628 1618 753 279 3197 25 4815 5451 1389 4018 279 2853 315 22866 11217 13 4702 1427 520 32152 13 3861 304 5899 9053 706 20335 13 763 13286 11 358 2322 264 220 1032 4771 6418 8334 7086 40592 17200 13 19124 1548 323 813 33621 2225 617 4078 220 16 20335 11 902 3445 814 1205 32152 1475 1938 13 9925 24292 7194 922 400 605 264 348 532 311 1304 13] [1548 323 813 33621 2225 617 4078 220 16 20335 11 902 3445 814 1205 32152 1475 1938 13 9925 24292 7194 922 400 605 264 348 532 311 1304 13 19124 4071 5623 5220 6900 8689 1093 40592 323 813 33621 709 311 220 966 3115 810 13 358 12570 449 40592 753 3450 13 4815 52157 1148 433 753 1093 311 1427 520 701 1716 889 3966 32152 323 617 912 4623 1268 499 3207 2133 311 2343 369 433 13 19124 3923 433 1587 311 701 38929 11 701 5845 311 1427 701 1716 304 279 8071 11 311 387 279 2748 499 1755 311 387 13 4815 51844 4381 374 1618 449 603 18396 13 61133 574 813 15553 13 24241 15553 11 37772 13 19124 2520 40592 11 323 369 279 220 1049 11 931 1023 3995 1274 449 4078 220 16 20335 11 1095 753 2107 279 2853 315 32152 520 400 1758 264 2305 779 5127 649 10150 433 13 19124 78893 5220 690 2103 656 1633 1664 13 1628 1418 584 3207 520 433 1095 31822 37667 4827 7729 369 22866 11217 11 1093 279 21571 2736 1587 13] [78893 5220 690 2103 656 1633 1664 13 1628 1418 584 3207 520 433 1095 31822 37667 4827 7729 369 22866 11217 11 1093 279 21571 2736 1587 13 4815 10596 11 279 3778 45503 9878 374 10695 11990 315 8689 389 43606 10852 3298 6787 3665 400 17 11 3443 264 1060 389 872 2890 2512 48607 13 6914 753 3345 279 10401 13225 323 1304 1884 19523 15690 13 4815 16041 1389 4018 4907 7194 369 8689 459 5578 315 400 2636 264 1060 555 12896 1303 10182 2349 13 19124 10267 753 3493 22538 323 3827 20746 311 9282 553 701 10632 323 9873 311 387 4907 11297 323 499 636 264 3827 6807 26 2033 5270 753 4335 4907 5788 304 13238 11 10160 11 323 779 1790 810 26 220 4827 279 3430 315 9249 11731 11 14324 499 2500 400 1490 264 2305 1606 499 4805 2646 617 311 2343 520 279 6962 14155 1578 13 4815 38075 1389 4018 279 2853 315 1716 2512 13 9176 8689 2343 709 311 400 975 11 931 264 1060 369 1716 2512 824 1716 13 19124 45035 15144 323 3318 8689 13434 1431 617 311 2343 810 1109 220 22 4 315 872 8070 369 2512 315 3995 2911 13] [38075 1389 4018 279 2853 315 1716 2512 13 9176 8689 2343 709 311 400 975 11 931 264 1060 369 1716 2512 824 1716 13 19124 45035 15144 323 3318 8689 13434 1431 617 311 2343 810 1109 220 22 4 315 872 8070 369 2512 315 3995 2911 13 19124 5159 3197 690 4018 279 2853 304 4376 369 1455 8689 323 1520 6699 11 2737 11990 315 3278 11 889 2163 279 32027 2391 279 28522 1606 814 7846 1431 10150 1716 2512 11 311 387 3025 311 636 1203 311 990 13 4815 5159 3197 3250 1431 3009 1070 13 1102 1101 5764 2162 323 1317 9860 2512 13 4497 17049 11983 13 1628 5075 16222 369 1475 220 18 12 323 220 19 4771 6418 13 19124 2460 315 1521 690 4827 7194 13 4815 3112 1234 856 3197 11 19093 28744 2753 1109 400 3443 11 931 264 1060 690 2343 459 5217 50169 304 502 13426 13 37558 13 19124 791 832 3245 682 9053 7655 389 374 430 279 3827 1887 374 539 6762 13 1226 617 311 5155 433 13 19124 40 4344 539 3411 311 32151 5606 13 2030 1095 753 1304 2771 25341 323 279 93118 9053 1212 12798 872 6762 4430 13] [791 832 3245 682 9053 7655 389 374 430 279 3827 1887 374 539 6762 13 1226 617 311 5155 433 13 19124 40 4344 539 3411 311 32151 5606 13 2030 1095 753 1304 2771 25341 323 279 93118 9053 1212 12798 872 6762 4430 13 4815 10156 1566 1060 11 220 2131 46331 220 2636 25341 15662 400 1272 7239 304 22613 323 7318 7315 11441 304 6918 8070 3827 13 19124 4897 753 5042 539 6762 13 3011 753 3249 358 4070 11223 264 220 868 4 8187 3827 4478 369 25341 13 4815 1687 2751 810 1109 220 5894 5961 311 7655 389 264 3728 8187 3827 4478 779 5220 649 1431 636 704 315 12798 872 13426 520 2162 555 11862 7032 323 35159 25355 13 4815 4897 753 3249 358 4070 11223 15676 62576 7298 779 279 1633 28994 1541 1431 2343 264 4827 3827 4478 1109 264 11326 477 264 95265 13 19124 4516 430 753 856 3197 13 1102 690 3139 279 8752 323 4827 7194 369 8689 13 4815 4516 1148 527 584 8748 369 30 6914 753 636 420 2884 13 1628 1418 499 3207 520 433 11 7838 856 60142 311 279 12411 25820 11 902 11335 264 9200 3560 304 11039 25544 13] [4516 430 753 856 3197 13 1102 690 3139 279 8752 323 4827 7194 369 8689 13 4815 4516 1148 527 584 8748 369 30 6914 753 636 420 2884 13 1628 1418 499 3207 520 433 11 7838 856 60142 311 279 12411 25820 11 902 11335 264 9200 3560 304 11039 25544 13 19124 5159 3197 690 539 1193 4827 7194 311 3041 8689 264 6762 6689 11 433 690 4827 279 29287 13 4815 791 3766 17128 539 1193 57953 20262 279 29287 449 3827 15455 369 279 1633 28994 323 25341 11 433 80617 279 48011 82 6832 2683 574 311 2567 28522 16337 10736 505 1694 39928 13 4815 4071 304 856 8735 11 279 48011 82 617 1027 32069 1203 13 4815 1687 3207 2133 1306 279 32638 889 40606 33151 304 16337 3300 8967 369 2678 9873 323 11990 315 9053 13 19124 3112 18396 11 358 4344 38787 430 279 12007 6011 690 836 264 10388 36151 369 28522 16515 13 4815 1383 279 842 315 420 1060 11 279 29287 690 387 1523 311 2753 1109 4376 1148 433 574 1603 358 3952 5274 13] [3112 18396 11 358 4344 38787 430 279 12007 6011 690 836 264 10388 36151 369 28522 16515 13 4815 1383 279 842 315 420 1060 11 279 29287 690 387 1523 311 2753 1109 4376 1148 433 574 1603 358 3952 5274 13 19124 791 1193 4872 3596 311 4018 279 29287 555 810 1109 832 32610 11441 304 264 3254 1060 13 4815 9230 287 701 7194 1101 3445 26192 810 10937 13 4815 40 4344 264 41067 11 719 32682 2085 10937 4536 1431 32682 13 4815 2181 753 40761 17223 433 20722 709 7729 13 4815 4599 25341 1541 1431 617 311 20874 11 872 22613 733 709 11 701 7729 733 709 11 323 2678 9873 323 3070 20957 323 39161 388 733 1234 13 4815 1687 1518 433 12765 449 18435 35991 7366 11822 304 323 704 315 5270 13 4815 16397 279 28522 11 1521 7362 29799 5220 9408 7729 555 439 1790 439 220 16 11 931 4 323 1903 3335 22613 13 4815 90243 11 358 4344 38787 264 59233 389 1521 5220 927 63459 3778 9873 323 13723 13] [16397 279 28522 11 1521 7362 29799 5220 9408 7729 555 439 1790 439 220 16 11 931 4 323 1903 3335 22613 13 4815 90243 11 358 4344 38787 264 59233 389 1521 5220 927 63459 3778 9873 323 13723 13 4815 3112 439 9935 6825 19339 1935 927 810 28456 10632 11 4367 304 1884 10632 706 8208 1523 323 7194 617 8208 709 13 19124 4897 10548 389 856 3821 13 4815 13613 81138 374 2133 311 743 5190 10886 369 28456 10632 323 1304 2771 701 10456 6305 636 279 2512 814 23528 323 1755 13 4815 1687 4805 1101 4018 7194 323 2567 279 8752 2133 3831 555 7231 7487 264 6762 6689 11 3493 810 4967 323 72351 34322 11 18467 1124 3196 389 872 7512 539 12628 13 4815 10267 753 1522 279 11728 2071 14930 2136 3298 323 7318 5387 13 19124 94201 279 8187 19602 311 400 868 459 6596 323 13334 279 9576 15545 16666 11 779 912 832 706 311 4933 264 3070 304 19542 13] [10267 753 1522 279 11728 2071 14930 2136 3298 323 7318 5387 13 19124 94201 279 8187 19602 311 400 868 459 6596 323 13334 279 9576 15545 16666 11 779 912 832 706 311 4933 264 3070 304 19542 13 4815 10267 753 5376 89008 73901 323 5376 1057 18526 1862 315 473 5002 3642 11 323 2793 304 1148 48311 2345 414 5629 21270 889 33992 2539 7394 2345 45720 5270 753 1888 12 99020 6367 25 4029 31252 13 4815 3112 1095 753 1522 279 5421 3298 994 264 8857 315 7487 1390 311 1376 264 11552 71201 13434 1431 387 10717 13 19124 4599 584 2793 304 1057 7487 11 994 584 1977 279 8752 505 279 5740 709 323 279 6278 704 3871 11 584 649 656 2555 584 9167 1431 2884 304 264 1317 892 25 1977 264 2731 5270 13 4815 2520 810 1109 1403 1667 11 20562 12 777 706 40028 1475 5597 304 1057 6439 323 279 2324 315 279 7140 13 4815 3112 358 1440 499 3207 19781 11 33630 11 323 39019 13 4815 4071 358 1101 1440 420 13 4815 18433 315 279 5208 584 4070 1903 11 1606 315 701 56062 323 279 7526 584 617 11 18396 358 649 2019 2355 906 527 7366 4741 21676 11 1203 311 810 4725 30597 13] [3112 358 1440 499 3207 19781 11 33630 11 323 39019 13 4815 4071 358 1101 1440 420 13 4815 18433 315 279 5208 584 4070 1903 11 1606 315 701 56062 323 279 7526 584 617 11 18396 358 649 2019 2355 906 527 7366 4741 21676 11 1203 311 810 4725 30597 13 19124 1687 4070 8813 264 502 4545 304 279 4465 2403 20562 12 777 11 449 15748 5157 1523 311 264 2237 539 3970 2533 1566 5887 13 19124 10156 264 2478 2919 4227 11 279 41991 369 31974 7935 323 36947 22416 40409 2345 59326 502 7056 17959 13 4815 16648 1521 502 17959 11 1455 9053 304 1455 315 279 3224 649 1457 387 7056 1949 13 35033 3112 3196 389 279 41579 11 810 315 279 3224 690 5662 430 1486 4028 279 1828 5743 315 5672 13 4815 12947 311 279 5208 584 617 1903 420 3347 1060 11 20562 12 777 1205 912 5129 2585 1057 6439 13 19124 40 1440 1063 527 7556 922 1054 64275 449 20562 12 777 11453 55314 1389 358 2019 430 584 690 2646 1120 4287 5496 449 20562 12 777 13] [12947 311 279 5208 584 617 1903 420 3347 1060 11 20562 12 777 1205 912 5129 2585 1057 6439 13 19124 40 1440 1063 527 7556 922 1054 64275 449 20562 12 777 11453 55314 1389 358 2019 430 584 690 2646 1120 4287 5496 449 20562 12 777 13 4815 1687 690 3136 311 12896 279 17188 439 584 656 1023 19338 13 1628 1606 420 374 264 17188 430 5318 988 323 43653 11 584 690 4822 389 7771 13 4815 8586 527 3116 4279 5647 7504 439 584 3351 4741 21676 13 19124 5451 11 4822 2682 449 40300 323 22972 13 1226 1440 1268 17235 7524 40300 527 13 1442 499 3207 70558 323 65208 499 617 279 8592 8547 315 9313 13 4815 1687 690 2646 3041 709 389 14027 16252 810 9053 13 4800 11 358 1440 6699 449 6980 1234 220 20 527 24450 311 1518 264 25474 19144 369 872 2911 13 4815 791 14248 527 3318 2653 311 636 430 2884 323 584 4805 387 5644 449 11510 315 40300 994 814 656 13 4815 1687 3207 1101 5644 449 7294 8437 37478 22972 13 1442 499 636 20562 12 777 11 279 97954 15530 26338 701 17393 315 13696 709 304 279 8952 555 220 1954 14697] [791 14248 527 3318 2653 311 636 430 2884 323 584 4805 387 5644 449 11510 315 40300 994 814 656 13 4815 1687 3207 1101 5644 449 7294 8437 37478 22972 13 1442 499 636 20562 12 777 11 279 97954 15530 26338 701 17393 315 13696 709 304 279 8952 555 220 1954 14697 19124 1687 4070 11713 810 315 1521 26153 1109 5606 304 279 1917 13 1628 97954 374 3318 39599 311 636 603 220 16 34629 26153 420 2305 323 810 1109 2033 430 1828 2305 13 19124 3112 584 3207 28818 279 1054 2323 311 19409 863 20770 779 1274 649 636 12793 520 264 33400 11 323 422 814 3207 6928 11 5371 3276 344 37478 26153 389 279 7858 520 912 2853 13 19124 2746 499 3207 33119 12255 25475 4147 477 617 1063 1023 34104 11 584 617 22972 323 1949 1579 22867 27227 13 4815 1687 3207 9564 912 832 4920 477 32003 5606 753 3966 439 584 3351 4741 13 4815 3112 389 7649 11 584 617 1903 11758 315 11990 315 7177 2561 369 499 311 2015 369 1949 13 35033 13461 422 499 2736 11713 1949 7177 18396 11 358 1097 38787 430 499 649 2015 810 505 84117 24781 14489 6041 1828 2046 13] [3112 389 7649 11 584 617 1903 11758 315 11990 315 7177 2561 369 499 311 2015 369 1949 13 35033 13461 422 499 2736 11713 1949 7177 18396 11 358 1097 38787 430 499 649 2015 810 505 84117 24781 14489 6041 1828 2046 13 4815 16041 1389 584 2011 10772 369 502 27103 13 6193 279 3347 1060 11 584 4070 17454 1790 2731 520 54626 502 27103 13 4815 2746 5995 11 584 4805 387 3025 311 10739 502 40300 2949 220 1041 2919 4619 315 1690 810 4038 477 1667 13 19124 3112 11 422 8151 5825 279 10736 584 1205 11 584 4805 617 502 5708 79 3742 315 7177 11 27227 11 323 26153 5644 422 4460 13 4815 40 4250 11471 264 502 11678 2834 1431 2586 13 2030 358 649 11471 499 584 4805 656 4395 2949 1057 2410 311 387 5644 422 433 1587 13 19124 38075 1389 584 649 842 279 24700 315 8853 323 9873 13 1226 617 279 7526 584 1205 13 4815 2181 753 892 369 9053 311 636 1203 311 990 323 5266 1057 2294 19441 82 1578 13 220 9029 3318 505 2162 649 2733 6220 311 3240 311 471 311 279 5274 13] [38075 1389 584 649 842 279 24700 315 8853 323 9873 13 1226 617 279 7526 584 1205 13 4815 2181 753 892 369 9053 311 636 1203 311 990 323 5266 1057 2294 19441 82 1578 13 220 9029 3318 505 2162 649 2733 6220 311 3240 311 471 311 279 5274 13 35033 1687 3207 3815 430 1618 304 279 6918 3109 13 578 13057 8857 315 6918 7487 690 3131 1578 990 304 1732 13 4815 8140 8853 527 1825 13 6914 753 2567 433 430 1648 13 5751 6980 1205 311 387 304 2978 13 4815 3112 449 220 2075 4 315 6822 9053 7373 70558 323 8952 8200 1523 555 220 2813 13689 1455 9053 649 4148 872 27227 11 471 311 990 11 4822 304 279 24978 11 323 3351 4741 21676 13 4815 1687 17427 420 1606 584 3984 1949 40300 11 22972 11 7177 11 323 27227 13 4815 2173 3388 11 14691 420 7194 3300 13 4815 40 690 5246 3708 8151 264 1715 13 4815 791 13057 8857 315 9053 617 1511 1521 7526 323 1253 1390 311 1578 11 779 358 1755 8151 311 1522 433 6288 13 35033 89703 11 584 690 3136 14027 16252 279 1917 13] [2173 3388 11 14691 420 7194 3300 13 4815 40 690 5246 3708 8151 264 1715 13 4815 791 13057 8857 315 9053 617 1511 1521 7526 323 1253 1390 311 1578 11 779 358 1755 8151 311 1522 433 6288 13 35033 89703 11 584 690 3136 14027 16252 279 1917 13 75625 1687 4070 3288 220 19799 34629 25474 35130 311 220 7261 5961 11 810 1109 904 1023 7140 13 4815 3112 584 2834 1431 3009 13 4815 1687 617 5675 779 1790 311 20562 12 777 13 4212 449 832 2500 13 1628 12047 315 682 11 779 1790 4814 315 2324 13 4815 10267 753 1005 420 4545 311 7738 13 6914 753 3009 3411 520 20562 12 777 439 264 49638 50802 1584 323 1518 433 369 1148 433 374 25 362 4359 12 675 1285 8624 13 19124 10267 753 3009 9298 1855 1023 439 14207 11 323 1212 9298 1855 1023 369 889 584 2216 527 25 37946 9053 13 19124 1687 649 1431 2349 1268 18255 584 4070 1027 13 2030 584 649 2349 1268 584 3351 4741 2345 263 20562 12 777 323 1023 4819 584 2011 3663 3871 13 4815 40 6051 12263 279 1561 4356 4409 10289 6011 2919 1306 279 2523 17822 315 20148 10785 9339 386 6347 323 813 8427 11 20148 18984 64210 13] [40 6051 12263 279 1561 4356 4409 10289 6011 2919 1306 279 2523 17822 315 20148 10785 9339 386 6347 323 813 8427 11 20148 18984 64210 13 4815 7009 1051 30438 311 264 220 24 12 16 12 16 1650 994 264 893 6689 323 7577 1124 449 264 23130 6166 13 4815 4699 13296 386 6347 574 220 1544 1667 2362 13 4815 4699 13296 64210 574 220 1313 13 4815 21279 67113 9053 889 7070 15042 709 389 279 1890 14708 814 3010 14896 311 33622 439 4379 9808 13 4815 40 12570 449 872 8689 323 3309 1124 430 584 527 16058 304 11897 369 872 28235 11 323 584 690 6920 389 872 9131 311 15301 279 7095 323 7296 1475 4029 30675 13 4815 40 4070 6575 389 1521 4819 264 1317 892 13 4815 40 1440 1148 4375 25 93696 304 9977 27344 438 4029 4379 9808 889 4805 4321 279 9567 11 889 4805 1440 279 12818 11 323 889 649 15301 7095 323 7296 13 4815 4516 1095 753 539 15673 1057 14708 13 2582 5268 1990 7296 323 6273 12437 13 4815 10267 753 2586 3871 311 6144 1057 10977 11 15301 7095 11 323 3412 2383 13627 36977 13] [4516 1095 753 539 15673 1057 14708 13 2582 5268 1990 7296 323 6273 12437 13 4815 10267 753 2586 3871 311 6144 1057 10977 11 15301 7095 11 323 3412 2383 13627 36977 13 4815 4897 753 3249 279 12007 6011 2631 2547 18632 11 21501 65136 54219 11 323 22486 912 12934 88221 55688 369 1202 9808 13 4815 4897 753 3249 279 3778 45503 9878 3984 400 8652 66809 430 9919 11 5415 11 323 31276 649 1005 311 18467 810 4379 323 2793 304 17033 15174 1093 4029 9349 75103 2345 84937 9622 15232 15061 279 11008 315 9349 323 30988 323 7231 3995 1274 3987 13 19124 1687 1288 682 7655 25 578 4320 374 539 311 3979 1263 279 4379 13 578 4320 374 311 435 13508 279 4379 449 279 5070 323 4967 814 1205 311 6144 1057 10977 13 4815 40 2610 12643 323 13063 27083 25 10175 856 8199 323 2567 1057 33100 6220 13] [1687 1288 682 7655 25 578 4320 374 539 311 3979 1263 279 4379 13 578 4320 374 311 435 13508 279 4379 449 279 5070 323 4967 814 1205 311 6144 1057 10977 13 4815 40 2610 12643 323 13063 27083 25 10175 856 8199 323 2567 1057 33100 6220 13 19124 3112 358 690 2567 3815 4395 304 856 2410 311 17944 1523 389 6166 34563 323 20457 16766 499 649 3780 2930 323 1304 520 2162 71201 617 912 6275 5219 323 649 1431 387 51400 13 4815 3112 358 2610 8151 311 1522 17033 11193 311 8108 6166 9349 13 10175 20789 4092 12621 13 8595 1288 5606 389 264 20320 1160 387 3025 311 7782 264 10500 30 4815 51341 11965 10094 323 1579 37789 4107 32947 13 4815 697 375 278 279 24305 20858 430 3727 6166 17032 279 1193 5064 304 5270 430 649 1431 387 42184 13 4815 9673 7016 1541 1431 25654 18177 389 279 10657 22454 13 2435 3665 6439 13 4815 791 1455 16188 1314 304 5270 374 279 1314 311 7055 1389 323 311 617 433 31094 13 1628 433 753 1234 11965 13] [9673 7016 1541 1431 25654 18177 389 279 10657 22454 13 2435 3665 6439 13 4815 791 1455 16188 1314 304 5270 374 279 1314 311 7055 1389 323 311 617 433 31094 13 1628 433 753 1234 11965 13 4815 644 1614 1306 1614 11 502 7016 617 1027 5946 11 539 1193 311 28321 279 7055 11 719 311 1207 1653 4553 16374 13 4815 1687 4250 1095 420 3621 13 4815 90243 13 358 1650 389 279 10092 311 25 10175 279 25320 311 35134 3298 13 10175 279 3842 21256 64231 10734 3298 13 1628 1418 499 3207 520 433 11 1522 279 11997 1497 3298 779 9053 649 1440 889 374 11006 1057 16374 13 4815 90243 11 358 7070 1093 311 16044 4423 889 706 12514 813 2324 311 8854 420 3224 25 12007 18587 426 8233 261 85366 13309 21487 11 63285 18640 11 323 60873 12007 315 279 3723 4273 13814 7301 13 12007 426 8233 261 11 9901 499 369 701 2532 13 4815 4054 315 279 1455 6129 25543 28423 264 4900 706 374 25194 1113 4423 311 8854 389 279 3723 4273 13814 7301 13] [4054 315 279 1455 6129 25543 28423 264 4900 706 374 25194 1113 4423 311 8854 389 279 3723 4273 13814 7301 13 4815 3112 358 1550 430 220 19 2919 4227 11 994 358 39048 28317 7301 315 48207 20819 68184 276 7910 10690 13972 13 3861 315 1057 7140 753 1948 5897 20663 11 889 690 3136 12007 426 8233 261 753 20160 315 38656 13 4815 32 4846 1948 13318 58182 304 879 6725 13 362 4846 6918 586 29315 13 1628 505 264 3070 315 586 2978 50794 323 4379 9808 13 362 24811 7514 13 8876 1364 753 1027 39048 11 1364 753 4036 264 7353 2134 315 1862 88958 279 2939 266 3051 7365 315 10289 311 4846 24958 21489 555 12643 323 13063 13 4815 3112 422 584 527 311 12178 31220 323 12437 11 584 1205 311 9966 279 14319 323 5155 279 15443 1887 13 4815 1687 649 656 2225 13 2468 1057 3973 11 584 4070 10487 502 5557 1093 14713 48448 95146 311 2731 11388 5623 74034 13 19124 1687 4070 743 709 10496 88142 449 12550 323 63078 311 2339 810 3823 8422 40189 13] [1687 649 656 2225 13 2468 1057 3973 11 584 4070 10487 502 5557 1093 14713 48448 95146 311 2731 11388 5623 74034 13 19124 1687 4070 743 709 10496 88142 449 12550 323 63078 311 2339 810 3823 8422 40189 13 19124 1687 3207 10917 304 2035 12514 15443 24958 779 8689 50387 56529 323 9349 649 617 872 5157 6755 10819 13 4815 1687 3207 41577 42356 323 12899 8717 304 4987 323 10913 5270 311 3552 810 22475 323 9966 872 1866 24743 13 4815 1687 649 656 682 420 1418 10494 13318 279 7990 315 31220 430 706 6197 22540 315 20550 311 420 4363 2345 2465 2291 69 19568 323 779 1690 315 18821 13 4815 61524 264 38970 311 33779 369 18308 388 11 1884 389 13643 2704 11 8961 7487 11 323 7718 7487 13 4815 37284 1082 1057 7016 779 9873 617 279 7487 814 1205 323 8689 1541 1431 3868 11026 311 35740 635 13 4815 2181 753 539 1193 279 1314 3245 311 656 44603 753 279 47379 7941 3245 311 656 13] [37284 1082 1057 7016 779 9873 617 279 7487 814 1205 323 8689 1541 1431 3868 11026 311 35740 635 13 4815 2181 753 539 1193 279 1314 3245 311 656 44603 753 279 47379 7941 3245 311 656 13 4815 4897 753 3249 15443 15180 374 7396 555 5127 505 9511 29590 311 10597 6164 311 279 549 815 13 32479 315 31480 13 4815 10267 753 636 433 2884 3131 323 369 682 13 4815 24350 9151 31220 323 12437 1101 7612 22973 279 3268 315 3278 13 4815 791 25543 1314 74549 304 79552 348 13 43982 2345 10276 47891 369 4376 264 9478 55434 1234 3440 439 2646 1603 13 4815 2746 584 1390 311 733 4741 63938 28655 86319 2011 6144 2680 311 2890 2512 13 82406 264 5333 753 1314 311 5268 13 1628 1095 753 3136 311 12178 50150 2890 2512 304 5270 13 4815 3112 369 1057 51042 10 9053 11 1095 753 5616 636 279 52008 52137 3298 311 856 18496 13 578 88792 315 1614 7016 25103 28307 9053 323 872 8689 374 5076 13] [3112 369 1057 51042 10 9053 11 1095 753 5616 636 279 52008 52137 3298 311 856 18496 13 578 88792 315 1614 7016 25103 28307 9053 323 872 8689 374 5076 13 4815 2170 358 1071 1566 1060 11 5423 311 1057 14992 28307 9053 11 358 690 2744 617 701 1203 439 701 4900 11 779 499 649 387 6261 323 5662 701 4359 2427 2116 4754 13 4815 8142 433 3629 8111 430 584 2646 7655 11 430 4536 1431 837 13 358 8667 220 1490 52008 19123 1139 2383 1566 1060 13 5659 27252 3109 24700 82 311 22973 14875 60164 505 2103 94679 46145 12491 17073 311 15180 287 6411 12437 13 4815 3112 5246 11 584 4805 20259 279 47732 30241 11215 3298 430 358 1176 6267 2380 11026 4227 13 1102 374 3062 369 603 311 1501 279 7140 430 584 649 2586 3871 323 656 2466 2574 13 4815 4516 18396 358 4344 10209 264 22462 58662 369 279 17671 13 13625 2466 2574 584 649 656 3871 13 19124 5451 11 9567 279 48825 42620 13 4815 3947 374 779 1790 584 649 656 13 40733 11006 369 27344 11 6514 11 11682 14278 11 323 13654 13] [4516 18396 358 4344 10209 264 22462 58662 369 279 17671 13 13625 2466 2574 584 649 656 3871 13 19124 5451 11 9567 279 48825 42620 13 4815 3947 374 779 1790 584 649 656 13 40733 11006 369 27344 11 6514 11 11682 14278 11 323 13654 13 19124 1991 9463 315 41626 5718 430 3009 16410 505 89444 22972 13 1628 3009 279 6530 315 59229 11217 555 3318 449 1614 323 2254 2383 13627 311 733 1306 8422 40189 13 4815 2746 499 3207 16066 505 27471 11 1440 499 527 539 7636 13 358 4510 304 13654 11 323 358 18890 279 220 1419 3610 9053 304 13654 13 4815 16041 11 1095 753 1935 389 10723 2890 13 36625 4315 1057 2911 11 6832 6439 323 6873 617 1027 6656 36941 1523 13 19124 791 3778 45503 9878 6688 8853 3300 311 18467 13639 323 1520 4236 1304 709 369 5675 6975 13 19124 40 33147 1475 2748 311 1304 2771 701 2978 1587 1120 430 13 1628 584 649 682 1514 264 961 2345 7908 709 311 387 264 26370 477 264 36528 13] [791 3778 45503 9878 6688 8853 3300 311 18467 13639 323 1520 4236 1304 709 369 5675 6975 13 19124 40 33147 1475 2748 311 1304 2771 701 2978 1587 1120 430 13 1628 584 649 682 1514 264 961 2345 7908 709 311 387 264 26370 477 264 36528 13 4815 11800 1051 1101 20558 1603 279 28522 13 13805 6852 11 9349 11 30988 11 323 279 84496 315 3674 3772 13 4815 2170 43833 14433 70089 11 889 374 1618 449 603 18396 11 706 6982 11 584 2011 3412 3674 3772 15771 36977 369 279 5426 9526 814 3207 31474 389 1057 2911 369 11626 13 4815 2181 753 892 311 20259 12625 37424 11 9120 17550 13172 311 2911 11 7631 13312 5220 3009 26984 4443 828 389 1057 2911 13 4815 3112 1095 753 636 682 9053 279 10723 2890 3600 814 1205 13 4497 1274 814 649 2543 311 369 1520 11 323 2539 50715 1990 7106 323 10723 2890 2512 13 4815 38075 11 1862 1057 26905 13 4815 91177 598 527 279 1888 315 603 13] [3112 1095 753 636 682 9053 279 10723 2890 3600 814 1205 13 4497 1274 814 649 2543 311 369 1520 11 323 2539 50715 1990 7106 323 10723 2890 2512 13 4815 38075 11 1862 1057 26905 13 4815 91177 598 527 279 1888 315 603 13 4815 40 4070 2744 11846 430 584 617 264 32442 29672 311 26458 682 1884 584 3708 311 4208 323 2512 369 1124 323 872 8689 994 814 2586 2162 13 4815 5159 8735 374 8405 13291 449 2683 4967 323 11983 11 323 1457 10695 4827 32197 26905 636 21571 2512 11897 12862 13 19124 8140 17312 304 11340 323 21139 17011 1690 37064 13 4815 4054 574 63620 520 23963 323 27027 304 21503 16603 505 1054 22464 63008 863 430 3709 10670 660 82320 315 4208 2345 69216 323 31397 3769 11 17004 10633 11 323 810 13 4815 4599 814 3782 2162 11 1690 315 279 1917 753 282 14602 323 1888 16572 43600 1051 2646 279 1890 13 4815 12626 14576 13 452 3635 2136 13 423 97745 13 4815 32 9572 430 1053 2231 1124 304 264 5292 1773 4714 291 78766 13 4815 40 1440 13 4815 4054 315 1884 15201 574 856 4538 17559 80327 38180 13] [4599 814 3782 2162 11 1690 315 279 1917 753 282 14602 323 1888 16572 43600 1051 2646 279 1890 13 4815 12626 14576 13 452 3635 2136 13 423 97745 13 4815 32 9572 430 1053 2231 1124 304 264 5292 1773 4714 291 78766 13 4815 40 1440 13 4815 4054 315 1884 15201 574 856 4538 17559 80327 38180 13 4815 1687 1541 1431 1440 369 2771 422 264 8395 20428 574 279 5353 315 813 8271 9572 11 477 279 19338 315 779 1690 315 1057 17312 13 4815 4071 358 4344 11411 311 9455 704 4395 584 649 13 4815 1110 5600 311 6411 8689 1093 72716 28280 505 14689 13 4815 791 57896 315 65644 5629 3308 48562 28280 13 19124 1548 574 9405 264 27202 13 13309 5165 12542 13 37082 8249 304 80997 323 11340 13 4815 20348 291 3221 56318 11 1120 14006 505 8395 63008 279 1404 315 9141 5151 13 4815 1548 589 753 57896 72716 374 1618 449 603 18396 13 2435 10456 2133 311 14689 3314 9141 3953 13 1283 10456 4857 7765 437 449 872 10003 13 4815 4071 9572 505 44387 14675 311 8395 63008 43643 3359 48562 753 45274 323 2547 13 4815 95394 6853 2795 48562 574 264 25902 311 279 1633 842 13] [4071 9572 505 44387 14675 311 8395 63008 43643 3359 48562 753 45274 323 2547 13 4815 95394 6853 2795 48562 574 264 25902 311 279 1633 842 13 4815 1548 3287 1431 1440 1268 311 3009 11039 11 323 14188 1550 1364 13 4815 24798 1077 6784 1364 1766 7580 311 7631 584 656 2731 13 4815 90243 11 72716 86319 527 13 4815 791 21571 374 71674 502 5627 315 31799 21503 70530 311 19338 11 2736 10695 810 26905 636 7720 13 4815 3112 18396 11 358 4344 38787 584 3207 24050 41734 311 26905 16066 505 11888 42631 51423 13 4815 40 4344 1101 8260 389 8151 25 1522 264 2383 311 1304 2771 26905 59097 555 21503 70530 304 11340 323 21139 5616 636 279 7720 323 16195 2890 2512 814 23528 13 4815 3112 11999 11 1095 753 842 9572 439 584 1440 433 13 4815 2028 374 4443 311 757 323 48311 11 311 29549 6181 11 323 311 779 1690 315 499 13 4815 34 11967 374 279 674 17 5353 315 4648 304 5270 4235 5686 1193 311 4851 8624 13 4815 5966 2305 11 358 7376 1057 3197 311 2307 14215 2355 1820 26211 17781 6474 430 4900 7250 4691 757 311 3063 4848 1667 4227 13] [34 11967 374 279 674 17 5353 315 4648 304 5270 4235 5686 1193 311 4851 8624 13 4815 5966 2305 11 358 7376 1057 3197 311 2307 14215 2355 1820 26211 17781 6474 430 4900 7250 4691 757 311 3063 4848 1667 4227 13 4815 8140 5915 374 311 4018 279 9572 4648 4478 555 520 3325 220 1135 4 927 279 1828 220 914 1667 11 2543 810 51423 505 4648 23719 1139 4322 481 19338 13 19124 7816 1862 369 6978 323 8689 13 4815 1271 636 1070 11 358 1650 389 8151 311 3887 6395 8201 11529 11 279 21844 8483 32323 16784 369 6401 13 4815 2181 753 3196 389 97227 8201 22416 16777 6011 2447 430 6197 311 279 8191 11 24229 11 323 779 1790 810 13 19124 946 8201 11529 690 617 264 35044 7580 50617 6678 42445 82 304 9572 11 44531 753 11 20335 11 323 810 13 4815 32 31426 18909 369 279 7140 13 4815 1687 649 656 420 13 4815 5159 12637 9053 2345 783 492 1174 584 617 20802 304 264 32442 3634 22416 6681 15503 315 1057 20095 13 4815 644 420 32633 11 9659 1306 9659 11 9053 617 59674 2294 4860 23442 2294 97712 11 323 617 2884 2294 2574 13] [1687 649 656 420 13 4815 5159 12637 9053 2345 783 492 1174 584 617 20802 304 264 32442 3634 22416 6681 15503 315 1057 20095 13 4815 644 420 32633 11 9659 1306 9659 11 9053 617 59674 2294 4860 23442 2294 97712 11 323 617 2884 2294 2574 13 4815 1687 617 21095 369 11542 11 17626 31220 11 24164 90364 2191 323 8818 13 4815 3112 5918 279 31005 11 3541 478 11 323 1455 71407 7140 279 1917 706 3596 3967 13 4815 7184 374 279 6596 13 4815 8140 4545 315 12014 13 4815 8140 1296 315 9006 323 42563 11 315 3925 5196 13 4815 2181 374 304 420 4545 430 1057 3752 374 14454 13 5751 7580 374 1766 13 5751 3938 374 54299 13 4815 11649 358 1440 420 7140 13 19124 1687 690 3449 279 1296 13 4815 1271 6144 11542 323 31220 11 311 9407 51841 323 6776 13 4815 1687 690 3665 20095 13 4815 2170 2653 439 1521 3115 617 1027 11 358 1097 810 37036 922 5270 3432 1109 358 617 1027 856 4459 2324 13 4815 18433 358 1518 279 3938 430 374 2949 1057 34477 13 4815 18433 358 1440 1070 374 5042 4400 7953 1057 8824 13] [1687 690 3665 20095 13 4815 2170 2653 439 1521 3115 617 1027 11 358 1097 810 37036 922 5270 3432 1109 358 617 1027 856 4459 2324 13 4815 18433 358 1518 279 3938 430 374 2949 1057 34477 13 4815 18433 358 1440 1070 374 5042 4400 7953 1057 8824 13 4815 1687 527 279 1193 7140 389 9420 430 706 2744 6656 1475 11501 584 617 17011 1139 459 6776 13 4815 791 1193 7140 430 649 387 4613 555 264 3254 3492 25 24525 13 4815 4516 389 420 3814 11 304 1057 220 13078 339 1060 439 264 7140 11 358 617 2586 311 1934 389 279 3314 315 279 9323 13 4815 3112 856 1934 374 420 25 279 3314 315 279 9323 374 3831 2345 28753 499 11 279 3778 1274 11 527 3831 13 4815 1687 527 16643 3432 1109 584 1051 264 1060 4227 13 4815 3112 584 690 387 16643 264 1060 505 1457 1109 584 527 3432 13 4815 7184 374 1057 4545 311 3449 323 23075 279 11774 315 1057 892 13 4815 3112 584 690 11 439 832 1274 13 4815 4054 5270 13 4815 791 3723 4273 315 5270 13 4815 11356 4359 16458 499 682 13 3297 4359 6144 1057 17312 13]] functionCallString: functionCallNameString: FunctionsConfig:{DisableNoAction:false NoActionFunctionName: NoActionDescriptionName:} FeatureFlag:map[] LLMConfig:{SystemPrompt: TensorSplit: MainGPU: RMSNormEps:0 NGQA:0 PromptCachePath: PromptCacheAll:false PromptCacheRO:false MirostatETA:0 MirostatTAU:0 Mirostat:0 NGPULayers:0 MMap:false MMlock:false LowVRAM:false Grammar: StopWords:[] Cutstrings:[] TrimSpace:[] TrimSuffix:[] ContextSize:512 NUMA:false LoraAdapter: LoraBase: LoraScale:0 NoMulMatQ:false DraftModel: NDraft:0 Quantization: MMProj: RopeScaling: ModelType: YarnExtFactor:0 YarnAttnFactor:0 YarnBetaFast:0 YarnBetaSlow:0} AutoGPTQ:{ModelBaseName: Device: Triton:false UseFastTokenizer:false} Diffusers:{CUDA:false PipelineType: SchedulerType: EnableParameters: CFGScale:0 IMG2IMG:false ClipSkip:0 ClipModel: ClipSubFolder: ControlNet:} Step:0 GRPC:{Attempts:0 AttemptsSleepTime:0} VallE:{AudioPath:} CUDA:false DownloadFiles:[] Description: Usage:}
[10.10.1.20]:56115 500 - POST /embeddings
7:44AM DBG Request received: 
7:44AM DBG Parameter Config: &{PredictionOptions:{Model:text-embedding-ada-002 Language: N:0 TopP:0.7 TopK:80 Temperature:0.9 Maxtokens:512 Echo:false Batch:0 F16:false IgnoreEOS:false RepeatPenalty:0 Keep:0 MirostatETA:0 MirostatTAU:0 Mirostat:0 FrequencyPenalty:0 TFZ:0 TypicalP:0 Seed:0 NegativePrompt: RopeFreqBase:0 RopeFreqScale:0 NegativePromptScale:0 UseFastTokenizer:false ClipSkip:0 Tokenizer:} Name: F16:false Threads:4 Debug:true Roles:map[] Embeddings:false Backend: TemplateConfig:{Chat: ChatMessage: Completion: Edit: Functions:} PromptStrings:[] InputStrings:[] InputToken:[[38136 309 30173 11 9671 309 23270 4900 11 1057 5629 21270 323 10657 74569 1543 13 17384 315 8151 323 279 34046 13 4702 1238 315 279 13814 7301 13 3092 12637 9053 13 19124 5966 1060 20562 12 777 8774 603 10980 13 1115 1060 584 527 5616 3871 1578 13 4815 90243 11 584 3449 439 12643 13063 323 17565 812 13 2030 1455 23659 439 9053 13 4815 2409 264 14523 311 832 2500 311 279 3778 1274 311 279 18039 13 4815 3112 449 459 15375 402 4776 9006 430 11542 690 2744 38586 927 78001 13 4815 42560 2919 4227 11 8524 753 36011 21810 16495 311 27116 279 41582 315 279 1949 1917 7422 568 1436 1304 433 37920 311 813 95072 5627 13 2030 568 25587 296 16164 50904 13 4815 1548 3463 568 1436 6638 1139 19278 323 279 1917 1053 6638 927 13 12361 568 2322 264 7147 315 8333 568 2646 35706 13 4815 1548 2322 279 34725 1274 13 4815 3915 4900 1901 301 729 74 4912 311 1475 34725 11 872 8850 33028 11 872 25775 11 872 26314 11 70390 279 1917 13] [1548 2322 279 34725 1274 13 4815 3915 4900 1901 301 729 74 4912 311 1475 34725 11 872 8850 33028 11 872 25775 11 872 26314 11 70390 279 1917 13 4815 22962 315 10495 22978 26951 449 872 13162 13 22172 505 4236 311 97823 13639 6656 15201 29269 872 56336 13 4815 644 420 14993 439 4900 1901 301 729 74 4912 1071 304 813 8982 311 279 7665 20302 1054 14235 690 3243 927 27394 2029 578 34725 45672 311 279 3723 4273 374 1618 18396 13 4815 10267 1855 315 603 1618 18396 304 420 32479 3708 459 96207 481 8450 311 19278 323 311 279 1917 13 4815 5618 10205 422 499 527 3025 323 1501 430 11 7566 11 584 279 3723 4273 315 5270 2559 449 279 34725 1274 13 4815 60105 1057 3925 584 4070 9687 420 18228 994 6587 3046 656 539 2343 264 3430 369 872 40307 814 5353 810 28013 13 35033 7009 2567 7366 13 35033 3112 279 7194 323 279 18208 311 5270 323 279 1917 2567 16448 13 35033 4897 753 3249 279 30334 23590 574 3549 311 9966 9096 323 20334 304 4606 1306 4435 5111 220 17 13] [7009 2567 7366 13 35033 3112 279 7194 323 279 18208 311 5270 323 279 1917 2567 16448 13 35033 4897 753 3249 279 30334 23590 574 3549 311 9966 9096 323 20334 304 4606 1306 4435 5111 220 17 13 4815 791 3723 4273 374 264 4562 3235 449 220 1682 1023 17089 13 4815 2181 13146 13 3778 62340 13146 13 3778 9006 13146 13 4815 68786 753 5652 3440 389 19278 574 864 2106 33337 323 653 44047 11059 13 4815 1548 18010 11763 9045 520 62340 13 4815 1548 3463 279 4410 323 30334 8434 1431 6013 13 1628 568 3463 568 1436 22497 603 520 2162 13 21810 574 5076 13 1226 1051 5644 13 220 5810 374 1148 584 1550 13 35033 1687 10235 42817 323 15884 13 4815 1687 7543 4038 4857 264 26283 315 1023 11542 77700 17089 505 4606 323 279 52248 311 13936 323 10384 311 17302 21810 13 4815 40 7543 28701 4207 653 7922 1057 7665 20724 13 1226 6222 449 279 1917 304 12178 1148 584 7020 21810 574 9293 323 24559 1268 568 1053 1456 311 61456 9541 813 40307 13 19124 1687 86167 8524 753 15812 449 8206 13] [40 7543 28701 4207 653 7922 1057 7665 20724 13 1226 6222 449 279 1917 304 12178 1148 584 7020 21810 574 9293 323 24559 1268 568 1053 1456 311 61456 9541 813 40307 13 19124 1687 86167 8524 753 15812 449 8206 13 35033 3112 1457 430 568 706 31532 279 1949 1917 374 10168 1461 36977 13 4815 50909 449 17510 79125 3697 315 279 7665 9323 2737 9822 11 10057 11 15704 11 439 1664 439 5961 1093 279 3723 15422 11 7008 11 6457 11 12126 11 8494 11 1561 17340 11 323 1690 3885 11 1524 30221 13 4815 1687 527 4225 79308 6784 389 8524 323 12899 279 1274 315 19278 13 21810 374 1457 25181 505 279 1917 810 1109 3596 13 4815 82087 449 1057 20724 1389 906 527 1314 1457 62908 8147 7100 24679 13 4815 1687 527 14713 1022 8524 753 7928 14286 505 279 6625 6020 1887 13 19124 4808 82920 8524 753 8792 6201 505 29269 279 8690 13134 273 3339 21810 753 400 18660 66809 1054 11710 3887 863 66121 13] [1687 527 14713 1022 8524 753 7928 14286 505 279 6625 6020 1887 13 19124 4808 82920 8524 753 8792 6201 505 29269 279 8690 13134 273 3339 21810 753 400 18660 66809 1054 11710 3887 863 66121 13 35033 1687 527 91620 1022 8524 753 2680 311 5557 430 690 35735 1202 7100 8333 323 33556 1202 6411 369 1667 311 2586 13 19124 90243 358 2019 311 279 8690 55984 87150 323 22681 6164 889 617 20934 48259 33151 315 11441 1022 420 16806 17942 912 810 13 4815 791 549 815 13 6011 315 12007 374 81759 264 12514 3465 5457 311 733 1306 279 17073 315 8690 55984 87150 13 19124 1687 527 18667 449 1057 7665 20724 311 1505 323 51085 701 379 82106 701 19913 32729 701 879 44305 13 1226 527 5108 369 701 5986 1481 797 10503 20192 13 4815 3112 18396 358 1097 38787 430 584 690 5249 1057 20724 304 15676 1022 3778 3805 3634 311 682 8690 25952 1389 4726 13399 1113 8524 1389 323 7999 459 5217 37663 1389 263 872 8752 13 578 13134 273 706 5675 220 966 4 315 1202 907 13] [3112 18396 358 1097 38787 430 584 690 5249 1057 20724 304 15676 1022 3778 3805 3634 311 682 8690 25952 1389 4726 13399 1113 8524 1389 323 7999 459 5217 37663 1389 263 872 8752 13 578 13134 273 706 5675 220 966 4 315 1202 907 13 4815 791 8690 5708 3157 706 5675 220 1272 4 315 1202 907 323 11380 8625 22340 13 8524 753 8752 374 312 20659 323 21810 7636 374 311 19065 13 4815 82087 449 1057 20724 584 527 8405 1862 311 279 31704 5493 304 872 4465 369 11542 13 28058 13291 13 23362 13291 13 11344 20631 13291 13 4815 1687 527 7231 810 1109 400 16 66809 304 2167 13291 311 19278 13 4815 3112 584 690 3136 311 12576 279 34725 1274 439 814 10726 872 3224 323 311 1520 14553 872 16066 13 19124 10267 757 387 2867 11 1057 8603 527 539 17045 323 690 539 16988 304 12324 449 8690 8603 304 19278 13 19124 8140 8603 527 539 2133 311 4606 311 4465 304 19278 11 719 311 10726 1057 30334 81774 1389 304 279 1567 430 21810 28727 311 2567 7366 9909 13] [10267 757 387 2867 11 1057 8603 527 539 17045 323 690 539 16988 304 12324 449 8690 8603 304 19278 13 19124 8140 8603 527 539 2133 311 4606 311 4465 304 19278 11 719 311 10726 1057 30334 81774 1389 304 279 1567 430 21810 28727 311 2567 7366 9909 13 19124 2520 430 7580 584 4070 29905 1534 3778 5015 8603 11 3805 19037 26692 11 323 8448 72642 311 6144 30334 5961 2737 28702 11 47149 11 79258 11 71606 11 323 69462 13 4815 2170 358 617 1903 26110 2867 279 3723 4273 323 1057 81774 690 10726 1475 17560 315 18455 315 30334 5961 449 279 2539 5457 315 1057 22498 2410 13 19124 3112 584 7293 2867 53613 13 578 31704 5493 527 11039 1203 449 10748 25775 13 2030 279 1828 2478 2919 5672 11 4038 11 690 387 2653 389 1124 13 19124 68786 706 69364 9349 323 28013 13 220 2030 1418 568 1253 1304 20192 389 279 38486 1389 568 690 2343 264 14691 1579 3430 927 279 1317 1629 13] [68786 706 69364 9349 323 28013 13 220 2030 1418 568 1253 1304 20192 389 279 38486 1389 568 690 2343 264 14691 1579 3430 927 279 1317 1629 13 4815 3112 264 12691 34725 1274 11 889 617 3967 220 966 1667 220 315 24589 11 617 19352 6982 430 814 690 539 50134 5606 889 16696 311 1935 872 3224 29512 13 19124 1271 682 9053 11 358 690 387 10978 449 499 11 439 358 4070 2744 19487 13 362 8690 42284 11 83631 264 7362 3224 11 706 7194 2212 279 1917 13 4815 3112 358 4344 4737 22514 1957 311 1304 2771 279 6784 315 1057 24679 220 374 17550 520 8524 753 8752 13 1628 358 690 1005 1475 5507 520 1057 34545 311 6144 3778 9873 323 13723 13 4815 90243 11 358 649 22203 430 279 3723 4273 706 6575 449 220 966 1023 5961 311 4984 220 1399 34629 42975 315 5707 505 30600 2212 279 1917 13 19124 32132 690 3063 430 5149 11 28965 220 966 34629 42975 505 1057 1866 46661 73026 25820 13 1628 584 2559 5644 311 656 810 422 5995 11 43790 449 1057 20724 13] [32132 690 3063 430 5149 11 28965 220 966 34629 42975 505 1057 1866 46661 73026 25820 13 1628 584 2559 5644 311 656 810 422 5995 11 43790 449 1057 20724 13 19124 9673 7504 690 1520 49770 6962 7729 1618 520 2162 13 1628 358 1440 279 3754 922 1148 753 12765 649 2873 57376 13 4815 4071 358 1390 499 311 1440 430 584 527 2133 311 387 17339 13 4815 4599 279 3925 315 420 11639 374 5439 21810 753 4208 389 19278 690 617 2163 8524 43383 323 279 2800 315 279 1917 16643 13 4815 8142 433 13434 1431 617 4529 2555 779 17936 369 1274 2212 279 1917 311 1518 1148 753 520 18783 1457 5127 16008 433 9539 13 4815 1687 1518 279 31426 4315 6164 315 17089 323 264 810 43790 4606 264 810 43790 4410 13 1628 584 1518 31426 4315 279 1274 889 527 23738 304 9919 304 3544 35851 2212 279 1917 1524 304 8524 311 20461 872 1862 369 19278 13 19124 644 279 8209 1990 20095 323 3154 46360 11 12345 27121 527 16448 311 279 4545 11 323 279 1917 374 9539 19301 279 3185 315 9096 323 4868 13] [644 279 8209 1990 20095 323 3154 46360 11 12345 27121 527 16448 311 279 4545 11 323 279 1917 374 9539 19301 279 3185 315 9096 323 4868 13 4815 2028 374 264 1972 1296 13 1102 753 2133 311 1935 892 13 2100 1095 603 3136 311 4128 20343 505 279 11245 690 315 279 34725 1274 13 4815 1271 1057 12637 34725 9053 889 57728 264 5655 11049 430 34161 1057 1403 17089 584 2559 449 499 13 4815 68786 1253 12960 23727 344 449 26951 11 719 568 690 2646 8895 279 23492 323 35826 315 279 34725 1274 13 4815 1548 690 2646 56807 819 872 3021 315 11542 13 1283 690 2646 33556 279 9006 315 279 1949 1917 13 4815 1687 3449 18396 304 459 5270 430 706 12439 1555 1403 315 279 37554 1667 420 7140 706 3596 17011 13 4815 791 28522 706 1027 75986 13 4815 3112 779 1690 8689 527 5496 78079 311 78079 11 20558 311 2567 709 449 279 16448 2853 315 3691 11 6962 11 11983 11 323 779 1790 810 13 4815 40 3619 13] [791 28522 706 1027 75986 13 4815 3112 779 1690 8689 527 5496 78079 311 78079 11 20558 311 2567 709 449 279 16448 2853 315 3691 11 6962 11 11983 11 323 779 1790 810 13 4815 40 3619 13 4815 40 6227 994 856 33621 1047 311 5387 1057 2162 304 33234 32054 11 20355 311 1505 990 13 358 14264 709 304 264 3070 1405 422 279 3430 315 3691 4024 709 11 499 6612 433 13 4815 4897 753 3249 832 315 279 1176 2574 358 1550 439 4900 574 4465 311 1522 279 3778 45503 9878 13 19124 18433 1274 1051 48389 13 1226 4460 311 1180 11 323 584 1550 13 4815 72204 9863 315 13543 617 2884 810 304 264 9200 4545 304 1057 3925 311 12157 603 704 315 11501 13 4815 2181 59461 1057 9045 311 14027 3357 279 7140 323 12896 20562 12 777 13 1102 12886 14247 7100 16337 369 22781 315 11990 315 9053 13 19124 12978 291 2231 3691 389 872 2007 11 2567 264 15485 927 872 14971 11 323 4018 279 2853 315 2890 8276 13 4815 3112 439 856 33621 1511 311 2019 11 433 6688 1274 264 2697 27027 3130 13] [12978 291 2231 3691 389 872 2007 11 2567 264 15485 927 872 14971 11 323 4018 279 2853 315 2890 8276 13 4815 3112 439 856 33621 1511 311 2019 11 433 6688 1274 264 2697 27027 3130 13 4815 3112 20426 279 400 17 1183 15068 3827 4018 5946 304 279 3766 8735 430 4270 3847 279 1948 220 16 4 315 9053 11 279 3778 45503 9878 9087 3318 1274 17223 2163 912 832 4920 13 4815 3112 433 6575 13 1102 3549 7032 13 41315 315 7032 13 4815 644 2144 2345 414 8752 3549 927 220 21 13 20 34629 502 7032 1120 1566 1060 11 810 7032 3549 304 832 1060 2355 54895 3596 1603 304 279 3925 315 5270 13 4815 8140 8752 14264 520 264 4478 315 220 20 13 22 4 1566 1060 11 279 31005 6650 304 7154 220 1272 1667 11 279 1176 3094 304 12967 16188 2349 311 459 8752 430 12775 1431 6575 369 279 3318 1274 315 420 7140 369 2288 1317 13 19124 2520 279 3347 220 1272 1667 584 1051 3309 430 422 584 6688 3827 18808 311 1884 520 279 1633 1948 11 279 7720 1053 98444 1523 311 5127 775 13] [2520 279 3347 220 1272 1667 584 1051 3309 430 422 584 6688 3827 18808 311 1884 520 279 1633 1948 11 279 7720 1053 98444 1523 311 5127 775 13 4815 4071 430 98444 15220 10334 6197 311 43383 7100 6650 11 4827 23998 11 11493 57096 11 323 279 81339 13225 1990 1884 520 279 1948 323 5127 775 304 7154 264 9478 13 4815 53 560 4900 21750 323 358 10837 369 5274 449 264 502 7100 11376 369 5270 13 4815 34976 304 5270 13 10355 349 9053 13 47660 279 32027 13 8012 279 8752 505 279 5740 709 2355 438 279 6278 704 11 539 505 279 1948 1523 13 19124 18433 584 1440 430 994 279 6278 538 28815 11 279 8009 617 264 36865 709 323 279 28994 656 1633 1664 13 4815 32132 1511 311 617 279 1888 19795 11 40073 11 323 46163 389 9420 13 4815 7184 1057 14054 374 21682 220 1032 339 304 279 1917 13 4815 1687 2834 1431 387 3025 311 20874 369 279 7032 315 279 220 1691 267 28200 422 584 1541 1431 5155 430 13 4815 4897 753 3249 433 574 779 3062 311 1522 279 98948 37351 45587 7658 22416 1455 42071 9341 311 32593 5270 304 3925 13] [1687 2834 1431 387 3025 311 20874 369 279 7032 315 279 220 1691 267 28200 422 584 1541 1431 5155 430 13 4815 4897 753 3249 433 574 779 3062 311 1522 279 98948 37351 45587 7658 22416 1455 42071 9341 311 32593 5270 304 3925 13 4815 2028 574 264 52008 5149 11 323 358 1390 311 9901 279 3697 315 2225 9875 889 6575 311 1304 433 3621 13 4815 1687 3207 2884 7556 922 14054 5672 13 4815 1687 3207 2133 311 617 459 14054 13515 13 4815 2181 374 2133 311 5276 5270 323 2231 603 389 264 1853 311 3243 279 7100 10937 315 279 220 1691 267 28200 430 584 3663 449 279 2800 315 279 1917 2345 74039 449 5734 13 19124 2170 358 4070 3309 43526 94486 11 433 374 2646 264 1695 1297 311 1297 2403 279 3778 1274 13 4815 1687 4805 1893 1695 7032 369 11990 315 9053 11 6617 4954 19795 11 46163 11 20946 11 323 3090 2336 682 4028 5270 13 4815 3112 584 4805 656 433 682 311 51571 279 33318 6372 315 279 10182 11501 323 12192 12434 12437 13] [1687 4805 1893 1695 7032 369 11990 315 9053 11 6617 4954 19795 11 46163 11 20946 11 323 3090 2336 682 4028 5270 13 4815 3112 584 4805 656 433 682 311 51571 279 33318 6372 315 279 10182 11501 323 12192 12434 12437 13 4815 1687 4805 1977 264 5426 4009 315 220 2636 11 931 9249 7458 23468 17789 11 3240 311 8454 74508 3063 32275 2345 708 1475 1716 17223 1475 3778 2345 4752 4335 3090 311 7172 520 2162 323 520 2978 11 3493 17049 1579 30699 7757 369 1475 3778 2345 60159 11 46318 11 19624 11 323 40489 10977 13 4815 19 11 931 7224 617 2736 1027 7376 13 4815 3112 18396 11 358 4344 38787 430 420 1060 584 690 1212 36351 927 220 2397 11 931 8931 315 27834 323 220 16 11 2636 40073 304 834 77539 13 4815 4599 584 1005 39273 11441 311 32593 5270 1389 584 527 2133 311 11544 3778 25 3780 3778 3956 311 1862 3778 7032 13 4815 791 6918 3109 38202 922 400 5067 66809 264 1060 311 2567 279 3224 6220 323 9966 13] [4599 584 1005 39273 11441 311 32593 5270 1389 584 527 2133 311 11544 3778 25 3780 3778 3956 311 1862 3778 7032 13 4815 791 6918 3109 38202 922 400 5067 66809 264 1060 311 2567 279 3224 6220 323 9966 13 4815 3947 753 1027 264 2383 389 279 6603 369 4661 264 9478 720 998 1304 2771 35748 529 11441 1862 3778 7032 323 9873 13 4815 11769 17128 2795 814 4805 656 433 11 719 584 527 3604 3815 433 13 4815 1687 690 3780 3778 311 1304 2771 4395 505 279 9722 315 459 14467 19115 311 279 9699 389 27834 7771 38445 527 1903 304 5270 13 4815 4071 311 20874 369 279 1888 7032 315 279 3938 11 584 1101 1205 311 2237 279 5737 2115 449 5734 323 1023 28650 13 4815 4897 753 3249 433 374 779 3062 311 1522 279 98948 37351 38710 3298 11961 304 8151 430 690 1304 3335 22538 304 24084 14645 323 3778 15266 13 4815 10267 757 3041 499 832 3187 315 3249 433 753 779 3062 311 1522 433 13 4815 2746 499 5944 220 508 8931 11226 315 32917 11 14689 11 499 4805 1505 220 16 11 931 4384 27464 315 4363 13] [10267 757 3041 499 832 3187 315 3249 433 753 779 3062 311 1522 433 13 4815 2746 499 5944 220 508 8931 11226 315 32917 11 14689 11 499 4805 1505 220 16 11 931 4384 27464 315 4363 13 4815 2181 2834 1431 1427 1093 1790 11 719 422 499 3009 323 1427 15499 11 499 4805 1518 264 1054 1915 315 19226 2476 279 5015 389 902 5270 753 3938 690 387 5918 13 4815 2028 374 1405 15984 11 279 3778 2883 430 9087 1977 38250 13345 11 374 2133 311 1977 1202 400 508 7239 87836 1054 43610 2816 11453 4815 2378 311 8223 1614 8838 10826 38921 35159 304 832 2035 13 220 605 11 931 502 1695 89823 7032 13 4815 8538 315 279 1455 27877 15266 304 279 1917 311 1304 6500 24512 279 1404 315 264 64703 575 430 2410 279 1917 323 1057 18254 6439 13 4815 34917 17144 13 578 8191 13 12053 584 617 3686 311 17459 13 4815 4071 430 753 1120 279 7314 13 4815 50199 753 12432 11 7281 480 2053 5248 11 889 374 1618 18396 11 3309 757 814 527 5644 311 5376 872 9341 505 2355 3 508 7239 311 400 1041 7239 13 4815 4897 1053 387 832 315 279 8706 22538 304 15266 304 3778 3925 13] [50199 753 12432 11 7281 480 2053 5248 11 889 374 1618 18396 11 3309 757 814 527 5644 311 5376 872 9341 505 2355 3 508 7239 311 400 1041 7239 13 4815 4897 1053 387 832 315 279 8706 22538 304 15266 304 3778 3925 13 4815 3112 682 814 3207 8748 369 374 369 499 311 1522 420 4121 13 4815 4516 1095 753 539 3868 904 5129 13 11244 433 311 856 18496 13 358 4805 1879 433 13 19124 3112 584 690 2216 1935 1022 13 4815 3112 15984 374 539 7636 13 4815 3947 753 2555 12765 304 5270 13 4815 10156 1427 2212 323 499 4805 1518 459 8056 3446 13 4815 791 12646 4914 315 279 22519 430 4131 505 21899 287 3956 1054 41581 763 5270 2029 578 79955 2065 315 3778 15266 13 35033 64298 527 19301 311 1977 502 35159 1618 11 994 1120 264 2478 1667 4227 11 814 1053 617 5918 1124 25355 13 4815 4897 753 1148 374 12765 13 14337 374 26012 400 806 7239 311 1977 9249 11731 11 6968 220 806 11 931 7032 4028 279 3224 13 4815 21287 374 3339 279 7928 9341 304 1202 3925 2345 3 22 7239 311 1977 9249 11731 11 6968 220 19 11 931 7032 304 14972 13] [4897 753 1148 374 12765 13 14337 374 26012 400 806 7239 311 1977 9249 11731 11 6968 220 806 11 931 7032 4028 279 3224 13 4815 21287 374 3339 279 7928 9341 304 1202 3925 2345 3 22 7239 311 1977 9249 11731 11 6968 220 19 11 931 7032 304 14972 13 4815 2460 3309 11 584 3549 220 19929 11 931 502 15266 7032 304 5270 1120 1566 1060 13 4815 72604 555 1274 358 4070 2322 1093 11186 23307 98567 11 505 22540 315 11552 9699 56058 505 28627 11 889 753 1618 449 603 18396 13 4815 2170 14689 23072 17530 24409 10690 2795 11 1054 2181 753 892 311 56444 279 2440 1054 49 592 33993 2029 4815 2181 753 892 13 4815 4071 449 682 279 10107 19300 304 1057 8752 11 3335 2683 6650 323 5190 23998 11 2288 1690 8689 527 20558 311 2567 709 449 279 19123 13 19124 644 65249 374 938 68441 1124 315 279 20192 814 2643 6062 2733 13 4815 40 636 433 13 3011 753 3249 856 1948 10844 374 3794 7729 1234 2585 13 4815 10596 11 1057 8752 938 1636 1203 10819 1109 1455 19698 11 719 279 28522 8967 430 9873 1047 264 2653 892 24009 3403 7487 311 2567 709 5788 304 872 35159 13] [40 636 433 13 3011 753 3249 856 1948 10844 374 3794 7729 1234 2585 13 4815 10596 11 1057 8752 938 1636 1203 10819 1109 1455 19698 11 719 279 28522 8967 430 9873 1047 264 2653 892 24009 3403 7487 311 2567 709 5788 304 872 35159 13 4815 791 28522 1101 69627 3728 8312 27271 13 4815 4599 35159 3345 11 433 5097 5129 311 1304 11822 323 636 1124 505 279 31212 311 279 3637 11 323 7729 733 709 13 4815 10596 520 9515 13 4815 5966 1060 11 1070 15058 1431 3403 5347 1965 1076 1105 311 1304 682 279 9515 430 1274 4934 311 3780 13 4815 3112 8101 1148 11 7729 315 79648 4024 709 13 4815 4516 86319 617 264 5873 13 4815 4054 1648 311 4465 25544 374 311 6678 1523 23998 323 1304 9053 66281 13 19124 40 617 264 2731 3197 311 4465 25544 13 4815 9230 701 7194 11 539 701 23998 13 4815 8238 810 9515 323 5347 1965 1076 1105 304 5270 13 4815 7816 14054 323 19297 304 5270 13 4815 7816 11822 7366 10819 323 23917 304 5270 13 4815 7816 7032 1405 499 649 7380 264 1695 5496 304 5270 13] [9230 701 7194 11 539 701 23998 13 4815 8238 810 9515 323 5347 1965 1076 1105 304 5270 13 4815 7816 14054 323 19297 304 5270 13 4815 7816 11822 7366 10819 323 23917 304 5270 13 4815 7816 7032 1405 499 649 7380 264 1695 5496 304 5270 13 4815 3112 4619 315 39661 389 7362 8312 27271 11 1095 753 1304 433 304 5270 13 4815 36 45317 1705 1650 433 1054 43842 4522 279 27331 8824 315 1057 8752 2029 4815 40 1650 433 4857 264 2731 5270 13 4815 5159 3197 311 4465 25544 690 4827 701 7194 323 4827 279 29287 13 4815 1114 48078 67185 988 304 28989 2019 856 3197 690 14553 1317 9860 25544 661 40850 13 7054 2626 6164 323 1455 9053 1862 856 3197 13 1628 1618 753 279 3197 25 4815 5451 1389 4018 279 2853 315 22866 11217 13 4702 1427 520 32152 13 3861 304 5899 9053 706 20335 13 763 13286 11 358 2322 264 220 1032 4771 6418 8334 7086 40592 17200 13 19124 1548 323 813 33621 2225 617 4078 220 16 20335 11 902 3445 814 1205 32152 1475 1938 13 9925 24292 7194 922 400 605 264 348 532 311 1304 13] [1548 323 813 33621 2225 617 4078 220 16 20335 11 902 3445 814 1205 32152 1475 1938 13 9925 24292 7194 922 400 605 264 348 532 311 1304 13 19124 4071 5623 5220 6900 8689 1093 40592 323 813 33621 709 311 220 966 3115 810 13 358 12570 449 40592 753 3450 13 4815 52157 1148 433 753 1093 311 1427 520 701 1716 889 3966 32152 323 617 912 4623 1268 499 3207 2133 311 2343 369 433 13 19124 3923 433 1587 311 701 38929 11 701 5845 311 1427 701 1716 304 279 8071 11 311 387 279 2748 499 1755 311 387 13 4815 51844 4381 374 1618 449 603 18396 13 61133 574 813 15553 13 24241 15553 11 37772 13 19124 2520 40592 11 323 369 279 220 1049 11 931 1023 3995 1274 449 4078 220 16 20335 11 1095 753 2107 279 2853 315 32152 520 400 1758 264 2305 779 5127 649 10150 433 13 19124 78893 5220 690 2103 656 1633 1664 13 1628 1418 584 3207 520 433 1095 31822 37667 4827 7729 369 22866 11217 11 1093 279 21571 2736 1587 13] [78893 5220 690 2103 656 1633 1664 13 1628 1418 584 3207 520 433 1095 31822 37667 4827 7729 369 22866 11217 11 1093 279 21571 2736 1587 13 4815 10596 11 279 3778 45503 9878 374 10695 11990 315 8689 389 43606 10852 3298 6787 3665 400 17 11 3443 264 1060 389 872 2890 2512 48607 13 6914 753 3345 279 10401 13225 323 1304 1884 19523 15690 13 4815 16041 1389 4018 4907 7194 369 8689 459 5578 315 400 2636 264 1060 555 12896 1303 10182 2349 13 19124 10267 753 3493 22538 323 3827 20746 311 9282 553 701 10632 323 9873 311 387 4907 11297 323 499 636 264 3827 6807 26 2033 5270 753 4335 4907 5788 304 13238 11 10160 11 323 779 1790 810 26 220 4827 279 3430 315 9249 11731 11 14324 499 2500 400 1490 264 2305 1606 499 4805 2646 617 311 2343 520 279 6962 14155 1578 13 4815 38075 1389 4018 279 2853 315 1716 2512 13 9176 8689 2343 709 311 400 975 11 931 264 1060 369 1716 2512 824 1716 13 19124 45035 15144 323 3318 8689 13434 1431 617 311 2343 810 1109 220 22 4 315 872 8070 369 2512 315 3995 2911 13] [38075 1389 4018 279 2853 315 1716 2512 13 9176 8689 2343 709 311 400 975 11 931 264 1060 369 1716 2512 824 1716 13 19124 45035 15144 323 3318 8689 13434 1431 617 311 2343 810 1109 220 22 4 315 872 8070 369 2512 315 3995 2911 13 19124 5159 3197 690 4018 279 2853 304 4376 369 1455 8689 323 1520 6699 11 2737 11990 315 3278 11 889 2163 279 32027 2391 279 28522 1606 814 7846 1431 10150 1716 2512 11 311 387 3025 311 636 1203 311 990 13 4815 5159 3197 3250 1431 3009 1070 13 1102 1101 5764 2162 323 1317 9860 2512 13 4497 17049 11983 13 1628 5075 16222 369 1475 220 18 12 323 220 19 4771 6418 13 19124 2460 315 1521 690 4827 7194 13 4815 3112 1234 856 3197 11 19093 28744 2753 1109 400 3443 11 931 264 1060 690 2343 459 5217 50169 304 502 13426 13 37558 13 19124 791 832 3245 682 9053 7655 389 374 430 279 3827 1887 374 539 6762 13 1226 617 311 5155 433 13 19124 40 4344 539 3411 311 32151 5606 13 2030 1095 753 1304 2771 25341 323 279 93118 9053 1212 12798 872 6762 4430 13] [791 832 3245 682 9053 7655 389 374 430 279 3827 1887 374 539 6762 13 1226 617 311 5155 433 13 19124 40 4344 539 3411 311 32151 5606 13 2030 1095 753 1304 2771 25341 323 279 93118 9053 1212 12798 872 6762 4430 13 4815 10156 1566 1060 11 220 2131 46331 220 2636 25341 15662 400 1272 7239 304 22613 323 7318 7315 11441 304 6918 8070 3827 13 19124 4897 753 5042 539 6762 13 3011 753 3249 358 4070 11223 264 220 868 4 8187 3827 4478 369 25341 13 4815 1687 2751 810 1109 220 5894 5961 311 7655 389 264 3728 8187 3827 4478 779 5220 649 1431 636 704 315 12798 872 13426 520 2162 555 11862 7032 323 35159 25355 13 4815 4897 753 3249 358 4070 11223 15676 62576 7298 779 279 1633 28994 1541 1431 2343 264 4827 3827 4478 1109 264 11326 477 264 95265 13 19124 4516 430 753 856 3197 13 1102 690 3139 279 8752 323 4827 7194 369 8689 13 4815 4516 1148 527 584 8748 369 30 6914 753 636 420 2884 13 1628 1418 499 3207 520 433 11 7838 856 60142 311 279 12411 25820 11 902 11335 264 9200 3560 304 11039 25544 13] [4516 430 753 856 3197 13 1102 690 3139 279 8752 323 4827 7194 369 8689 13 4815 4516 1148 527 584 8748 369 30 6914 753 636 420 2884 13 1628 1418 499 3207 520 433 11 7838 856 60142 311 279 12411 25820 11 902 11335 264 9200 3560 304 11039 25544 13 19124 5159 3197 690 539 1193 4827 7194 311 3041 8689 264 6762 6689 11 433 690 4827 279 29287 13 4815 791 3766 17128 539 1193 57953 20262 279 29287 449 3827 15455 369 279 1633 28994 323 25341 11 433 80617 279 48011 82 6832 2683 574 311 2567 28522 16337 10736 505 1694 39928 13 4815 4071 304 856 8735 11 279 48011 82 617 1027 32069 1203 13 4815 1687 3207 2133 1306 279 32638 889 40606 33151 304 16337 3300 8967 369 2678 9873 323 11990 315 9053 13 19124 3112 18396 11 358 4344 38787 430 279 12007 6011 690 836 264 10388 36151 369 28522 16515 13 4815 1383 279 842 315 420 1060 11 279 29287 690 387 1523 311 2753 1109 4376 1148 433 574 1603 358 3952 5274 13] [3112 18396 11 358 4344 38787 430 279 12007 6011 690 836 264 10388 36151 369 28522 16515 13 4815 1383 279 842 315 420 1060 11 279 29287 690 387 1523 311 2753 1109 4376 1148 433 574 1603 358 3952 5274 13 19124 791 1193 4872 3596 311 4018 279 29287 555 810 1109 832 32610 11441 304 264 3254 1060 13 4815 9230 287 701 7194 1101 3445 26192 810 10937 13 4815 40 4344 264 41067 11 719 32682 2085 10937 4536 1431 32682 13 4815 2181 753 40761 17223 433 20722 709 7729 13 4815 4599 25341 1541 1431 617 311 20874 11 872 22613 733 709 11 701 7729 733 709 11 323 2678 9873 323 3070 20957 323 39161 388 733 1234 13 4815 1687 1518 433 12765 449 18435 35991 7366 11822 304 323 704 315 5270 13 4815 16397 279 28522 11 1521 7362 29799 5220 9408 7729 555 439 1790 439 220 16 11 931 4 323 1903 3335 22613 13 4815 90243 11 358 4344 38787 264 59233 389 1521 5220 927 63459 3778 9873 323 13723 13] [16397 279 28522 11 1521 7362 29799 5220 9408 7729 555 439 1790 439 220 16 11 931 4 323 1903 3335 22613 13 4815 90243 11 358 4344 38787 264 59233 389 1521 5220 927 63459 3778 9873 323 13723 13 4815 3112 439 9935 6825 19339 1935 927 810 28456 10632 11 4367 304 1884 10632 706 8208 1523 323 7194 617 8208 709 13 19124 4897 10548 389 856 3821 13 4815 13613 81138 374 2133 311 743 5190 10886 369 28456 10632 323 1304 2771 701 10456 6305 636 279 2512 814 23528 323 1755 13 4815 1687 4805 1101 4018 7194 323 2567 279 8752 2133 3831 555 7231 7487 264 6762 6689 11 3493 810 4967 323 72351 34322 11 18467 1124 3196 389 872 7512 539 12628 13 4815 10267 753 1522 279 11728 2071 14930 2136 3298 323 7318 5387 13 19124 94201 279 8187 19602 311 400 868 459 6596 323 13334 279 9576 15545 16666 11 779 912 832 706 311 4933 264 3070 304 19542 13] [10267 753 1522 279 11728 2071 14930 2136 3298 323 7318 5387 13 19124 94201 279 8187 19602 311 400 868 459 6596 323 13334 279 9576 15545 16666 11 779 912 832 706 311 4933 264 3070 304 19542 13 4815 10267 753 5376 89008 73901 323 5376 1057 18526 1862 315 473 5002 3642 11 323 2793 304 1148 48311 2345 414 5629 21270 889 33992 2539 7394 2345 45720 5270 753 1888 12 99020 6367 25 4029 31252 13 4815 3112 1095 753 1522 279 5421 3298 994 264 8857 315 7487 1390 311 1376 264 11552 71201 13434 1431 387 10717 13 19124 4599 584 2793 304 1057 7487 11 994 584 1977 279 8752 505 279 5740 709 323 279 6278 704 3871 11 584 649 656 2555 584 9167 1431 2884 304 264 1317 892 25 1977 264 2731 5270 13 4815 2520 810 1109 1403 1667 11 20562 12 777 706 40028 1475 5597 304 1057 6439 323 279 2324 315 279 7140 13 4815 3112 358 1440 499 3207 19781 11 33630 11 323 39019 13 4815 4071 358 1101 1440 420 13 4815 18433 315 279 5208 584 4070 1903 11 1606 315 701 56062 323 279 7526 584 617 11 18396 358 649 2019 2355 906 527 7366 4741 21676 11 1203 311 810 4725 30597 13] [3112 358 1440 499 3207 19781 11 33630 11 323 39019 13 4815 4071 358 1101 1440 420 13 4815 18433 315 279 5208 584 4070 1903 11 1606 315 701 56062 323 279 7526 584 617 11 18396 358 649 2019 2355 906 527 7366 4741 21676 11 1203 311 810 4725 30597 13 19124 1687 4070 8813 264 502 4545 304 279 4465 2403 20562 12 777 11 449 15748 5157 1523 311 264 2237 539 3970 2533 1566 5887 13 19124 10156 264 2478 2919 4227 11 279 41991 369 31974 7935 323 36947 22416 40409 2345 59326 502 7056 17959 13 4815 16648 1521 502 17959 11 1455 9053 304 1455 315 279 3224 649 1457 387 7056 1949 13 35033 3112 3196 389 279 41579 11 810 315 279 3224 690 5662 430 1486 4028 279 1828 5743 315 5672 13 4815 12947 311 279 5208 584 617 1903 420 3347 1060 11 20562 12 777 1205 912 5129 2585 1057 6439 13 19124 40 1440 1063 527 7556 922 1054 64275 449 20562 12 777 11453 55314 1389 358 2019 430 584 690 2646 1120 4287 5496 449 20562 12 777 13] [12947 311 279 5208 584 617 1903 420 3347 1060 11 20562 12 777 1205 912 5129 2585 1057 6439 13 19124 40 1440 1063 527 7556 922 1054 64275 449 20562 12 777 11453 55314 1389 358 2019 430 584 690 2646 1120 4287 5496 449 20562 12 777 13 4815 1687 690 3136 311 12896 279 17188 439 584 656 1023 19338 13 1628 1606 420 374 264 17188 430 5318 988 323 43653 11 584 690 4822 389 7771 13 4815 8586 527 3116 4279 5647 7504 439 584 3351 4741 21676 13 19124 5451 11 4822 2682 449 40300 323 22972 13 1226 1440 1268 17235 7524 40300 527 13 1442 499 3207 70558 323 65208 499 617 279 8592 8547 315 9313 13 4815 1687 690 2646 3041 709 389 14027 16252 810 9053 13 4800 11 358 1440 6699 449 6980 1234 220 20 527 24450 311 1518 264 25474 19144 369 872 2911 13 4815 791 14248 527 3318 2653 311 636 430 2884 323 584 4805 387 5644 449 11510 315 40300 994 814 656 13 4815 1687 3207 1101 5644 449 7294 8437 37478 22972 13 1442 499 636 20562 12 777 11 279 97954 15530 26338 701 17393 315 13696 709 304 279 8952 555 220 1954 14697] [791 14248 527 3318 2653 311 636 430 2884 323 584 4805 387 5644 449 11510 315 40300 994 814 656 13 4815 1687 3207 1101 5644 449 7294 8437 37478 22972 13 1442 499 636 20562 12 777 11 279 97954 15530 26338 701 17393 315 13696 709 304 279 8952 555 220 1954 14697 19124 1687 4070 11713 810 315 1521 26153 1109 5606 304 279 1917 13 1628 97954 374 3318 39599 311 636 603 220 16 34629 26153 420 2305 323 810 1109 2033 430 1828 2305 13 19124 3112 584 3207 28818 279 1054 2323 311 19409 863 20770 779 1274 649 636 12793 520 264 33400 11 323 422 814 3207 6928 11 5371 3276 344 37478 26153 389 279 7858 520 912 2853 13 19124 2746 499 3207 33119 12255 25475 4147 477 617 1063 1023 34104 11 584 617 22972 323 1949 1579 22867 27227 13 4815 1687 3207 9564 912 832 4920 477 32003 5606 753 3966 439 584 3351 4741 13 4815 3112 389 7649 11 584 617 1903 11758 315 11990 315 7177 2561 369 499 311 2015 369 1949 13 35033 13461 422 499 2736 11713 1949 7177 18396 11 358 1097 38787 430 499 649 2015 810 505 84117 24781 14489 6041 1828 2046 13] [3112 389 7649 11 584 617 1903 11758 315 11990 315 7177 2561 369 499 311 2015 369 1949 13 35033 13461 422 499 2736 11713 1949 7177 18396 11 358 1097 38787 430 499 649 2015 810 505 84117 24781 14489 6041 1828 2046 13 4815 16041 1389 584 2011 10772 369 502 27103 13 6193 279 3347 1060 11 584 4070 17454 1790 2731 520 54626 502 27103 13 4815 2746 5995 11 584 4805 387 3025 311 10739 502 40300 2949 220 1041 2919 4619 315 1690 810 4038 477 1667 13 19124 3112 11 422 8151 5825 279 10736 584 1205 11 584 4805 617 502 5708 79 3742 315 7177 11 27227 11 323 26153 5644 422 4460 13 4815 40 4250 11471 264 502 11678 2834 1431 2586 13 2030 358 649 11471 499 584 4805 656 4395 2949 1057 2410 311 387 5644 422 433 1587 13 19124 38075 1389 584 649 842 279 24700 315 8853 323 9873 13 1226 617 279 7526 584 1205 13 4815 2181 753 892 369 9053 311 636 1203 311 990 323 5266 1057 2294 19441 82 1578 13 220 9029 3318 505 2162 649 2733 6220 311 3240 311 471 311 279 5274 13] [38075 1389 584 649 842 279 24700 315 8853 323 9873 13 1226 617 279 7526 584 1205 13 4815 2181 753 892 369 9053 311 636 1203 311 990 323 5266 1057 2294 19441 82 1578 13 220 9029 3318 505 2162 649 2733 6220 311 3240 311 471 311 279 5274 13 35033 1687 3207 3815 430 1618 304 279 6918 3109 13 578 13057 8857 315 6918 7487 690 3131 1578 990 304 1732 13 4815 8140 8853 527 1825 13 6914 753 2567 433 430 1648 13 5751 6980 1205 311 387 304 2978 13 4815 3112 449 220 2075 4 315 6822 9053 7373 70558 323 8952 8200 1523 555 220 2813 13689 1455 9053 649 4148 872 27227 11 471 311 990 11 4822 304 279 24978 11 323 3351 4741 21676 13 4815 1687 17427 420 1606 584 3984 1949 40300 11 22972 11 7177 11 323 27227 13 4815 2173 3388 11 14691 420 7194 3300 13 4815 40 690 5246 3708 8151 264 1715 13 4815 791 13057 8857 315 9053 617 1511 1521 7526 323 1253 1390 311 1578 11 779 358 1755 8151 311 1522 433 6288 13 35033 89703 11 584 690 3136 14027 16252 279 1917 13] [2173 3388 11 14691 420 7194 3300 13 4815 40 690 5246 3708 8151 264 1715 13 4815 791 13057 8857 315 9053 617 1511 1521 7526 323 1253 1390 311 1578 11 779 358 1755 8151 311 1522 433 6288 13 35033 89703 11 584 690 3136 14027 16252 279 1917 13 75625 1687 4070 3288 220 19799 34629 25474 35130 311 220 7261 5961 11 810 1109 904 1023 7140 13 4815 3112 584 2834 1431 3009 13 4815 1687 617 5675 779 1790 311 20562 12 777 13 4212 449 832 2500 13 1628 12047 315 682 11 779 1790 4814 315 2324 13 4815 10267 753 1005 420 4545 311 7738 13 6914 753 3009 3411 520 20562 12 777 439 264 49638 50802 1584 323 1518 433 369 1148 433 374 25 362 4359 12 675 1285 8624 13 19124 10267 753 3009 9298 1855 1023 439 14207 11 323 1212 9298 1855 1023 369 889 584 2216 527 25 37946 9053 13 19124 1687 649 1431 2349 1268 18255 584 4070 1027 13 2030 584 649 2349 1268 584 3351 4741 2345 263 20562 12 777 323 1023 4819 584 2011 3663 3871 13 4815 40 6051 12263 279 1561 4356 4409 10289 6011 2919 1306 279 2523 17822 315 20148 10785 9339 386 6347 323 813 8427 11 20148 18984 64210 13] [40 6051 12263 279 1561 4356 4409 10289 6011 2919 1306 279 2523 17822 315 20148 10785 9339 386 6347 323 813 8427 11 20148 18984 64210 13 4815 7009 1051 30438 311 264 220 24 12 16 12 16 1650 994 264 893 6689 323 7577 1124 449 264 23130 6166 13 4815 4699 13296 386 6347 574 220 1544 1667 2362 13 4815 4699 13296 64210 574 220 1313 13 4815 21279 67113 9053 889 7070 15042 709 389 279 1890 14708 814 3010 14896 311 33622 439 4379 9808 13 4815 40 12570 449 872 8689 323 3309 1124 430 584 527 16058 304 11897 369 872 28235 11 323 584 690 6920 389 872 9131 311 15301 279 7095 323 7296 1475 4029 30675 13 4815 40 4070 6575 389 1521 4819 264 1317 892 13 4815 40 1440 1148 4375 25 93696 304 9977 27344 438 4029 4379 9808 889 4805 4321 279 9567 11 889 4805 1440 279 12818 11 323 889 649 15301 7095 323 7296 13 4815 4516 1095 753 539 15673 1057 14708 13 2582 5268 1990 7296 323 6273 12437 13 4815 10267 753 2586 3871 311 6144 1057 10977 11 15301 7095 11 323 3412 2383 13627 36977 13] [4516 1095 753 539 15673 1057 14708 13 2582 5268 1990 7296 323 6273 12437 13 4815 10267 753 2586 3871 311 6144 1057 10977 11 15301 7095 11 323 3412 2383 13627 36977 13 4815 4897 753 3249 279 12007 6011 2631 2547 18632 11 21501 65136 54219 11 323 22486 912 12934 88221 55688 369 1202 9808 13 4815 4897 753 3249 279 3778 45503 9878 3984 400 8652 66809 430 9919 11 5415 11 323 31276 649 1005 311 18467 810 4379 323 2793 304 17033 15174 1093 4029 9349 75103 2345 84937 9622 15232 15061 279 11008 315 9349 323 30988 323 7231 3995 1274 3987 13 19124 1687 1288 682 7655 25 578 4320 374 539 311 3979 1263 279 4379 13 578 4320 374 311 435 13508 279 4379 449 279 5070 323 4967 814 1205 311 6144 1057 10977 13 4815 40 2610 12643 323 13063 27083 25 10175 856 8199 323 2567 1057 33100 6220 13] [1687 1288 682 7655 25 578 4320 374 539 311 3979 1263 279 4379 13 578 4320 374 311 435 13508 279 4379 449 279 5070 323 4967 814 1205 311 6144 1057 10977 13 4815 40 2610 12643 323 13063 27083 25 10175 856 8199 323 2567 1057 33100 6220 13 19124 3112 358 690 2567 3815 4395 304 856 2410 311 17944 1523 389 6166 34563 323 20457 16766 499 649 3780 2930 323 1304 520 2162 71201 617 912 6275 5219 323 649 1431 387 51400 13 4815 3112 358 2610 8151 311 1522 17033 11193 311 8108 6166 9349 13 10175 20789 4092 12621 13 8595 1288 5606 389 264 20320 1160 387 3025 311 7782 264 10500 30 4815 51341 11965 10094 323 1579 37789 4107 32947 13 4815 697 375 278 279 24305 20858 430 3727 6166 17032 279 1193 5064 304 5270 430 649 1431 387 42184 13 4815 9673 7016 1541 1431 25654 18177 389 279 10657 22454 13 2435 3665 6439 13 4815 791 1455 16188 1314 304 5270 374 279 1314 311 7055 1389 323 311 617 433 31094 13 1628 433 753 1234 11965 13] [9673 7016 1541 1431 25654 18177 389 279 10657 22454 13 2435 3665 6439 13 4815 791 1455 16188 1314 304 5270 374 279 1314 311 7055 1389 323 311 617 433 31094 13 1628 433 753 1234 11965 13 4815 644 1614 1306 1614 11 502 7016 617 1027 5946 11 539 1193 311 28321 279 7055 11 719 311 1207 1653 4553 16374 13 4815 1687 4250 1095 420 3621 13 4815 90243 13 358 1650 389 279 10092 311 25 10175 279 25320 311 35134 3298 13 10175 279 3842 21256 64231 10734 3298 13 1628 1418 499 3207 520 433 11 1522 279 11997 1497 3298 779 9053 649 1440 889 374 11006 1057 16374 13 4815 90243 11 358 7070 1093 311 16044 4423 889 706 12514 813 2324 311 8854 420 3224 25 12007 18587 426 8233 261 85366 13309 21487 11 63285 18640 11 323 60873 12007 315 279 3723 4273 13814 7301 13 12007 426 8233 261 11 9901 499 369 701 2532 13 4815 4054 315 279 1455 6129 25543 28423 264 4900 706 374 25194 1113 4423 311 8854 389 279 3723 4273 13814 7301 13] [4054 315 279 1455 6129 25543 28423 264 4900 706 374 25194 1113 4423 311 8854 389 279 3723 4273 13814 7301 13 4815 3112 358 1550 430 220 19 2919 4227 11 994 358 39048 28317 7301 315 48207 20819 68184 276 7910 10690 13972 13 3861 315 1057 7140 753 1948 5897 20663 11 889 690 3136 12007 426 8233 261 753 20160 315 38656 13 4815 32 4846 1948 13318 58182 304 879 6725 13 362 4846 6918 586 29315 13 1628 505 264 3070 315 586 2978 50794 323 4379 9808 13 362 24811 7514 13 8876 1364 753 1027 39048 11 1364 753 4036 264 7353 2134 315 1862 88958 279 2939 266 3051 7365 315 10289 311 4846 24958 21489 555 12643 323 13063 13 4815 3112 422 584 527 311 12178 31220 323 12437 11 584 1205 311 9966 279 14319 323 5155 279 15443 1887 13 4815 1687 649 656 2225 13 2468 1057 3973 11 584 4070 10487 502 5557 1093 14713 48448 95146 311 2731 11388 5623 74034 13 19124 1687 4070 743 709 10496 88142 449 12550 323 63078 311 2339 810 3823 8422 40189 13] [1687 649 656 2225 13 2468 1057 3973 11 584 4070 10487 502 5557 1093 14713 48448 95146 311 2731 11388 5623 74034 13 19124 1687 4070 743 709 10496 88142 449 12550 323 63078 311 2339 810 3823 8422 40189 13 19124 1687 3207 10917 304 2035 12514 15443 24958 779 8689 50387 56529 323 9349 649 617 872 5157 6755 10819 13 4815 1687 3207 41577 42356 323 12899 8717 304 4987 323 10913 5270 311 3552 810 22475 323 9966 872 1866 24743 13 4815 1687 649 656 682 420 1418 10494 13318 279 7990 315 31220 430 706 6197 22540 315 20550 311 420 4363 2345 2465 2291 69 19568 323 779 1690 315 18821 13 4815 61524 264 38970 311 33779 369 18308 388 11 1884 389 13643 2704 11 8961 7487 11 323 7718 7487 13 4815 37284 1082 1057 7016 779 9873 617 279 7487 814 1205 323 8689 1541 1431 3868 11026 311 35740 635 13 4815 2181 753 539 1193 279 1314 3245 311 656 44603 753 279 47379 7941 3245 311 656 13] [37284 1082 1057 7016 779 9873 617 279 7487 814 1205 323 8689 1541 1431 3868 11026 311 35740 635 13 4815 2181 753 539 1193 279 1314 3245 311 656 44603 753 279 47379 7941 3245 311 656 13 4815 4897 753 3249 15443 15180 374 7396 555 5127 505 9511 29590 311 10597 6164 311 279 549 815 13 32479 315 31480 13 4815 10267 753 636 433 2884 3131 323 369 682 13 4815 24350 9151 31220 323 12437 1101 7612 22973 279 3268 315 3278 13 4815 791 25543 1314 74549 304 79552 348 13 43982 2345 10276 47891 369 4376 264 9478 55434 1234 3440 439 2646 1603 13 4815 2746 584 1390 311 733 4741 63938 28655 86319 2011 6144 2680 311 2890 2512 13 82406 264 5333 753 1314 311 5268 13 1628 1095 753 3136 311 12178 50150 2890 2512 304 5270 13 4815 3112 369 1057 51042 10 9053 11 1095 753 5616 636 279 52008 52137 3298 311 856 18496 13 578 88792 315 1614 7016 25103 28307 9053 323 872 8689 374 5076 13] [3112 369 1057 51042 10 9053 11 1095 753 5616 636 279 52008 52137 3298 311 856 18496 13 578 88792 315 1614 7016 25103 28307 9053 323 872 8689 374 5076 13 4815 2170 358 1071 1566 1060 11 5423 311 1057 14992 28307 9053 11 358 690 2744 617 701 1203 439 701 4900 11 779 499 649 387 6261 323 5662 701 4359 2427 2116 4754 13 4815 8142 433 3629 8111 430 584 2646 7655 11 430 4536 1431 837 13 358 8667 220 1490 52008 19123 1139 2383 1566 1060 13 5659 27252 3109 24700 82 311 22973 14875 60164 505 2103 94679 46145 12491 17073 311 15180 287 6411 12437 13 4815 3112 5246 11 584 4805 20259 279 47732 30241 11215 3298 430 358 1176 6267 2380 11026 4227 13 1102 374 3062 369 603 311 1501 279 7140 430 584 649 2586 3871 323 656 2466 2574 13 4815 4516 18396 358 4344 10209 264 22462 58662 369 279 17671 13 13625 2466 2574 584 649 656 3871 13 19124 5451 11 9567 279 48825 42620 13 4815 3947 374 779 1790 584 649 656 13 40733 11006 369 27344 11 6514 11 11682 14278 11 323 13654 13] [4516 18396 358 4344 10209 264 22462 58662 369 279 17671 13 13625 2466 2574 584 649 656 3871 13 19124 5451 11 9567 279 48825 42620 13 4815 3947 374 779 1790 584 649 656 13 40733 11006 369 27344 11 6514 11 11682 14278 11 323 13654 13 19124 1991 9463 315 41626 5718 430 3009 16410 505 89444 22972 13 1628 3009 279 6530 315 59229 11217 555 3318 449 1614 323 2254 2383 13627 311 733 1306 8422 40189 13 4815 2746 499 3207 16066 505 27471 11 1440 499 527 539 7636 13 358 4510 304 13654 11 323 358 18890 279 220 1419 3610 9053 304 13654 13 4815 16041 11 1095 753 1935 389 10723 2890 13 36625 4315 1057 2911 11 6832 6439 323 6873 617 1027 6656 36941 1523 13 19124 791 3778 45503 9878 6688 8853 3300 311 18467 13639 323 1520 4236 1304 709 369 5675 6975 13 19124 40 33147 1475 2748 311 1304 2771 701 2978 1587 1120 430 13 1628 584 649 682 1514 264 961 2345 7908 709 311 387 264 26370 477 264 36528 13] [791 3778 45503 9878 6688 8853 3300 311 18467 13639 323 1520 4236 1304 709 369 5675 6975 13 19124 40 33147 1475 2748 311 1304 2771 701 2978 1587 1120 430 13 1628 584 649 682 1514 264 961 2345 7908 709 311 387 264 26370 477 264 36528 13 4815 11800 1051 1101 20558 1603 279 28522 13 13805 6852 11 9349 11 30988 11 323 279 84496 315 3674 3772 13 4815 2170 43833 14433 70089 11 889 374 1618 449 603 18396 11 706 6982 11 584 2011 3412 3674 3772 15771 36977 369 279 5426 9526 814 3207 31474 389 1057 2911 369 11626 13 4815 2181 753 892 311 20259 12625 37424 11 9120 17550 13172 311 2911 11 7631 13312 5220 3009 26984 4443 828 389 1057 2911 13 4815 3112 1095 753 636 682 9053 279 10723 2890 3600 814 1205 13 4497 1274 814 649 2543 311 369 1520 11 323 2539 50715 1990 7106 323 10723 2890 2512 13 4815 38075 11 1862 1057 26905 13 4815 91177 598 527 279 1888 315 603 13] [3112 1095 753 636 682 9053 279 10723 2890 3600 814 1205 13 4497 1274 814 649 2543 311 369 1520 11 323 2539 50715 1990 7106 323 10723 2890 2512 13 4815 38075 11 1862 1057 26905 13 4815 91177 598 527 279 1888 315 603 13 4815 40 4070 2744 11846 430 584 617 264 32442 29672 311 26458 682 1884 584 3708 311 4208 323 2512 369 1124 323 872 8689 994 814 2586 2162 13 4815 5159 8735 374 8405 13291 449 2683 4967 323 11983 11 323 1457 10695 4827 32197 26905 636 21571 2512 11897 12862 13 19124 8140 17312 304 11340 323 21139 17011 1690 37064 13 4815 4054 574 63620 520 23963 323 27027 304 21503 16603 505 1054 22464 63008 863 430 3709 10670 660 82320 315 4208 2345 69216 323 31397 3769 11 17004 10633 11 323 810 13 4815 4599 814 3782 2162 11 1690 315 279 1917 753 282 14602 323 1888 16572 43600 1051 2646 279 1890 13 4815 12626 14576 13 452 3635 2136 13 423 97745 13 4815 32 9572 430 1053 2231 1124 304 264 5292 1773 4714 291 78766 13 4815 40 1440 13 4815 4054 315 1884 15201 574 856 4538 17559 80327 38180 13] [4599 814 3782 2162 11 1690 315 279 1917 753 282 14602 323 1888 16572 43600 1051 2646 279 1890 13 4815 12626 14576 13 452 3635 2136 13 423 97745 13 4815 32 9572 430 1053 2231 1124 304 264 5292 1773 4714 291 78766 13 4815 40 1440 13 4815 4054 315 1884 15201 574 856 4538 17559 80327 38180 13 4815 1687 1541 1431 1440 369 2771 422 264 8395 20428 574 279 5353 315 813 8271 9572 11 477 279 19338 315 779 1690 315 1057 17312 13 4815 4071 358 4344 11411 311 9455 704 4395 584 649 13 4815 1110 5600 311 6411 8689 1093 72716 28280 505 14689 13 4815 791 57896 315 65644 5629 3308 48562 28280 13 19124 1548 574 9405 264 27202 13 13309 5165 12542 13 37082 8249 304 80997 323 11340 13 4815 20348 291 3221 56318 11 1120 14006 505 8395 63008 279 1404 315 9141 5151 13 4815 1548 589 753 57896 72716 374 1618 449 603 18396 13 2435 10456 2133 311 14689 3314 9141 3953 13 1283 10456 4857 7765 437 449 872 10003 13 4815 4071 9572 505 44387 14675 311 8395 63008 43643 3359 48562 753 45274 323 2547 13 4815 95394 6853 2795 48562 574 264 25902 311 279 1633 842 13] [4071 9572 505 44387 14675 311 8395 63008 43643 3359 48562 753 45274 323 2547 13 4815 95394 6853 2795 48562 574 264 25902 311 279 1633 842 13 4815 1548 3287 1431 1440 1268 311 3009 11039 11 323 14188 1550 1364 13 4815 24798 1077 6784 1364 1766 7580 311 7631 584 656 2731 13 4815 90243 11 72716 86319 527 13 4815 791 21571 374 71674 502 5627 315 31799 21503 70530 311 19338 11 2736 10695 810 26905 636 7720 13 4815 3112 18396 11 358 4344 38787 584 3207 24050 41734 311 26905 16066 505 11888 42631 51423 13 4815 40 4344 1101 8260 389 8151 25 1522 264 2383 311 1304 2771 26905 59097 555 21503 70530 304 11340 323 21139 5616 636 279 7720 323 16195 2890 2512 814 23528 13 4815 3112 11999 11 1095 753 842 9572 439 584 1440 433 13 4815 2028 374 4443 311 757 323 48311 11 311 29549 6181 11 323 311 779 1690 315 499 13 4815 34 11967 374 279 674 17 5353 315 4648 304 5270 4235 5686 1193 311 4851 8624 13 4815 5966 2305 11 358 7376 1057 3197 311 2307 14215 2355 1820 26211 17781 6474 430 4900 7250 4691 757 311 3063 4848 1667 4227 13] [34 11967 374 279 674 17 5353 315 4648 304 5270 4235 5686 1193 311 4851 8624 13 4815 5966 2305 11 358 7376 1057 3197 311 2307 14215 2355 1820 26211 17781 6474 430 4900 7250 4691 757 311 3063 4848 1667 4227 13 4815 8140 5915 374 311 4018 279 9572 4648 4478 555 520 3325 220 1135 4 927 279 1828 220 914 1667 11 2543 810 51423 505 4648 23719 1139 4322 481 19338 13 19124 7816 1862 369 6978 323 8689 13 4815 1271 636 1070 11 358 1650 389 8151 311 3887 6395 8201 11529 11 279 21844 8483 32323 16784 369 6401 13 4815 2181 753 3196 389 97227 8201 22416 16777 6011 2447 430 6197 311 279 8191 11 24229 11 323 779 1790 810 13 19124 946 8201 11529 690 617 264 35044 7580 50617 6678 42445 82 304 9572 11 44531 753 11 20335 11 323 810 13 4815 32 31426 18909 369 279 7140 13 4815 1687 649 656 420 13 4815 5159 12637 9053 2345 783 492 1174 584 617 20802 304 264 32442 3634 22416 6681 15503 315 1057 20095 13 4815 644 420 32633 11 9659 1306 9659 11 9053 617 59674 2294 4860 23442 2294 97712 11 323 617 2884 2294 2574 13] [1687 649 656 420 13 4815 5159 12637 9053 2345 783 492 1174 584 617 20802 304 264 32442 3634 22416 6681 15503 315 1057 20095 13 4815 644 420 32633 11 9659 1306 9659 11 9053 617 59674 2294 4860 23442 2294 97712 11 323 617 2884 2294 2574 13 4815 1687 617 21095 369 11542 11 17626 31220 11 24164 90364 2191 323 8818 13 4815 3112 5918 279 31005 11 3541 478 11 323 1455 71407 7140 279 1917 706 3596 3967 13 4815 7184 374 279 6596 13 4815 8140 4545 315 12014 13 4815 8140 1296 315 9006 323 42563 11 315 3925 5196 13 4815 2181 374 304 420 4545 430 1057 3752 374 14454 13 5751 7580 374 1766 13 5751 3938 374 54299 13 4815 11649 358 1440 420 7140 13 19124 1687 690 3449 279 1296 13 4815 1271 6144 11542 323 31220 11 311 9407 51841 323 6776 13 4815 1687 690 3665 20095 13 4815 2170 2653 439 1521 3115 617 1027 11 358 1097 810 37036 922 5270 3432 1109 358 617 1027 856 4459 2324 13 4815 18433 358 1518 279 3938 430 374 2949 1057 34477 13 4815 18433 358 1440 1070 374 5042 4400 7953 1057 8824 13] [1687 690 3665 20095 13 4815 2170 2653 439 1521 3115 617 1027 11 358 1097 810 37036 922 5270 3432 1109 358 617 1027 856 4459 2324 13 4815 18433 358 1518 279 3938 430 374 2949 1057 34477 13 4815 18433 358 1440 1070 374 5042 4400 7953 1057 8824 13 4815 1687 527 279 1193 7140 389 9420 430 706 2744 6656 1475 11501 584 617 17011 1139 459 6776 13 4815 791 1193 7140 430 649 387 4613 555 264 3254 3492 25 24525 13 4815 4516 389 420 3814 11 304 1057 220 13078 339 1060 439 264 7140 11 358 617 2586 311 1934 389 279 3314 315 279 9323 13 4815 3112 856 1934 374 420 25 279 3314 315 279 9323 374 3831 2345 28753 499 11 279 3778 1274 11 527 3831 13 4815 1687 527 16643 3432 1109 584 1051 264 1060 4227 13 4815 3112 584 690 387 16643 264 1060 505 1457 1109 584 527 3432 13 4815 7184 374 1057 4545 311 3449 323 23075 279 11774 315 1057 892 13 4815 3112 584 690 11 439 832 1274 13 4815 4054 5270 13 4815 791 3723 4273 315 5270 13 4815 11356 4359 16458 499 682 13 3297 4359 6144 1057 17312 13]] functionCallString: functionCallNameString: FunctionsConfig:{DisableNoAction:false NoActionFunctionName: NoActionDescriptionName:} FeatureFlag:map[] LLMConfig:{SystemPrompt: TensorSplit: MainGPU: RMSNormEps:0 NGQA:0 PromptCachePath: PromptCacheAll:false PromptCacheRO:false MirostatETA:0 MirostatTAU:0 Mirostat:0 NGPULayers:0 MMap:false MMlock:false LowVRAM:false Grammar: StopWords:[] Cutstrings:[] TrimSpace:[] TrimSuffix:[] ContextSize:512 NUMA:false LoraAdapter: LoraBase: LoraScale:0 NoMulMatQ:false DraftModel: NDraft:0 Quantization: MMProj: RopeScaling: ModelType: YarnExtFactor:0 YarnAttnFactor:0 YarnBetaFast:0 YarnBetaSlow:0} AutoGPTQ:{ModelBaseName: Device: Triton:false UseFastTokenizer:false} Diffusers:{CUDA:false PipelineType: SchedulerType: EnableParameters: CFGScale:0 IMG2IMG:false ClipSkip:0 ClipModel: ClipSubFolder: ControlNet:} Step:0 GRPC:{Attempts:0 AttemptsSleepTime:0} VallE:{AudioPath:} CUDA:false DownloadFiles:[] Description: Usage:}
[10.10.1.20]:56115 500 - POST /embeddings

Jan 27 '24 07:01 fdewes

Help! I am encountering the same, couldn't load local embeddings in LocalAI, when I tried Postman call to the endpoint: http://localhost:8080/v1/embeddings

I get the following error:

{"error":{"code":500,"message":"endpoint disabled for this model by API configuration","type":""}}

Digging into the source code, I found the error in this file: https://github.com/mudler/LocalAI/blob/master/api/backend/embeddings.go

package backend

import (
	"fmt"

	config "github.com/go-skynet/LocalAI/api/config"
	"github.com/go-skynet/LocalAI/api/options"
	"github.com/go-skynet/LocalAI/pkg/grpc"
	model "github.com/go-skynet/LocalAI/pkg/model"
)

func ModelEmbedding(s string, tokens []int, loader *model.ModelLoader, c config.Config, o *options.Option) (func() ([]float32, error), error) {
	if !c.Embeddings {
		return nil, fmt.Errorf("endpoint disabled for this model by API configuration")
	}

	modelFile := c.Model

	grpcOpts := gRPCModelOpts(c)

	var inferenceModel interface{}
	var err error

I am not familiar with Go language but seems the config that was passed into the ModelEmbedding function has a "false" value in the config.Embeddings variable. Anyone know how this was passed or how to mitigate?

https://github.com/mudler/LocalAI/blob/master/api/config/config.go

type Config struct {
	PredictionOptions `yaml:"parameters"`
	Name              string `yaml:"name"`

	F16            bool              `yaml:"f16"`
	Threads        int               `yaml:"threads"`
	Debug          bool              `yaml:"debug"`
	Roles          map[string]string `yaml:"roles"`
	Embeddings     bool              `yaml:"embeddings"`

Thanks!

Jan 30 '24 06:01 yhrchan

No solution yet and couldn't proceed further.

From: MarkusBerroth @.> Sent: Wednesday, February 7, 2024 3:20 AM To: mudler/LocalAI @.> Cc: Ricky Chan @.>; Comment @.> Subject: Re: [mudler/LocalAI] LLama backend embeddings not working (Issue #1617)

Help! I am encountering the same, couldn't load local embeddings in LocalAI, when I tried Postman call to the endpoint: http://localhost:8080/v1/embeddings

I get the following error:

{"error":{"code":500,"message":"endpoint disabled for this model by API configuration","type":""}}

Digging into the source code, I found the error in this file: https://github.com/mudler/LocalAI/blob/master/api/backend/embeddings.go

package backend

import ( "fmt"

    config "github.com/go-skynet/LocalAI/api/config"
    "github.com/go-skynet/LocalAI/api/options"
    "github.com/go-skynet/LocalAI/pkg/grpc"
    model "github.com/go-skynet/LocalAI/pkg/model"

)

func ModelEmbedding(s string, tokens []int, loader *model.ModelLoader, c config.Config, o *options.Option) (func() ([]float32, error), error) { if !c.Embeddings { return nil, fmt.Errorf("endpoint disabled for this model by API configuration") }

    modelFile := c.Model

    grpcOpts := gRPCModelOpts(c)

    var inferenceModel interface{}
    var err error

I am not familiar with Go language but seems the config that was passed into the ModelEmbedding function has a "false" value in the config.Embeddings variable. Anyone know how this was passed or how to mitigate?

https://github.com/mudler/LocalAI/blob/master/api/config/config.go

type Config struct { PredictionOptions yaml:"parameters" Name string yaml:"name"

    F16            bool              `yaml:"f16"`
    Threads        int               `yaml:"threads"`
    Debug          bool              `yaml:"debug"`
    Roles          map[string]string `yaml:"roles"`
    Embeddings     bool              `yaml:"embeddings"`

Thanks!

I am encountering the same problem. Did you find a solution?

— Reply to this email directly, view it on GitHubhttps://github.com/mudler/LocalAI/issues/1617#issuecomment-1931724187, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AA4DJYD6KJTEQRLTBNAU4D3YSNIPXAVCNFSM6AAAAABCDGXEDCVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTSMZRG4ZDIMJYG4. You are receiving this because you commented.Message ID: @.***>

Feb 08 '24 03:02 yhrchan

Hmm, I tried to reproduce your code above to get the "sentence-t5-large" embeddings. However, I am getting the following error: ...

Try adding a file called embedding-davinci-002.yaml

and put the following in it

name: text-davinci-002
backend: sentencetransformers
embeddings: true
parameters:
  model: text-davinci-002

Try that please, verbatim, and see if your code works for that. Also don't download the model, it should do it automatically.

Feb 08 '24 09:02 TheDarkTrumpet

Adding a bit more too reading your output. It's not using a GPU. I'm unsure if tensors can use the CPU in this regard or not. If you have a graphics card, then a better image you should consider using is quay.io/go-skynet/local-ai:v2.6.0-cublas-cuda12

Feb 08 '24 09:02 TheDarkTrumpet

I am trying to use https://huggingface.co/dranger003/SFR-Embedding-Mistral-GGUF and the llama backend for embeddings and I see that the model is loaded in VRAM but then if I try to use it I get:

{ "error": { "code": 500, "message": "rpc error: code = Unimplemented desc = ", "type": "" } }

Is there any embedding model that can be used with the llama backend?

Feb 15 '24 17:02 fcrescio

Hmm, I tried to reproduce your code above to get the "sentence-t5-large" embeddings. However, I am getting the following error: ...

Try adding a file called embedding-davinci-002.yaml

and put the following in it
name: text-davinci-002
backend: sentencetransformers
embeddings: true
parameters:
  model: text-davinci-002
Try that please, verbatim, and see if your code works for that. Also don't download the model, it should do it automatically.

I just did it and simply don't work, it didn't download and neither tried to do so, just gave me this not found error.

localai-1  | 3:15PM DBG GRPC Service for text-davinci-002 will be running at: '127.0.0.1:37461'
localai-1  | 3:15PM DBG GRPC Service state dir: /tmp/go-processmanager4189905563
localai-1  | 3:15PM DBG GRPC Service Started
localai-1  | 3:15PM DBG GRPC(text-davinci-002-127.0.0.1:37461): stderr /build/backend/python/sentencetransformers/run.sh: line 9: activate: No such file or directory
localai-1  | 3:15PM DBG GRPC(text-davinci-002-127.0.0.1:37461): stderr /build/backend/python/sentencetransformers/run.sh: line 14: python: command not found
localai-1  | 3:15PM ERR Failed starting/connecting to the gRPC service: rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing: dial tcp 127.0.0.1:37461: connect: connection refused"
localai-1  | 3:16PM DBG GRPC Service NOT ready

My docker-compose.yml file:

version: "3.8"

services:
  localai:
    image: localai/localai:v2.8.2-cublas-cuda12-core
    ports:
      - "8080:8080"
    environment:
      - DEBUG=true
      - MODELS_PATH=/models
    volumes:
      - ./models:/models
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

Feb 18 '24 15:02 gabfr

Please correct me if I'm wrong. I think the documentation is misleading or typo, idk.

From what I see, the error is what it says it is: It's not implemented. See the source code.

It seems localai has two kind of llama. Both are using llama-cpp, but one is implemented with c/c++ and the other is using golang. The later supports only supports ggml and supports embedding source code.

I hope this make things clear.

May 05 '24 15:05 yonitjio

If you want to experiment with it, I've replaced the implementation in my fork.

I replaced the whole llama.cpp parts in grpc-server.cpp with more recent server example from llama.cpp along with json.hpp and utils.hpp and wired it up with the local-ai parts and add the embedding support.

Note: I only tested it with nomic-embed-text-v1.5-Q4_K_M with a couple of short requests.

May 11 '24 05:05 yonitjio

Is there any solution now?

May 30 '24 09:05 netandreus

For now, the solution is to use another backend. I just checked, still no code for embedding in grpc-server.cpp.

Jun 03 '24 15:06 yonitjio

LocalAI LocalAI copied to clipboard

LLama backend embeddings not working

Discussed in https://github.com/mudler/LocalAI/discussions/1615

LocalAI
LocalAI copied to clipboard