Artifacts with Unicode Characters in Filename Errors During Migration

[leetn00b]

Description

During migration to 6.0.0, the following errors were identified in logs and surface due to unusual file names that were set for three separate Artifacts. Perhaps these files' names should be truncated and all non-ascii characters removed before they are stored in S3?

{"category":"APP","elementNotIndexed":[{"id":"import/Artifact/816819ca-288c-4679-81a8-f8fd1f7a8c22/Payment Advice HSBC#40987650.pdf .js","information":"","lastModified":"2024-01-16T12:17:50.000Z","lastModifiedSinceMin":62706,"metaData":{"creator_id":"22b9d5e7-cbb2-4e92-a920-c6ca04c662e6","encoding":"7bit","entity_id":"816819ca-288c-4679-81a8-f8fd1f7a8c22","filename":"Payment%20Advice%20HSBC%2340987650.pdf%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.js","labels":[],"mimetype":"application/javascript","version":"2024-01-16T12:17:49.191Z"},"name":"Payment Advice HSBC#40987650.pdf .js","size":169360,"uploadStatus":"complete"}],"level":"error","message":"[MIGRATION] Some files were not indexed, you will need to re-upload them","timestamp":"2024-02-29T01:24:20.716Z","version":"6.0.0"}

{"category":"APP","cause":{"$fault":"client","$metadata":{"attempts":1,"extendedRequestId":"rQHe2XfKOEXnhMH81AqvmTIzNjz0adP5PZz0dgxUAzHkIZ54ZTrZbP8L9uFYFvmTLqX/fowAiOk=","httpStatusCode":404,"requestId":"TQFPWAE60H59PV9Y","totalRetryDelay":0},"message":"UnknownError","name":"NotFound"},"filename":"import/Artifact/97f9c02f-5986-4ffb-b14c-bbf7431a8021/������AE՗�i�%16�u�3%�S%0BR���>V��:r ������ (15594).zip","level":"error","message":"Load file from storage fail","timestamp":"2024-02-29T01:26:22.513Z","user_id":"6a4b11e1-90ca-4e42-ba42-db7bc7f7d505","version":"6.0.0"}

{"category":"APP","cause":{"$fault":"client","$metadata":{"attempts":1,"extendedRequestId":"xc3zXhFjS9s0EHzN7+x7AHDvTzk1ysxaDbO/QsWcDrGP8M1tZxYc3Yw38hyPmX4jw9EBG/ojJw8=","httpStatusCode":404,"requestId":"4F3Q37GB42XFNJAV","totalRetryDelay":0},"message":"UnknownError","name":"NotFound"},"filename":"import/Artifact/9deda8de-c4be-49b7-a04f-2b1431863022/��%02P�@C6�*[j����D���=%1D�c�9�[3�%0Bx��R]%0B�%1F%0F# (15981).zip","level":"error","message":"Load file from storage fail","timestamp":"2024-02-29T01:26:51.201Z","user_id":"6a4b11e1-90ca-4e42-ba42-db7bc7f7d505","version":"6.0.0"}

Environment

• OpenCTI version: 6.0.0

[jborozco]

@leetn00b We can't reproduce the issue, would it be possible for you to send us a file with non-unicode characters so we can test it ?