cnpmcore

cnpmcore copied to clipboard

硬件资源如何配置才合理？

3

我在本地做测试的时候，发现同步包的速度有点慢，大约一小时同步200个npm包左右，按照这个速度，同步所有包太久了。 1、请问大家同步所有包（220W+个npm包）用了多久？如何同步所有包？ 2、请问大家使用 cnpmcore，使用的硬件资源是怎么样的？ - 使用多少台机器？多少 C 多少 G？ - 使用的 mysql 是多少 C 多少 G？ - 使用的 redis 是多少 G？ - 配置的 syncPackageWorkerMaxConcurrentTasks 数量是多少？

laoboxie

在包同步的过程中出现一些 ECONNRESET 错误 ETIMEDOUT 错误或者 EPIPE 错误，没有堆栈信息，不清楚是由什么触发的，也不清楚这些错误是否影响包同步。 ``` 2022-10-09 16:38:01,196 ERROR 65532 [-/127.0.0.1/8e14be90-47aa-11ed-8477-b758e195ac6d/1343940.467ms SCHEDULE /__schedule?path=/Users/admin/work/cnpmcore/app/port/schedule/SyncPackageWorker.js&interval=60000&type=worker&env=&disable=false&immediate=false] { code: 'ECONNRESET', name: 'ECONNRESET', message: 'socket hang up', taskId: '63422f98d77c0452c8f77890' } ``` ``` 2022-10-09...

laoboxie

使用接口同步包的时候，会报错 ER_DUP_ENTRY

3

在使用接口同步一个包时，会报 Duplicate entry 的错误。 接口：http://127.0.0.1:7001/-/package/async-validator/syncs 接口参数 body：{ "force": true, "skipDependencies": false } 错误信息： ``` 2022-10-09 15:46:35,355 ERROR 47296 [-/127.0.0.1/39ad8b40-4794-11ed-a306-2b9d8248ddf2/7848494.761ms SCHEDULE /__schedule?path=/Users/admin/work/cnpmcore/app/port/schedule/SyncPackageWorker.js&interval=60000&type=worker&env=&disable=false&immediate=false] nodejs.ER_DUP_ENTRYError: ER_DUP_ENTRY: Duplicate entry '63426607d20c8db8c0450c98-3.0.0-beta.20' for key 'package_versions.uk_package_id_version' at...

laoboxie

npm audit 报404

6

错误如下： `➜ xxx-ui git:(develop) ✗ npm audit npm WARN audit 404 Not Found - POST https://registry.npmmirror.com/-/npm/v1/security/audits/quick 404 Not Found npm ERR! audit endpoint returned an error` node version: v14.17.3 npm...

LittleGragon

https://github.com/cnpm/cnpmcore/tree/main/sql 已经涉及 SQL 变更了。

fengmk2

Update elasticsearch-setup.md

1

setting应该以package的修改时间排序，不然私有package搜索列表就是固定排序的

lucaszhu2zgf

feat: 添加 full diff 全量校验

2

#657 在diff方法中添加full diff，在每日凌晨两点创建full diff任务，全量校验 ## Summary by CodeRabbit - **New Features** - Introduced an enhanced sync operation for binaries, including an optional full directory diff feature. - **Improvements** - Added...

UestcCarpediem

fix: revalidate sort bug

6

#646 修复在同步过程中，revalidate 时 lodash sortby 无法正常将 18-Dec-2019 16:41 格式的date排序导致 diff 添加了非预期的 dir

UestcCarpediem

https://github.com/cnpm/cnpmcore/blob/6664189a9144768fa00533bb8b12b607102e304f/app/common/UserUtil.ts#L41 https://github.com/node-modules/utility/pull/62

fengmk2

diff 算法漏洞，这个更新被跳过了

5

  感觉可以加一个全量diff的能力来定时运行

UestcCarpediem