chenxuan/verdaccio-cache-manager
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
213 Commits 1 Branch 1 Tag
2ab7ccd45753b8df7fb75f3dfd74fe5d2ca4e6f7
Commit Graph
35 Commits
Author SHA1 Message Date
yinjun.chen1 b250ecbf55 perf(packages): 优化 /api/packages 7000+ 条响应性能 
- buildPackages 缓存全量结果（rawCache/ignored/threshold 不变时复用）

- gzip 压缩大响应（Node 内置 zlib，减少传输体积 60-80%）
 2026-09-28 11:04:21 +08:00
DuMate 75b1c4d348 fix(scan): 修复重新部署后初次扫描遮罩不显示 
根因：firstScan 依赖 hasScanLog()（SQLite 是否曾有成功扫描日志）。数据目录
持久化挂载后，首次成功扫描的日志永久存在，导致后续每次重新构建镜像并重新部署
的启动扫描期间 hasScanLog() 恒为 true、firstScan 恒为 false，遮罩不显示。

改为基于内存态 scanState.startupScanning：仅 server.js 启动扫描时置 true、
runScanAsync 结束后清零；手动/定时/懒触发扫描均不置位，保持后台静默。
 2026-09-27 11:52:28 +08:00
DuMate ae8d9993b2 feat(verdaccio-ui): P1 Verdaccio Web API 代理层 
- 新增 GET /api/verdaccio/* 透传至 {VERDACCIO_BASE_URL}/-/verdaccio/*（读取类端点）
- 面板侧经 authMiddleware 保护；上游公开端点无需 npm token
- 5s 超时降级：上游不可达返回 502 JSON（含具体原因），不挂死
 2026-09-26 01:17:04 +08:00
DuMate c1dcc16236 refactor(theme): 主题判定移到服务端，前端加载时获取 
- 后端新增 GET /api/theme（公开）：启动后按部署地定位 + NOAA 计算当天
  日出/日落 + 判定当前主题，按日期与坐标缓存；极昼/极夜返回 theme=null
- 删除 /api/location 路由，前端不再拉坐标
- 前端 useTheme：页面加载时拉 /api/theme 应用服务端主题与时刻表，
  离线回退本地 NOAA（含 RA 象限修正）；手动覆盖/自动开关逻辑不变
 2026-09-25 22:49:25 +08:00
DuMate 6595f2d3d4 feat(theme): 按日出日落自动切换亮暗主题 
- 后端新增 /api/location：按 NAS 部署地公网 IP 定位（ipinfo.io→ip-api.com），
  VCM_LAT/VCM_LNG 可手动覆盖，定位失败回退上海坐标，结果内存缓存 7 天
- 前端 useTheme 重写：NOAA 日出日落算法按经纬度算当天日出/日落时刻，
  日出→亮色、日落→暗色，30s 定时校验、跨天自动重算；默认开启
- 手动切换记为「今日手动覆盖」，次日自动恢复自动模式
- main.js 挂载前 initTheme 同步应用避免首帧闪烁；登录后拉取部署地坐标校正
- 设置抽屉新增「自动主题」开关 + 日出/日落时间与坐标来源展示
 2026-09-25 16:39:42 +08:00
yinjun.chen1 add84d1098 feat(auto-scan): 容器启动后立即扫描缓存目录，无需打开前端 
- storage 模式下监听启动即调用 runScanAsync() 预置 rawCache, demo 跳过

- 扫描触发源记为 startup, 与 manual/lazy/daily 区分
 2026-09-22 17:35:35 +08:00
yinjun.chen1 0c0d5370f0 refactor: server.js/store 单文件拆分多模块；新增统一错误处理与 /api 404 2026-09-22 14:29:18 +08:00
yinjun.chen1 8d14adb97c feat(scan): 首次部署扫描用遮罩，重扫/写操作后改为后台静默并消息通知 2026-09-22 13:52:56 +08:00
yinjun.chen1 c13e624628 feat(notifications): 新增消息通知中心（6 类非实时通知） 
- db.js: notifications 表 + logs.batch_id 列迁移 + addLog 接受 batchId + getLogs 支持 batchId + 通知 CRUD 导出（含 100 条存留清理）
- notifier.js: 新建 notify() 单一入口
- server.js: 6 类通知触发点（version_warning 快照去重 / sync_batch / pull_manual / toplist_pull / toplist_change / daily_preview）+ /api/notifications* 端点 + /api/logs 支持 batchId
- sync-latest.js: 批量拉取生成 batchId，逐包/汇总日志与通知关联
- npm-toplist.js: 榜单变化 + 榜单拉取结果通知 + batchId
- 前端: 顶栏铃铛+角标+下拉面板、移动端铃铛+独立通知页、LogsView 批次筛选横幅、store 30s 轮询

通知与日志通过 batch_id 关联，点击通知跳转 /logs?action=xxx&batchId=yyy 显示该批次逐包日志
 2026-09-22 11:01:00 +08:00
yinjun.chen1 b0f8a60d6f feat(toplist): 新增 npm Top200 周榜缓存功能 
- db.js: 新增 top_list 表 + replaceTopList/getTopListRows/getTopListCount
- npm-toplist.js: 核心模块（Search+Downloads 复核+缓存比对+经私服拉取）
- server.js: /api/toplist* 端点 + scheduleWeeklyTopList（周一 00:00 定时抓榜）
- 前端: TopListView 页面、路由、顶/底栏菜单、store/api 扩展

实现: 22 关键词 Search 粗排 350 → Downloads 复核截 200 → 与 rawCache 三态比对（待拉取/需更新/已就绪）→ 一键拉取待缓存/需更新包
复用 sync-latest 的 triggerVerdaccio 落盘机制，限流 1.5s 间隔 + 429 指数退避
 2026-09-22 10:50:43 +08:00
yinjun.chen1 b7be2ee14e feat(logs): 操作日志改造，支持6类操作+新增手工拉取功能 
- logs 表扩展 version/result/message/duration_ms/meta/ip 6 字段（幂等迁移）
- addLog 签名扩展、getLogs 支持 action 筛选、getLogActions
- sync-latest 逐包写 sync_latest 日志 + 汇总字段增强，导出 triggerVerdaccio
- /api/login 登录日志、扫描 scan 日志（含触发源）、删版本改 delete_version 动作
- 新增 POST /api/pull 手工拉取指定包
- 前端：日志筛选 tab + 表格改造 + 详情弹窗分支 + 拉取指定包表单
 2026-09-22 10:44:21 +08:00
yinjun.chen1 6371c83a2a fix(schedule): 每日自动扫描改为 03:00，避开周一 0 点 Top200 抓榜
CI / Backend tests (push) Canceled after 0s
Details
CI / Frontend build (push) Canceled after 0s
Details 
存档操作日志改造、Top200 榜单、消息通知三个功能实施规划方案
 2026-09-22 10:35:46 +08:00
yinjun.chen1 e82c7b70cd chore: 移除 npm 包清单与按清单拉取整套前后端功能
CI / Backend tests (push) Canceled after 0s
Details
CI / Frontend build (push) Canceled after 0s
Details 
- 前端：移除 SearchView 两个入口按钮与 doPkgPull/watch/showFailedList/pendingCount 等逻辑；删除 PkgListDrawer、PkgListConfigDialog 组件；清理 store/api/mock 中 pkglist/pkgPull 相关 state、函数与 mock 数据；移除 AppTopbar、SettingDrawer 中的入口与弹窗引用

- 后端：删除 pkglist.js、pkglist-pull.js；移除 /api/pkglist* 全部路由与启动时 seedIfNeeded/startPkgListDaemon 初始化；清理 db.js 中 pkglist 建表与 cached 列迁移
 2026-09-22 09:44:13 +08:00
yinjun.chen1 7cc1cdb42e fix(scan): 扫描失败后 5 分钟冷却期，避免每次请求都重试
CI / Backend tests (push) Canceled after 0s
Details
CI / Frontend build (push) Canceled after 0s
Details 
ensureScan 检查 lastErrorAt，冷却期内不触发懒扫描，防止 storage 持续异常时 CPU 飙升。手动 POST /api/scan 不受冷却限制，用户可随时手动重试。扫描成功后清除 lastErrorAt 解除冷却。
 2026-09-22 09:33:11 +08:00
yinjun.chen1 6e311c7d0d fix(scan): 每日定时扫描被并发扫描挤掉时自动补扫 
scheduleDailyScan 零点时若正在扫描，不再通过 ensureScan 静默跳过，改为标记 pendingDailyScan，runScanAsync finally 检测到标记后自动补扫，保证当天数据必然更新。
 2026-09-22 09:32:31 +08:00
yinjun.chen1 ce81a59e84 fix(scan): 扫描进行中拒绝重新扫描，避免破坏并发扫描 
POST /api/scan 在 scanState.scanning 时直接返回 SCANNING，不再调用 invalidateScan 清空 pkgCache，防止进行中的扫描读到被清空的增量缓存导致数据不一致。前端收到 SCANNING 后转为轮询当前扫描进度，体验与正常扫描一致。
 2026-09-22 09:31:38 +08:00
DuMate 552eb0df3f fix(scan): 登录后首次拉包自动触发扫描
CI / Backend tests (push) Canceled after 0s
Details
CI / Frontend build (push) Canceled after 0s
Details 
ensureScan 原本只在每日自动扫描被调用，/api/packages 未接线，
导致部署重启后 rawCache 为空、登录拉包返回空列表且无扫描动作，
必须手动点「重新扫描」。现在 /api/packages 首次访问懒触发扫描，
返回 scanning 状态供前端轮询，登录后即可自动扫描。
 2026-09-22 00:50:41 +08:00
DuMate 8f02af82e2 fix(backend): 修复 server.js 语法错误导致 POST /api/pkglist/dedup 返回 HTML
CI / Backend tests (push) Canceled after 0s
Details
CI / Frontend build (push) Canceled after 0s
Details 
根因：getRawPackages() 函数体内有多余的 return rawCache，导致模块解析失败，
服务无法启动，前端请求收到上游 HTML 而非 JSON 响应。

修复：移除多余的 return rawCache 和多余的闭合花括号，
使 server.js 恢复正常语法并可通过 node --check。
 2026-09-22 00:05:54 +08:00
yinjun.chen1 316daa3bdc fix(backend): 移除懒扫描，防止每次刷新浏览器都触发重新扫描
CI / Backend tests (push) Canceled after 0s
Details
CI / Frontend build (push) Canceled after 0s
Details 
- getRawPackages() 去掉 'if (!scanState.scanning) runScanAsync()' 懒扫描逻辑
- 现在只有调用 POST /api/scan（手动重新扫描）或 sync-latest/pkglist-pull 完成时才会触发扫描
- 避免每次前端刷新页面、打开新标签页都重新扫描缓存目录
 2026-09-21 23:51:57 +08:00
yinjun.chen1 84c9a11e6f feat(pkglist): 去重 + 状态持久 + UI 弹窗风格统一
CI / Backend tests (push) Canceled after 0s
Details
CI / Frontend build (push) Canceled after 0s
Details 
后端：
- seedIfNeeded/addPkg/updateFromAllSources 插入前检测 storage 是否已缓存同名包，已缓存直接置 done
- 新增 markDoneByName + dedupPkgList 函数
- pkglist 表新增 cached 列区分「已在缓存」vs「清单拉取完成」
- 新增 POST /api/pkglist/dedup 接口

前端：
- api/index.js 新增 dedupPkgList()
- store 暴露 dedupPkgList action，doRefresh 初始化时检测 sync-latest 运行状态并恢复轮询
- PkgListDrawer.vue 增加「去重」按钮，状态列区分「已在缓存」/「已完成」
- SearchView.vue 一键拉取弹窗改为与整体一致的自定义风格（确认+结果弹窗）
- 按钮已按 syncProgress.running 显示旋转动画
 2026-09-21 22:45:12 +08:00
yinjun.chen1 f4ee32b3b2 固化默认登录凭据为 admin/666666（保留 env 覆盖） 2026-09-21 16:39:20 +08:00
yinjun.chen1 bb7d45efcf feat: 新增热门 npm 包清单，定时收录榜单并支持按清单拉取缓存
CI / Backend tests (push) Canceled after 0s
Details
CI / Frontend build (push) Canceled after 0s
Details 
- 内置热门包池(248条/12品类) ∪ npm-search 榜单(14组关键词top300)，按包名去重增量收录
- 榜单源优先私服 /-/v1/search，不可用时回退官方 registry，仅提示来源不阻塞
- 清单 CRUD + 手动/定时拉取(失败重试3次) + 进度轮询 + 失败包红色角标
- 清单全部完成即失效并联动停止定时拉取，写入新 pending 包自动恢复
- 前端：我的缓存页包清单抽屉、用户名下拉定时配置弹窗、mock 分支同步
 2026-09-21 15:47:22 +08:00
yinjun.chen1 a00a58af30 feat: 我的缓存页支持一键拉取存量包最新版本
CI / Backend tests (push) Canceled after 0s
Details
CI / Frontend build (push) Canceled after 0s
Details 
- 后端新增 sync-latest 模块：经 Verdaccio 查询包元数据取 latest，跳过已缓存版本，未缓存版本走 Verdaccio 代拉落盘；异步状态机 + POST /api/sync/latest + GET /api/sync/progress
- 前端 SearchView 工具栏新增拉取按钮，轮询进度并汇总成功/跳过/失败明细
- 上游路由交由 Verdaccio 自身 uplinks（npm/淘宝/华为）处理，仅需 VERDACCIO_BASE_URL 配置
- docker-compose 补充私服地址环境变量；忽略 .dumate/.tmp 中间产物
 2026-09-21 14:06:22 +08:00
yinjun.chen1 6c33d6a9bf fix(auth): 会话过期 + 登录限速 + 默认口令告警 
- token 会话有效期 12 小时，过期自动作废并提示重新登录（原永久有效）
- 登录限速：同 IP 5 分钟内失败 3 次锁定 15 分钟（滑动窗口），防暴力爆破
- 未设置 VCM_PASSWORD 时启动打印醒目告警，提示生产环境默认口令风险
- 限速记录表定时清理，防 Map 无限增长
 2026-09-21 09:59:45 +08:00
yinjun.chen1 23950143ea fix(scan): demo 数据固定 + 增量缓存清理 + 磁盘占用跨平台统计 
- demo 包数据改为模块加载时固定快照（原实现每次请求重新随机生成，
  版本/大小/日期每次刷新都变，演示清理结果前后不一致）；移除 seed 中重复 sharp 条目
- pkgCache 增量缓存增加清理：扫描后移除本次未扫到的旧目录条目；
  server 端 invalidateScan 时调用 clearPkgCache，storage 切换后不残留旧目录口径
- diskBytesOf 弃用 execSync('du -sk')（Windows 不可用），改为 Node 原生递归字节和
 2026-09-21 09:58:00 +08:00
yinjun.chen1 115c5ccc9a fix(clean): 物理 tgz 按文件匹配删除 + semver 完整语义排序 
- 新增 tgz.js：统一列出包目录物理 .tgz 文件，支持新版 {version}.tgz 精确匹配
  与旧版 {pkgname}-{version}.tgz 后缀匹配，删除按真实文件 size 统计
- semver.js 重写：完整 npm 语义比较（prerelease 逐标识比较、数字<非数字、
  公共前缀更长者更大），修复原实现剥离 prerelease 导致 beta 挤掉正式版的隐患
- clean.js / scanner.js / server.js 接入统一口径
- 新增 test/semver.test.js 与 test/tgz.test.js 回归测试（node --test）
 2026-09-21 09:49:38 +08:00
陈银军 2e4977a090 perf(scan): 增量扫描缓存 + libuv 线程池扩容 
- scanner.js: 包目录 mtime(+package.json mtime) 指纹缓存扫描结果，
  两次扫描间未变化的包直接复用，只重扫有增删/改写的包目录，
  大量长期不变的缓存包几乎零 IO
- server.js: 入口兜底 UV_THREADPOOL_SIZE=8（libuv IO 线程池默认仅 4，
  磁盘 stat/readFile 并发是扫描主瓶颈，NAS 四核安全）
- docker-compose.yml: 同步注入 UV_THREADPOOL_SIZE=8
 2026-09-21 00:55:46 +08:00
陈银军 02ac744e13 feat(auth): 内置账号密码登录，Docker 部署可通过环境变量覆盖 
- 后端读取 VCM_USERNAME/VCM_PASSWORD（默认 admin/admin123），新增 /api/login、/api/logout，Bearer token 中间件保护全部 /api/*（登录/登出除外）
- 前端登录接真实接口，token 存 localStorage（记住我）/ sessionStorage；401 自动清除会话跳登录页
- 修复 App.vue 初始路由未就绪导致登录页误触发数据加载；退出登录先清会话再跳转
- docker-compose 增加 VCM_USERNAME/VCM_PASSWORD 环境变量（可用宿主机 .env 覆盖）
 2026-09-19 22:49:32 +08:00
陈银军 a0f0c27c44 fix(logs): 忽略/取消忽略操作写入操作日志 
原 /api/ignore 与 /api/ignore/:pkgName 只写 ignored_packages 表不记日志，
导致操作日志页查不到忽略记录。logs 表新增 action 列区分操作类型
(clean/ignore/unignore，旧库运行时 ALTER TABLE 迁移)，忽略与取消忽略
接口补写 addLog；日志页按操作类型展示徽标与详情，删除数量/释放空间对
非清理操作显示占位符。
 2026-09-19 21:58:44 +08:00
陈银军 764022dcbf feat: 列表 logo 尝试加载主页 favicon，失败回退首字母 
- 列表接口补充 homepage 字段
- Top30Panel / PackageCard 的 PkgLogo 传入 homepage，优先尝试加载 {域名}/favicon.ico
- 加载失败或离线时自动回退首字母徽标（抽屉此前已支持）
 2026-09-19 21:32:28 +08:00
陈银军 0925c8fb62 feat: Top20 排行增加描述列，列表接口携带 description 
- 列表接口 buildPackages 补充 description 字段（仍不含 versionsDetail 保持瘦身）
- Top30Panel 新增「描述」列，超长省略号截断，悬停显示完整描述；移动端隐藏该列
- 详情抽屉 description/homepage/repository/license/author 字段已具备，随本次镜像生效
 2026-09-19 21:28:38 +08:00
陈银军 8a54fb2d5c feat: 包信息展示与扫描数据修正 
- scanner: 版本数只统计实际存在的 .tgz（修复 playwright-core 5113 版本虚高），解析 description/homepage/repository/author/license 元数据字段
- 前端: 新增 PkgLogo 首字母徽标组件，详情抽屉展示包 logo（主页 favicon 加载失败自动回退）、介绍与主页/仓库/许可胶囊，优化抽屉头部布局
- 全量 UI 改进: 毛玻璃扫描遮罩与进度、头像菜单重新扫描、主题切换、移动端 Tabbar/StatMini/Top30Panel 响应式、列表瘦身与详情按需加载
- compose: TZ=Asia/Shanghai + 命名卷 vcm-data 解决 SQLite 权限
- 更新 amd64 镜像 tar
 2026-09-19 21:07:27 +08:00
陈银军 f84f21574f fix: 扫描缓存与真实大小计算，解决页面加载慢与数据虚增 
- scanner: 大小改为统计实际 .tgz 文件（兼容 {version}.tgz 与 {pkg}-{version}.tgz 命名），
  不再用 unpackedSize 兜底虚增数倍
- server: 扫描结果内存缓存（首次懒扫描，后续请求秒回），新增 POST /api/scan 手动重扫，
  /api/packages 返回 scannedAt 时间戳，clean/删版本后自动失效缓存
- 前端: 概览页新增「重新扫描」按钮 + 「基于 xxx 扫描」时间展示；Top30 在真实环境
  （无访问统计）降级为「缓存占用 Top 30」按大小排序
- compose: 数据卷改 named volume，修复非 root 容器 SQLITE_CANTOPEN
 2026-09-19 17:57:58 +08:00
陈银军 15f025679b fix: /api/threshold 读错字段导致写入恒为1，兼容 versionThreshold/value 2026-09-19 16:04:12 +08:00
陈银军 0a9ca8894a feat: Verdaccio 缓存可视化管理面板（前端 + 后端 + Docker） 
- 前端 Vue3+Vite+Element Plus 按需引入，双主题（bright/dark）CSS 变量
- 三端响应式（桌面/平板/手机），登录/概览/检索/阈值/忽略/动态 6 页面
- 后端 Express + better-sqlite3，目录扫描 + demo 模式，清理原子写入
- Dockerfile 多阶段构建 + docker-compose（storage 只读挂载）
 2026-09-19 15:00:04 +08:00