From 300eaf4b0eeb6fc47ac7c959c87a7a5be1489d77 Mon Sep 17 00:00:00 2001 From: vam876 <134127267+vam876@users.noreply.github.com> Date: Tue, 12 Aug 2025 22:00:53 +0800 Subject: [PATCH] Update README.md --- README.md | 159 +++++++++++++++++++++++++++++++++++++++++++++++++++++- 1 file changed, 157 insertions(+), 2 deletions(-) diff --git a/README.md b/README.md index f4cdbc2..3734bf1 100644 --- a/README.md +++ b/README.md @@ -1,2 +1,157 @@ -# FastWLAT -FastWLAT (Fast Web Log Analysis Tool) 是基于 Electron + Vue 3 构建的跨平台高性能 Web 日志分析工具,支持本地内存模式与 Redis 分布式处理,专为海量WEB日志分析场景设计。提供日志解析、威胁规则引擎、可视化仪表盘及树状聚合分析,优化了百万级数据的导入速度与查询性能,助力网络安全人员快速洞察访问流量与安全威胁。支持 Windows/macOS/Linux,开箱即用。 +项目仍在优化中,以下为预发布版 README 草案,您可以关注项目获取最新的体验资格。 +## FastWLAT(Fast Web Log Analysis Tool) + +基于 Electron + Vue 3 + TypeScript 的高性能 Web 日志分析工具。支持本地内存模式与 Redis 高性能模式,面向数十万级日志的导入、检索、分析与可视化。 + +- **跨平台桌面应用**:Windows/macOS/Linux +- **大数据优化**:虚拟滚动、聚合树、分批导入、增量分析 +- **智能分析**:威胁规则引擎、可视化图表、动态采样 +- **模式可切换**:本地内存模式(轻量、极速)/ Redis 模式(高性能) + +## 预发布说明 + +- 此 README 为预发布版,用于展示产品能力与操作指引。 +- 新版 Redis 模式正在持续优化:全量显示、服务器端聚合、搜索分页、导入加速方案已就绪;计划补充更高级的服务端过滤,进一步提升搜索性能。 + +## 功能总览 + +- **数据导入** + - 支持 Apache/Nginx/IIS/Tomcat/自定义 JSON 等格式 + - Web Workers 并行解析(UI 不阻塞) + - 超大文件自动分片、增量进度反馈 + - 本地模式存内存;Redis 模式入库流处理 + +- **日志视图(Log View)** + - 列表/树状/分析三种视图模式 + - 高性能虚拟滚动 + - 过滤与搜索(状态码、IP、方法、路径、时间范围等) + - 树状视图(Redis 模式)采用服务器端聚合(Top URLs)秒级构建 + +image + +image + +image +image +image + + + + + + + + + + + + + + + + + + + + + + + + + + +- **仪表盘(Dashboard)** + - 总量、独立 IP、带宽、响应时间等关键 KPI + - TOP IP、TOP 页面、错误分布 + - 轻量读取 Redis 统计,避免全量抓取 +image + +- **威胁分析(Threat Analysis)** + - 规则引擎(可启用/禁用) + - 大数据优化:5 万以下全量分析,以上自动采样(可强制全量) + - 可视化图表:威胁等级分布、分类统计、时间线、IP 与方法画像 +image +image + + +- **规则管理(Rules)** + - 自定义规则(名称、正则、等级、分类、启停) + - 一键重新分析 +image + +- **设置(Settings)** + - Redis 连接配置(Host/Port/Password/DB) + - 模式切换(local/redis) + - 数据与缓存管理 + - image + + +## 界面导航简介 + +- **导入页面(Import)**:选择文件/示例/粘贴文本,查看格式检测、解析进度、分批存储进度;支持超大数据自动分片与进度条反馈。 +- **日志页面(Log View)**: + - 列表:分页与虚拟滚动 + - 树状:本地模式使用全量构建;Redis 模式使用 Top URLs 聚合秒级生成 + - 分析:大数据下自动采样(可切换强制全量) +- **仪表盘(Dashboard)**:总览统计图与 TOP 榜单,实时指标(模拟或来源统计)。 +- **威胁分析(Threat Analysis)**:规则引擎、图表视图、分类/规则筛选、动态加载日志。 +- **规则管理(Rules)**:新增/编辑/启用/禁用规则。 +- **设置(Settings)**:Redis 连接、数据模式、清理数据、调试信息。 + + +## 数据模式 + +- **本地内存模式(local)** + - 适合小中等数据量(<40 万) + - 解析后直接写入内存 store + - 所有分析在本地完成 + +- **Redis 模式(redis)** + - 适合大数据量(数十万至上百万) + - 解析后分批写入 Redis(默认每批 10000) + - 树视图使用服务端聚合(Top URLs)秒开 + - 仪表盘/分析页优先读取统计,避免全量拉取 + +在设置页面可切换模式;应用在启动时会自动检测 Redis 连接(断网/不可用时回退到本地模式)。 + +## 使用流程 + +- **导入日志** + - 从文件/示例/粘贴导入 + - 自动格式检测(或手动指定) + - 并行解析 + 分片入库(Redis) + - 进度实时显示(解析 0-80%;存储 80%-100%) + +- **浏览与过滤** + - 日志页面切换列表/树/分析 + - 按 IP/方法/状态码/路径/时间范围过滤 + - Redis 模式下搜索:优先聚合辅助 + 分段回填(计划增强为服务器端分页过滤) + +- **威胁分析** + - 加载规则 → 采样/全量分析 + - 查看图表、分类、TOP IP/方法、时间线 + - 可启用/禁用规则并重新分析 + +## 性能优化(已内置) + +- 并行解析:Web Workers,避免 UI 阻塞 +- 分批入库:默认 10000/批,聚合统计合并一次性提交 +- 树状聚合:Redis 模式使用 `Top URLs` 聚合构建树 +- 虚拟滚动:大列表渲染优化 +- 分析采样:>5 万自动采样(可强制全量) +- 轻量统计:仪表盘与分析先读 Redis 统计,再补全明细 + +## 已知问题与说明(预发布) + +- **Redis 搜索过滤在极大数据集下仍可能偏慢**:短期通过“聚合辅助 + 分段回填”已优化;后续将增补主进程 `queryLogs` 的 path/method/status 基础过滤与分页游标,彻底后端化。 +- **导入时控制台可能出现少量 URL 解码告警**:已加严格判断(仅在合法 `%xx` 时解码),不会中断导入。 +- **首次切换到 Redis 模式后建议重启应用**:确保预加载 API(如 `getTopUrls`)完成注入,避免 “not a function”。 + + +## 路线图(Roadmap) + +- 服务器端分页过滤:`queryLogs` 支持 path/method/status + offset/limit +- 更丰富的图表与报表导出 +- 更强规则引擎(分组、权重、动作、告警) +- 多源采集与实时流(WebSocket/Stream) +- 国际化(i18n)与更多主题