FastWLAT/README.md at 300eaf4b0eeb6fc47ac7c959c87a7a5be1489d77

admin/FastWLAT

Files

vam876 300eaf4b0e Update README.md

2025-08-12 22:00:53 +08:00

项目仍在优化中，以下为预发布版 README 草案，您可以关注项目获取最新的体验资格。

FastWLAT（Fast Web Log Analysis Tool）

基于 Electron + Vue 3 + TypeScript 的高性能 Web 日志分析工具。支持本地内存模式与 Redis 高性能模式，面向数十万级日志的导入、检索、分析与可视化。

数据导入
- 支持 Apache/Nginx/IIS/Tomcat/自定义 JSON 等格式
- Web Workers 并行解析（UI 不阻塞）
- 超大文件自动分片、增量进度反馈
- 本地模式存内存；Redis 模式入库流处理
日志视图（Log View）
- 列表/树状/分析三种视图模式
- 高性能虚拟滚动
- 过滤与搜索（状态码、IP、方法、路径、时间范围等）
- 树状视图（Redis 模式）采用服务器端聚合（Top URLs）秒级构建

仪表盘（Dashboard）
- 总量、独立 IP、带宽、响应时间等关键 KPI
- TOP IP、TOP 页面、错误分布
- 轻量读取 Redis 统计，避免全量抓取
威胁分析（Threat Analysis）
- 规则引擎（可启用/禁用）
- 大数据优化：5 万以下全量分析，以上自动采样（可强制全量）
- 可视化图表：威胁等级分布、分类统计、时间线、IP 与方法画像
规则管理（Rules）
- 自定义规则（名称、正则、等级、分类、启停）
- 一键重新分析
设置（Settings）
- Redis 连接配置（Host/Port/Password/DB）
- 模式切换（local/redis）
- 数据与缓存管理

导入页面（Import）：选择文件/示例/粘贴文本，查看格式检测、解析进度、分批存储进度；支持超大数据自动分片与进度条反馈。
日志页面（Log View）：
- 列表：分页与虚拟滚动
- 树状：本地模式使用全量构建；Redis 模式使用 Top URLs 聚合秒级生成
- 分析：大数据下自动采样（可切换强制全量）
仪表盘（Dashboard）：总览统计图与 TOP 榜单，实时指标（模拟或来源统计）。
威胁分析（Threat Analysis）：规则引擎、图表视图、分类/规则筛选、动态加载日志。
规则管理（Rules）：新增/编辑/启用/禁用规则。
设置（Settings）：Redis 连接、数据模式、清理数据、调试信息。

本地内存模式（local）
- 适合小中等数据量（<40 万）
- 解析后直接写入内存 store
- 所有分析在本地完成
Redis 模式（redis）
- 适合大数据量（数十万至上百万）
- 解析后分批写入 Redis（默认每批 10000）
- 树视图使用服务端聚合（Top URLs）秒开
- 仪表盘/分析页优先读取统计，避免全量拉取

在设置页面可切换模式；应用在启动时会自动检测 Redis 连接（断网/不可用时回退到本地模式）。

导入日志
- 从文件/示例/粘贴导入
- 自动格式检测（或手动指定）
- 并行解析 + 分片入库（Redis）
- 进度实时显示（解析 0-80%；存储 80%-100%）
浏览与过滤
- 日志页面切换列表/树/分析
- 按 IP/方法/状态码/路径/时间范围过滤
- Redis 模式下搜索：优先聚合辅助 + 分段回填（计划增强为服务器端分页过滤）
威胁分析
- 加载规则 → 采样/全量分析
- 查看图表、分类、TOP IP/方法、时间线
- 可启用/禁用规则并重新分析

Redis 搜索过滤在极大数据集下仍可能偏慢：短期通过“聚合辅助 + 分段回填”已优化；后续将增补主进程 queryLogs 的 path/method/status 基础过滤与分页游标，彻底后端化。
导入时控制台可能出现少量 URL 解码告警：已加严格判断（仅在合法 %xx 时解码），不会中断导入。
首次切换到 Redis 模式后建议重启应用：确保预加载 API（如 getTopUrls）完成注入，避免 “not a function”。