nginx web服务日志分析

• 特点：
  • 实时分析：支持实时分析 Nginx 日志，无需预先存储大量日志数据，能即时反馈网站的访问情况。
  • 轻量级高效：资源占用少，运行速度快，适合处理高流量网站的日志分析。
  • 多种输出格式：除了传统的终端文本输出，还支持 HTML、JSON 等格式输出，方便以不同方式展示分析结果。
• 使用示例：
  • 安装：在 CentOS 系统中，可通过yum install goaccess安装。
  • 实时分析：运行goaccess -f /var/log/nginx/access.log -p /etc/goaccess/goaccess.conf命令，即可在终端实时查看 Nginx 日志分析结果，展示诸如实时访客、热门页面、请求方法分布等信息。若要生成 HTML 报告，使用goaccess -f /var/log/nginx/access.log -p /etc/goaccess/goaccess.conf -o /var/www/html/report.html命令，将报告保存到指定路径供 Web 访问。

3. Logstash + Elasticsearch + Kibana (ELK Stack)

• 特点：
  • 强大的数据分析能力：Elasticsearch 提供高效的数据存储和检索，Logstash 负责灵活的数据收集和预处理，Kibana 用于直观的可视化展示，三者结合能进行深度复杂的日志分析。
  • 可扩展性：能够处理大规模的日志数据，适应不断增长的网站流量和日志量。
  • 自定义分析：通过编写 Logstash 配置文件，可以根据需求对 Nginx 日志进行灵活的过滤、转换和 enrichment 操作，例如提取特定字段、解析 JSON 格式的日志内容等。