streamlit+matplotlib分析log绘制报表、饼图、折线图

原始数据：

概况:

本文对服务器log进行分析，pandas 提取错误日志，matplotlib图形化分析每小时出现错误的次数，最后通过streamlit展示在页面上

说明：

1、读取文件：打开本地log文件，逐行读取，如果符合过滤条件，放入pd里。 lst_log.append(line) df_etllog = pd.DataFrame({ message:lst_log})

2、数据解析：

正则提取到错误产生的时间df[‘new_col’] = df[‘selected_col’].str.extract(‘正则表达式’, expand = True)

对日期数据进行2次分段df_etllog1 = df_etllog.message.str.split( :,expand = True)

df_etllog1.columns = [datehour,minute,second] 最终得到hour数据

对相同时间出现的次数进行计数 labelslist=list(df_etllog2[hour]) result = pd.value_counts(labelslist).sort_index()

3、matplotlib画出饼图和折线图

4、通过streamlit st.write页面展示

代码：

import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
import streamlit as st
import re
pd.set_option(display.max_columns,1000)#设置列数
pd.set_option(display.width, 1000)
pd.set_option(display.max_colwidth,1000)#设置每个字段显示长度

#获取有效数据
lst_log=[]
with open("xxx.log", encoding=utf-8) as lines:
    for line in lines:
        #逐行读取数据 ，只取有效数据
        if "sendQkkRequest path:/user" in line and "未知异常，请联系管理"in line:
            lst_log.append(line)
            df_etllog = pd.DataFrame({ message:lst_log})
            st.table(df_etllog)#全部显示，不会缩减隐藏长度

#数据解析

df_etllog[message] = df_etllog[message].str.extract((.*) INFO , expand = True)#pandas对具体列的内容通过正则表达式进行数据提取df[‘new_col’] = df[‘selected_col’].str.extract(‘正则表达式’, expand = True)
st.write(df_etllog)

df_etllog1 = df_etllog.message.str.split( :,expand = True)
st.write(df_etllog1)
df_etllog1.columns = [datehour,minute,second]
st.write(df_etllog1)
df_etllog2 = df_etllog1[datehour].str.split(  ,expand = True)
st.write(df_etllog2)
df_etllog2.columns = [date,hour]
st.write(df_etllog2)
#对相同时间出现的次数进行计数
labelslist=list(df_etllog2[hour])
result = pd.value_counts(labelslist).sort_index()#注意这里加入了.sort_index()按照index进行了排序，如果仅仅是pd.value_counts(labelslist)，会data的大小排序
st.write(result)

plt.rcParams[font.sans-serif]=[SimHei]
plt.rcParams[axes.unicode_minus] = False

index=result.index.tolist()
data=result.data.tolist()

#饼图
labels = index
sizes = data
fig = plt.figure()
plt.pie(sizes,  labels=labels, autopct=%1.1f%%,
        shadow=True, startangle=90)#%1.1f：指小数点后保留一位有效数值；%1.2f%%保留两位小数点，增加百分号（%）;startangle=90则从y轴正方向画起
plt.axis(equal)#该行代码使饼图长宽相等
plt.title(各时段异常占比, fontdict={size:15})
plt.legend(loc="upper right",fontsize=10,bbox_to_anchor=(1.1,1.05),borderaxespad=0.3)#添加图例
st.pyplot(fig)

#折线图
fig = plt.figure()
x=index
st.write(x)
y=data

# 绘图，做折线图
plt.plot(x,#x轴
         y,#y轴
         linestyle = -, # 折线类型
         linewidth = 2, # 折线宽度
         color = steelblue, # 折线颜色
         marker = o, # 点的形状
         markersize = 6, # 点的大小
         markeredgecolor=black, # 点的边框色
         markerfacecolor=steelblue, # 点的填充色
         label=异常出现次数#标签
         )

# 添加标题和坐标轴标签
plt.title(异常状况折线图)
plt.xlabel(时间)
plt.ylabel(异常次数)
plt.xticks(rotation = 60)#x轴标签倾斜60度

plt.legend(loc=best,frameon=False)#图例，显示label，去掉边框
st.pyplot(fig)

图形展示：效果