学习笔记 Day 28 （pandas ）

1 统计出911电话类型数量

import  pandas as pd
import numpy as np

df = pd.read_csv(./911.csv)

# print(df.head())
# print(df.info())

# print(df[title])
# print(df[title].str.split(:).tolist())
temp_list = df[title].str.split(:).tolist() # 把元素按，分隔开，然后装入列表
type_list = list(set(i[0] for i in temp_list)) # 循环列表，去重得出所有的类型装进列表中
# print(type_list)

# 创建一个全为零的列表
pd_zeros = pd.DataFrame(np.zeros((df.shape[0],len(type_list))),columns=type_list)
# print(pd_zeros)

# 往里面填充1
for i in type_list:
    pd_zeros[i][df[title].str.contains(i)] = 1# contains(i) 包含i的时候，返回True
print(pd_zeros)

print(pd_zeros.sum(axis=0))

使用分组聚合方式：

import  pandas as pd
import numpy as np

df = pd.read_csv(./911.csv)

# print(df.head())
# print(df.info())

# print(df[title])
# print(df[title].str.split(:).tolist())
temp_list = df[title].str.split(:).tolist() # 把元素按，分隔开，然后装入列表
type_list = [i[0] for i in temp_list] # 循环列表，去重得出所有的类型装进列表中

df[type] = pd.DataFrame(np.array(type_list).reshape((df.shape[0],1)))
print(df)

print(df.groupby(by=type).count()[title])

生成一段时间范围：

常见频率缩写：

pandas重采样：

统计数据中不同月份电话次数和可视化展示：

import  pandas as pd
import numpy as np

df = pd.read_csv(./911.csv)

df[timeStamp] = pd.to_datetime(df[timeStamp]) # 转为时间序列

df.set_index(timeStamp,inplace=True)

# print(df)

df_count = df.resample(M).count()[title]

# print(df_count)
import matplotlib.pyplot as plt

plt.figure(figsize=(20,8),dpi=80)

_x = df_count.index
_y = df_count.values

_x = [i.strftime("%Y-%m-%d") for i in _x]# 时间格式化

plt.plot(range(len(_x)),_y)

plt.xticks(range(len(_x)),_x,rotation=45)

plt.show()

不同月份，不同类型：

import  pandas as pd
import numpy as np
import matplotlib.pyplot as plt

df = pd.read_csv(./911.csv)

df[timeStamp] = pd.to_datetime(df[timeStamp]) # 转为时间序列

# 增加列
temp_list = df[title].str.split(:).tolist()
type_list = [i[0] for i in temp_list]
# print(type_list)
df[type] = type_list
# print(df)

df.set_index(timeStamp,inplace=True)
#
# # print(df)
plt.figure(figsize=(20,8),dpi=80)
for type_name,type_data in df.groupby(by=type):

    df_count = type_data.resample(M).count()[title]
#
# # print(df_count)




    _x = df_count.index
    _y = df_count.values

    _x = [i.strftime("%Y-%m-%d") for i in _x]# 时间格式化

    plt.plot(range(len(_x)),_y)

    plt.xticks(range(len(_x)),_x,rotation=45)

plt.show()

结果：

Periodindex：

就是把分开的字符串通过period index组合成pandas时间类型

以pm2.5的数据为列：

import pandas as pd
import  matplotlib.pyplot as plt

df = pd.read_csv(./BeijingPM20100101_20151231.csv)

# print(df.head())

# 设置好时间索引
period = pd.PeriodIndex(year=df[year],month=df[month],day=df[day],hour=df[hour],freq=H)

# print(period)

df[datetime] = period

df.set_index(datetime,inplace=True)

df = df.resample(7D).mean()

# print(df)

df[PM_US Post].dropna()

data = df[PM_US Post]

# 可视化

_x = data.index
_x = [i.strftime(%Y-%m-%d) for i in _x]
_y = data.values

plt.figure(figsize=(20,8),dpi=80)

plt.xticks(range(0,len(_x),10),_x[::10],rotation=45)

plt.plot(range(len(_x)),_y)

plt.show()