Pandas数据处理和数据展示

一.数据处理工具pandas和numpy

1.1 pandas读取数据

data = pd.read_csv("data.csv",index_col=False,encoding = "utf-8") data = pd.read_tabel("data.txt",sep = ",")

1.2 numpy.random 生成数据的用法

numpy.random.rand(4,2,3) ==>生成4*2*3的矩阵，其中元素在[0,1)，float np.random.randn(4,2,3) ==>生成4*2*3的矩阵，元素是标准正态分布（以0为均值、以1为标准差的正态分布，记为N（0，1）），float np.random.randint(-5,5,size=(2,2)) ==>生成一个2*2的矩阵，元素值在[-5,5)随机整数，int np.random.random_sample(size=(2,2)) ==>生成一个2*2的矩阵，元素是[0,1),float np.random.seed(1676) ==>设置种子数，每次生成的随机数相同

1.3 pandas_profiling

用于简单快速查看数据分布和得到数据报告。

import pandas_profiling pfr = pandas_profiling.ProfileReport(data) pfr.to_file("./example.html")

1.4 pandas去掉重复项 df.drop_duplicates()

df[df.duplicated()].shape df = df.drop_duplicates() df.shape

1.5 pandas中loc和iloc区别

loc利用index的名称（这里可以是index和行号不一致），来获取想要的行（或列）。（名称导向的这个特点，使得df[df.loc[‘col_name’] == ‘condition’, ‘col_name’] = value_1成立。 具体的实际应用，可参考 代码案例 一步实现EXCEL的合并数据、数据筛选、数据透视功能。

iloc利用index的具体位置（所以它只能是整数型参数，行号），来获取想要的行（或列）。

# 这里loc就可以直接用自己写的索引来构成 df.loc['C':'6', '3':, -1] # 利用iloc抽取指定位置（所在的行整数值）的索引所构成的新的dataframe new_dataframe = df.iloc[index_list,:]

1.6 找到Nan值——np.isnan()

nan_np_list = np.argwhere(np.isnan(np_data))

1.7 哑变量生成——pd.get_dummies()

dummy_device_type = pd.get_dummies(data_org['platform'],prefix='device_type')

1.8 计算特征之间的相关系数

自变量之间相关系数较大的话，需要考虑共线性的问题，共线性会导致模型出现开式解，降低模型的稳定性。

常见方法有皮尔森相关系数和斯皮尔曼相关系数。两个系数都是介于-1和1之间，-1表示完全负相关，1表示完全正相关，0表示完全不相关。

使用皮尔森相关系数有局限：要求数据是成对的从正态分布中取得的。而斯皮尔曼相关系数是一种秩相关系数，不受数据分布的影响，它通过对变量排序，以排序后两个变量的秩次差来计算相关系数。

pearson = data.corr() # 适用于都是连续性变量 spearman = data.corr('spearman') # 适用于离散和连续变量

1.9 dataframe的拼接

df_all_row = concat([df1,df2]) #等价于 df1.append(df2)，纵着拼接 #等价于 merge(df1,df2,left_index=True,right_index=True,how='outer') df_all_col = concat([df1,df2],axis=1) # 横着拼接

1.10 groupby的使用

df = pd.DataFrame({'A': ['a', 'b', 'a', 'c', 'a', 'c', 'b', 'c'], 'B': [2, 8, 1, 4, 3, 2, 5, 9], 'C': [102, 98, 107, 104, 115, 87, 92, 123]}) df.groupby('A').mean() ==> A B C a 2.0 108.000000 b 6.5 95.000000 c 5.0 104.666667

1.11 Series.apply

该函数用于对该series的所有元素进行处理生成一个新的series。

new_series = pd.Series([i for i in range(10)]).apply(lambda x:x**2) """这里是函数中带2个参数的""" def subtract_custom_value(x, custom_value): return x - custom_value new_series_2 = df.apply(subtract_custom_value, args=(5,))

1.12 Series可以直接用于2个列相加减

a = pd.Series([i for i in range(10)]) b = pd.Series([i+1 for i in range(10)]) diff_series = a - b

1.13 sort_values将dataframe根据某一列顺序重新生成

# 比如这里需要将整个dataframe根据时间戳的顺序（True）进行重新调整 data = data.sort_values(by = ['timestamp']，ascending=True)

1.14 concat 将Dataframe或者是Series进行合并

data = pd.concat([x1,x2,x3],axis=1) # 这里是三个Series根据每个的index进行合并（按列）

1.15 Series.reset_index 直接将Series转成Dataframe

df = series.reset_index(name = 'index_name') # 这里给series的index设置名字为'index_name'，并变成一列

1.16 df.groupby()的apply方式使用

# 初始的dataframe df = pd.DataFrame({'A': 'a a b'.split(), 'B': [1,2,3], 'C': [4,6, 5]}) g = df.groupby('A') print(g.apply(lambda x: x / x.sum())) B C 0 0.333333 0.4 1 0.666667 0.6 2 1.000000 1.0 print(g.apply(list)) B C 0 [1,2] [3] 1 [4,6] [5]

1.17 df.groupby() 直接分成2个组的dataframe

df = pd.DataFrame({'A': 'a a b'.split(), 'B': [1,2,3], 'C': [4,6, 5]}) g = df.groupyby('A') for name,group in g: name_i = name df_i = group # 这里就是A只有a的dataframe

二.绘图查看数据分布——seaborn和matplotlib

2.1 频数分布直方图

def plot_bar(x,y,color,title,width = 0.5): plt.figure() idx = np.arange(len(x)) plt.bar(idx,y,width,color = color) for xx, yy in zip(x, y): plt.text(xx, yy + 0.1, str('%.2f%%' % ((yy/np.array(y).sum())*100)), ha='center') plt.xticks(idx,x) plt.title(title) plt.xlabel('Hour') plt.ylabel('Trade-Frequence') plt.show() mu, sigma = 100, 15 x = mu + sigma * np.random.randn(10000) # the histogram of the data n, bins, patches = plt.hist(x, 50, density=1, facecolor='g', alpha=0.75) plt.xlabel('Smarts') plt.ylabel('Probability') plt.title('Histogram of IQ') plt.text(60, .025, r'$\mu=100,\ \sigma=15$') plt.axis([40, 160, 0, 0.03]) plt.grid(True) plt.show()

2.2 散点图

plt.plot(x,y)

2.3 直线图

plt.scatter(x,y)

2.4 双变量分布图

def two_dims_draw_relationship(df,xlabel,ylabel): # 双变量分布 x,ylabel是字符串，df必须是双维度的dataframe sns.set(color_codes=True) g = sns.jointplot(x=xlabel, y=ylabel, data=df, kind="kde", color="y") g.plot_joint(plt.scatter, c="m", s=30, linewidth=1, marker="+") g.ax_joint.collections[0].set_alpha(0) # 画背景网格线 g.set_axis_labels("${}$".format(xlabel), "${}$".format(ylabel)) plt.show()

2.5 多变量两两之间的分布图

def all_two_feature_distribution(df = sns.load_dataset('iris')): sns.set(style="ticks") sns.pairplot(df, hue="species") plt.show()

2.6 热度图

scores_h = pd.DataFrame(np.array(scores_h).reshape(18, 3)) scores_h.index = [2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19] scores_h.columns = [1,2,3] plt.figure() ax = sns.heatmap(scores_h, annot=True,xticklabels=cols_all_features, yticklabels=cols_all_features,fmt='.2f') plt.ylabel("N_cluster") plt.xlabel("linkages") # 必须先savefig，之后再show，就不会出现保存时白色图片了 plt.savefig("h.jpg") plt.show()

喜欢我的文章，还请大大们关注一波，当然可以直接访问我的主页：lixiaofei2yy.website