2.知乎数据清洗及研究

阿里云2000元红包!本站用户参与享受九折优惠!

使用软件:anaconda下的spyder

总结:
1.绘图中文乱码的处理;
2.pd.marge(left_index=True)连接,左表字段是index时
3.*args函数的使用
4.绘图时,轴的下标从0开始
5.matplotlib添加(刻度、X轴、Y轴、标题、图例等)和seaborn的区别
6.打印plt.text文字的处理:
for i,j,n in zip(x,y,q2data_c.index):
plt.text(i+500,j,n, color = ‘k’)

1.导入相关模块:

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
warnings.filterwarnings('ignore')
plt.rcParams['font.sans-serif'] = ['Arial Unicode MS']#解决绘图中文乱码问题

2.加载数据

import os
os.chdir('/Users/liyili2/Downloads/datas/python_wei/04/')
df1=pd.read_csv('知乎数据_201701.csv',encoding ='GB18030')
df2=pd.read_csv('六普常住人口数.csv',encoding = 'GB18030')
print('finished!')
df1.head()
df2.head()


image.png

3.数据清洗:

数据清洗 – 去除空值
文本型字段空值改为“缺失数据”,数字型字段空值改为 0
要求:创建函数
提示:fillna方法填充缺失数据,注意inplace参数

def data_cleaning(data):
    cols=data.columns
    for col in cols:#这种情况,我以为要用range(cols)
        if data[col].dtype=='object':
            data[col].fillna('缺失数据',inplace = True)
        else:
            data[col].fillna(0,inplace = True)
    return data
df1_c1=data_cleaning(df1)


image.png

4.知友全国地域分布情况,分析出TOP20

“””
要求:
① 按照地域统计 知友数量、知友密度(知友数量/城市常住人口),不要求创建函数
② 知友数量,知友密度,标准化处理,取值0-100,要求创建函数
③ 通过多系列柱状图,做图表可视化
“””

df1_city = df1_c1.groupby('居住地').count()  # 按照居住地统计知友数量
df2['city'] = df2['地区'].str[:-1]   # 城市信息清洗,去掉城市等级文字
#print(df1_city.head())  
#print(data2.head())  
q1data = pd.merge(df1_city,df2, left_index = True, right_on = 'city', how = 'inner')[['_id','city','常住人口']]
q1data['知友密度'] = q1data['_id']/q1data['常住人口'] 
'''方法一:'''
#colname= '_id' + '_nor'
#q1data[colname]=(q1data['_id']-q1data['_id'].min())/(q1data['_id'].max()-q1data['_id'].min())*100
# 
#colname2= '知友密度' + '_nor'
#q1data[colname2]=(q1data['知友密度']-q1data['知友密度'].min())/(q1data['知友密度'].max()-q1data['知友密度'].min())*100
#       
'''方法二:'''
def data_norm(df,*cols):#*args函数的使用还是不太习惯哦
    
    for col in cols:
        colname= col + '_nor'
        df[colname]=(df['_id']-df['_id'].min())/(df['_id'].max()-df['_id'].min())*100
        
    return df  
result1=data_norm(q1data,'_id','知友密度')
q1data_top20_f1=result1.sort_values('_id_nor',ascending=False)[['city','_id_nor']][:20]
q1data_top20_f2=result1.sort_values('知友密度_nor',ascending=False)[['city','知友密度_nor']][:20]
'''使用seaborn方法:'''
 
fig1,axes=plt.subplots(2,1,figsize=(20,16))
g1=sns.barplot(x='city',y='_id_nor',data=q1data_top20_f1,ax=axes[0])
 # ax = sns.barplot(x="day", y="tip", data=tips, ci="sd")
axes[0].set_title('知友数量top 20',fontsize=20)
axes[0].set_xlabel('城市',fontsize=30)
axes[0].set_ylabel('知友数量',fontsize=30)
axes[0].legend("知友数量城市分布")
sns.barplot(x=q1data_top20_f2['city'],y=q1data_top20_f2['知友密度_nor'],ax=axes[1])
axes[1].set_title('知友密度top 20',fontsize=20)
axes[1].set_xlabel('城市',fontsize=30)
axes[1].set_ylabel('知友密度',fontsize=30)
axes[1].legend('知友密度城市分布')
'''使用matplotlib方法:'''
#fig,axes=plt.subplots(2,2,figsize=(20,16))
#q1data_top20_f1.plot.bar(ax=axes[0,0])
#axes[0,0].set_xticklabels(q1data_top20_f1['city'],rotation=315)
#
#q1data_top20_f2.plot.bar(ax=axes[0,1])
#axes[0,1].set_xticklabels(q1data_top20_f2['city'],rotation=315)
#
#q1data_top20_f1.plot.bar(ax=axes[1,1])
#axes[1,1].set_xticklabels(q1data_top20_f1['city'],rotation=315)
#
#q1data_top20_f2.plot.bar(ax=axes[1,0])
#axes[1,0].set_xticklabels(q1data_top20_f2['city'],rotation=315)


image.png

5.不同高校知友关注和被关注情况

”’
要求:
① 按照学校(教育经历字段) 统计粉丝数(‘关注者’)、关注人数(‘关注’),并筛选出粉丝数TOP20的学校,不要求创建函数
② 通过散点图 → 横坐标为关注人数,纵坐标为粉丝数,做图表可视化
③ 散点图中,标记出平均关注人数(x参考线),平均粉丝数(y参考线)
”’

df1_c1.groupby('教育经历')
q2data = df1_c1.groupby('教育经历').sum()[['关注','关注者']].drop(['缺失数据','大学','本科'])
q2data_c = q2data.sort_values('关注',ascending=False)[:20]
#print(q2data_c)
plt.figure(figsize=(10,6))
x = q2data_c['关注']
y = q2data_c['关注者']
follow_mean = q2data_c['关注'].mean()
fans_mean = q2data_c['关注者'].mean()
plt.scatter(x,y,marker='.',
           s = y/1000,
           cmap = 'Blues',
           c = y,
           alpha = 0.8,
           label = '学校')
plt.axvline(follow_mean,label="平均关注人数:%i人" % follow_mean,color='r',linestyle="--",alpha=0.8)  # 添加x轴参考线
plt.axhline(fans_mean,label="平均粉丝数:%i人" % fans_mean,color='g',linestyle="--",alpha=0.8)   # 添加y轴参考线
plt.legend(loc = 'upper left')
plt.grid()
# 添加显示内容
for i,j,n in zip(x,y,q2data_c.index):
    plt.text(i+500,j,n, color = 'k')
# 添加注释


image.png
https://www.jianshu.com/p/2b243c3f2c07

Python量化投资网携手4326手游为资深游戏玩家推荐:《铁血武林2下载

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论