Pandas
#数据的查看与选择
#查看
df.head()
df.tail()
df.describe()
df.info()
#选择列
df['列名']/df['列名','列名']
#选择行
df.iloc[start:stop:step]/df.loc[start:stop:step]
#数据的过滤操作
#语法:
df['条件表达式']
#示例
df[(df['列名']>10)]/df[df['类别'].isin(['..','..'])]
数据清洗
import pandas as pdpd.set_option("display.min_rows",30)#设置显示行数(默认值为10)#1.读取该值
df=pd.read_csv("data/movie_list.csv")#2. 数据清洗
#2.1缺失值处理
df.isnull()#查看缺失值#2.1.1删除缺失值
df.dropna()#删除缺失值所在行
df.dropna(axis=1)#删除缺失值所在列#2.1.2填充缺失值
df.fillna('---')#填充缺失值
df.ffill()#填充缺失值,用上一行的数据
df.bfill()#填充缺失值,用下一行的数据#2.2 重复值处理
#2.2.1 查看重复值
df.duplicated()#查看重复值(所有列的值都重复)
df.duplicated(subset=['电影名'])#查看重复值(指定列的值都重复)#2.2.2 删除重复值
df.drop_duplicates(subset=['电影名'],keep='last')#keep='last'删除重复值,保留最后出现的行,keep='first'删除重复值,保留第一个#2.3异常值的处理
#2.3.1 查看异常值
df[df['单价']<0]#2.3.2 删除异常值
df.drop[df[df['单价']<0].index]#2.3.3修复异常值
df['单价']=df.['单价'].abs()#绝对值#2.4数据格式处理
df['订单日期']=df['订单日期'].str.replace('-','/')
数据排序
df.sort_values('score',ascending=False)#默认为升序,ascending翻译过来为升序的意思
df.sort_values(['单价','销售数量'],ascending=[True,False])
数据分组
df.groupby('产品类别')['销售数量'].count()
df.groupby('产品类别')['单价'].agg(['mean','max','min'])
df.groupby('产品类别').agg({'销售数量':'count','单价':['mean','max','min']})
