数据分析实战-成都二手房房价分析与预测

headers

html的内容如下图

import  re
import requests
from bs4 import BeautifulSoup
def removenone(mylist):#移除参数中空值的函数
  while '' in mylist:
    mylist.remove('')
  return mylist
def addnone(mylist,length,cha):#对文本进行标准化，使其文本格式都一样
  while len(mylist) < length:
    mylist.append(cha)
  return mylist
def regnum(s):#提取爬取到的字符串中的数值
  mylist=re.findall(r'[\\d+\\.\\d]*', s)
  mylist=removenone(mylist)
  return mylist
def lianjia(url,page_range,district):
  \\#Initialization
  colum_name=['Title','Position','Tag','followInfo','VR','Info','Total_price','RMB/m^2','Attention','Update day','Bed room','Living room','Area','Floors','Year','WebPage']#定义爬取到的文本的表头
  data_list=[]#定义一个空的字典，用来储存爬取到的文本
  for page in range(page_range):
    pgurl=url+'/pg'+str(page+1)
    print ("正在爬取的网页地址为：",pgurl)
    header={
      'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36'}
    page=requests.get(pgurl, headers=header) #访问网址获取该 html内容
    a=page.text
    soup=BeautifulSoup(a,"lxml") #解析该html    
    for b in soup.find_all('div',class_='info clear'): #find_all 找到 div class='info clear' 的标签
      temp=[]
      for wz in b.find_all('div',class_=['title','positionInfo','tag','houseInfo','priceInfo','followInfo']):
        temp.append(wz.get_text())
      \\#截取二手房中的房间数，面积，楼层，建造时间
      tag=regnum(temp[2])
      \\#截取了二手房在链家网上的发布时间以及关注人数
      date=regnum(temp[3])
       \\#有的二手房发布时间在1年以上，未用数字说明，此处说明其发布时间
      date=addnone(date,2,'>365')
      \\#截取总价和单价
      price=regnum(temp[5])
      temp.extend(price)
      temp.extend(date)
      temp.extend(tag)
      \\#将二手房中未给出的数字描述统一赋值为0
      temp=addnone(temp,15,'0') 
      for title in b.find_all('div',class_='title'):
        for link in title.find_all('a'): 
          temp.append(link.get('href'))    
      data_list.append(temp)
  print("爬取完成")
  data=pd.DataFrame(data_list,columns=colum_name)#将data转换为dataframe类型
  data.to_csv(district+'.csv')  #保存数据到CSV文件
  return data
if __name__=='__main__':
  district_list=[(input('请输入保存文件英文名：'))]#输入
  for district in district_list:    
    url="https://cd.lianjia.com/ershoufang/"
    page_range=int(input('请输入爬取页数：'))    #输入获得翻页数量
    my=lianjia(url,page_range,district)

import pandas as pd#导入pandas库并重新命名为“pd”
file=pd.read_csv('chengdu.csv',encoding='utf-8' )#读取在3.1保存的文件
file=file.drop(['Unnamed: 0','WebPage','Info','VR','followInfo','Title'],axis=1)#删除没有意义的列
print(file.head())
first=file['Tag'].str.split('|',expand=True)#按“|”划分'Tag'列
first.rename(columns={0:'室厅数',1:'面积（平米）',2:'orientation',3:'Style',4:'楼层',5:'建筑时间',6:'Type'},inplace=True)#对新划分的每一列重新命名
df=pd.concat([first, file], axis=1 )#把划分的所有列聚合起来成为一个dataframe
df=df.drop(['室厅数','面积（平米）','楼层','Tag','建筑时间'],axis=1)#删除某些列
\\#df.describe()#可对数据进行描述性分析
df.dropna(axis=0,how='any',inplace=True)
\\#fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)#也可以通过此行代码对空值复制
\\#print(df['Year'].value_counts())#实例代码，读者可自行对其他列进行查看数据是否有异常值
df=df[df['Year']!=0]#删除建筑时间为0的二手房
df=df.reset_index(drop=True)#对每一行的索引重新排序
for i in range (len(df)):#发布时间大于一年的二手房，将>365改为365
  if df['Update day'][i]=='>365':
?    df['Update day'][i]=str(df['Update day'][i])
?    df['Update day'][i]=df['Update day'][i].replace('>365','365')
for i in range (len(df)):
  df['Update day'][i]=float(df['Update day'][i])
print("--------")
print(df.head())

import numpy  as  np#导入numpy
import pandas as  pd#导入pandas
import matplotlib.pyplot as plt #导入matplotlib，matploylib为优秀的画图库
import seaborn as sns#导入seaborn，seaborn为优秀的画图库
sns.set(style="darkgrid") #seaborn默认的风格
import matplotlib.pyplot as plt
housetype=df['室厅数'].value_counts()#对户型类型进行统计
from pylab import mpl
mpl.rcParams['font.sans-serif']=['FangSong']# 指定默认字体
mpl.rcParams['axes.unicode_minus']=False # 解决保存图像是负号'-'显示为方块的问题
\\#设置画布
asd,sdf=plt.subplots(1,1,dpi=200)#置图片的相关参数
\\#获取类型数前8条数据
housetype.head(8).plot(kind='pie',x='housetype',y='size',title='户型数量分布')
plt.legend(['数量'])#设置图表
f, ax1=plt.subplots(figsize=(20,20))
sns.countplot(y='室厅数', data=df, ax=ax1)
ax1.set_title('房屋户型',fontsize=15)
ax1.set_xlabel('数量')
ax1.set_ylabel('户型')
plt.show()

xxx=df['Position'].str.split(' -',expand=True)
xxx.rename(columns={0:'position',1:'具体'},inplace=True)
number=xxx['position'].value_counts()
asd,sdf=plt.subplots(1,1,dpi=100)
\\#获取二手房数量最多的前15个小区的数据
number.head(15).plot(kind='bar',x='number',y='size',title='不同地区二手房数量分布',ax=sdf)
plt.legend(['数量'])
plt.show()

f,ax1=plt.subplots( figsize=(10, 5))
\\#二手房面积的分布情况
sns.distplot(df['Area'], bins=10, ax=ax1, color='r')
f,ax2=plt.subplots( figsize=(10, 8))
\\#二手房面积出售价格的关系
sns.regplot(x='Area', y='Total_price', data=df, ax=ax2)

from matplotlib.font_manager import FontProperties
myfont=FontProperties(fname=r'C:\\Windows\\Fonts\\simhei.ttf',size=16)
sns.set(font=myfont.get_name())
sx=sns.lineplot(x=df['Style'], y=df['RMB/m^2'])

grid=sns.FacetGrid(df, row='Style', col='Type', palette='seismic',size=3)
grid.map(plt.scatter, 'Year', 'RMB/m^2')
grid.add_legend()

f, ax1=plt.subplots(figsize=(20,10))
sns.countplot(x='Floors', data=df, ax=ax1)
ax1.set_title('楼层分析',fontsize=15)
ax1.set_xlabel('楼层数',fontsize=15)
ax1.set_ylabel('数量',fontsize=15)
plt.show()

import pandas as pd#导入pandas库并重新命名为“pd”
import numpy
\\#对每一列重新命名
file=pd.read_csv('chengdu.csv',encoding='utf-8' )
file=file.drop(['Unnamed: 0','WebPage','Info','VR','followInfo','Title'],axis=1)
\\#按“|”划分'面积及楼层'列
first=file['Tag'].str.split('|',expand=True)
\\#对新划分的每一列重新命名
first.rename(columns={0:'室厅数',1:'面积（平米）',2:'orientation',3:'Style',4:'楼层',5:'建筑时间',6:'Type'},inplace=True)
df=pd.concat([first, file], axis=1 )#把划分的所有列聚合起来成为一个dataframe
df=df.drop(['面积（平米）','Tag','建筑时间'],axis=1)
lll=df['楼层'].str.split('(',expand=True)
lll.rename(columns={0:'Layertype',1:'6'},inplace=True)
lll=lll.drop(['6'],axis=1)
df=df.drop(['楼层'],axis=1)
df=pd.concat([df,lll],axis=1)
\\#df.describe()#可对数据进行描述性分析
df.dropna(axis=0,how='any',inplace=True)
\\#fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)#也可以通过此行代码对空值复制
df['Year'].value_counts()#实例代码，读者可自行对其他列进行查看数据是否有异常值
df=df[df['Year']!=0]
df=df[df['RMB/m^2']!=0]
xxx=df['Position'].str.split(' -',expand=True)
xxx.rename(columns={0:'6',1:'position'},inplace=True)
xxx=xxx.drop(['6'],axis=1)
df=df.drop(['Position'],axis=1)
df=pd.concat([df,xxx],axis=1)
df=df .drop(['RMB/m^2','室厅数'],axis=1)
df.reset_index(drop=True, inplace=True)
df.rename(columns={'Update day':'Update_day'},inplace=True)
data=df
import pandas as ppd
df=pd.get_dummies(df)
import seaborn as sns 
%pylab inline
pylab.rcParams['figure.figsize']=(15, 10)
corrmatrix1=data.corr()
hm2=sns.heatmap(corrmatrix1,square=True,annot=True,cmap='RdPu',fmt='.2f',annot_kws={'size':10})
from sklearn.model_selection import train_test_split
x=df.drop(['Total_price'],axis=1)
y=df['Total_price']
\\#划分训练集和测试集
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.1, random_state=0)
from sklearn.linear_model import LinearRegression
lr=LinearRegression()
\\# 训练模型
lr.fit(x_train,y_train)
\\# 预测训练集数据
\\#y_train_predict=lr.predict(X_train)
\\# 预测测试集数据
y_test_predict=lr.predict(x_test)
my_submission=pd.DataFrame({'实际价格（万元）': y_test, '预测价格（万元）': y_test_predict })
my_submission.to_csv('test.csv', index=False)