Python爬取链家租房信息

兴趣点：

继续练手，今天以石家庄市开发区为例，爬取所有链家在租房屋信息 这种静态网页我已经练了很多了，已经驾轻就熟了

目标网站：

传送门：https://sjz.lianjia.com/zufang/kaifaqu1/

爬虫大体思路与方法：

大体思路：

（1）找到翻页的规律（链家是静态网页，直接看浏览器上方显示的链接就能找到规律） （2）获取我们想要的出租房的信息包括房源、面积、具体地址等，整理到列表中 （3）存储到本地

方法：

（1）getHTMLText(url)：页面获取方法 （2）fillList(url,roomlist)：把出租房的各种信息存入列表 （3）save(roomlist,path)：读取列表内容存入本地txt文件

参数介绍：

（1）roomlist：存放出租房各种信息的列表 （2）path：本地存储路径

部分细节讲解：

（1）获取house_name的写法： 为什么不直接用 find 方法找a标签？如下：

house_name = house.find("a",class_ = "twoline").get_text().strip()

这样写获取不到内容，这个问题我也不清楚，也不是第一次遇到了，可能是a标签的特性

所以改成了下面这样：

house_name = house.find("p",class_ = "content__list--item--title").find("a").get_text().strip()

（2）为了使获取的内容更整齐，再次强调一下去空格： str.strip()：去除字符串两端的空格 str.replace(“旧字符”,“新字符”)：把旧字符替换成新字符，用于替换内部的空格、制表符和换行符

（3）有个别出租房没有提供部分信息可能导致爬虫中断： 在循环外套一个try——except抛出即可

try: for house in soup.find_all("div",class_ = "content__list--item"): ...... ...... except: print("部分信息缺失，爬取失败*************************")

完整代码：

import requests import re import os from bs4 import BeautifulSoup def getHTMLText(url): try: kv = {"user-agent":"Mozilla/5.0"} r = requests.get(url,headers = kv) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: print("getHTMLText失败！") return "" def fillList(url,roomlist): for i in range(1,55): page_url = url + "pg{}".format(i) html = getHTMLText(page_url) soup = BeautifulSoup(html,"html.parser") try: for house in soup.find_all("div",class_ = "content__list--item"): house_name = house.find("p",class_ = "content__list--item--title").find("a").get_text().strip() house_price = house.find("span",class_ = "content__list--item-price").get_text().strip() des = house.find("p",class_ = "content__list--item--des").get_text() deslist = des.split("/") house_address = deslist[0].strip() house_area = deslist[1].strip() house_towards = deslist[2].strip() house_roomtype = deslist[3].strip() house_floor = deslist[4].strip().replace(" ","").replace("\t","") house_tips = house.find("p",class_ = "content__list--item--bottom oneline").get_text().strip().replace("\n","").replace("\t","") roomlist.append([house_name, house_price, house_address, house_area, house_towards, house_roomtype, house_floor, house_tips]) print(house_address + "爬取成功！") except: print("部分信息缺失，爬取失败*************************") def save(roomlist,path): with open (path,'a',encoding = 'utf-8') as f: f.write("房源"+"\t"+"价格"+"\t"+"具体地址"+"\t"+"面积"+"\t"+"朝向"+"\t"+"房型"+"\t"+"层数"+"\t"+"其他优势"+"\n") for room in roomlist: f.write( room[0] + "\t" + room[1] + "\t" + room[2] + "\t" + room[3] + "\t" + room[4] + "\t" + room[5] + "\t" + room[6] + "\t" + room[7] + "\n") print(room[2] + "存储成功！") f.close() def main(): url = "https://sjz.lianjia.com/zufang/kaifaqu1/" roomlist = [] path = "石家庄开发区租房信息.txt" fillList(url,roomlist) save(roomlist,path) main()

爬取结果展示：

直接写入Excel未免太过麻烦，我习惯了写到txt再转到Excel的方法了(☄⊙ω⊙)☄ 至于怎么用Excel按制表符分列大家应该都会吧？不会有人不会吧？不会吧？不会吧？哈哈