爬取网易云的华语歌手的前50歌曲，可以用来练手熟悉爬虫

# coding:utf-8 from bs4 import BeautifulSoup import re from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait import csv browser = webdriver.Chrome() wait = WebDriverWait(browser, 5) # 设置等待时间 # 返回歌手名字和歌手id def get_singer(url): browser.get(url) browser.switch_to.frame('g_iframe')#转到它所在的窗口 html = browser.page_source#selenium的page_source方法可以获取到页面源码 soup = BeautifulSoup(html, 'lxml')#解析源码 # 有图歌手m-artist-box > li:nth-child(1) > p > a.nm.nm-icn.f-thide.s-fc0 # #无图歌手#m-artist-box > li:nth-child(91) > a info = soup.select('.nm.nm-icn.f-thide.s-fc0')#找到歌手名所在的ID sname = [] songids = [] for snames in info: name = snames.get_text() songid = str(re.findall('href="(.*?)"', str(snames)) ).split('=')[1].split('\'')[0]#利用正则表达式提取出来歌手的ID sname.append(name) songids.append(songid) return sname, songids#提取出来 def song_url(): sname, songids = get_singer(url)#拿到歌手名跟歌手的ID以后 top50urls = [] for id in songids: # 拼接热门歌曲 top 50 的url top50url = 'http://music.163.com/#/artist?id={}'.format(id)#找到这个歌手的最受欢迎的50首歌曲 top50urls.append(top50url) return top50urls def song_name(): songnames = [] for top50url in song_url(): browser.get(top50url) browser.switch_to.frame('g_iframe') html = browser.page_source soup = BeautifulSoup(html, 'lxml') songinfo = soup.select('div div div span a b') songname = re.findall('title="(.*?)"', str(songinfo)) songnames.append(songname) return songnames def get_data():#探索数据 sname, songids = get_singer(url) songnames = song_name()#去找歌手的歌曲 data = [] for snames, songs in zip(sname, songnames): info = {} info['歌手名字'] = snames info['top50歌曲'] = songs # 将字典里 value 值为list转换为一对一关系 for i in info: for j in info[i]: info2 = {i: j} data.append(info2) return data def download2csv(): print('保存歌手信息中...请稍后查看') with open('E:\\歌手top50.csv', 'w', newline='', encoding='utf-8-sig') as f: fieldnames = ['歌手名字', 'top50歌曲'] writer = csv.DictWriter(f, fieldnames=fieldnames)#DictWriter 以字典形式写入 # 但是如果此时直接写入内容，会导致没有数据名，所以，应先写数据名（也就是我们上面定义的文件头）。 # 写数据名，可以自己写如下代码完成： writer.writeheader() #得到要存在的字典信息 data = get_data() # 之后，按照（属性：数据）的形式，将字典写入CSV文档即可 writer.writerows(data) print('保存成功') # 1开头：华语；2开头：欧美，4：其他；6：日本；7：韩国 if __name__ == '__main__': idlist = [1001] for id in idlist: url = 'http://music.163.com/#/discover/artist/cat?id={}&initial=-1'.format(str(id)) download2csv()

有啥不懂的可以留言问我啊