我用Python爬取了敦煌网

做跨境电商,产品的市场行情是非常关键的指标,无论是新品开发还是市场调研都有需求,那么今天我们就来做个敦煌网的产品价格与销量查询的工具。

一、基础版本

其实敦煌网是很客气的网站,基本上没有做针对的反爬措施,既然别人这么客气,我们也要懂得礼貌,做爬虫的同学都知道爬虫的基本礼仪。那就是该停就停,能在晚上没有太多人的时候运行就放在人少的时候,频率不要太高。不过还我们的工具,一开始就打算按照关键词进行爬取,所以对网站的负担不会太重,可以放心的使用。

话不多说,先上代码


import requests
from bs4 import BeautifulSoup
import re
from urllib.parse import quote_plus
import sys

def save_data(url,path='dhgate.csv',data=None):
    web_data = requests.get(url)
    soup = BeautifulSoup(web_data.text,'lxml')
    prices = []
    orders = []
    for item in soup.select('#proList .price'):
        m = re.search(r'(\d*.\d*) - (\d*.\d*)',item.text)
        if m:
            price = float(m.group(1))+float(m.group(2))
            prices.append(round(price/2,2))
        else:
            pass
    for item in soup.select('#proList .attribute'):
        m = re.search(r'Sold: (\d+)',item.text)
        if m:
            orders.append(m.group(1)) 
        else:
            orders.append(None)

    for price, order in zip(prices,orders):
        data = {
        'price': price,
        'order': order
        }
        print(data)
        with open(path,'a') as f:
            f.write('{},{}\n'.format(data['price'],data['order']))

def get_data(key_word,page_num):
    key_word = quote_plus(key_word)
    urls = ['http://www.dhgate.com/w/{}/{}.html'.format(key_word,str(i)) 
        for i in range(page_num)]
    for url in urls:
        save_data(url,key_word+'.csv')

if __name__ == '__main__':
    key_word,page_num = sys.argv[1:3]
    get_data(key_word,int(page_num))

内容比较简单,为了让大家不至于看的太累,注释什么的大多被我删除了。
下面我们来简单的讲解下这段代码。
首先,我们导入要用的包:

import requests # requests包主要用来获取网页内容
from bs4 import BeautifulSoup # BeautifulSoup用来解释网页内容
import re # re包是用正则来辅助解析用
from urllib.parse import quote_plus # quote_plus用来处理关键词
import sys # sys用来获取命令行的参数

主要流程都在__main__里面,我们通过sys获取的关键词和页数,这里没有异常处理,其实应该对传入的参数进行异常处理下的。然后直接运行get_data函数获取我们所需的数据。我们直接在get_data函数里调用的save_data把数据存储到csv文件中。
这个是最早的版本,大概是在2016写的,现在运行还是能够成功。这个版本,只获取的价格与销量。

二、第一次重构

其实很早就想重构一下,一直没有动力,大概是2017年3月的时候,有朋友问我对标题是怎么做的,终于找到理由重构一下了, 简单重构了下,新代码比较丑,数据储存还有bug, 当时太晚了,就没优化了,实现了获取产品标题,价格,起订量,销量,好评,店铺地址,卖家名,店铺好评率的获取。


import requests
from bs4 import BeautifulSoup
import re
from urllib.parse import quote_plus
import sys
from numpy import mean

def save_data(url,path='dhgate.csv',data=None):
    web_data = requests.get(url)
    soup = BeautifulSoup(web_data.text,'lxml')
        info = []
    items = soup.find_all("div", "listitem")
    for item in items:
        title = item.find("h3").find("a").text # 标题
        price = item.find("li","price").text # 价格
        m = re.findall(r'(\d+\.*\d+)', price)
        price = mean(list(map(float, m))) # 计算均价
        attribute = item.find("ul", "attribute").text
        min_order = re.findall(r'Min. Order: (\d+)', attribute)[0] # 起订量
        order = re.findall(r'Sold: (\d+)', attribute)
        order = order[0] if len(order) > 0 else 0 # 订单量
        feedback = item.find("span","reviewnum")
        feedback = re.findall(r"\d+", feedback.text)[0] if feedback else 0
        seller = list(item.find("span","seller").stripped_strings)[-1]
        store_url = item.find("span","seller").find("a")['href']
        store_feedback = item.find("li","feedback")
        store_feedback = re.findall(r"\d+\.*\d+", 
            store_feedback.text)[0] if store_feedback else 0
        data = {
            'title': title,
            'price': price,
            'min_order': min_order,
            'order': order,
            'feedback': feedback,
            'seller': seller,
            'store_url': store_url,
            'store_feedback': store_feedback
        }
        print(data)
        with open(path,'a') as f:
            f.write('{}\t{}\t{}\t{}\t{}\t{}\t{}\t{}\n'.format(
                data['title'],
                data['price'],
                data['min_order'],
                data['order'],
                data['feedback'],
                data['seller'],
                data['store_url'],
                data['store_feedback']
                ))

def get_data(key_word,page_num):
    key_word = quote_plus(key_word)
    urls = ['http://www.dhgate.com/w/{}/{}.html'.format(key_word,str(i)) 
        for i in range(page_num)]
    for url in urls:
        save_data(url,key_word+'.csv')

if __name__ == '__main__':
    key_word,page_num = sys.argv[1:3]
    get_data(key_word,int(page_num))

老样子,简单讲解下,其实主体和第一次写的没有太大差别,主要是字段解析这里,多添加了一些内容:

for item in items:
        title = item.find("h3").find("a").text # 标题
        price = item.find("li","price").text # 价格
        m = re.findall(r'(\d+\.*\d+)', price)
        price = mean(list(map(float, m))) # 计算均价
        attribute = item.find("ul", "attribute").text
        min_order = re.findall(r'Min. Order: (\d+)', attribute)[0] # 起订量
        order = re.findall(r'Sold: (\d+)', attribute)
        order = order[0] if len(order) > 0 else 0 # 订单量
        feedback = item.find("span","reviewnum")
        feedback = re.findall(r"\d+", feedback.text)[0] if feedback else 0
        seller = list(item.find("span","seller").stripped_strings)[-1]
        store_url = item.find("span","seller").find("a")['href']
        store_feedback = item.find("li","feedback")
        store_feedback = re.findall(r"\d+\.*\d+", 
            store_feedback.text)[0] if store_feedback else 0

BeautifulSoupcss selector其实还是很好用的,当然,解析速度是相当来说慢了点,不过影响不是太大。后面我们会用lxmlxpath来重构,速度会好很多。对于新手,或者前端不是太理解的人来说,做爬虫还是比较坑的,我的经验来说,做爬虫最好还是要懂点前端, 当然懂得越多越好,爬虫与前端的反爬虫一直是这样相爱相杀,所以你越了解你的敌人,你就越得心就手。

三、用类的思想做个小框架

前面的内容基本已经能满足我们的需求了,但是类的思想可以让我们做到解耦,功能模块更清晰。
先上一个scrapy的框架图来镇楼:

《我用Python爬取了敦煌网》

主要内容有scrapy引擎,scheduler调度器,itempipline数据处理,downloader下载,spiders爬虫程序。
我们就模仿这个框架做一个简单的:

main.py # 主程序
url_manager.py # url管理器
html_downloader.py # 下载器 相当于scrapy的downloader
html_parser.py # 网页解析器 scrapy的解析直接就是在spiders里
html_outputer.py # 数据处理器 相当于scrapy的item pipeline

有了这几个类,我们已经可以完成一个简单的框架了。main.py 里主要是保证任务的进行。

import url_manager
import html_downloader
import html_outputer
import html_parser

class SpiderMain(object):
    def __init__(self):
        self.urls = url_manager.UrlManager()
        self.downloader = html_downloader.HtmlDownloader()
        self.parser = html_parser.HtmlParser()
        self.outputer = html_outputer.HtmlOutputer()

    def craw(self, key_word, page_num):
        count = 1
        self.urls.build_url(key_word, int(page_num))
        while self.urls.has_new_url():
            try:
                new_url = self.urls.get_new_url()
                print(f"craw {count} : {new_url}")
                html_cont = self.downloader.download(new_url)
                new_data = self.parser.parse(new_url, html_cont)
                self.outputer.collect_data(new_data)
                count += 1
            except Exception as e:
                print("craw failed", e)
        self.outputer.to_csv()
        # return self.outputer.datas

if __name__ == "__main__":
    spider = SpiderMain()
    print(spider.craw("women dress", "2"))

主程序内容比较简单,导入相应的类,构建了一个爬虫主类,传入关键词和页数,爬虫就愉快的开始爬网了。
核心就在这个craw函数。

  1. 首先url管理器构建一个初始url,告诉爬虫从哪儿开始爬取。
  2. 然后爬虫开始看url管理器里有没有新的url,有就获取新的url,把新的url传入下载器进行下载。
  3. 然后下载器把下载的数据传入解析器进行解析。
  4. 数据处理器收集解析器解析出来的新数据。
  5. 数据处理器保存数据到本地。

下面我们一个一个讲解这几个功能类:

  • url_manage.py url管理器

《我用Python爬取了敦煌网》

build_url 构建初始网址
add_new_url 添加新的url到管理器
has_new_url 检查管理器里有没有新的url
get_new_url 从管理器里获取新的url
show_urls 遍历管理器里的url
这里的功能实际上都是针对的__init__里面设置的两个set,这里没有使用数据库,使用数据库也是一样的效果。

  def __init__(self):
        self.new_urls = set()
        self.old_urls = set()
        self.site = 'http://www.dhgate.com/w/{0}/{1}.html'
  • html_downloader.py 下载器

《我用Python爬取了敦煌网》

下载器其实很简单,只有一个方法,就是下载,这里直接引入requests包,使用其相关方法就完成了download方法。

  • html_parser.py 网页解析器

《我用Python爬取了敦煌网》

解析器是整个项目的核心,不过核心代码其实和第二次重构里差不多,基本上就是把第二次的核心代码挪过来就可以用了。

 def _get_new_data(self, page_url, soup):
        items = soup.find_all("div", "listitem")
        datas = []
        for item in items:
            title = item.find("h3").find("a").text  # 标题
            product_url = HtmlParser.format_str(
                item.select("h3 > a.subject")[0].get("href"))
            price = item.find("li", "price").text  # 价格
            min_price, max_price = re.findall(r'(\d+\.*\d+)', price)  # 最低价,最高价
            attribute = item.find("ul", "attribute").text
            min_order = re.findall(r'Min. Order: (\d+)', attribute)[0]  # 起订量
            order = re.findall(r'Sold: (\d+)', attribute)
            order = order[0] if len(order) > 0 else 0  # 订单量
            feedback = item.find("span", "reviewnum")
            feedback = re.findall(r"\d+",
                                  feedback.text)[0] if feedback else 0  # 产品好评
            seller = list(item.find("span",
                                    "seller").stripped_strings)[-1]  # 卖家
            store_url = item.find("span", "seller").find("a")['href']  # 店铺链接
            store_feedback = item.find("li", "feedback")
            store_feedback = re.findall(
                r"\d+\.*\d+",
                store_feedback.text)[0] if store_feedback else 0  # 店铺评价
            data = {
                'page_url': page_url,
                'title': title,
                'product_url': 'http:' + product_url,
                'min_price': min_price,
                'max_price': max_price,
                'min_order': min_order,
                'order': order,
                'feedback': feedback,
                'seller': seller,
                'store_url': store_url,
                'store_feedback': store_feedback
            }
            datas.append(data)
        return datas

就不多说了,parse方法里引用_get_new_data解析完成返回数据。

  • html_outputer.py 数据处理器

其实这一个叫做数据处理器可能不太准确,叫做输出器可能更好,因为它的主要做用只是输出数据到本地存储。而且我们真正的数据处理其实都在解析器里已经完成了,大家可以看上面的代码。而且这里只有三个方法.

《我用Python爬取了敦煌网》

collect_data 收集前面处理好的数据
to_html 把数据输出成html格式
to_csv 把数据输出成csv格式,这个就和我们之前做的一样,不过这里使用了csv包,效率更高

    def to_html(self):
        with open('output.html', 'w') as f:
            f.write("<html>")
            f.write("<body>")
            f.write("<table>")
            f.write("<tr>")
            for key in self.datas[0].keys():
                f.write(f"<td>{key}</td>")
            f.write("</tr>")
            for data in self.datas:
                f.write("<tr>")
                for key, value in data.items():
                    f.write(f"<td>{value}</td>")
                f.write("</tr>")
            f.write("</table>")
            f.write("</body>")
            f.write("</html>")

    def to_csv(self, path="output.csv"):
        with open(path, 'w', newline="") as f:
            try:
                writer = csv.DictWriter(f, self.datas[0].keys())
            except IndexError:
                print(self.datas[0].keys())

            writer.writeheader()
            for data in self.datas:
                writer.writerow(data)

可以看到输出到html稍微麻烦点,主要是要写html特有的标签,而csv就相当简单了,csv包里有相应的方法,可以直接使用。

就这样,整体项目被我们用小框架实现了。

后记

下一篇,我们用python自带的图形库tk来实现一个界面,方便普通用法使用。大家记得关注我公众号,想要 源码可以在公众号后台输入 0020 获取。

点赞
关注极客数据微信公众号

发表评论

电子邮件地址不会被公开。 必填项已用*标注