C++网络爬虫设计与分析

功能介绍：

网络爬虫（Web crawler），是一种“自动化浏览网络”的程序，或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站，以获取或更新这些网站的内容和检索方式。它们可以自动采集所有其能够访问到的页面内容，以便程序做下一步的处理。

设计思路：

1、下载html页面。

2、解析当前html页面的url和图片url，将他们分别放在hrefUrl队列和imgUrl数组中。

3、下载当前imgUrl下的所有图片，并将他们存放在所对应url的文件夹下。

4、用广度遍历的方法，遍历网站所有的url。

爬虫框架设计分析：

class Crawler
{
private:
    string m_url;                     /// @brief 保存初始URL
    queue<string> m_hrefUrl;          /// @brief 保存所有未访问的href
    hash_set<string> m_visitedUrl;    /// @brief 保存所有已经访问过的url
    hash_set<string> m_visitedImg;    /// @brief 保存已经访问过的所有图片
public:
    /// @brief 解析URL，获得主机名，资源名
    /// @param[in]  url 要解析的URL
    /// @param[out] host 解析出来的host
    /// @param[out]  resource 解析出来的资源名
    bool parseURL(const string& url, string& host, string& resource);

    /// @brief 使用Get请求，获得请求页面
    /// @param[in]  url 请求的url
    /// @param[out] response 服务端返回的请求页面内容
    bool getHttpResponse(const string&url, string *&response);

    /// @brief 解析取得当前页面的所有的href以及图片URL
    /// @param[in]  htmlResponse html页面的内容
    /// @param[out] imgurls 存储所有图片的url地址
    void htmlParse(string& htmlResponse, vector<string>& imgurls);

    /// @brief 将url转化为文件名
    /// @param[in] url 需要转化的url
    string toFileName(const string& url);

    /// @brief 将图片下载到img文件夹下
    /// @param[in] imgurls 所有图片的url地址
    /// @param[in] url 图片所对应的url地址
    void downLoadImg(vector<string>& imgurls, const string& url);

    /// @brief 下载一个url下的所有图片
    /// @param[in] url 需要下载图片的url
    void bfs(const string& url);

    /// @brief 广度遍历下载所有url的图片
    void start();
public:
    /// @brief 构造函数
    Crawler();
    Crawler(const string &url);
    ~Crawler();
};

具体实现源码及源码使用方法请参考：https://github.com/yongssu/crawler

注：项目基本功能已经实现，但还存在一些小问题，如果大家感兴趣，可以自己尝试着修改一下，也可以自己根据这个思路自己设计一个爬虫。
原文链接: https://www.cnblogs.com/yongssu/p/4692104.html

欢迎关注

微信关注下方公众号，第一时间获取干货硬货；公众号内回复【pdf】免费获取数百本计算机经典书籍