分享一个好用的Nodejs爬虫工具-crawler

在网上找了一个用于爬取的库,挺好用,分享给大家,直接看代码

这里的地址随便找了一个网站,请勿非法使用!!!

const Crawler = require('crawler');

var c = new Crawler({
    maxConnections: 2,
    jQuery: 'cheerio',
});

const baseUrl = 'http://kaijiang.500.com/ssq.shtml';
c.queue({
    url: baseUrl, callback: (error, res, done) => {
        if (error) {
            return console.log(error);
        } else {
            var $ = res.$;
            let dates = ''
            let reds = [];
            let blues = [];
            dates = $('#change_date').text()
            $('.ball_box01').children().children().filter('.ball_red').each((i, element) => {
                reds.push($(element).text())
            });
            blues = [dates, $('.ball_box01').children().find('.ball_blue').text()]
            let others = [];
            Object.values($('.iSelectList').children()).forEach(element => {
                let p = $(element).text();
                if ($(element)[0]) {
                    let purl = $(element)[0].attribs.href;
                    others.push({ [p]: purl })
                }
            });

            console.log(reds, blues, others)
        }
        done();
    }
},
);

由于版权原因,本站共享资源只供云盘资源,版权均属于影片公司所有,请在下载后24小时删除,切勿用于商业用途。本站所有资源信息均从互联网搜索而来,本站不对显示的内容承担责任,如您认为本站页面信息侵犯了您的权益,请附上版权证明邮件并发送到[email protected]告知,我们会在收到邮件后72小时内删除。
想开点 » 分享一个好用的Nodejs爬虫工具-crawler