本文实例为大家分享了nodeJs爬虫获取数据代码,供大家参考,具体内容如下
var http=require(\'http\'); var cheerio=require(\'cheerio\');//页面获取到的数据模块 var url=\'http://www.jcpeixun.com/lesson/1512/\'; function filterData(html){ /*所要获取到的目标数组 var courseData=[{ chapterTitle:\"\", videosData:{ videoTitle:title, videoId:id, videoPrice:price } }] */ var $=cheerio.load(html); var courseData=[]; var chapters=$(\".list-collapse\"); chapters.each(function(item){ var chapterTitle=$(this).find(\".collapse-head\").find(\"label\").text(); var videos=$(this).find(\".listview5\").children(\"li\"); var chaptersData={ chaptersTitle:chapterTitle, videosData:[] } videos.each(function(item){ var videoTitle=$(this).find(\".ml10\").attr(\'data-lesson-name\'); var videoId=$(this).find(\".ml10\").attr(\'data-lesson-id\'); var vadeoPrice=$(this).find(\".colblue\").text(); chaptersData.videosData.push({ title:videoTitle, id:videoId, price:vadeoPrice }) }) courseData.push(chaptersData) }) return courseData } function printCourseInfo(courseData){ courseData.forEach(function(item){ console.log(item.chaptersTitle+\'\\n\'); item.videosData.forEach(function(item){ console.log(item.title+\'【\'+item.id+\'】\'+item.price+\'\\n\') }) }) } http.get(url,function(res){ html=\"\"; res.on(\"data\",function(data){ html+=data }) res.on(\'end\',function(){ var courseData=filterData(html); printCourseInfo(courseData) }) })
效果图:
以上就是nodeJs爬虫获取数据的相关代码,希望对大家的学习有所帮助。
本文地址:https://www.stayed.cn/item/11566
转载请注明出处。
本站部分内容来源于网络,如侵犯到您的权益,请 联系我