nodeJs爬虫获取数据简单实现代码

前端技术 2023/09/04 JavaScript

本文实例为大家分享了nodeJs爬虫获取数据代码,供大家参考,具体内容如下

var http=require(\'http\');
var cheerio=require(\'cheerio\');//页面获取到的数据模块
var url=\'http://www.jcpeixun.com/lesson/1512/\';
function filterData(html){
  /*所要获取到的目标数组 
   var courseData=[{
    chapterTitle:\"\",
    videosData:{
      videoTitle:title,
      videoId:id,
      videoPrice:price
    }
  }] */
  var $=cheerio.load(html);
  var courseData=[];
  var chapters=$(\".list-collapse\");
  chapters.each(function(item){
    var chapterTitle=$(this).find(\".collapse-head\").find(\"label\").text();
    var videos=$(this).find(\".listview5\").children(\"li\");
    var chaptersData={
      chaptersTitle:chapterTitle,
      videosData:[]
    }
    videos.each(function(item){
      var videoTitle=$(this).find(\".ml10\").attr(\'data-lesson-name\');
      var videoId=$(this).find(\".ml10\").attr(\'data-lesson-id\');
      var vadeoPrice=$(this).find(\".colblue\").text();
      chaptersData.videosData.push({
        title:videoTitle,
        id:videoId,
        price:vadeoPrice
      })
    })
    courseData.push(chaptersData) 
  })
  return courseData
}
function printCourseInfo(courseData){
  courseData.forEach(function(item){
    console.log(item.chaptersTitle+\'\\n\');
    item.videosData.forEach(function(item){
      console.log(item.title+\'【\'+item.id+\'】\'+item.price+\'\\n\')
    })
  })
}
http.get(url,function(res){
  html=\"\";
  res.on(\"data\",function(data){
    html+=data
  })
  res.on(\'end\',function(){
    var courseData=filterData(html);
    printCourseInfo(courseData)
  })
})

效果图:

以上就是nodeJs爬虫获取数据的相关代码,希望对大家的学习有所帮助。

本文地址:https://www.stayed.cn/item/11566

转载请注明出处。

本站部分内容来源于网络,如侵犯到您的权益,请 联系我

我的博客

人生若只如初见,何事秋风悲画扇。