Node.js中Request模块处理HTTP协议请求的基本使用教程

前端技术 2023/09/02 JavaScript

这里来介绍一个Node.js的模块——request。有了这个模块，http请求变的超简单。

Request使用超简单，同时支持https和重定向。

var request = require(\'request\');
request(\'http://www.google.com\', function (error, response, body) {
 if (!error && response.statusCode == 200) {
 console.log(body) // 打印google首页
}
})

流：

任何响应都可以输出到文件流。

request(\'http://google.com/doodle.png\').pipe(fs.createWriteStream(\'doodle.png\'))

反过来，也可以将文件传给PUT或POST请求。未提供header的情况下，会检测文件后缀名，在PUT请求中设置相应的content-type。

fs.createReadStream(\'file.json\').pipe(request.put(\'http://mysite.com/obj.json\'))
请求也可以pipe给自己。这种情况下会保留原content-type和content-length。

request.get(\'http://google.com/img.png\').pipe(request.put(\'http://mysite.com/img.png\'))
表单：

request支持application/x-www-form-urlencoded和multipart/form-data实现表单上传。

x-www-form-urlencoded很简单：

request.post(\'http://service.com/upload\', {form:{key:\'value\'}})

或者：

request.post(\'http://service.com/upload\').form({key:\'value\'})

使用multipart/form-data不用操心设置header之类的琐事，request会帮你解决。

var r = request.post(\'http://service.com/upload\')
var form = r.form()
form.append(\'my_field\', \'my_value\')
form.append(\'my_buffer\', new Buffer([1, 2, 3]))
form.append(\'my_file\', fs.createReadStream(path.join(__dirname, \'doodle.png\'))
form.append(\'remote_file\', request(\'http://google.com/doodle.png\'))

HTTP认证：

request.get(\'http://some.server.com/\').auth(\'username\', \'password\', false);

或

request.get(\'http://some.server.com/\', {
 \'auth\': {
 \'user\': \'username\',
 \'pass\': \'password\',
 \'sendImmediately\': false
}
});

sendImmediately，默认为真，发送一个基本的认证header。设为false之后，收到401会重试（服务器的401响应必须包含WWW-Authenticate指定认证方法）。

sendImmediately为真时支持Digest认证。

OAuth登录：

// Twitter OAuth
var qs = require(\'querystring\')
 , oauth =
 { callback: \'http://mysite.com/callback/\'
 , consumer_key: CONSUMER_KEY
 , consumer_secret: CONSUMER_SECRET
}
 , url = \'https://api.twitter.com/oauth/request_token\'
;
request.post({url:url, oauth:oauth}, function (e, r, body) {
 // Ideally, you would take the body in the response
 // and construct a URL that a user clicks on (like a sign in button).
 // The verifier is only available in the response after a user has
 // verified with twitter that they are authorizing your app.
 var access_token = qs.parse(body)
 , oauth =
 { consumer_key: CONSUMER_KEY
 , consumer_secret: CONSUMER_SECRET
 , token: access_token.oauth_token
 , verifier: access_token.oauth_verifier
}
 , url = \'https://api.twitter.com/oauth/access_token\'
;
 request.post({url:url, oauth:oauth}, function (e, r, body) {
 var perm_token = qs.parse(body)
 , oauth =
 { consumer_key: CONSUMER_KEY
 , consumer_secret: CONSUMER_SECRET
 , token: perm_token.oauth_token
 , token_secret: perm_token.oauth_token_secret
}
 , url = \'https://api.twitter.com/1/users/show.json?\'
 , params =
 { screen_name: perm_token.screen_name
 , user_id: perm_token.user_id
}
;
 url += qs.stringify(params)
 request.get({url:url, oauth:oauth, json:true}, function (e, r, user) {
console.log(user)
})
})
})

定制HTTP header

User-Agent之类可以在options对象中设置。在下面的例子中，我们调用github API找出某仓库的收藏数和派生数。我们使用了定制的User-Agent和https.

var request = require(\'request\');

var options = {
 url: \'https://api.github.com/repos/mikeal/request\',
 headers: {
 \'User-Agent\': \'request\'
}
};

function callback(error, response, body) {
 if (!error && response.statusCode == 200) {
 var info = JSON.parse(body);
 console.log(info.stargazers_count +\"Stars\");
 console.log(info.forks_count +\"Forks\");
}
}

request(options, callback);

cookies：

默认情况下，cookies是禁用的。在defaults或options将jar设为true，使后续的请求都使用cookie.

var request = request.defaults({jar: true})
request(\'http://www.google.com\', function () {
request(\'http://images.google.com\')
})

通过创建request.jar()的新实例，可以使用定制的cookie，而不是request全局的cookie jar。

var j = request.jar()
var request = request.defaults({jar:j})
request(\'http://www.google.com\', function () {
request(\'http://images.google.com\')
})

或者

var j = request.jar()
var cookie = request.cookie(\'your_cookie_here\')
j.setCookie(cookie, uri, function (err, cookie){})
request({url: \'http://www.google.com\', jar: j}, function () {
request(\'http://images.google.com\')
})

注意，setCookie至少需要三个参数，最后一个是回调函数。

可以用request的pipe方法很方便的获取图片的文件流

 var request = require(\'request\'),
 fs = require(\'fs\');
 
 request(\'https://www.google.com.hk/images/srpr/logo3w.png\').pipe(fs.createWriteStream(\'doodle.png\'));

更多使用方法和说明可点击这里继续阅读：https://github.com/mikeal/request/

示例

这里写了一个很简单的示例，用来抓取去哪儿网的酒店查询数据（获取酒店某一时间段内各房型的价格排名）：

  

 var request = require(\'request\'),
 fs = require(\'fs\');
 
 
 var reqUrl = \'http://hotel.qunar.com/price/detail.jsp?fromDate=2012-08-18&toDate=2012-08-19&cityurl=shanghai_city&HotelSEQ=shanghai_city_2856&cn=5\';
 
 request({uri:reqUrl}, function(err, response, body) {
 
 //console.log(response.statusCode);
 //console.log(response);
 
 //如果数据量比较大，就需要对返回的数据根据日期、酒店ID进行存储，如果获取数据进行对比的时候直接读文件
 var filePath = __dirname + \'/data/data.js\';
 
 if (fs.exists(filePath)) {
  fs.unlinkSync(filePath);
 
  console.log(\'Del file \' + filePath);
 }
 
 fs.writeFile(filePath, body, \'utf8\', function(err) {
  if (err) {
  throw err;
  }
 
  console.log(\'Save \' + filePath + \' ok~\');
 });
 
 console.log(\'Fetch \' + reqUrl + \' ok~\');
 });

 

这个例子源于一个做酒店业务的朋友，想知道自己在网站上提供给客户的价格的竞争力：

1、如果提供的价格过低，自己赚到的钱就会少了，所以如果自己价格是最低了，就需要看第二低是多少，然后决定是否调整；

2、如果提供的价格过高，那么被搜索出来的排名结果就比较靠后，没什么客户来预订酒店，业务就没有了

 

因为做的酒店预订业务很多，比如超过2千家以上，如果一个一个依赖人工去查询排名就比较被动，而且很难再做大，所以他的这个需求我分析了一下是可行的，而且可以做成一个很好的实时预警系统（当然数据5~10分钟会自动在页面刷新一次）。这样才能保障利润最大化，提高销售、客户部门的工作效率，加快酒店的合作数量和公司的人员扩张：

1、不亏本，亏本的买卖不做；

2、如果发现提供的价格过低或是过高，需要支持调用平台的api接口，直接修改价格；

3、有自动生成分析报表功能，分析竞争对手在价格调整策略上的变化情况；

本文地址：https://www.stayed.cn/item/3381

转载请注明出处。

本站部分内容来源于网络,如侵犯到您的权益,请 联系我

我的博客

人生若只如初见，何事秋风悲画扇。

我的标签

随笔档案