被标题吸引进来的不要骂我。
只是一个简单的实现,随手写了来下载一部喜欢的小说的。示例中的小说只是示例,不是我的菜。
使用了jsoup。挺好用的一个工具。
有需要的话,参考下自己改吧。挺简单的,是吧。
代码如下:
package com.zhyea.doggie;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
public class Doggie {
public static void main(String[] args){
try{
File txtFile = new File(\"D:/无限崩坏.txt\");
createTxtDoc(txtFile);
addContent(txtFile);
}catch(Exception e){
e.printStackTrace();
}
}
/**
* 向小说文件中添加内容
* @param txtFile
* 小说文件
* @throws IOException
* @throws InterruptedException
*/
private static void addContent(File txtFile) throws IOException, InterruptedException{
appendTxt(txtFile, getBookInfo(\"无限崩坏\", \"啪啪啪狂魔\"));
String url = \"http://www.83kxs.com/View/12/12653/{pattern}.html\";
for(int i=5850686; i<=5945501; i++){
try{
String tmp = url.replace(\"{pattern}\", i+\"\");
appendTxt(txtFile, getPageContent(tmp));
}catch(Exception e){
e.printStackTrace();
continue;
}
}
}
/**
* 设置书名和作者
* @param bookName
* 书名
* @param author
* 作者
* @return
*/
private static String getBookInfo(String bookName, String author){
return COMMON.replace(\"{book}\", bookName).replace(\"{author}\", author);
}
/**
* 读取页面内容
* @param url
* 访问路径
* @return
* @throws IOException
*/
private static String getPageContent(String url) throws IOException{
String rtn = null;
Document doc = Jsoup.connect(url).get();
Elements content = doc.select(\".text p\");
Elements title = doc.select(\"#title\");
System.out.println(title.text());
content.select(\"font\").remove();
content.select(\"script\").remove();
content.select(\"ins\").remove();
content.select(\"a\").remove();
rtn = title.text() + NEWLINE
+ content.html().replaceAll(\"<p>\", \"\")
.replaceAll(\"</p>\", \"\")
.replaceAll(\"\\\\<!--(.+)--\\\\>\", \"\")
.replaceAll(\" \", \"\")
.replaceAll(\"<br>\", NEWLINE)
+ NEWLINE;
return rtn;
}
/**
* 创建新的txt文件
* @param fullName
* 文件全名
* @return
* @throws Exception
*/
private static boolean createTxtDoc(File txtFile) throws Exception{
try{
return txtFile.createNewFile();
}catch(Exception e){
throw e;
}
}
/**
* 向txt文件中追加内容
* @param txtFile
* 要操作的txt文件
* @param content
* 要追加的内容
* @throws IOException
*/
private static void appendTxt(File txtFile, String content) throws IOException{
FileWriter writer = null;
try{
writer = new FileWriter(txtFile, true);
writer.append(content);
}finally{
if(null!=writer)writer.close();
}
}
/**
* 换行符
*/
static final String NEWLINE = System.getProperty(\"line.separator\");
/**
* 书前的通用信息
*/
static String COMMON = \"------------------------------------------------------------------\" + NEWLINE
+ \"--------------- 书名:{book}\" + NEWLINE
+ \"--------------- 作者:{author}\" + NEWLINE
+ \"--------------- zhyea.com\" + NEWLINE
+ \"------------------------------------------------------------------\" + NEWLINE;
}
以上就是小编为大家带来的Java实现一个小说采集程序的简单实例全部内容了,希望大家多多支持phpstudy~
本文地址:https://www.stayed.cn/item/12469
转载请注明出处。
本站部分内容来源于网络,如侵犯到您的权益,请 联系我