Java实现一个小说采集程序的简单实例

前端技术 2023/09/05 Java

被标题吸引进来的不要骂我。

只是一个简单的实现,随手写了来下载一部喜欢的小说的。示例中的小说只是示例,不是我的菜。

使用了jsoup。挺好用的一个工具。

有需要的话,参考下自己改吧。挺简单的,是吧。

代码如下:

package com.zhyea.doggie;

import java.io.File;
import java.io.FileWriter;
import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document; 
import org.jsoup.select.Elements;

public class Doggie {

  public static void main(String[] args){
    try{
      File txtFile = new File(\"D:/无限崩坏.txt\");
      createTxtDoc(txtFile); 
      addContent(txtFile);
    }catch(Exception e){
      e.printStackTrace();
    }
      
  }
  
  /**
   * 向小说文件中添加内容
   * @param txtFile
   *       小说文件
   * @throws IOException
   * @throws InterruptedException
   */
  private static void addContent(File txtFile) throws IOException, InterruptedException{
    appendTxt(txtFile, getBookInfo(\"无限崩坏\", \"啪啪啪狂魔\"));
    String url = \"http://www.83kxs.com/View/12/12653/{pattern}.html\";
    for(int i=5850686; i<=5945501; i++){
      try{
        String tmp = url.replace(\"{pattern}\", i+\"\");
        appendTxt(txtFile, getPageContent(tmp));
      }catch(Exception e){
        e.printStackTrace();
        continue;
      }
    }
  }
    
  /**
   * 设置书名和作者
   * @param bookName
   *         书名
   * @param author
   *         作者
   * @return
   */
  private static String getBookInfo(String bookName, String author){
    return COMMON.replace(\"{book}\", bookName).replace(\"{author}\", author);
  }  
  
  /**
   * 读取页面内容
   * @param url
   *      访问路径       
   * @return
   * @throws IOException 
   */
  private static String getPageContent(String url) throws IOException{
    String rtn = null;
    
    Document doc = Jsoup.connect(url).get();
    Elements content = doc.select(\".text p\");
    Elements title = doc.select(\"#title\");
    
    System.out.println(title.text());
    
    content.select(\"font\").remove();
    content.select(\"script\").remove();
    content.select(\"ins\").remove();
    content.select(\"a\").remove();
      
    rtn = title.text() + NEWLINE 
      + content.html().replaceAll(\"<p>\", \"\")
              .replaceAll(\"</p>\", \"\")
              .replaceAll(\"\\\\<!--(.+)--\\\\>\", \"\")
              .replaceAll(\" \", \"\")
              .replaceAll(\"<br>\", NEWLINE)
      + NEWLINE;
    
    return rtn;
  }
  
  /**
   * 创建新的txt文件
   * @param fullName
   *       文件全名
   * @return
   * @throws Exception
   */
  private static boolean createTxtDoc(File txtFile) throws Exception{
    try{
      return txtFile.createNewFile();
    }catch(Exception e){
      throw e;
    }
  }
  
  
  /**
   * 向txt文件中追加内容
   * @param txtFile
   *       要操作的txt文件
   * @param content
   *       要追加的内容
   * @throws IOException
   */
  private static void appendTxt(File txtFile, String content) throws IOException{
    FileWriter writer = null;
    try{
      writer = new FileWriter(txtFile, true);
      writer.append(content);
    }finally{
      if(null!=writer)writer.close();
    }
  }
  
  /**
   * 换行符
   */
  static final String NEWLINE = System.getProperty(\"line.separator\");
  
  /**
   * 书前的通用信息
   */
  static String COMMON = \"------------------------------------------------------------------\" + NEWLINE
                + \"--------------- 书名:{book}\" + NEWLINE
                + \"--------------- 作者:{author}\" + NEWLINE
                + \"--------------- zhyea.com\" + NEWLINE
                + \"------------------------------------------------------------------\" + NEWLINE;
  
}

以上就是小编为大家带来的Java实现一个小说采集程序的简单实例全部内容了,希望大家多多支持phpstudy~

本文地址:https://www.stayed.cn/item/12469

转载请注明出处。

本站部分内容来源于网络,如侵犯到您的权益,请 联系我

我的博客

人生若只如初见,何事秋风悲画扇。