使用Jsoup抓取新闻并下载图片，同时去掉不需要的HTML标签

linux下时间与jav

Redis主从服务器配置

10月17

大 | 中 | 小

10:17Heck

Web开发 From: 本站原创

直接上代码

private  void downloadPage(NewsItem newsItem,OutputStream output) throws MalformedURLException, IOException {
        File baseDir =new File(basePath);
        if(!baseDir.exists()) {
            baseDir.mkdirs();
        }
        String portUrl=newsItem.getUrl();
         Whitelist whiteList=new Whitelist();
         whiteList.addTags("img","p");
         whiteList.addAttributes("img","src");    
         Element contentBody=Jsoup.parse(new URL(portUrl).openStream(),"utf-8",portUrl).body().getElementById("ContentBody");
         contentBody.select(".abstract").remove();
         contentBody.select(".b-review").remove();
         contentBody.select(".res-edit").remove();
         Elements images=contentBody.select("img");         
         File dataDir=new File(baseDir,DigestUtils.md5Hex(portUrl));
         if(!dataDir.exists()) {
             dataDir.mkdirs();
         }
         ZipOutputStream zip=new ZipOutputStream(output);
         ZipEntry entry=null;
         if(images.size()>0) {      
             for(Element image:images) {
                 String imgSrc=images.attr("abs:src");                  
                 image.attr("src", downloadImage(zip,imgSrc));
             }
         }
         String text=Jsoup.clean(contentBody.html(), "",
                 whiteList,
                 new Document.OutputSettings().prettyPrint(true)
         );
         System.out.println(text);
        
         entry=new ZipEntry("index.html");
         zip.putNextEntry(entry);
         zip.write(text.getBytes());
         zip.closeEntry();
         entry=new ZipEntry("config.json");
         zip.putNextEntry(entry);         
         zip.write(new Gson().toJson(newsItem).getBytes());    
         zip.close();
         zip.close();
         
    }

来源：Heck's Blog
地址：https://www.heckjj.com/post/477/
转载时须以链接形式注明作者和原始出处及本声明，否则将追究法律责任，谢谢配合！

阅读(790) | 评论(0) | 引用(0)

< 2026 > < 6 >
日	一	二	三	四	五	六
	1	2	3	4	5	6
7	8	9	10	11	12	13
14	15	16	17	18	19	20
21	22	23	24	25	26	27
28	29	30

Heck's Blog

使用Jsoup抓取新闻并下载图片，同时去掉不需要的HTML标签

关于博主

分类

日历

统计

最新日志

其他

选择模板

链接

最新评论

赞助商链接

归档