webmagic垂直爬虫
webmagic是一个开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic的核心非常简单,但是覆盖爬虫的整个流程,也是很好的学习爬虫开发的材料。webmagic的主要特色:1、完全模块化的设计,强大的可扩展性。2、核心简单但是涵盖爬虫的全部流程,灵活
-
大小:
365.04KB
-
演示网站:
暂无
-
当前版本:
暂无
-
日期:
2024-11-15 03:50:00
-
相关链接:
Home Page
-
所属分类:
web应用开发
、
Java 、
-
软件评级:
-
下载人气:
295
源码属性
授权
|
开源
|
大小
|
365.04KB |
语言
|
Java |
webmagic是一个开源的Java
垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic的核心非常简单,但是覆盖爬虫的整个流程,也是很好的学习爬虫开发的材料。
webmagic的主要特色:
1、完全模块化的设计,强大的可扩展性。2、核心简单但是涵盖爬虫的全部流程,灵活而强大,也是学习爬虫入门的好材料。3、提供丰富的抽取页面API。4、无配置,但是可通过POJO+注解形式实现一个爬虫。5、支持多线程。6、支持分布式。7、支持爬取js动态渲染的页面。8、无框架依赖,可以灵活的嵌入到项目中去。
webmagic垂直爬虫下载地址 已被下载295次
本资源由用户投稿上传,内容来自互联网,本站只做免费推荐用于学习分享,如有版权及其他问题,请联系
本站编辑 处理
重要:如软件存在付费、会员、充值等,均属软件开发者或所属公司行为,与本站无关,网友需自行判断