首页 > 代码库 > Atitit atiplat_reader 基于url阅读器的新特性
Atitit atiplat_reader 基于url阅读器的新特性
Atitit atiplat_reader 基于url阅读器的新特性
1.1. feature功能特性1
1.2. note1
1.1. feature功能特性
支持url数据源,实际就是只支持一层连接爬取的爬虫。。
数据源管理使用explore+notepad++管理,分组使用单个文件。。文件里面是urls
定时任务使用ping 工具来实现。。
直接抓取使用bat文件。。
Batch批量抓取
云阅读爬虫的实现,使用 ftp分布式远程即可。哈哈。
1.2. note
保存html的时候,应该使用二进制模式,避免编码选择。。
1.3. 调用C:\0workspace\atiplat_spider\reader.bat
public static void main(String[] args) {
String url = args[0];
String savedir = args[1];
if (System.getProperty("mode") != null && System.getProperty("mode").equals("batch")) {
new Reader().rssDirMode(System.getProperty("feedDir"), savedir);
} else
new Reader().rssSingle(url, savedir);
System.out.println("-------------fini");
}
作者:: 绰号:老哇的爪子claw of Eagle 偶像破坏者Iconoclast image-smasher
捕鸟王"Bird Catcher 王中之王King of Kings 虔诚者Pious 宗教信仰捍卫者 Defender Of the Faith. 卡拉卡拉红斗篷 Caracalla red cloak
简称:: Emir Attilax Akbar 埃米尔 阿提拉克斯 阿克巴
全名::Emir Attilax Akbar bin Mahmud bin attila bin Solomon bin adam Al Rapanui 埃米尔 阿提拉克斯 阿克巴 本 马哈茂德 本 阿提拉 本 所罗门 本亚当 阿尔 拉帕努伊
常用名:艾提拉(艾龙), EMAIL:1466519819@qq.com
头衔:uke总部o2o负责人,全球网格化项目创始人,
uke宗教与文化融合事务部部长, uke宗教改革委员会副主席
,Uke部落首席大酋长,
uke制度与重大会议委员会委员长,uke保安部首席大队长,uke制度检查委员会副会长,
奶牛科技cto ,uke 首席cto 技术总监 研发总监 研发主管 部门总监
uke波利尼西亚区大区连锁负责人 汤加王国区域负责人。
uke克尔格伦群岛区连锁负责人,莱恩群岛区连锁负责人,
uke布维岛和南乔治亚和南桑威奇群岛大区连锁负责人
Uke软件标准化协会理事长理事长 uke终身教育学校副校长
Uke 数据库与存储标准化协会副会长 uke出版社编辑总编
Uke医院 与医学院方面的创始人
转载请注明来源:attilax的专栏 ?http://www.cnblogs.com/attilax/
--Atiend
Atitit atiplat_reader 基于url阅读器的新特性