x-supesite可以自动采集了

发表于

详细设置步骤:http://home.myhz.com/space-2-do-blog-id-88020.html
x-supesite采集的功能很好,可是自带的不能自动采集,经过两天的研究,现在终于可以自动采集了。基本思路是:破解原来加密的文件,修改代码,消除后台采集需要登陆的设置,让PHP模拟浏览器去采集,设置参数,让PHP按照传入的参数去访问相应的网页。其中要注意,采集的一个网页结束后,如果redirect到另外一个网页,要在curl相关函数中判断是否还需要采集,另外,一个PHP文件执行时间太长,会被系统中断。我是对每个采集设置一个cron来解决这个问题的。
现在不用动手了,每天服务器会自己去寻找三次,有新的内容就添加到网站上。
一个字:爽。不用手动采集,省了很多时间,想想还能干点什么……