Linux下使用系统自带计划任务功能实现定时采集教程

admin 2015-10-12 2043

首先ssh连接服务器,运行:
crontab -e
然后,输入或者粘贴进去。
0 */2 * * * /usr/bin/curl http://www.seacms.net
五个星号分别代表分、时、日、月、周。以上是两小时运行一次。
十分钟一次就是:
*/10 * * * * /usr/bin/curl http://www.seacms.net



实际采集网址获取办法:

第一步: 登录网站后台,进入资源库,在你要采集的目标上点击右键 属性,获取在采集当天或本周的链接地址

复制右侧红框中的地址

第二步:修改上一步复制的网址里的 admin_reslib.php 为 admin_reslib2.php,并且在最后面添加: &password=123456  其中123456是你自己设置的密码。这样就得到了最终的采集网址


第三步:下载附件,把admin_reslib2.php文件放入admin文件夹并修改其中的密码和你上一步设置的密码一致。
             $pkey = 123456; //采集授权密码,请修改为自己的密码,防止被恶意采集




附件: 1046

最后于 4月前 被admin编辑 ,原因:
上传的附件:
最新回复 (25)
  • pins8 2015-10-20
    0 引用 2
    admin_reslib.php2.php 这个名是不是错的?不是admin_reslib2.php吗
  • fannyjing 2015-11-15
    0 引用 3
    正在测试中
  • sixiangqiao 2016-4-24
    0 引用 4
    准备用起来
  • waige1986 2016-5-24
    0 引用 5
    Quotesixiangqiao 发表于 2016-4-24 18:50
    准备用起来


    确实是不错的程序
  • jerryvscr 2016-7-21
    0 引用 6
    密码对应不上~不知道为啥。。。明明密码都是对的...提示 PASSWORD ERR!

    win系统定时采集没问题~
  • 0 引用 7
    老大,学习了!!!
  • 0 引用 8
    Quotejerryvscr 发表于 2016-7-21 18:46
    密码对应不上~不知道为啥。。。明明密码都是对的...提示 PASSWORD ERR!

    win系统定时采集没问题~ ...


    参数加上引号就可以了,如下是我的:
    */10 * * * * /usr/bin/curl "http://video.lanfeixiaying.com/xxxx/admin_reslib2.php?ac=day&rid=91zy.cc&url=http://www.91zy.cc/inc/api_maccms.asp&password=xxxxxx"
  • jerryvscr 2016-9-29
    0 引用 9
    Quote蓝飞侠影 发表于 2016-9-19 14:22
    参数加上引号就可以了,如下是我的:


    谢谢大侠提醒~但是我测试还是没成功~不知道咋回事。。。
  • 0 引用 10
    Quotejerryvscr 发表于 2016-9-29 09:20
    谢谢大侠提醒~但是我测试还是没成功~不知道咋回事。。。


    那就把不成功的错误错误或情况说一下。
  • jerryvscr 2016-9-29
    0 引用 11
    Quote蓝飞侠影 发表于 2016-9-19 14:22
    参数加上引号就可以了,如下是我的:


    好像又又用~但是不能翻页?每天采集一次不行?只能采集第一页?
  • 0 引用 12
    Quotejerryvscr 发表于 2016-9-29 09:27
    好像又又用~但是不能翻页?每天采集一次不行?只能采集第一页?


    应该是的,因为curl 不支持js脚本,那就把时间设置短一些,那样每次一页,也有同样的效果了。
  • jerryvscr 2016-9-29
    0 引用 13
    Quote蓝飞侠影 发表于 2016-9-29 10:13
    应该是的,因为curl 不支持js脚本,那就把时间设置短一些,那样每次一页,也有同样的效果了。 ...


    但是好像还有问题~我用的是采集当天的链接~电脑端测试是第一页~当更新内容超过1页的时候~新的内容会在后面的页码里~这个更新不到啊。。。是否可以让时间倒叙更新?就是最新的内容放在第一页更新~然后更新的条数也增加一点~比如默认10条一页~改成50条一页~这样?

  • 0 引用 14
    Quotejerryvscr 发表于 2016-9-29 10:24
    但是好像还有问题~我用的是采集当天的链接~电脑端测试是第一页~当更新内容超过1页的时候~新的内容会在后 ...


    那样具体你看下js返回那个地址是否有帮助,不然就找楼主才能解决了。
    我个人认为没有那个必要,因为他们网站也不会更新那个快,你先手动需要全部,然后搞个定时每10分钟左右获取第一页就够了,毕竟他们最新更新的都是在第一页。
  • jerryvscr 2016-9-29
    0 引用 15
    Quote蓝飞侠影 发表于 2016-9-29 10:36
    那样具体你看下js返回那个地址是否有帮助,不然就找楼主才能解决了。
    我个人认为没有那个必要,因为他们 ...


    嘿嘿~其实我想偷懒~全自动~不管~
    不用采集当天的~用那个采集貌似可以~永远第一页。。。但是那个采集。。。貌似没有连接。。。不知道连接是什么。。。
  • 游客 2016-9-30
    0 引用 16
    hfghfghfghfghfgh
  • 游客 2017-3-14
    0 引用 17
    呜呜呜呜呜呜呜呜呜呜无无无无无无无
  • zippor 2017-5-2
    0 引用 18
    10分钟一次应该是10/* * * * * /usr/bin/curl http://www.seacms.net这样吧,老大是不是编辑错了?
  • zeroiii3 2017-6-3
    0 引用 19
    有错误每次采集都从第二页开始
  • 游客 2017-6-5
    0 引用 20
    请问企鹅企鹅群为其恶趣味恶趣味恶趣味
  • 591713966 2017-9-22
    0 引用 21
    时数采集成功,但后台没有数据,手动手台采集就可以。
  • iuhnap 2018-7-22
    0 引用 22
    Quote蓝飞侠影 发表于 2016-9-19 14:22
    参数加上引号就可以了,如下是我的:


    命令不是直接网址的吗
  • 游客 2018-7-25
    0 引用 23
    我这边有大量广告,诚心寻求站长合作。不限域名。

    微信:4毛一次 手机端:3-4毛一次 日结

    万IP200+ 全站万IP300-500

    联盟 网址 www.jianglang.com/track/c/?sid=3690

    介绍站长来合作有返点

    有意向的联系QQ 2039690174
  • seacambo 12月前
    0 引用 24
    Quoteiuhnap 发表于 2018-7-22 11:32
    命令不是直接网址的吗


    linux 和 windows 不一样。 linux下&是特殊字符。需要加 \& 转义或全部加引号。
  • sxyjmj 8月前
    0 引用 25
    这个方法只能采集第一页的。第二页就会出错。
  • sxyjmj 8月前
    0 引用 26
    </font>已存在,更新数据,不更新图片<br><br/>暂停3秒--<font color=red>即将开始同步第2/7页</font><br/></div><script language="javascript">setTimeout("makeNextPage();",3000);function makeNextPage(){location.href='?password=xxxxx&action=day&rid=2&pg=2&url=http://api.kbzyapi.com/inc/ldg_seakakam3u8.php&backurl=admin_reslib2.php%3Fpassword%3Dxxxxx';}</script>

    自动采集当天的,实际上只采集了 资源站当天的第一页
  • 0 引用 27
    每次只能采集一页   想要采集多页只能设置多个任务才行
返回
发新帖