大错社区

 找回密码
 免费注册

QQ登录

只需一步,快速开始

[视频资源站] 【资源站采集】后台自动采集资源库

[复制链接]
wuxiandashu 发表于 2019-4-19 16:19:12 | 显示全部楼层 |阅读模式
本帖最后由 wuxiandashu 于 2019-6-3 18:55 编辑

后台自动采集资源库,不会卡掉线,定时任务执行
定时更新

页面:
d2a687f2429dde0a6d833ac84fed761.png

需要联系QQ  594569050

其实就是一个shell脚本
把浏览器的操作放到后台执行,爬虫的意思差不多

配合 linux的定时任务
可以做到  定时自动采集

解放双手

附带例子
#!/bin/bash
function cj33uuDays() {
    echo "准备采集33uu资源 按周"
    url="http://dy.9m7m06.cn/index.php?cjid=9&cjtype=1&action=days&xmlurl=aHR0cDovL2NqLjE1Nnp5Lm1lL2luYy9mZWlmZWkzLw%3D%3D&xmltype=json&page=0&g=admin&m=cj&a=apis&h=98"
    echo $url
    result=$(curl -s $url)
    result=${result#*需要采集<span>}
    #echo $result
    pageTotal=${result%%</span>次*}
    echo "总页数{$pageTotal}"
    if [[ $pageTotal -gt 0 ]];then
    page=0
    while [ $page -le $pageTotal ]
        do
        dateStr=$(date +%Y%m%d%H)
        page=$((page+1))
        echo "正在采集:第$page页,time:$dateStr"
        url="http://dy.9m7m06.cn/index.php?cjid=9&cjtype=1&action=days&xmlurl=aHR0cDovL2NqLjE1Nnp5Lm1lL2luYy9mZWlmZWkzLw%3D%3D&xmltype=json&page=$page&g=admin&m=cj&a=apis&h=98"
        echo "采集url:$url"
        result=$(curl -s $url)
        echo $result
        sleep 2s
        done
    else
    echo "没有发现页数,本次采集退出"
    fi
}

function cj33uuAll() {
    echo "准备采集33uu资源 所有"
    url="http://dy.9m7m06.cn/index.php?cjid=9&cjtype=1&action=all&xmlurl=aHR0cDovL2NqLjE1Nnp5Lm1lL2luYy9mZWlmZWkzLw%3D%3D&xmltype=json&page=0&g=admin&m=cj&a=apis"
    echo $url
    result=$(curl -s $url)
    result=${result#*需要采集<span>}
    #echo $result
    pageTotal=${result%%</span>次*}
    echo "总页数{$pageTotal}"
    if [[ $pageTotal -gt 0 ]];then
    page=0
    while [ $page -le $pageTotal ]
        do
        page=$((page+1))
        echo "正在采集:第$page页"
        url="http://dy.9m7m06.cn/index.php?cjid=9&cjtype=1&action=all&xmlurl=aHR0cDovL2NqLjE1Nnp5Lm1lL2luYy9mZWlmZWkzLw%3D%3D&xmltype=json&page=$page&g=admin&m=cj&a=apis"
        echo "采集url:$url"
        result=$(curl -s $url)
        echo $result
        sleep 2s
        done
    else
    echo "没有发现页数,本次采集退出"
    fi
}

if [ -z "$1" ];then
    cj33uuDays
else
    cj33uuAll
fi
echo $1
#cj33uuAll




 楼主| wuxiandashu 发表于 2019-6-3 18:55:56 | 显示全部楼层
不懂再加QQ吧,,可以
sjtkxy 发表于 2019-6-9 06:05:52 | 显示全部楼层
谢谢分享新手
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

QQ|Archiver|手机版|小黑屋|大错网络

GMT+8, 2019-10-23 08:49 , Processed in 0.063406 second(s), 21 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表