阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

通过shell脚本提交网站404死链

66次阅读
没有评论

共计 1865 个字符,预计需要花费 5 分钟才能阅读完成。

网站运营人员对于死链这个概念一定不陌生,网站的一些数据删除或页面改版等都容易制造死链,影响用户体验不说,过多的死链还会影响到网站的整体权重或排名。

百度站长平台提供的死链提交工具, 可将网站存在的死链 (协议死链、404 页面) 进行提交, 可快速删除死链, 帮助网站 SEO 优化。在提交死链的文件中逐个手动填写死链的话太麻烦,工作中我们提倡复杂自动化,所以本文我们一起交流分享 Apache 服务中通过 shell 脚本整理网站死链,便于我们提交。
通过 shell 脚本提交网站 404 死链

1. 配置 Apache 记录搜索引擎

Apache 是目前网站建设最为主流的 web 服务,但是 apache 的日志文件默认是不记录百度、谷歌等各大搜索引擎的爬取程序的,所以首先需要我们设置 Apache 的配置文件。

找到 Apache 的配置文件 httpd.conf,在配置文件中找到下面两行:

CustomLog "logs/access_log" common
 #CustomLog "logs/access_log" combined

默认采用的是 common,这里我们只需要将 common 这一行前面加 #注释掉, 然后将 combined 这一行前的# 去掉即可。然后保存重启 Apache 服务。

注:如果你的服务器上添加了多个站点,每个站点有单独的配置文件,则我们只需要在相应站点的配置文件中设置 CustomLog 项即可,例如:

vim /usr/local/apache/conf/vhost/www.chanzhi.org.conf


    ServerAdmin [email protected] DocumentRoot "/data/wwwroot/www.chanzhi.org"
    ServerName www.chanzhi.org
    ServerAlias chanzhi.org
    ErrorLog "/data/wwwlogs/www.chanzhi.org_error_apache.log"
    CustomLog "/data/wwwlogs/www.chanzhi.org_apache.log" combined

    SetOutputFilter DEFLATE
    Options FollowSymLinks ExecCGI
    Require all granted
    AllowOverride All
    Order allow,deny
    Allow from all
    DirectoryIndex index.html index.php

下面是配置前后的网站日志记录格式:

配置前:
通过 shell 脚本提交网站 404 死链

配置后:
通过 shell 脚本提交网站 404 死链

2. 编写 shell 脚本

我们通过 shell 脚本获取网站日志中指定爬虫的抓取记录,然后汇总到一个文件中,便于后期使用。代码如下,比如保存为 deathlink.sh

#!/bin/bash
#初始化变量
#定义蜘蛛 UA 信息(默认是百度蜘蛛)UA='+http://www.baidu.com/search/spider.html'
 
#前一天的日期(apache 日志)DATE=`date +%Y%m%d -d "1 day ago"`
 
#定义日志路径
logfile=/data/wwwlogs/www.chanzhi.org_apache.log-${DATE}.log
 
#定义死链文件存放路径
deathfile=/data/wwwroot/www.chanzhi.org/deathlink.txt
 
#定义网站访问地址
website=http://www.chanzhi.org
 
#分析日志并保存死链数据
for url in `awk -v str="${UA}" '$9=="404"&& $15~str {print $7}' ${logfile}`
do
  grep -q "$url" ${deathfile} || echo ${website}${url} >>${deathfile}
done

大家在使用该脚本时,根据自己服务器情况调整下路径和字段即可,然后执行脚本,:

bash deathlink.sh
3. 提交死链

执行上面脚本时候,就会在指定目录下生成包含所有获取的 404 页面链接的文件,每个连接占一行。例如:
通过 shell 脚本提交网站 404 死链

最后在站长平台提交死链页面中,填写自己的死链文件地址即可,例如:
通过 shell 脚本提交网站 404 死链

百度在审核通过之后,会将已经收录的失效链接删除,以避免失效页面链接对网站造成不良的影响。

总结:

本文和大家分享了在 Apache 服务环境下,如何利用 shell 脚本自动获取百度蜘蛛等爬虫抓取的死链,并生成汇总文件提交给搜索引擎。如果大家还有其他更好的方法或者疑问,欢迎一起分享交流。

阿里云 2 核 2G 服务器 3M 带宽 61 元 1 年,有高配

腾讯云新客低至 82 元 / 年,老客户 99 元 / 年

代金券:在阿里云专用满减优惠券

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2024-09-20发表,共计1865字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中