• 本博客已正式上线 IPv4 + IPv6 双栈访问

独立站防止被竞争对手分析网站SEO数据

电商外贸 Young Free! 4个月前 (03-02) 247次浏览 18个评论 扫描二维码

在做外贸的时候,一直都在想办法分析竞争对手,做独立站的时候,更想利用各种工具去分析竞争对手的网站,恨不能扒开对手的服务器,徒手去挖掘对方的 SEO 优化布局。而转念一想,既然自己能够利用工具去分析对方,那竞争对手势必也能通过工具来分析自己。当然,自己这个菜鸟当前是不会被竞争对手放在眼里的,不过,既然你模仿了竞争对手,对方迟早能发现你的存在的。优秀的独立站也基本上不怕被对手分析。Young Free 写这篇文章的目的是希望能够给个思路延迟菜鸟被对手发现的时间。

我们在分析竞争对手的独立站时,常常会用到一个叫 Ahrefs 的工具,至于这个工具能有多厉害,可以移步外贸大神顾小北的博客《SEO最强的营销分析工具—Ahrefs 详解》。Ahrefs 这个工具分析网站主要是靠自己的爬虫机器人 (Robots) 去不停的爬取目标网站的页面信息然后上传到自己的服务器结合 Google 等搜索引擎进行数据分析。Ahrefs 有个检测功能,高级付费用户能够检测和自己网站相关链接和关键词,利用好这个检测,不仅你能去模仿对手,也能发现自己是否被人模仿了。

知道了 Ahrefs 这个工具是如何帮助我们分析竞争对手的网站的,我们也就能想办法阻止被 Ahrefs 分析,从而减少被竞争对手发现的几率,拖延时间。根据 Ahrefs 自述,他们的 Bots 是遵守 Robots.txt 协议的,这里我们就可以通过创建网站的 Robots.txt 文件来屏蔽 Ahrefs Bot。这里给出 Ahrefs、SEMrush 等其它爬虫的 bots 信息, 其中包含了一些没啥用,纯粹浪费流量的爬虫,可以根据自身需求来选择。请注意将 Robots.txt 上传到网站的根目录,并确保能正常访问,例如 http://www.youngfree.cn/robots.txt

上传到服务器后,可以访问 Ahrefs 的网站,检查是否能被 Ahrefs 访问并接受规则。

独立站防止被竞争对手分析网站SEO数据

不过,经过 Young Free 的测试,Ahrefs 并没有按照他们网站所说遵守 Robots.txt 协议。好在他们放出了自己的爬虫 IP 段,我们可以通过屏蔽他们的 IP 段来达到阻止 Ahrefs 爬取我们的网站的目的。如果独立站使用的服务器是腾讯云或者阿里云等国内厂商,或者自带防火墙规则的,我们可以将 IP 段添加到服务器服务商的防火墙规则里。这里以腾讯云为例,进入控制台–云服务器–安全组–新建/添加规则。如下图。

独立站防止被竞争对手分析网站SEO数据

如果您用的服务器服务商没有自带防火墙,而您也没用宝塔,更不会修改服务器系统的防火墙规则,推荐您使用 Cloudflare ,既可以加速您的网站,其防火墙更能保护好您的网站安全,我们可以通过 Cloudflare 的防火墙规则来屏蔽 AhrefsBot 的访问。在 CF 的 防火墙Firewall–工具Tools里逐个添加IP段,如下图。

独立站防止被竞争对手分析网站SEO数据

做完以上这些后,虽然不能完全避免被竞争对手分析,但至少做出了努力,让 Ahrefs 不能完整的获取你网站的数据,也一定程度上的防止被竞争对手分析。底裤还在。若想保护好自己的网站数据不被竞争对手挖掘完,还有很多值得去做的,并不是单单屏蔽一个 Ahrefs 或者 SEMrush 就可以了的,市面上有多少能够分析网站的工具还有很多,需要自己根据需要去逐个采取措施。Young Free 在这里只是给个思路,要是真把大部分的工具在这里扒出来,估计 Young Free 的博客就保不住了。

当然,既然做了独立站,就要不怕被竞争对手分析,越是优秀的独立站,模仿的人越多,我们要做的是一直被模仿,从未被超过。


Young Free! , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:独立站防止被竞争对手分析网站SEO数据
喜欢 (14)
[你领红包 我赚赏金]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(18)个小伙伴在吐槽
  1. 这种应该作用不大吧,如果竞争对手想研究,有很多方法哈哈;Ahrefs主要外链那些分析,页面信息竞争对手可以用别的工具
    寻小山2021-05-08 08:56 回复 Windows 10 | Firefox浏览器 88.0
    • 只能是九牛一毛的阻止竞争对手,可用的工具太多了,但是屏蔽一些,还是可以减轻服务器的压力的。
      杨景文2021-05-08 09:37 回复 Windows 10 | Chrome 90.0.4430.93
  2. 可以多分享些电商经验
    Ourboke联盟2021-05-07 22:45 回复 Windows 10 | Firefox浏览器 88.0
    • 怕是难了,我正转型为生活博客 :mrgreen:
      杨景文2021-05-08 09:30 回复 Windows 10 | Chrome 90.0.4430.93
  3. 你封禁的爬虫还算少的,我都上百了。
    林羽凡2021-05-07 13:07 回复 Windows 10 | Chrome 85.0.4183.121
    • 快快分享你的记录,爬虫太强大了,需要长期的积累来封禁。
      杨景文2021-05-07 14:23 回复 Windows 10 | Chrome 90.0.4430.93
      • 我分享到网址了,你可以看下:https://www.linyufan.com/content/13/1767-1.html
        林羽凡2021-05-07 15:44 回复 Windows 10 | Chrome 90.0.4430.85
        • 谢谢,分享,不过还得花时间去搜集这些蜘蛛的 IP 去逐个封禁。
          杨景文2021-05-08 09:23 回复 Windows 10 | Chrome 90.0.4430.93
  4. 很多时候是防不胜防呀! :mrgreen:
    明月登楼2021-04-16 16:10 回复 Windows 10 | Chrome 90.0.4430.72
    • 只能防一点是一点了,总比什么都不干的好。
      杨景文2021-04-18 11:37 回复 Windows 10 | Chrome 89.0.4389.128
  5. 用ahrefs,基本可以看到竞争对手的所有信息,这个工具太强大了,不过想要自己网站做的好,也是必须从各个竞争对手中去学习,去优化的
    json formatter2021-03-12 14:24 回复 Windows 10 | Chrome 88.0.4324.190
    • 这其实也是个悖论,都希望学习他人把自己的网站做好,但又不希望竞争对手模仿超过自己。大佬,哪个博客是你的?还是你的两个友链网站都是你的?
      杨景文2021-04-09 09:45 回复 Windows 10 | Chrome 89.0.4389.114
  6. 被对手分析也是别人对自己的认可
    路易十三2021-03-10 00:47 回复 Linux | Chrome 77.0.3865.120
    • 可做外贸独立站的,不想这样被竞争对手认可 :lol:
      杨景文2021-04-09 10:57 回复 Windows 10 | Chrome 89.0.4389.114
  7. 处处都有竞争,知己知彼,百战不殆。
    响石潭2021-03-06 11:40 回复 Windows 10 | 搜狗浏览器 2.X
    • 能吃独食的路子越来越少了,也越来越需要防着对手了。
      杨景文2021-04-09 10:58 回复 Windows 10 | Chrome 89.0.4389.114
  8. 一直很好奇SEO优化是如何实现的…… 之前听过一期《卓老板聊科技》关于谷歌搜索引擎算法的播客节目,讲到爬虫的时候还能理解,听到概率转移矩阵的时候直接懵了……主播当时还说了一句略带挑衅意味的话:“讲到这儿,节目的难度突然上去了,很多嘴上说我做SEO优化的朋友们都听不懂了。”…… 另外,说到反爬虫,用插件屏蔽某些 refer 来阻止爬虫可行吗?
    羊驼哥2021-03-03 10:33 回复 Windows 10 | Chrome 88.0.4324.190
    • 搜索引擎的爬虫是很专业的知识,一般 SEO 从业人员都只知道这么个东西的存在,技术上的事就不知道了,但是能知道如何引诱蜘蛛也够生活了。用插件通过 referer 来阻止爬虫效果有限。还可以参考明月登楼大佬的方案 https://www.imydl.tech/lnmp/762.html 配合着一起用。不过我最建议的还是直接通过屏蔽 IP 来解决。
      杨景文2021-03-04 10:09 回复 Windows 10 | Chrome 78.0.3904.108