三分钟搞懂 SEO的《meta robots、robots.txt》

上篇文章 “認識檢索(Crawl)與索引(Index)” 我有講解了搜尋引擎的運作概念   這篇文章我假設你已經能夠區分 檢索 與 索引 的差別了,並且我將告訴你如何使用meta robots 以及 robots.txt 來優化 Google 檢索與索引,若沒概念我建議你先閱讀我的上一篇文章。   meta robots 以及 robots.txt 的工作分別是阻止 Google 檢索、索引你的頁面。在這個年頭,只是 SEO 排名/流量高是沒有用的,流量必須對企業有價值、必須要能夠創造轉換,所以使用者體驗相對重要,如果你有特定頁面會傷害使用者體驗(UX),你可以透過這些方式去阻止該頁面出現在 Google 搜尋結果中。       robots.txt可以阻止搜尋引擎檢索你的資料,如果你使用了robots.txt來阻擋搜尋引擎,那麼搜尋引擎將會略過你所阻擋的頁面,不去做檢索。 但meta robots 就不同了,他在索引層面阻止搜尋引擎索引你的頁面,但Google 還是有爬你的網站資料的,但究竟為什麼我們要這樣做?後面我將娓娓道來。   學習使用 Robots.txt 基本上,大多數的情況我們都不會使用 robots.txt 來阻止搜尋引擎檢索我們網站,除非你確定這個頁面對 SEO 有負面影響,若你有頁面不希望出現在搜尋引擎中,我建議使用 Meta Robots 來控制索引就好,網站的資料還是一樣讓 Google 去檢索。但若你確定這些頁面會影響 SEO 並且你不希望 Google 檢索到,你就要使用 Robots.txt。(比方說開發中,但還沒完成的網頁)   使用 [...]

\"什么是meta

上篇文章“认识检索(Crawl)与索引(Index)”我有讲解了搜寻引擎的运作概念

 

这篇文章我假设你已经能够区分 检索 索引 的差别了,并且我将告诉你如何使用meta robots 以及robots.txt 来优化Google 检索与索引,若没概念我建议你先阅读我的上一篇文章

 

meta robots 以及robots.txt 的工作分别是阻止Google 检索、索引你的页面。在这个年头,只是SEO 排名/流量高是没有用的,流量必须对企业有价值、必须要能够创造转换,所以使用者体验相对重要,如果你有特定页面会伤害使用者体验(UX),你可以透过这些方式去阻止该页面出现在Google 搜寻结果中。

 

\"元机器人

 

 

  • robots.txt可以阻止搜寻引擎检索你的资料,如果你使用了robots.txt来阻挡搜寻引擎,那么搜寻引擎将会略过你所阻挡的页面,不去做检索。
  • 但meta robots 就不同了,他在索引层面阻止搜寻引擎索引你的页面,但Google 还是有爬你的网站资料的,但究竟为什么我们要这样做?后面我将娓娓道来。

 

学习使用Robots.txt

基本上,大多数的情况我们都不会使用robots.txt 来阻止搜寻引擎检索我们网站,除非你确定这个页面对SEO 有负面影响,若你有页面不希望出现在搜寻引擎中,我建议使用Meta Robots 来控制索引就好,网站的资料还是一样让Google 去检索。但若你确定这些页面会影响SEO 并且你不希望Google 检索到,你就要使用Robots.txt。(比方说开发中,但还没完成的网页)

 

使用robots.txt 档案很简单,你只要建立一个档名为robots 的txt 档案,并且上传到根目录就好,并且在这个档案内写上你希望Google 别抓取的页面路径。

 

如图,你会看到在www.fdzon.com 下面的根目录我就上传了这个档案,并且我不希望搜寻引擎抓取到我后台的登入页面,所以才会有disallow:/wp-admin/ 这些内容

 

\"a2402\"

 

基本上在robots.txt 档案内你只要填好这些资讯:

User-agent:填入搜寻引擎蜘蛛的值(* 号代表全部)

Disallow:填入你希望搜寻引擎别检索的页面路径

Allow:若你禁止检索的页面路径里面又有特定路径你希望搜寻引擎检索,则填入

 

学习使用Meta Robots

要用meta robots 你只要直接把它加在head 底下,你必须要在“你不希望被索引的页面底下”,加入这个标签至head里。

所以如果你有六个页面不希望被索引?没错这六页你都要手动去加入meta robots。

meta robots 的标签是长这样:

<头>

<meta name=”robots” content=”noindex , nofollow“>

</头>

基本上这个标签有noindex 以及nofollow 两个值:

索引与无索引

当你不希望搜寻引擎索引此页面,就填上noindex,若希望正常索引便填上index

关注与不关注

至于follow这个值是指,若你希望搜寻引擎在检索此页面时,不进一步的去检索该页面所连出去的连结,你就填上nofollow 的值这个功能通常会用在社群论坛或是网站讨论版,是为了防止有人在你的页面上乱贴连结来意图增加他的SEO 反向连结及排名,使用nofollow的话搜寻引擎的检索会在该页面停止,不继续往其他连结前进,固可以防止乱贴连结的事情发生。

 

 

两个值的功用完全不同,我来举几个范例让你完全清楚如何使用。

1. < meta name=”robots” content=”noindex , nofollow”>

这个做法便是告诉搜寻引擎,不要索引我的网站,并且在检索资料时该页面的相关连结也不要去检索

2. < meta name=”robots” content=”index , nofollow”>

检索资料时该页面的相关连结不要检索。

3.< meta name=”robots” content=”noindex , follow”>

不要索引我的页面,但页面上所有的连结请正常检索(最常用之使用方式)

4.< meta name=”robots” content=”index , follow”>

这个做法就没有任何意义,加上这段标签跟没加的道理是一样的,等于搜寻引擎将正常索引及检索。

 

做SEO,何时会用robots.txt阻止Google检索?

对于检索(Crawl)优化的工作上,你的网站Google 必须要看得懂、并且资料也抓得到。有些动态的网页结构对网路爬虫的检索来说是有问题的,这个我于上一篇文章中有提到,毕竟最可惜的就是你的网站有优质的内容,但Google 根本检索不到资料…。Google 的网路蜘蛛基本上已经是市场上效能最好的,但相对来说像是DDG、Bing、百度,他们的效能就未必像Google 这样优秀,所以我们要随时关注搜寻引擎的检索状况。

 

但,有些页面跟内容你不会希望Google 检索到,这时候你必须要使用Robots.txt 来阻挡Google 蜘蛛的检索,这也是我们今天文章讨论的重点。我们来看看,什么情况你会希望Google 蜘蛛不要检索你的网站

 

  • 未完成的页面

如果你有页面正在由技术人员开发中,但页面还需要很长的一段时间才能完成,甚至你还需要修改、测试,未完成的页面通常不会伤害SEO,但你不会希望访客在搜寻引擎中搜寻到未完成的页面,因为未完成的页面会给使用者较差的使用体验。

  • 测试页面

我曾经有碰过工程师,为了做功能测试并开了测试用子网域,并上传与主网域完全一模一样的内容,于 理解Google Panda:网站内容对SEO的影响 这篇文章中我有提过,一模一样的网站内容,会对SEO 造成伤害,若有这样的页面我会建议你将Google 蜘蛛挡在门外比较好。

  • 网站后台、其他理由

以我来说,我的网站是使用Word Press 架设出来的,所以我有使用robots.txt 防止搜寻引擎检索我的网站后台,搜寻引擎检索到后台的登入页面对于SEO 没有伤害,但也一点帮助都没有。同时如果你压根就不希望搜寻引擎检索你的网站,我也建议你使用robots.txt 来阻止搜寻引擎的检索。

 

 

做SEO,何时会用meta robots阻止Google 建立索引?

若某些页面你不希望在搜寻引擎被user 搜寻到,但这些页面事实上有很多对SEO 排名有加分的因素,所以你会希望Google 检索这些页面的资料,但别建立进搜寻引擎索引,这时候你需要meta robots 来阻止Google 索引你的页面

 

\"a2405\"

 

这种情况通常是因为某些页面作为Landing Page 会影响使用者体验,但你又希望Google 能检索页面上的资料(因为这页有很多的反向连结、流量)所以你将它排除索引、维持检索。我来举个范例让你清楚理解:

 

  • 范例A:

Harris 先生在自己部落格的“搜寻结果页” 上使用了meta robots 阻止Google 索引这些页面,因为新的user如果从搜寻引擎landing 到旧用户搜寻过的页面,这样会对新user 造成负面的使用者体验;但是我的搜寻结果页有很多人分享、有很多反向连结、很多流量,这些都对我的SEO 排名有帮助,我希望Google 来检索这个页面,知道我的网站有很多分享、反向连结。于是我就使用了meta robots 来禁止Google索引我的搜寻结果页,但是Google 还是有爬到我这页的资料,并且对我整个网站的SEO 排名有帮助!

 

\"\"

 

  • 范例B:

Harris 经营书店电子商务网站,User 在登入会员之前就可以使用购物车,但我不希望User 的购物车页面被Google 索引进搜寻引擎,所以我用meta robots 来阻止搜寻引擎进行索引。

 

 

注意– Google 说他们是参考参考

了解meta robots 以及robots.txt 之后,你可以优化网站的检索及索引状况,阻止特定页面跟被抓到或是被索引。

 

但有一件很重要的事要注意,Google 官方有很明确的声明,meta robots 以及robots.txt 确实可以告诉Google 你希望哪些页面不要被检索以及索引,Google 也会尊重你的决定(毕竟你是网站拥有者),但Google 官方不保证搜寻引擎会完全服从meta robots 以及robots.txt,若搜寻引擎认为你的网站有很多很多的反向连结、流量很高、内容很优质,是优质网站,他也有可能会执意要检索、索引你的网站。

热点资讯

购物车
首页
学堂
建站
外链
SEO
DTC出海
关于我
Scroll to Top