从 Sitemap的应用,谈SEO的学习

可能會有些讀者發現,有一些在 SEO上很基礎的觀念反而我沒有特別去寫文章,以今天這篇文章要談的『Sitemap』來說,我過去都沒有安排要寫這篇文章,因為像這樣的文章其實網路上的資訊很多,Google官方也有非常完整的說明,『Sitemap』較沒有可以深入談論的點,優化起來的複雜度以及技術細節也相對較少,基本上Sitemap只要按照Google官方的建議來製作,通常都不會有甚麼問題發生。   但近期有較多的客戶跟學生詢問『Sitemap』這東西,同時我也發現有些剛學習SEO的人對於Sitemap的理解不夠精確,也想透過Sitemap來跟大家聊聊 SEO的學習,所以我想還是寫一篇文章來分享我的看法。這篇文章會有一些實務觀點還有經驗談,如果你正在學習SEO,我相信這篇文章會對你有幫助 : )   目錄 快速談一下,甚麼是『Sitemap』? 繼續往下談之前,先談談內部連結的觀念 『Sitemap』對SEO有很大的影響嗎? 從Sitemap來談談『SEO學習』這檔事 Key Takeaways:總整理 快速談一下,甚麼是『Sitemap』? 『Sitemap』是一個我們可以放在網站上的檔案,我們可以在這個檔案內條列出網站的網址、影片連結、圖片連結等,Google的爬蟲機器人會來你的網站上讀取這個檔案,並透過這個檔案來了解"你的網站上有哪些網頁",在SEO上『Sitemap』最大的意義就是"幫助搜尋引擎了解我們有哪些網頁",舉例來說,這個連結就是紐約時報的其中一個Sitemap檔案(Sitemap 基本上是公開的檔案,只要知道路徑,我們從前台都能夠看到別人的sitemap)。   常見的Sitemap內容格式如下(這篇文章我們以觀念為主,就不細談Sitemap怎麼做、格式是甚麼,網路上有很多sitemap產生器,即便要自己製作Sitemap檔案,Google官方也有超級清楚的說明文件):   <urlset xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9″ xmlns:xhtml=”http://www.w3.org/1999/xhtml”> <url> <loc>https://www.nytimes.com/interactive/2018/11/06/us/elections/results-house-elections.html</loc> – > 這邊填入網址 <lastmod>2019-05-15T19:08:59.015Z</lastmod> – > 這邊填入這個網頁的最後修改日期 </url>   大部分的人在使用Sitemap時,會在Sitemap檔案內完整條列出網站所有的網頁,透過這個Sitemap檔案來幫助Google爬取我們的網頁。   繼續往下談之前,先談談內部連結的觀念 在繼續往下談之前,我們要先來談一個很簡單的概念,你可以很輕易的在網路上找到 Google官方的文件或是影片,甚至很多SEO專家的部落格也可以讀到一個觀念:搜尋引擎的爬蟲會透過你網站上的"站內連結"來解析你的網站,若將這觀念簡單來解釋的話,爬蟲會去點開網站上的導覽列、麵包屑、側欄、商品列表等連結來發現、分析、爬取你的網站,透過解析這些連結的架構,它更可以辨識出每個網頁與網頁之間的關係。   所以我們在SEO優化上,網站的導覽列以及側欄等動線設計都非常重要(SEO上很多人會稱呼這個為"內部連結"優化),如果網站的動線出現問題,搜尋引擎很可能在解析你的網站時會出現問題。以電商網站為例,常見的電商的網站都會是樹狀架構,從首頁、到商品分類列表、到商品頁,這些頁面會被你的導覽列、側欄、麵包屑等連結串起來,成為樹狀層級,搜尋引擎的爬蟲會點開他看到的所有連結,並且透過持續不斷的點開這些連結來爬取你的網站,終究他會一層一層的找到你所有的網頁(在官方文件內,Google用"追蹤已知網頁的連結並連到新網頁"來形容這個現象)。     以上述的概念來說,如果你的網站上有特定的商品頁是沒有連結可以連過去的,我們在SEO上會稱呼為孤兒網頁(Orphan Page )、或是有些網頁在網站內的層級是過於深入或不容易抵達(比方說是公司6年前上架的、很久以前的文章),搜尋引擎可能就會不容易發現,甚至更嚴重的話可以說是幾乎無法發現這些網頁的存在。孤兒網頁算是比較嚴重的情況,輕微一點來說,你的網站即便沒有孤兒網頁,只要網站有一定的規模或網頁數量,也可能在爬取額度不夠的情況下,單純無法被Google有效爬取。   孤兒網頁(Orphan Page)或是層級較深的網頁因為不容易被Google爬蟲發現,就會導致你的SEO受到影響,通常這個現象會發生在以下特徵的網站的身上:

\"\"

可能会有些读者发现,有一些在SEO上很基础的观念反而我没有特别去写文章,以今天这篇文章要谈的『Sitemap』来说,我过去都没有安排要写这篇文章,因为像这样的文章其实网路上的资讯很多,Google官方也有非常完整的说明,『Sitemap』较没有可以深入谈论的点,优化起来的复杂度以及技术细节也相对较少,基本上Sitemap只要按照Google官方的建议来制作,通常都不会有什么问题发生。

 

但近期有较多的客户跟学生询问『Sitemap』这东西,同时我也发现有些刚学习SEO的人对于Sitemap的理解不够精确,也想透过Sitemap来跟大家聊聊SEO的学习,所以我想还是写一篇文章来分享我的看法。这篇文章会有一些实务观点还有经验谈,如果你正在学习SEO,我相信这篇文章会对你有帮助: )

 

目录

 

  • 快速谈一下,什么是『Sitemap』?
  • 继续往下谈之前,先谈谈内部连结的观念
  • 『Sitemap』对SEO有很大的影响吗?
  • 从Sitemap来谈谈『SEO学习』这档事
  • Key Takeaways:总整理

快速谈一下,什么是『Sitemap』?

『Sitemap』是一个我们可以放在网站上的档案,我们可以在这个档案内条列出网站的网址、影片连结、图片连结等,Google的爬虫机器人会来你的网站上读取这个档案,并透过这个档案来了解"你的网站上有哪些网页",在SEO上『Sitemap』最大的意义就是"帮助搜寻引擎了解我们有哪些网页",举例来说,这个连结就是纽约时报的其中一个Sitemap档案(Sitemap 基本上是公开的档案,只要知道路径,我们从前台都能够看到别人的sitemap)。

 

常见的Sitemap内容格式如下(这篇文章我们以观念为主,就不细谈Sitemap怎么做、格式是什么,网路上有很多sitemap产生器,即便要自己制作Sitemap档案,Google官方也有超级清楚的说明文件):

 

<urlset xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9″ xmlns:xhtml=”http://www.w3.org/1999/xhtml”>

<网址>

<loc>https://www.nytimes.com/interactive/2018/11/06/us/elections/results-house-elections.html</loc> – > 这边填入网址

<lastmod>2019-05-15T19:08:59.015Z</lastmod> – > 这边填入这个网页的最后修改日期

</url>

 

大部分的人在使用Sitemap时,会在Sitemap档案内完整条列出网站所有的网页,透过这个Sitemap档案来帮助Google爬取我们的网页。

 

继续往下谈之前,先谈谈内部连结的观念

在继续往下谈之前,我们要先来谈一个很简单的概念,你可以很轻易的在网路上找到Google官方的文件或是影片,甚至很多SEO专家的部落格也可以读到一个观念:搜寻引擎的爬虫会透过你网站上的"站内连结"来解析你的网站,若将这观念简单来解释的话,爬虫会去点开网站上的导览列、面包屑、侧栏、商品列表等连结来发现、分析、爬取你的网站,透过解析这些连结的架构,它更可以辨识出每个网页与网页之间的关系。

 

所以我们在SEO优化上,网站的导览列以及侧栏等动线设计都非常重要(SEO上很多人会称呼这个为"内部连结"优化),如果网站的动线出现问题,搜寻引擎很可能在解析你的网站时会出现问题。以电商网站为例,常见的电商的网站都会是树状架构,从首页、到商品分类列表、到商品页,这些页面会被你的导览列、侧栏、面包屑等连结串起来,成为树状层级,搜寻引擎的爬虫会点开他看到的所有连结,并且透过持续不断的点开这些连结来爬取你的网站,终究他会一层一层的找到你所有的网页(在官方文件内,Google用"追踪已知网页的连结并连到新网页"来形容这个现象)。

 

\"\"

 

以上述的概念来说,如果你的网站上有特定的商品页是没有连结可以连过去的,我们在SEO上会称呼为孤儿网页(Orphan Page )、或是有些网页在网站内的层级是过于深入或不容易抵达(比方说是公司6年前上架的、很久以前的文章),搜寻引擎可能就会不容易发现,甚至更严重的话可以说是几乎无法发现这些网页的存在。孤儿网页算是比较严重的情况,轻微一点来说,你的网站即便没有孤儿网页,只要网站有一定的规模或网页数量,也可能在爬取额度不够的情况下,单纯无法被Google有效爬取。

 

孤儿网页(Orphan Page)或是层级较深的网页因为不容易被Google爬虫发现,就会导致你的SEO受到影响,通常这个现象会发生在以下特征的网站的身上:

 

  • 规模较大的网站,网站越大越容易出现这样的问题(像是大型龙头电商、或新闻媒体这种网页数量较多的网站)
  • 网站内部连结、导览动线设计不佳的网站(导览列不完善或不存在、也没有设计侧栏的网站,)

 

你可以想像一下,假设你的网站上有非常多的网页、商品、文章页是没有被Google的爬虫发现的,那对SEO的影响会有多大?Google都没有发现你的网页了,那后续做再多优化其实都是徒劳无功。为了避免这样的问题,确保爬虫可以有效的发现我们所有的网页,我们可能会做的优化工作以及检查项目有:

 

  • 检查网站的内部连结架构(导览列、侧栏等动线设计)是否健康
  • 检查在现行的导览架构下,是否会有孤儿网页、或是很不容易到达的网页
  • 提交Sitemap档案,透过Sitemap主动跟Google说我有哪些网页
  • 其他Search Engine Friendly的项目检查

(其实实务上还有很多层面跟项目可以探讨,但为不偏离主题,我先大概举几个常见例子)

 

也就是说,今天谈到的Sitemap主要功能之一是帮助Google了解、发现、爬取我们有哪些网页,避免我有孤儿页面,或较难到达的网页没被Google发现,同时,Sitemap还可以一些附加的好处,像是:

 

  • 告诉Google我的网页语言版本(如果你的网站有分不同语言版本,比方说有英文、中文等语言)
  • 加快Google发现我们网页的速度(举例来说,我的商品新上架后,Google 可能需要7天才能发现我有这个商品页,透过Sitemap的提交,可以缩短这个时间、加快Google发现网页、收录网页的速度)。

 

备注:官方已曾经说过,Sitemap内的网页变更频率(Frequency)以及网页重要性(Priority)他们基本上早就已经不看。

 

『Sitemap』对SEO有很大的影响吗?

我们上面有提到,Google的爬虫会透过爬你网站内的连结,包括你的导览列、侧栏、商品/文章列表页等连结来解析你的网站、并了解你有哪些网页,只要你的网站没有孤儿网页或是层级过深、太难找到的网页,基本上爬虫可以很健康的解析你的网站,因此我们在实务上做SEO时才会针对网站内的动线以及连结做健诊。反过来说,如果你的网站规模其实不大,且网站内的动线都很完善透彻,爬虫是可以透过这些导览列跟连结来爬完你所有的网页。

 

很多人以为Sitemap在SEO上很重要,但其实是不一定的,我们先稍微整理几个重点,后面再慢慢说明…

 

  • Sitemap什么时候可能有用
  1. 如果今天你的网站规模太大,爬虫没办法很顺利地找到所有的网页,或是你的导览动线不完善,会让Google没办法发现部分的网页,这时我们可以用Sitemap来改善问题,并且对于SEO是有帮助的。
  2. 你希望加快Google爬取你网站的速度。
  3. 你有不同版本语言的网址,可以透过Sitemap来告知Google。

 

  • Sitemap什么时候可能没有很大的用处?

反过来说,如果今天爬虫在爬你的网站时,因为网站规模不大、导览动线完整,所以爬虫都能很顺利的爬到所有的网页,那么,你是否有提交Sitemap,对你的SEO基本上不会有太大的影响,影响可能小到你没有感觉、也不会反应到数据上。

 

  • The Truth,站内连结没办法被Sitemap取代

但事实上,即便你的网站规模很大、网站内的动线不完整,只依靠Sitemap也没办法完整解决你的SEO问题,因为网站内的连结、动线对爬虫来说是重要的讯号,他可以透过内部连结的结构解析网页的关系,并且这些站内连结可以传递权重,孤儿网页基本上即便透过Sitemap让Google爬到了,他也不会有太多的SEO权重,因为孤儿网页没有连结、也没有权重传递给他。

 

\"\"

 

John Mueller曾经在Twitter公开说过(这其实也是学SEO的常识之一):Sitemaps don\’t replace internal linking(Sitemap不能取代内部连结),也在Google官方的Hang Out中提过:just because a sitemap file has a bunch of URLs and it doesn\’t mean that we will index all of them(就算你在Sitemap里面放很多网址,Google也不一定会去收录你在Sitemap内的网址)。

 

Sitemap有点像是能量饮料,他可以帮助Google理解你的网站,但它不能取代内部连结。简单来说,如果你只有做Sitemap,但没有审视、优化站内的连结跟动线问题,在SEO上很容易出现问题。这也是为什么通常我在SEO的顾问专案中、或公开授课时,通常不会太强调Sitemap的重要性,甚至在这篇文章之前,也没有写文章介绍Sitemap,因为我怕有刚学习SEO的人误会Sitemap可以解决很多问题,但不去好好的优化网站内的动线、连结、还有真正的排名因素如果你有良好的动线、内部连结优化,那么提交Sitemap很棒,他可以像能量饮料来帮助Google爬取网站,但他不是SEO最核心最重要的优化项目,不应该把Sitemap当作解决SEO问题的根本方法。

 

以我的网站为例,你搜寻『SEO』、『SEO教学』、『数位行销』、『Google Analytics』这些关键字时,我的网站都排序在Google的第一页,但你可以检查一下,你会发现我的网站完全没有使用Sitemap。

 

我SEO顾问的客户『德瑞克名床』,你搜寻『独立筒床垫』、『独立筒枕』等关键字,我们不只排序在搜寻结果第一页,而且还经常在排名上排在momo购物、东森购物这些电商巨头前面,但是我没有优化这个网站的Sitemap。

 

\"\"

 

XML Sitemap是完全公开的资源,你只要打开『德瑞克名床』的前台路径就会知道,Sitemap内只有首页的网址,是没有优化的,但这个SEO专案我们打败很多大型网站,排序在搜寻结果第一页。为什么?因为只要Google可以很健康的爬取网站,是否有做Sitemap其实不会有太大的影响。

 

\"\"

台湾有很多中小型网站在SEO上都表现得很优秀,如果你多花一点时间观察排在搜寻结果前面的这些中小型网站或品牌,你会发现有很多排序在前面的网页,也都是没有使用Sitemap。

 

根据Google官方的说明,网站规模小于500页、或是网站内部连结完善(也就是我上述提到的网站结构健康),Google官方表明,其实你是不需要使用Sitemap。

\"\"

 

我们更进一步来说,Sitemap最大的功能其实是帮助Google爬你的网站,他本身对于排名是没有影响的。Google官方的文章曾经提过:A Sitemap does not affect the actual ranking of your pages. However, if it helps get more of your site crawled(Sitemap不会影响你的排名,只是帮助你的网站被爬取),Google的员工Gary Illyes也在推特上提到过,Sitemap不会直接影响你的网站排名。

 

\"\"

 

 

结论:你可以主动提交Sitemap,提交Sitemap对Google来说就像能量饮料,但如果你的网站结构是健康、或网页规模不大,Sitemap对你未必会有明显帮助(因为Google的爬虫依靠你网站内的连结动线就可以有效的解析你的网站),你可以把Sitemap的优先度放低,与其优先担心Sitemap,不如花更多时间去研究其他的SEO优化工作。

 

根据官方所说,Sitemap也不是排名因素。

 

近年来Google最重视的排名因素还是反向连结、优质内容、还有网站的体验(像是mobile friendly以及网站速度)。我常常遇到刚学SEO的学生在SEO优化上做的事情就是提交Sitemap、然后写很多Meta Keyword,然后问我为什么SEO没有成效、问我要怎么做?我经常跟学生解释Meta Keyowrd 已被官方证明对SEO没有帮助,Sitemap更是未必对你的网站有帮助,要看你的网站是否有爬取的问题,它更不是排名因素。有很多人误会了Sitemap能带来的效益以及功能。

 

其他小知识:知名的SEO工具品牌Moz 以及在SEO上权威的专家Rand Fishkin在早期曾经提倡一个很有趣的论点,他提到提交Sitemap其实有好处也有坏处,坏处便是"你会无法透过Google收录的情况来有效找到孤儿网页",简单来说,透过刻意不提交Sitemap并借此来观察Google收录网站的情况,其实可以帮助我们诊断站内连结的健康程度。也就是说,我们都应该发现哪些网页没有健康的被收录,代表这些网页可能是孤儿网页、或是连结的层级过深、内部连结不健康,但Sitemap会让我们难以察觉这样的情况。

 

这其实是一个比较久以前的观念,Rand Fishkin过了几年后也说,现在他是都会提交Sitemap了,但这个观点以及做法我认为即便到现在,对于一定规模以下、健康的网站来说是适用的,可以帮助我们判断内部连结是否出现问题。(不过这个做法会建议很有实务经验的人再来采取)

 

从Sitemap来谈谈『SEO学习』这档事

『SEO学习』是我今天想谈论的主要议题之一,职场上我碰到有很多刚学习SEO的人过于在乎Sitemap,我也碰到很多学生在刚接触SEO的时候,误以为Sitemap可以像仙丹般的拯救他的SEO,这让我兴起了写这篇文章的念头。有些人过度的强调Sitemap对于SEO的影响力,但没有加以说明他的功能、或考究Google官方的建议。

 

不只是Sitemap,很多新手在刚学习SEO的任何一个优化项目时不见得会"厘清这些知识",我觉得SEO上的优化项目太多了,在资讯爆炸的时代之下,SEO的学习者应该要学会两件事情:

 

  • 学会诊断SEO的问题点、以及每个优化项目的功能

\"\"

 

会导致你的SEO不好的可能性有很多,以上图来说,第一个环节是爬虫【爬取网站】的优化,第二个环节是【排名因素】的优化。学习SEO最不容易的就是学会准确诊断问题,如果Google在爬取你的网站时都很健康顺利,那么你针对爬取做再多优化效果都很有限。反过来说,如果你的内容很优质、网站权重很高,但Google却没办法爬到你的网页,那么应该要先解决爬取的问题。

 

网站结构没有问题,网站规模不大、Google爬得都很健康,但内容不优质、网站速度体验不顾好,拼命提交Sitemap也是没有用的。

 

Google爬不到网站,就算内容再优质、网站体验在好,Google也看不到你的网站,那优化内容也是白做。

 

一个是问题点发生在爬取,一个是发生在排名因素的优化,后续要做的优化工作是差很多的,应该采取的做法也应该不同。这有点像医学,你是头痛没错,但造成头痛背后的原因很多,压力大、失眠、肿瘤、自律神经失调都会造成头痛,但只是吃止痛药未必是可以根治的,应该是要找到造成头痛根本的原因并从根本原因下手。

 

  • 学会厘清哪些对Google具有较强的讯号以及影响力

SEO的优化项目一大堆,但我们能做的时间是有限且急迫的,实务上我们会从"对SEO影响较大、对Google讯号较强"的优化项目开始做,刚开始学习SEO时我们都该厘清到底哪些项目真的具有较高的影响力、哪些对于成效是比较没有影响力的。像是Meta Keywords、网址里面要塞关键字、Title前面一定要塞关键字…等,这些都是较过时或是在SEO上影响力较小的优化项目。

 

以这篇文章的Sitemap为例,很多人以为它对于SEO很重要,但事实上是未必的,如果你的网站内部连结很健康或规模不大,Sitemap没办法带来太多的效果。同时,Sitemap的重要性也没有站内连结来的高。很多文章会告诉你A优化项目很重要、X优化项目是趋势,但这些文章未必会告诉你"什么情况很重要"、"对于哪些网站很重要"、"重要在哪"、"是趋势的原因是什么",在SEO优化上,你的网站架构、所属的产业、拥有的资源等很多因素,都会影响我们采取的策略以及优化手段。对于刚学习的人来说,更应该要细心且清楚的厘清所有学习到的知识,并不是网路上的文章说很重要就拼命的执行,但却不去厘清他重要在哪、他的功能是什么、为什么重要。

了解What很重要,但厘清"Why"才是成长的关键
任何一个优化项目,厘清他的功能、以及效果才是重点,确实有些网站需要透过『Sitemap』来解决网站SEO的问题,但也有很多的网站是不需要做『Sitemap』的(在我的经验中,甚至大多的中小型网站是不一定需要的)。

 

Key Takeaways:总整理

不论你网站规模多大,提交Sitemap都没有坏处,任何网站主都可以主动去提交Sitemap是没有问题的,但我希望正在学习SEO的人可以知道,Sitemap绝对不是仙丹、也不是排名因素,除了Sitemap之外,有很多的优化项目其实都未必是很重要的,在SEO优化上通常那些"看起来很简单轻松就可以完成的事情"大部分都没有很强的影响力或效果。

 

SEO不是只靠Sitemap或是稍微改改<title>就可以有成效,如果Google在爬取、理解你的网站都没有问题的情况下,提交Sitemap对你的网站排名是没有帮助的,他不是排名因素,只是帮助Google爬你网站的工具,如果你要优化排名因素,决胜点还是在内容、体验、连结。

 

  • 如果你是中小型网站(500页以内)、网站的动线/架构都很健康的网站,你其实不提交Sitemap也不会有太大的影响,有时间再提交处理就好了,但如果时间有限,请Focus在其他更重要的SEO优化项目上(我自己都没有提交了)。
  • 如果你是大型网站、或拥有多国语言的网站、或是新闻/媒体型网站,强烈建议Sitemap 要按照官方规范优化跟提交。
  • 请注意,Sitemap绝对没办法取代内部连结,根本之道还是网站内的导览动线、内部连结架构,在优化工作上不要以为有Sitemap就不用优化内部连结。
  • 针对网站规模, Google是建议500页以内可以不用提交Sitemap,但我的经验是,即便网站到1000~2000页都还是未必需要的,要看网站的架构以及状况而定,如果你怕的话就提交就对了,但请记得也要好好优化内部连结以及真正的排名因素,Sitemap不是仙丹。
  • Sitemap不是排名因素。
  • 学习的时候尽量要厘清每个优化项目的真正『功能』以及实际『影响多大』,这是SEO成长的关键: )

 

 

热点资讯

购物车
首页
学堂
建站
外链
SEO
DTC出海
关于我
Scroll to Top