2020年7月21日
发布者: 上海开眼SEO优化
动态页面会对SEO优化产生什么影响
设计爬虫时,通常都回避动态网页(如Charkabarti,Joshi,Punera,&Pennock,2002)。识别动态网页时,只需要看URL中是否出现问号,含问号的就是动态网页。忽略动态网页是因为它们容易造成蜘蛛陷阱。蜘蛛陷阱理论上是一个无限的网页集合,而蜘蛛永远不能完整地遍历这个集合。在线日历就是一个容易被忽略的蜘蛛陷阱,它生成的动态网页中可以标上任何日期,并包含指向后一天网页的链接。一个爬虫从这个日历中找到一个网页后,便会无止境地请求后一天的网页。
动态的页面(url)属于蜘蛛陷阱,搜索引擎蜘蛛一旦爬行进入,很有可能会出不来、或是难以流畅的抓取,所以建议网页一定是 静态或是经过伪静态 处理的