首先，twitterPR及众多页面不被抓取是由自身技术引起的，跟谷歌的搜索机制没有关系。

　　导致twitter此次动荡的有五大技术问题：

　　（1）robots设置问题

　　twitter在设置Robots时，针对带WWW和不带WWW设置了两个Robots标准。如下所示：（A为不带www的Robots设置，B为带WWW的Robots设置）

　　A：Thefileattwitter.com/robots.txtlooksasfollows:

　　#GoogleSearchEngineRobot

　　User-agent:Googlebot

　　#Crawl-delay:10--Googlebotignorescrawl-delayftl

　　Allow:/*?*_escaped_fragment_

　　Disallow:/*?

　　Disallow:/*/with_friends

　　#Yahoo!SearchEngineRobot

　　User-Agent:Slurp

　　Crawl-delay:1

　　Disallow:/*?

　　Disallow:/*/with_friends

　　#MicrosoftSearchEngineRobot

　　User-Agent:msnbot

　　Disallow:/*?

　　Disallow:/*/with_friends

　　#Everybotthatmightpossiblyreadandrespectthisfile.

　　User-agent:*

　　Disallow:/*?

　　Disallow:/*/with_friends

　　Disallow:/oauth

　　Disallow:/1/oauth

　　B：thefileatwww.twitter.com/robots.txtfilelooksasfollows:

　　User-agent:*

　　Disallow:/

　　Twitter针对带www和不带www设置了两个不同的Robots标准，这样就可以看出：

　　1、针对带WWW和不带WWW的网站，搜索引擎按照Robots标准，返回的搜索结果不相同，同时也不规范。

　　2、twitter在阻止搜索引擎抓取带WWW的网址。

　　3、通过封锁带www的网站，即使将其301重定向到不带www的网站，那也是徒劳无功！

　　4、由于带www和不带www的都有外部链接，但是带www的阻止搜索引擎抓取，那么对于提升twitter网站整体权重来说，该外部链接的价值并没有得到有效利用！

　　（2）302重定向问题

　　Twitter.com/vanessafox使用了302重定向到twitter.com/＃！/vanessafox。众所周知，302重定向为暂时性转移，会抓取新内容而保存旧网址，并且原来的链接不会全部转移！

　　（3)没有遵守谷歌AJAX抓取标准

　　Twitter的网址是AJAX和使用＃！，告诉谷歌从服务器获取_escaped_fragment_版本的URL。由于没有使用301重定向，导致失去了很多相关URL页面，没有将AJAX和重定向很好地结合起来。

　　（4）速率限制

　　在HTTP标头可以看见速率限制。

　　HTTP/1.1200OKDate:Mon,18Jul201120:48:44GMTServer:hiStatus:200OKX-Transaction:1311022124-32783-45463X-RateLimit-Limit:1000

　　（5）网址不规范

　　Twitter.com/VanessaFox显示搜索结果，是www.idcmz.com/。这两个URL导致了同一个地方。这是造成又一次的PageRank稀释，重复，和规范化问题。这里最好的办法是正常化的网址一个变

　　化（最简单的方法是选择全部小写），然后301重定向所有变化。另外，Twitter的可以简单地添加的rel=规范属性指定规范版本的所有网页。

　　从以上可以看出，Twitter是有麻烦的robots.txt，HTTP状态代码和URL规范化。这是很多大型网站面临的问题。至于谷歌PR工具栏，那是谷歌的问题。

　　从Twitter技术漏洞可以告诫各位站长：

　　（1）设置Robots一定要统一，集中权重，以防走失。（2）302重定向没有301重定向好（3）必须遵守谷歌AJAX抓取标准（4）不要在HTTP标头限制速率（5）网址要规范，统一，不能掺杂在一起随意乱用！