大家都知道搜索引擎抓取网站，并给与快照排名有三个步骤。今天我写的文章核心是“索引”这里面的“去重”环节，去重也就是去掉重复的内容工作。网页去重的重要性有多大？大家可以去搜索下有很多鲜明的案例。我先叙述下我所了解到的信息，最后提供个小case。大家感兴趣的可留言讨论，灌水的就不要了。
去重所处的位置：SE抓网页－分析－去重－建索引
爬虫遵循的协议集: socket编程, http协议分析
网页解析: 词法解析,编译原理,html协议
去重: url消重,文本关键词提取,频度分析 (这个最难)
去重算法我5、6月份时候也曾搜索了一段时间，无功而返。运营bbs的童靴应对“去重”加以重视!前阵子seowhy改版，大家都晓得是论坛的垃圾内容太多了，灌水严重导致大量的和网站主题不相干的内容出现，误导SE认为你的站内容和你的meta里信息不符合，seowhy的排名不是降了一阵子么。大家有兴趣可再搜搜，案例很多的。
上海seo红狼原创，谢绝转载。www.nicseo.com
A.网站自身所存在的问题
大多数情况下，网站的关键词排名下降，都是因为网站自身所存在的一些问题导致的，这些问题包括：服务器经常死机或者服务器被大范围时间攻击，网站使用了过多的作弊手段（如隐藏链接、跳转、隐藏文字、垃圾链接、隐藏页面等），网站的外链来源过于单一，网站经常改版，经常更换标题或者描述。
如果网站的权重本身不错，当出现了这些类似的问题之后，一般网站会出现短时间的小范围降权，也就是关键词排名的下降或者暂停收录。如果网站的权重很低，或者是新站，经常更换标题、进行网站改版、操作一些作弊手段都会导致排名下降甚至被K。
当知道网站是因为这些因素而导致关键词排名下降的时候，正确的做法是马上进行调整，如果有改版或者有修改标题等操作，就等待搜索引擎进行恢复。
B.较为激烈的行业竞争
当遇到某些关键词，在行业中竞争比较大的时候，网站的排名就不会很稳定。通常在第三名之后的站点，每次更新后排名的浮动都会比较明显。因此，当排名下降能确认不是网站本身的因素的时候，则关注该行业的竞争程度，重点分析行业中表现比较好的几个网站，分析他们的收录、网站结构、外链分布以及质量等相关的数据，从而进行新的SEO策略并进行超越。
C.搜索引擎算法改变
如果既不是网站自身的原因，行业竞争也不是特别大，那么还有一种可能就是搜索引擎的算法有些许改变。举一个例子：某站的一个目标关键词在搜索引擎中的排名是第9名，当百度进行调整后（如在这个关键词的搜索结果中引入了百度框搜索），百度自身的产品会占首页的一个位置，因此你的排名就只能排到第十一位。
当因为搜索引擎算法的改变而导致网站的关键词排名下降，这个时候我们应该迎合这种改变，并尽量将自己的站做到最好并进行一定的超越。
网站排名起伏不定原因肯定不止这三种，还会有一些其他的因素，但这三种类型的因素，应该能囊括大多数时候的原因,有兴趣可私聊（此文引蜘蛛）。上海seo
要想获得一个好的排名，就必然要讲究网站内链与外链，而做到内外平衡，才能够让网站有一个很好的排名。
网站内部的平衡：
1.内部平衡主要体现在网站内链，结构构架上面，所以我们首先需要保证网站的结构清晰合理，建立好网站内部结构。
2.标题与关键字，和描述的写法。
3.保证空间的稳定性。
4.看看你的网站是否有死链接。
外部的平衡：
1.保证外部链接平稳增长
seo优化要做到优化于无形，所以在做外链的时候要保持一个平稳的增长，让搜索引擎认为你的外链是一个自然增长的过程，否则就有作弊的嫌疑了。
2.原创文章没有收录前不要转载
3.大量获取高质量的链接，及各种展示你网址的机会。但请千万记住，群发最好就不要尝试。因此，外部的因素往往是在你做好站内基本功后决定成败的地方。（转载注明：上海seo）
上海seo分析师第一份报告
www.edressit.com.cn网站 SEO分析报告
一、网站基本状况
1、标题：【衣爵士特】上海礼服定制第一品牌，主营婚纱礼服，晚礼服等高级礼服定制
关键词：礼服，礼服定制，礼服品牌，晚礼服，高级礼服，婚纱礼服，上海礼服定制
描述：衣爵士特，源自德国的高级定制品牌，上海礼服定制第一品牌，主营婚纱礼服，晚礼服等高级礼服.衣爵士特为你量身定做，一流的服务，一流的专业水平，给您带来最完美的定制享受，上海定制热线:400-109-1577 .
域名：www.edressit.com.cn 注册时间：2008
***
关键词 出现频率 比例
礼服 105 5.1%
礼服定制 4 0.4%
礼服品牌 0 0.0%
晚礼服 11 0.8%
高级礼服 2 0.2%
婚纱礼服 5 0.5%
上海礼服定制 1 0.1%
服务器信息
IP：210.51.45.21 (上海市 漕河泾联通IDC机房)
Ping statistics for 210.51.45.21:
Packets: Sent = 4， Received = 0， Lost = 4 <100% loss>，.. 服务器禁ping了
同IP服务器站点数：3 个 (www.edressit.cn ，www.edressit.com.cn)
二、SEO基本信息
以下数据来自tool.chinaz.com
1、Google PR：3 Sogou SR：2
百度收录：303 谷歌收录：3610(google首页降权) 百度反链：19000 雅虎收录：1121 雅虎反链：333870
百度关键词排名(随机城市)及关键词百度指数、搜索量
礼服 721
礼服定制 84
礼服品牌 1000+
晚礼服 1000+
高级礼服 18(内容页)
婚纱礼服 1000+
上海礼服定制 17
衣爵士特 17
友情链接
出站链接13个，其中一个没有反链，一个服务器无法打开（2011-08-01 21：27分数据），一个自己站收录太少
三、网站分析
1、网站优点：
网站采用的是.NET开发，网站架构比较好，采用现在流行的树形结构；
网站加载速度、UE做的不错；
网站官方博客是zblog(商城+博客，对SEO相当的不错)；
robots.txt方面处理的不错，但还有细节地方有待加强。这也为什么google收录了3000+，百度收录了300+。
301做了,呵呵。
四、SEO建议
1、网站可以适当使用h1一类的标签
2、文章中的关键词处理上有点过重的嫌疑，比如a标签加上TITLE属性
3、www.edressit.com和www.edressit.cn为www.edressit.com.cn输出权重，优化之前要考虑好网站的主次之分&网站的关键词SEO分工协作，不晓得www.edressit.cn里面的www.edressit.com.cn做没做处理。
4、GA分析代码尽量丢网页底部，而不是顶部。
5、非友情链接类的出站链接（如统计）加上nofollw属性
6、网站关键词执行力还有待加强，网站内页N多文章都是品牌关键词，的确品牌词是转化率最好的词，适当考虑下其他的关键词。
7、网站属于.NET开发的商城，静态都可以做到 TAG应该也可以实现，TAG很重要(百度喜欢TAG)。
8、页面JS代码尽量放到JS文件中，JS文件放到页面最后。
9、网站地图生成了google的xml(详见robots.txt),百度sitemap标准是xml格式，但表现行径更喜欢html格式的。
10、网站关键词应该策划很多，但现在主词排名不理想。主词的锚文本建设有待加强，既然买了慧聪bbs的AD外链，为什么不多买点其他的服装类网站的外链呢？！客户转化率比慧聪好多了…
11、博客的內裢建设(不知道zblog的ping功能开了没有，sitemap开了没有，博客的sitemap开了可以在根目录的robots.txt中添加博客的sitemap路径，以增加网站的百度收录量)
12、网站的google降权要注意啊，想想为什么？然后及时改正，1-2天就可以恢复了。
13、着陆页有待加强。
时间仓促，以上仅代表个人观点，如有不当请谅解。
红狼. 2011-08-25
很多seo都为增加网站收录量而发愁，红狼seo之前博客里面说过：你可以把新文章适当到站外发发，增加收录的机会。这里用另外一种方法介绍如何增加网站收录量？
地球上的seo都晓得：robots.txt是屏蔽网站的文件，不让搜索引擎去抓取某个文件。同时robots.txt也帮助你的网站增加网页的收录量。
robots.txt是搜索引擎爬去你网站的第一个文件，so！把你的网站地图丢robots.txt里面的话，效果如何呢？！哈哈
看上海seo红狼博客的robots.txt（路径：www.nicseo.com/robots.txt）内容：
Sitemap: http://www.nicseo.com/sitemap.xml
Sitemap: http://www.nicseo.com/sitemap-news.xml
Sitemap: http://www.nicseo.com/sitemap.xml.gz
效果就不要我说了。如果你的站是dedecms做的话，请立即开动起来制作属于自己的robots.txt吧。
众所周知，卖药网站首选站群做站。利润惊人，投入不菲。他们的操作模式，我们可以窥见1、2点：
卖药网站为什么使用站群？百度重内容（百度算法之核心），站群一键式的采集、伪原创不断输出内容；
google重外链（讲究链轮），百度也是如此，不断建设的链轮（错综复杂、立体式等）；
百度重视內裢，站群首选系统是cms，cms中首选是dedecms和wordpress（以下简称wp）。我分析了我操作过的网站，百度对文章的抓取远远低于对tag的抓取。
卖药网站为什么选择广告联盟？
有人或许想，你不说seo么，广告联盟就上升到营销的层面了。有的广告联盟也会给你不断的增加外链的！这也正是很多人选择了百度广告联盟后，撤广告出现网站外链大幅度下降的缘故。
启发：
1.百度对一个企业站的重视度：内容、架构》外链》內裢。
2.企业站标配：网站代码+blog ，blog往往比网站跑的很快，同时适合做长尾关键词的优化（bbs也是如此）。
3.别人说的seo经验，永远都不要相信。
要有自己的SEO思想，然后付诸于实践去检验SEO思想的优劣势！
SEO入门 必须知道的七点知识
一、什么是一级域名
就拿www.nicseo.com/bbs和nicseo.com/bbs来说吧！大家千万不要以为带www就是一级域名这种理解是错误的啊！ 实际上nicseo.com这个才是一级域名，而带www这个是二级域名。
所以初学着一定要分清楚。
二、怎么样查询外链
一般我们大家都喜欢在百度和谷歌上用link来查外链，这样十几上是不准确的。要准确的查看外链我们应该去http://sitemap.cn.yahoo.com上查询，在yahoo上还要记着一点必须带上
http://来查询。比如link://www.nicseo.com/bbs这个是查询我得网站的。
三、怎么样查看网站的收录
查看自己的网站收录情况我们一般是在百度，谷歌上直接site直接的网站，但是要注意一点，site最好是site自己网站的一级域名，例如site:nicseo.com/bbs。当然你还可以借助一些站
长工具来查看自己的收录情况如：站长帮手，站长工具等等。
四、怎么样查看自己网站的排名情况
你可以在搜索引擎输入你的关键字然后在网页上寻找你的网站，当然每个搜索引擎的算法不同，排名也是不一样的啊!为了省力你也可以下一些关键字排名查询工具进行查询。
五、怎么样查看自己关键字的搜索量
大家可以大这两个可以通过百度指数：index.baidu.com和Google：https://adwords.google.com/select/KeywordToolExternal这两个地方进行查询你关键字的搜索量。
六、怎么样查看网站的流量
查询网站的流量大家可以去下百度统计，51啦，cnzz等一些把这些代码放到你网站上面就可以查询网站的流量和来源。
七、网站排名怎么总是上不去
网站需要经过系统的SEO优化，才能有好的排名。同时，并不是任何一个网站都能有很好的。这里要分析，网站的优化情况、时间、规模、热度、竞争对手情况等等许多的情况。
转载注明：上海seo www.nicseo.com
上海SEO红狼46招秘密：
1.从博客来的反链对google排名影响大。从论坛来的反链对百度排名影响大。制作反接方法是：前面是带链接的文本描述，后面再加上网址。
2.外部的反响链接不要一下增加很多，要定时定量的增加。
3.网站内部SEO的主要操作重点地方：标题，链接命名，链接深度，文章内容，文章标题，文章内部锚文本链接，文章标签，网页底部和顶部的写法，代码。
4.在网站没有很充实内容时提交搜索引擎。提交时网站在架构做好，内容不多时提交。不要有大量内容，不要有重复内容。每天提交内容。搜索引擎喜欢小的，有潜力的网站。
5.每星期都尽量更新网站地图。
6.收录速度的决定因素：内容频繁更新，外部高质量链接。
7.增大收录量：百度对不喜欢采集的，要做伪原创。每天内容要不定时但定量更新。
8.避免K站：收录量和外链的多少匹配。收录多了以后，在大量的增加外链。
9.限制某些内容抓取。比如后台管理的地址就要屏蔽搜索引擎抓取。
10.从快照日期看哪些内容已经老了。先限制抓取，然后再删除。
11.做之前把关键词和关键词组列出来。寻找关键字的方法：百度指数： http://index.baidu.com/百度相关搜索，百度竞价词语。GOOGLE：热榜： http://www.google.cn/rebang/home
12.每个页面的关键字在20个以内。页面展示30%之内。
13.每个页面都有多个长尾关键字。部署3-5个。最好页面围绕长尾关键字做。通过文章内容作长尾关键字。
14.首页标题的字数，只往上加，不减。
15.文章标题是页面标题的一部分，这样页面标题的关键字就放的多了。
16.把好内容的放在网页的前面和左侧。
17.h标签强调关键词内容。重要关键词h1只能出现一次，流量关键词h2，长尾关键词h3能多次出现。
18.keywords关键词写5，6个就可以了。最多10个词，字数25个以内。
19.《meta name=“description”描述：就是把关键词串起来的一段话。
20.每个图片的alt标签都要有，但不能一样。
21.文章的标签重要。而且也能对图片起提示作用。
22.单页面优化：每个页面的标题必须不同。关键字和描述也基本不一样。
23.页面链接在100以内，多了屏蔽掉。标题20以内，描述50以内。
24.站内有关键字的链接要做成导向相关内容的导出链接。
25.有分类时，最好用分类的拼音做这个分类的域名。
26.新内容要在前。容易被抓取。
27.域名要使用“/”结尾的域名，能增加这个域名的pr。比如www.nicseo.com/index.html 就不如www.nicseo.com 好。
28.文章标题带有关键词。作用很大。
29.文章字数多时要分页，第段100-150个字，一定带关键词，要带上锚文本链接。文章结尾要写上作者，版权等。最后加上标签。
30.每段里的同样的关键词只链接一次，关键字的链接指向相关的地方，增加微通道。每段里面增加1.2个关键字链接。
31.现在文章内的链接权重大，比如软文就是很好的东西。
32.页面左侧放新发布的文章。
33.在白天发布文章，时间不定。但每天文章数的频率一样。
34.文章页面中有相关的链接。相关文章或者栏目的链接。
35.起一个奇怪的名字，在百度百科创建词条，能有很大的收获。
36.多域名指向一个网站要用301转到一个站，不带www的301转到带www的。
37.把栏目里的“更多”改成“查看更多图片”等带关键字的词语。而且是把链接加在“图片”等关键字上面。
38.品牌词前面加上一个修饰的属性词语。用这个属性词作为锚文本链接。
39.避免使用大量完全相同的锚文本，要使用同义词。不要把大量的锚文字指向同一个页面，指向权重集中的页面。
40.新站的链接不要多。30.40个。找高质量的外链。
41.外部链接最好链接首页，找不到首页就要和本站内容一样的相关页面的链接
42.外链的方法。锚文本改成做关键字，而不是网站公司的名称。
43.看竞争对手的链接。目标网站的反链。好博客的链接。赞助活动得链接。去他的博客看博客链接。网站后面带一个博客。在维基百科等发链接。
44.链接诱饵。能引起讨论的话题，天涯论坛等。低俗内容等。网络书签？？？
45.用雅虎查反相链接。用google管理员工具查反链。
46.如何搜索引擎不收录，可以用空的robots.txt 来尝试。
上海seo红狼提供企业网站优化的服务，Q156361538.
SEO行业里流行两种网站优化方法，一种我将其命名为热词优化法，一种我将其命名为整站优化法，我认为两种方法本没有孰优孰劣，之所以能够同行存在，是因为客户对我们同行的两种不同的考核要求，热词优化法相对来说比较便宜，操作简单，而整站优化相对来说费用要贵很多，而且客户还要配合做很多工作，而热词优化法则完全是满足那些既要马儿长得好，又要马儿不吃草的客户的，非常经济实惠。
对比1：常用考核方式和计费方式
热词优化法
考核方式：先确认热门关键词和项目周期，在项目结束时看关键字是否达到搜索引擎的前几名
计费方式：按词计费，每个词达到效果支付5k~10k费用
整站优化法
考核方式：先确认网站初始自然搜索流量和项目周期，一般采用按照自然流量增涨比例作为考核目标
计费方式：在项目周期内，按月支付项目服务费用
对比2：网站内部哪些内容需要优化？
热词优化法
为每个热门关键字选择一个与之对应的网页，只优化这几个网页即可
常见的操作方法是选择首页作为所有热词的登录页
整站优化法
为了提升网站整体流量，整个网站的网页都在优化范围之内
以优化网站模板方式统一优化栏目页和内容页，首页、专题页、促销页采取逐个进行优化
对比3：如何进行外部链接建设？
热词优化法
因为热门词竞争激烈，要热门词获得好的排名，对外链要求较高，许多采取群发链接方式来获取链接；
外链集中在某几个关键字和登录页上，所以链接方式雷同，非常不自然；
整站优化法
因为不必追热，所以外链可以持续少量进行，不需群发链接；
外链文本及网址多种多样，模拟网民自然添加链接；
培训市场人员，将外链与市场活动相结合;
对比4：服务内容有什么差异？
热词优化法
客户提供网站源程序，SEO公司将几大登录页进行修改，主要侧重在提高关键字密度;
可定期汇报几大热门关键字的排名
整站优化法
SEO公司提供清晰项目时间表、系列优化方案、各种培训、网页修改样例图、各种网页文案;
每周汇总项目进展，网站流量，样本关键字排名情况，可开会议讨论优化方案可执行性;
对比5：最终效果对比
热词优化法
几大关键字排名短期内迅速提升至首页；
五关键字给网站带来流量提升；
优化方法不自然，容易被SE处罚；
太过重视外链建设作用，当外链消失时，效果回归;
整站优化
整体提升关键字排名；
网站整体流量提升，且持续稳定；
优化过程自然平衡，不担心被处罚；
网站内部结构更加合理，自然流量效果长期保留;
技术、编辑、市场人员受到SEO培训。（企业网站优化）
现在我在IE7浏览器的地址栏里面输入汉字都直接跳到bing搜索去了。你见到会有什么想法？
假设：那天微软恶搞百度，百度会有市场份额吗？？
必须重视bing。
如何向必应(Bing)提交网站地图？
bing有着google一样的管理员后台，开通提交下sitemap.xml就好了。要么使用ping服务：
http://www.bing.com/webmaster/ping.aspx?sitemap=www.nicseo.com/sitemap.xml。
转载的话，你应该感谢我红狼 – 上海网站优化