搜索引擎作为一种伴随着互联网产生而产生、发展而发展的重要技术，它的历史与互联网有密切的联系。而搜索引擎优化是搜索引擎发展的产物。一般而言，可以按照搜索引擎对网页索引的技术不同，将其划分为若干阶段。

阶段的代表系统是1994年出现的Yahoo搜索引擎，当时处于搜索引擎的早期阶段，网页资源总量较低，爬虫技术尚不成熟，所以类似于Yahoo等搜索引擎广泛地采用人工标引等辅助技术来对网页内容进行标注，同时在检索时，也主要借助传统的信息检索算法，如词语文档频率等。

第二阶段的代表系统是1998年出现的Google搜索引擎，此时的互联网已经进人快速发展的新阶段，网页数量激增，所以Google推出了以网页超链分析为基础的PageRank算法，以此来完成网页权重的表示和检索结果网页的相关度排序。这些类似的技术在国内的Baidu等中文搜索引擎中也得到广泛应用。

现在正处于搜索引擎发展的第三阶段，代表性系统还没有出现，但是这一时期的搜索引擎广泛地采用了现代信息检索技术的发展成果，在用户接口、网页权重表示和结果排序技术方面都取得了较大的完善和改进。其中，广受重视的就是个性化搜索引擎技术的出现和推广。