在搜索引擎的后台，有一些用于搜集网页信息的程序。所收集的信息一般是能表明网站内容的关键词或者短语。接着将这些信息的索引存放到数据库中。

搜索引擎的系统架构和运行方式吸收了信息检索系统设计中许多有价值的经验，也针对万维网数据和用户的特点进行了许多修改。其核心的文档处理和查询处理过程与传统信息检索系统的运行原理基本类似，但其所处理的数据对象即万维网数据的繁杂特性决定了搜索引擎系统必须进行系统结构的调整，以适应处理数据和用户查询的需要。