水准仪主要有三部分组成：望远镜、水准器、基座。

望远镜的作用主要是瞄准目标，其次是测量距离。主要有物镜、调焦透镜、十字丝分划板和目镜构成。

水准器是用来指示水准仪的视准轴是否水平或竖是否铅垂的一种装置。依形状分为管状水准器和圆水准器。

基座的作用是支撑仪器上部，并通过中心螺旋与三脚架连接。几座主要由轴座、脚螺旋三角压板和底板构成。