水准仪主要由望远镜、水准器和基座三部分组成。

望远镜是用来瞄准远方目标的。水准器有管水准器和圆水准器两种，管水准器是用来指示视准轴是否水平，圆水准器用来指示竖轴是否竖直。基座用来支承仪器的上部并与三脚架连接。