主要原因有以下几个：

1、从文中的“听妇前致词”和“天明登前途”等句子可得知，当时杜甫并没有看到差吏和老妪之间发生的事情，仅仅是听着他们说话的声音再加上天明后的情景来猜测。由此可推测差吏也没看见杜甫。

2、杜甫是官家之子，根据当朝律法“生常免租税；名不隶征伐”，不用服兵役和交税。

3、由原文“暮投石壕村”可知，杜甫是刚到了石壕村，不是当地户口。按当时律法，当地的官差只能抓当地的人去服役，所以石壕吏不能抓杜甫。