所托非人出自晋人殷羡的一段故事。

晋人殷羡，字洪乔，他曾被任命为豫章太守，在即将离开南京赶去赴任的时候，很多人都托他带信，他把信一一收下。结果殷洪乔来到石头渚（江西赣水西口）时，启开这些书信，发现大多数都是拉关系，跑人情之类的内容，他不由非常反感，于是将信都抛进了水里，并说道：“沉者自沉，浮者自浮，殷洪乔不能做致书邮。”

所谓致书邮，就是古代对邮递员的称呼。这句话字面意是：你们这些信哪，能浮着就自己漂过去吧，浮不起来的就沉下去，反正我殷洪乔是不做邮递员的。而深层的理解应该是：“沉者自沉，浮者自浮”不是指书信，而是指那些官员，庸碌无为的人自然会被淘汰，而那些确有才华的人自然会脱颖而出。“殷洪乔不能做致书邮”是指：我殷洪乔不做你们这些跑官之人的邮差。

因此后人就把托人捎信捎不到的情况，叫做“付诸洪乔”，又名“误付洪乔”，“洪乔莫误”等等，表达了一种“所托非人”的意思。