甘露之变后，白居易终日长居香山寺内，以诗酒自遣，自寻其乐。一到斋期就吃素断酒，坐禅念佛，用心专一。每逢斋戒时，更是滴酒不沾，或以汤代酒。白居易居香山期间，把自己在洛阳写的八百多首诗编为十卷，名为《白氏洛中集》。白居易还与香山僧人结友，与僧如满结香火灶”。还与当朝已卸任的官员、洛中遗老和归洛等老者，马胡杲、吉皎、郑据、刘真、卢子蒙、张浑、李元爽以及僧如满等结为香山九老公”。九老曾在白居易的履道里宅院聚会，记录九老聚会香山的历史名画有《九老图》，以香山九老为题材的中国名画，白居易晚年远离官场，居于香山，乐于香山，最后卒于香山，遵其嘱又葬于香山。如此以来，晚年的白居易自号香山居士”，便可更加理解了。