據考證，廬山之名，早在周朝就有了。古人對千里平川上竟突兀出一座如此高聳秀美的山峰，山上又有眾多的瀑布溪流，曾感到迷惑不解。於是，就編了許多神話故事，來解釋廬山及其泉瀑的來歷。「神仙之廬」、「人去廬存」以及「趕山塞海」等傳說尤其為人津津樂道。
「神仙之廬」
傳說早在周初（大約公元前十六至十七世紀），也有說在周威烈王時候（即公元前四世紀），有一位匡俗先生在廬山學道求仙。據說匡俗字君孝，有的書稱匡裕，字子孝，也有稱為匡續。此外，還有稱匡俗為廬俗。據說，匡俗在廬山尋道求仙的事跡，為朝廷所獲悉。於是，周天子屢次請他出山相助，匡俗也屢次迴避，潛入深山之中。後來，匡俗其人無影無蹤。有人說他成仙去了。後來人們美化這件事，把匡俗求仙的地方稱為「神仙之廬」，並說「廬山」這一名稱，就是這樣出現。因為「成仙」的人姓匡，所以又稱「匡山」，或稱為「匡廬」。到了宋朝，為了避宋太祖趙匡胤「匡」字的諱，而改稱「康山」。
「人去廬存」
有一傳說：在周武王時候，有一位方輔先生，同老子李耳一道， 騎着白色驢子，入山煉丹，二人都「得道成仙」，山上只留下一座空廬。人們把這座「人去廬存」的山，稱為廬山；方輔成仙，所以又稱為輔山。但是老子與武王並不同時，這同樣是神話故事而已。