一位名叫薛瓦勒的乡村邮差每天徒步奔走在乡村之间。有一天，他在崎岖的山路上被一块石头绊倒了。
他起身，拍拍身上的尘土，准备再走。可是他突然发现绊倒他的那块石头的样子十分奇异。他拾起那块石头，左看右看，便有些爱不释手了。
于是，他把那块石头放在了自己的邮包里。村子里的人看到他的邮包里除了信之外，还有一块沉重的石头，感到很奇怪，人们好意地劝他："把它扔了，你每天要走那么多路，这可是个不小的负担。"
他却取出那块石头，炫耀着说："你们谁见过这样美丽的石头？"
人们都笑了，说："这样的石头山上到处都是，够你捡一辈子的。"
他回家后疲惫地睡在床上，突然产生了一个念头，如果用这样美丽的石头建造一座城堡那将会多么迷人。于是，他每天在送信的途中寻找石头，每天总是带回一块，不久，他便收集了一大堆奇形怪状的石头，但建造城堡还远远不够。于是，他开始推着独轮车送信，只要发现他中意的石头都会往独轮车上装。
从此以后，他再也没有过上一天安乐的日子，白天他是一个邮差和一个运送石头的苦力，晚上他又是一个建筑师，他按照自己天马行空的思维来垒造自己的城堡。
对于他的行为，所有人都感到不可思议，认为他的精神出了问题。
二十多年的时间里，他不停地寻找石头，运输石头，堆积石头，在他的偏僻住处，出现许多错落有致的城堡，有清真寺式的，有印度神教式的，有基督教式的……当地人都知道有这样一个性格偏执沉默不语的邮差，在干一些如同小孩子筑沙堡的游戏。
1905年，法国一家报社的记者偶然发现了这群低矮的城堡，这里的风景和城堡的建筑格局令他叹为观止。他为此写了一篇介绍薛瓦勒的文章，文章刊出后，薛瓦勒迅速成为新闻人物。许多人都慕名前来参观城堡，连当时最有声望的毕加索也专程参观了薛瓦勒的建筑。
