小说以灵石开篇，中间又以灵石联缀许多悲欢离合、动人心魄的故事，最后再以灵石归去作结，故原名作《石头记》。《红楼梦》不仅全书故事结构与古代灵石传说有关，还多次提到《西游记》中故事人物，这大概因为两部小说的主人公都是从灵石中产生的。《红楼梦》第三十九回“村姥姥是信口开合，情哥哥偏寻根究底”中李纨云：

    我成日家和人说笑，有个唐僧取经，就有个白马来驮他。

    即指《西游记》中玉龙三太子化成白马驮唐僧西天取经故事。第十九回“情切切良宵花解语，意绵绵静日玉生香”中，贾宝玉到贾珍处看戏，上演了《孙行者闹天宫》戏文。第二十二回“听曲文宝玉悟禅机，制灯谜贾政悲谶语”中，贾母让宝钗点戏，宝钗推让一遍，点的一折也是《西游记》。第五十四回“史太君破陈腐旧套，玉熙凤效戏彩斑衣”中，贾母还编造了孙行者见阎王，以及喝了孙行者尿便能“伶俐嘴乖”的新故事。《红楼梦》自灵石开篇，显然受惠于《西游记》的启示，又在小说中多次谈及西游取经故事、戏曲，这既表示出彼此血缘关系，也流露出曹雪芹对《西游记》的景仰之情。

    此外，在明清两代还有两部短篇小说集与灵石有关系。一是明代天然痴叟《石点头》，取东晋时竺道生“生公说法，顽石点头”的传说为书名，二是清代东鲁古狂生《醉醒石》，借用唐代宰相李德裕花园有块石能使醉人清醒的典故为书名。这两部短篇小说集虽不是真写有关灵石传说的人物