越王楼是唐太宗李世民第八子越王李贞任绵州刺史时所建，始建于唐高宗显庆年间，高29.4米。公元656年，李贞以执政皇帝唐高宗的兄长身份任绵州刺史，担负重任，坐镇大西南，防御吐蕃东侵，保一方平安。唐王朝国库拨银50万两修建越王楼，李贞亲自督工。其初衷之一是作为加强防御，更重要的是栽梧桐引凤凰，广招天下人才，带动绵州经济文化的发展。

越王楼曾数度毁损，几经重建。唐末宋初，越王楼被一场大火烧毁大半，元朝进行了大规模的修复，明代亦重建过一次，但明代的一场大火又将其彻底烧毁，仅剩越王台。

2001年越王楼恢复重建，重建的越王楼仍建造于龟山遗址，占地面积84.2亩，呈唐式昂斗飞檐歇山式，底层东西长66米，南北宽88米，主楼高99米，共15层。

越王楼是天下诗文收录最丰富的名楼，自唐越王楼修建完工之日起，天下文人雅士纷至沓来，挥毫泼墨，留下了无数千古颂传的经典诗篇。共收录包括李白、杜甫、王勃、陆游等历代大诗人题咏越王楼诗篇多达154篇(黄鹤楼112篇，滕王阁86篇，岳阳楼、鹳鹊楼虽有名诗文，但并不多)，可谓“一座越王楼，半部中国文学史”。