但是吴均仕途并不得意。梁武帝天监初年，柳恽为吴兴太守，请他做州主簿，这时他已三十多岁了。柳恽爱诗，于是天天和他一同唱和。二人相得虽欢，但主簿之职未必能让他满意。后来又做过藩王的记室、国侍郎一类的官，地位不高，他并不满足于此。可是由于出身微贱，可以说天生就难以获得较高的社会地位，偏他又志向很大，因此其诗中也就常常流露失望与不平。边塞戎旅之作中也是这样。比如《从军行》说：“男儿亦可怜，立功在北边。……微诚君不爱，终自直如弦。”东汉顺帝末谣谚云：“直如弦，死道边；曲如钩，反封侯。”揭露了社会的黑暗与不平。吴均用此语，包含着愤慨：因为正直而不被君王所宠爱，但终亦不改其正直之行。《赠别新林》说得就更明白：
仆本幽并儿，抱剑事边陲。风乱青丝络，雾染黄金羁。天子既无赏，公卿竟不知。去去归去来，还倾鹦鹉杯。气为故交绝，心为新知开。但令寸心是，何须铜雀台？
这可以说是仕宦失意的决绝之词。官场的旧友并不真正相知，那就和他们断绝交谊，而向着新知披肝沥胆。人生得一知己已足，何必与那些显贵一起，参与皇王高宴？这当然是所求不遂的牢骚话。
吴均后来以诗文俊才，被推荐给梁武帝，做到奉朝请的官。他想要著书不朽，打算撰写《齐书》，便向武帝求借政府所藏资料。武帝不许，他便私自撰成奏上。偏又不懂得为尊者讳，武帝读了很生气，便挑毛病将他辛辛苦苦写成的书稿焚毁，还免去其职务。所以，他终其一生是不得意的。
关于他的边塞戎旅之作，还有两则轶事流传。一是北齐阳玠松所撰《谈薮》（书成于隋代）中说，梁武帝因他《古意》诗中有“何当见天子，画地取关西”的豪语，便挖苦道：“天子今见，关西安在焉？”他默然无语。（据《太平广记》一九八引）另一则是唐代刘□《异纂》所说：吴均诗“多慷慨军旅之意，”当被侯景围困在台城时，朝廷便向他问计，他怯懦不知所答，讷讷地说：“愚计速降为上计。”这两则轶事都是挖苦他徒作豪言壮言，后一则近乎诬蔑。吴均卒于公元520年，梁武被困台城时，他已逝世三十年了。前一则恐也难以相信。不过这些传说，倒是表明其边塞戎旅之作在当时确实有名。边塞诗是他立功求名的意气所寄，但毕竟是诗，怎能要求一介书生将他那些豪语落实为行动呢！