，没过多久，索性让位给李世民，自己当起了太上皇。

    李世民即位后，大摆宴席，论功行赏，房玄龄、杜如晦等五人功劳最大，列为第一等。贞观四年（公元630年），房玄龄被任命为尚书左仆射，开始了自己的宰相生涯。

    担任宰相后，房玄龄做的第一件事就是裁员。唐太宗曾对房玄龄说：“官在得人，不在员多。”根据唐太宗的诏令，房玄龄在贞观初年对在职官员进行大量裁减，最后核定文武官员六百四十六人。地方行政机构也大量裁并，全国根据地理位置的划分，设十道，三百余册。这是贞观初年全国性的一次重大改革。

    房玄龄不但果断地裁去大量冗员，且善于因才授任、选贤任能。张亮是个贫寒人士，“素寒贱，以农为业”，但“倜傥有大节”，有智谋，经房玄龄荐举，官至刑部尚书，参与朝政。但张亮胆气不足，无将领之才。房玄龄只用其长，并不“以备求人”。

    房玄龄担任宰相二十余年，选良才，去冗员，对唐朝政治、经济的巩固和发展有着重要的实际意义，是出现贞观之治的重要原因。

    贞观二十二年（公元648年），房玄龄病卒，享年七十岁。房玄龄生病期间，太宗经常前往探视。如果见到他病情加重就会痛哭流涕，见有好转，便喜形于色。房玄龄病危时，太宗命令把苑墙凿开以便问候，并执手与他诀别。

    房玄龄在世时就被人视为“国器”，而后世史学家在评论唐代宰相时，也无不首推房玄龄，唐人柳芳叹道：“房玄龄佐太宗定天下，及终相位，凡三十二年，天下号为贤相。”如果说敢谏的魏征是唐太宗的一面镜子，那多谋的房玄龄则是唐太宗的一条臂膀。