被太宗从掌管全**事的枢密使位子上换下来，去当负责监察百官的御史中丞，虽然是平调，但实际权力发生了变化，他认为是吕端在中间使坏。于是，李惟清趁吕端有病在家休息，没有上朝的机会告了吕端一个恶状。事情传到吕端耳中后，吕端不以为然，既没有去对皇帝表白，也没有去找李惟清算账，而是淡淡地说：我一辈子行得正、坐得直，没有做什么对不起人的事，又怕什么风言风语呢？这种不与人计较的坦然心态也被人认为是“糊涂”。

    在吕端刚刚担任参知政事(副宰相)的时候，他从文武百官前面经过，一个小官由于平时听多了吕端“糊涂”的传闻，对他很不服气，以很不屑的口吻来了一句：这个人竟也当了副宰相了?吕端的随行人员觉得很不公平，要问那个人的姓名，看看是干什么的。吕端制止说：不要问，你问了他就得说，他说了我也就知道了，而我一知道，对这种公然侮辱我的人便会终生不能忘。着意地去报复对我来说是肯定不会的，但以后如果有什么事涉及他，撞到我手里，想做到公正对待也一定很难。所以，还是不知道的好。这种君子不念恶，揣着明白装糊涂的举动对吕端来说，是一种反映自我修养的高尚境界，但在世人眼中，自然又被看成了“糊涂”。

    吕端的“糊涂”，还体现他的不置产业。他不仅为官非常清廉，贪污受贿之事从来没有，就是应得的那份俸禄也常常分出一些周济照顾别人。家乡有个朋友冯道，其儿子因病瘫卧在床，吕端每月将自己的俸银分一部分给他。由于清廉而又好施，以至于后来吕端去世后，他的两个儿子竟因生活困难，没钱结婚，只好把房产抵押给别人。真宗皇帝知道这个事情后，很受感动，从皇宫的开支中支出了五百万钱把房产赎了回来，另外又赏了不少金银和丝绸，替吕家还清了旧账。以宰相之尊，而后人贫困至此，在常人的眼里又是多么“糊涂”。