房琯平时喜欢接交一些文人朋友，而且又喜欢高谈阔论，给人们的印象是喜欢空谈，但却不怎么务实。他当了宰相之后，向李亨推荐了许多当时比较有名的文人、士大夫，但他却看不起那些没有文才、粗俗和没有名声的人。因此，一些人就十分怨恨他。北海太守贺兰进明去拜见李亨，之后，李亨让房琯任命贺兰进明为南海太守，充任岭南节度使。而在房琯的印象中，贺兰进明是一个十分注重追求功名利禄的俗人，在心里一直十分鄙视他，尽管有李亨的吩咐，但房馆仍然只是任命贺兰进明为代理御史大夫。贺兰进明自然十分生气，在向李亨去谢恩时，故意把自己的官衔说得很重、很慢。李亨听到了他自报的官职，感到十分奇怪，明明自己任命贺兰进名为御史大夫，他为什么说自己是代理御史大夫。李亨就问贺兰进明到底是怎么回事。贺兰进明就回答说，自己原来就与房琯有矛盾，这一次或许房琯是公报私仇，故意这样做。他又十分郑重地提醒李亨说：“西晋时，由于皇上任用了喜欢空谈的王衍做为三公，朝廷内外的士大夫们都喜欢空谈，把日常该做的事都当成俗事，最终导致了五胡乱华，中原沦陷，西晋王朝只好逃难到江南。现在，房琯也喜欢夸夸其谈，经常发表一些不切实际的言论，来博取虚名，他所推荐提拔的人，也都是一些喜欢空谈的人，而缺少实干的能力，房琯就是第二个王衍！陛下用这样的人为宰相，我担心恐怕会对国家没有好处。再说，房琯在成都辅佐太上皇时，让太上皇颁布了一道命令，使陛下与其他诸王都是各道节度大使，把陛下和其他王爷同样看待，没有什么区别，并且把陛下安排在塞外荒凉空虚的地方。这还不够，房琯又把自己的亲信们安插在全国各地，使他们掌握大权。房琯这样做的目的很明显，不管是太上皇的那一个儿子继承了皇位，他都有依托，他自己都不会失势。陛下，他这样做难道还是忠臣吗！”李亨也对自己那时登基不久，太上皇又发布他为天下兵马元帅，同其他王子同为节度大使的事耿耿于怀，这次经贺兰进明又提起，心中的怨气又上来了，从此就与房琯疏远了。
不久，李亨又任命贺兰进明为河南节度使。
房琯上疏给李亨，请求让他率领部队，向中原进发，收复长安和洛阳，李亨同意了，于是，李亨就加封房琯为持节、招讨西京兼防御蒲、漳两关兵马及节度等使。房琯请求李亨允许他，由自己来挑选部下参谋及谋划人员，李亨也批准了。房琯就以御史中丞邓景山作为自己的副将，户部侍郎李揖为行军司马，给事中刘秩为参谋。但李亨不放心，在房琯带领部队出发前，李亨又命令久经沙场的兵部尚书王思礼前去协助房琯。房琯是一个文官，甚至可以说是一个文人，他只在书本上读过行军布阵的事，根本就不知道如何带兵，更不会指挥作战。他就把行军作战的事都委托给了李揖与刘秩，但这两个人也都是文弱书生，根本就不懂得军事。但是，房管却对这两个人十分信任，他多次对人说：“叛军的精锐壮士曳落河虽然很多，很能打仗，但这些都不足畏惧，他们只是匹夫之勇，怎么能够打得过我的足智多谋的刘秩呢！”房琯仿效春秋时古人的带兵方法，把部队也分成三军，由副将杨希文率领南军，从宜寿县出发，开始进军；由刘贵哲率领中军，从武功县出发，开始进军；由李光进率领北军，从奉天县出发，开始进军。李光进是李光弼的弟弟。
房琯命令中军和北军为前部，向中原进军。这两支部队在咸阳的陈涛斜和叛军将领安守忠带领的叛军相遇。陈斜涛是一大片东高西低的荒野，整个地势就像一个倾斜放着的大簸箕，唐军在簸箕的口端，叛军在簸箕的尾端，越向东越高，越向东越窄，而且，在顶端，坡度突然陡峭起来。荒坡上长满了厚厚的野草，在冬季都干枯了。安守忠带领叛军占据着有利地形，居高临下，等待着唐军。等唐军靠近时，就向唐军发弓射箭，唐军在叛军如飞蝗般的弓箭下，倒下了一批又一批，攻了几次，就是攻不上去。房琯非常着急，他想起了春秋战国时的古人，每当遇到这种情况，就用战车进攻。于是，他就仿效古人，把早已准备好的二千辆牛车赶过来，部署成庞大的牛车阵，命令步兵、骑兵将士们都分排分散在牛车阵中，一派牛车，一排军士。以牛车打头阵，向叛军们发起了进攻。
满山遍野的牛车夹杂着唐军向叛军据守的地方攻来，看到这种阵势，一开始，一些叛军也感到很害怕，有的叛军开始逃走，阵势有些不稳，在叛军将领斩了几个逃跑的士卒后，叛军的阵势又稳定下来。这时，风突然很大，猛烈地向唐军吹去。安守忠不愧是久经沙场的老将，他看到唐军的牛车阵，略一吃惊后，就想到了对付的办法，他让士卒们用力敲击战鼓，高声呐喊，发出各种各样的乖叫声。声音顺着风传到牛们的耳朵里，牛们受到了惊吓，开始到处乱跑，牛车阵乱了起来。安守忠又让士卒点起浸过油的火把，纷纷向牛车投去。风助火威，点燃了荒草，迅速蔓延起来。大火很快就在牛车阵中燃烧起来，牛们在烈火中狂奔，牛拉着战车和战马、和士卒互相撞击、践踏，唐军们纷纷倒下。叛军又趁机发起进攻，时间不长，四万多名唐军就伤亡殆尽，只有一千多人逃了回去。
又过了一天，房琯亲自率领南军与安守忠的叛军作战，同样又被打得大败，并且杨希文和刘贵哲都投降了叛军。李亨知道房琯大败的消息，十分愤怒，立即就想拿房琯治罪。后经李泌苦口婆心地多次劝说，李亨才赦免了房琯，没有治他的罪。