晋文公不愿向秦军进攻的原因主要有以下几点：

不知：

晋文公认为，如果主动撕破与秦的盟约并向秦军进攻，将会面临被夹攻的不利境地。他意识到，秦国已经和郑国结盟，进攻秦军将对自己不利。

不仁：

晋文公以“不仁”为借口，认为依靠秦国力量取得胜利后，再反过来攻打秦国是不仁义的。他坚持认为，仁义是国家行为的核心，不能做出忘恩负义的事情。

失其所与：

晋文公指出，失去秦国这个同盟者是不明智的。他明白，秦国在郑国的驻军对晋国构成威胁，进攻秦国将失去这一重要的战略伙伴。

以乱易整：

晋文公认为，用混乱的局面代替整齐的局面是不符合武德的。他意识到，战争带来的混乱和损失是无法预料的，而保持联盟和稳定更为重要。

综上所述，晋文公不愿向秦军进攻，主要是因为他认为这样做会面临不利的战略局面，且不符合仁义武德的原则。他通过烛之武的劝说，最终成功说服了秦穆公退兵，避免了战争的发生。