刘四爷办寿那天，车夫们生气的原因主要是因为 祥子被虎妞亲热，刘四爷误会。具体来说，刘四爷看到虎妞对祥子的亲热劲儿，感到自己的孤单和郁闷，火上心头。他因此把祥子也臭骂了一顿。此外，车夫们可能还因为其他原因感到不满，例如寿礼太少、没有子嗣可以继承财产、来祝寿的人太少等。

建议：在处理类似复杂的人际关系时，应尽量避免误会和冲突，尊重每个人的感受和立场，以维护和谐的氛围。