这要根据不同的情况来判断。

如果是银行的原因，比如资金不足，那么买方可以与卖方协商终止购房合同，而不必承担违约责任，卖方应无条件退还购房首付款。

如果是由于买方自身原因，如果信用不良记录或还款能力不足影响贷款审批，则应首先尽可能解决，如找担保公司担保或延长还款期限。如果仍不能解决，只能终止购买合同。在这种情况下，买方需要承担违约责任，向卖方支付违约金，卖方应退还首付款。

综上所述，无论何种原因使得贷款做不到，购房首付款都可以退还，区别只在于购房者是否需要支付违约金。

什么时候开始还房贷？

一般来说，在银行放款后的下个月开始偿还贷款。无论是购买的期房还是现房，只要是按揭贷款，第二个月就需要开始支付房贷，通常在签订房贷合同时，银行会确定还款时间和还款方式以及具体的还款金额。此时，借款人一定要注意并在还款日前将款项汇至绑定账户，以免逾期。