被对方起诉离婚时，是否需要退还彩礼，要根据具体情况而定，在我国法律中，关于彩礼的退还问题有明确规定。《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条规定：当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：

1、双方未办理结婚登记手续；

2、双方办理结婚登记手续但确未共同生活；

3、婚前给付并导致给付人生活困难。

适用前款第二项、第三项的规定，应当以双方离婚为条件。

需要注意的是，以上法律规定只是一般情况下的处理原则，具体案件可能会因地区、文化、习俗等因素而有所不同，在实际处理离婚案件中，法院会根据具体情况进行综合判断，并根据证据来确定是否需要退还彩礼。

如果双方在离婚协议中对彩礼的退还问题有明确约定，且该约定不违反法律规定，那么法院通常会按照协议的约定进行处理。

被对方起诉离婚时是否需要退还彩礼，需要根据具体情况来确定，建议在处理离婚案件时，咨询专业律师，以获取更准确的法律建议。