出口代理是应该退税的。出口代理的退税主要是为了鼓励出口贸易，降低出口企业成本。对于委托方和代理方而言，退税一般由委托方来申请，代理方协助办理相关手续。

具体流程如下：首先，委托方要准备好相关的出口报关单、发票、合同等资料交给代理方；代理方将这些资料整理好，录入退税申报系统，并向税务机关提交退税申请；税务机关审核通过后，就会将退税款打到委托方指定账户。

如果不退税，可能是资料不齐全，比如报关单信息有误、发票不符合规定等，也可能是货物本身不符合退税政策，像一些国家限制出口的产品等。总之，按规定流程操作，出口代理是能够顺利退税的。

出口代理退税关键看双方合同怎么约定，有些代理为了揽业务，会承诺帮企业搞定退税。但实际操作还是要按正规流程走，企业自己也要关注资料准备情况。

如果出口代理不退税，可能是企业自身的资质有问题，比如纳税信用等级低等，这会影响退税办理。所以企业平时要维护好自身纳税信用。

出口代理退税要注意时间节点，像报关单申报后要在规定时间内申请退税，不然逾期可能就无法退税了，这点一定要留意。

不退税的话，有可能是货物来源有问题，比如供应商没有提供合规发票，这样税务机关肯定不会批准退税。

出口代理退税时，汇率换算也很重要，要按税务机关认可的汇率来计算退税金额，不然计算错误也会影响退税。

有些特殊监管区域的出口业务，退税政策可能有差异，要提前了解清楚，避免因为政策不熟导致不能退税。

若出口代理不退税，也可能是代理操作失误，比如提交资料不及时，所以找代理时要选靠谱的。

企业和出口代理要保持密切沟通，退税过程中遇到问题能及时解决，这样才能确保退税顺利进行。