Substituição de colega / outro posto de trabalho

Boa tarde
Trabalho por conta de outrem, empresa privada, em contrato sem termo. Pediram-me para substituir pontualmente uma colega de um outro departamento (outras funções que não as minhas). Como correu bem... pediram-me para substituir sempre que a colega está de férias. Acontece que estou esgotada de realizar o trabalho da colega pois acontece ter o meu computador ao lado do computador da colega e fazer ambos os serviços. Por vezes nem consigo almoçar ou fazer pausas (não conta do meu contrato de trabalho ter de a substituir). Se fosse pontualmente ou alternativamente com outras pessoas ou para desenrascar tudo bem, um dia ou outro mas não de forma exclusiva, sempre que a colega está de férias ou ausenta-se. Estou esgotada por essa parte. Posso recusar e/ou propor soluções? O que posso fazer?
Agradeço desde já