This could be the one

Tenho medo que por minha causa a nossa viagem acabe mais cedo.
Desculpa-me e não te percas de mim!