Эргус Каце родился в Корице, Албания, 08.07.1993 и приехал в Грецию спустя три года. Начал играть в футбол в команде «Ахиллеас» Триандрия и в возрасте 12 лет (в 2005) его приняли в детско-юношескую футбольную школу ПАОК.

В декабре 2010 юный игрок подписал свой первый профессиональный контракт с ПАОК и несколько дней спустя дебютировал в матче против «Пансерраикоса». В конце сезона его отдали в аренду в «Анагенниси» Эпаноми и после насыщенного игрового года во второй лиге он вернулся в ПАОК, чтобы получить уже больше игрового времени.

Его игровой рост оказался стремительным и к 2016 году он уже имел за спиной насыщенные сезоны с более, чем 30 матчами. Увеличение конкуренции заставило его уйти в аренду в «Плзень» и «Викторию». Затем он вернулся и сыграл девять матчей под руководством Владана Ивича, завоевав Кубок Греции.
Оставался в составе ΠΑΟΚ еще шесть месяцев под началом Развана Луческу и после этого его арендовали в «Панатинаикос», где за полтора года полузащитник провел 32 поединка, забил 2 гола и отдал 2 результативные передачи.

Параллельно он стабильно вызывается в национальную сборную Албании, за которую сыграл 25 раз.