В общем, у меня сейчас заработало.
Конфигурация сервера у меня - 2 сетевые карты. Одна в интернет, другая на прямую к VoIP провайдеру.
Отключил в "сетевых интерфейсах" NAT. В настройках провайдеров, те которые через интернет идут NAT включил, тот который напрямую к провайдеру выключил.
Звонки пошли, разрывов нет.