Estou com o mesmo problema, parece ser uma deficiência do mapa Heroserv com o TFS 0.4.
Tentei de tudo: trocar TFS, trocar banco de dados, retirar alguns sistemas que poderiam estar causando o problema.
Uma coisa que percebi, o problema é que o TFS parece estar pausando depois de um tempo.
Quando seu servidor travar, vá no TFS e aperte qualquer tecla que ele irá voltar.
Alguém para ajudar a gente?