Группа доверия. Стоит ли лишать прав отца

Я вышла второй раз замуж. От первого брака двое детей. Но они не помнят биологического отца.Мой второй муж детей принял как своих. Сейчас у нас есть решение лишить родительских прав бывшего мужа,так как детьми он не интересуется и они его не знают, но носят его фамилию и отчество .Стоит ли лишать родительских прав?Как поступить правильно?