Я думаю, что суду надо будет предоставить доказательства, что ни оказывает должного внимания ребенку, не занимается воспитанием, не поддерживает материально. Но, как мне кажется, и это не поможет. Хотя, если Вы сможете лишить бывшего мужа отцовства, только тогда ...
А так - придется искать компромисс.