у меня огромная коллекция словарей для брута и я уверен что в них много совпадений!есть ли такая программа которая бедет удалять все повторяющие слова?
Вот писал для собственных нужд. На огромных словарях не тестил, может занять много времени, короче пробуй.