Нужен софт для удаления дублей в файлах с кол-вом строк более 50кк. Все популярные и гугл не помогают. P.S. Специально для кайми: все ссылки которые ты выложил либо старые не рабочие, либо тот софт не подходит. С тобой по человески общаешься - вместо того, чтобы дрочить в виртуальном поединке лучше бы помог по человечески.
Я уже сказал, что консольные утилиты sort и uniq вполне нормально должны справиться с этой задачей. Где скачать - гугл. А если и они не помогают, то непонятно на что ты надеешься, что тебе специально кто-то быстренько программу напишет что ли? Тогда в "О работе" с бюджетом и требованиям по скорости/потреблению памяти/...
Если структура данных в файле - таблица, то можно использовать excel (2010 поддерживает в районе 1 млн строк). Если 1 млн строк Тебе мало - есть специальный софт для обработки больших объемов данных- SPSS (ссылки на загрузку гуглятся)
Какое-то не конкретное ТЗ... Хочет на халяву парсить и даже попросить по человечески не может , что именно хочет...