Софт для удаления дубликатов

Discussion in 'Болталка' started by GroM88, 18 Mar 2013.

  1. GroM88

    GroM88 Elder - Старейшина

    Joined:
    24 Oct 2007
    Messages:
    463
    Likes Received:
    62
    Reputations:
    26
    Ребят, подскажите какой нить быстрый софт для удаления дубликатов строк)
    Файлы огромные по 3 гига) в фалах много дубликатов строк) нужно как то убирать дубликаты)
    Пробовал софт text duplikate killer но он очень медленный) файл в 3 гб обрабатывает больше часа = \
    есть что нить побыстрее?
     
    #1 GroM88, 18 Mar 2013
  2. -=lebed=-

    -=lebed=- хэшкрякер

    Joined:
    21 Jun 2006
    Messages:
    3,803
    Likes Received:
    1,957
    Reputations:
    594
    качай EGB от Инсайда, в папке tools куча софта, в том числе и для удаления дубликатов строк. Для полного кайфа следует юзать 64-х битные версии, рвут на раз 15Гб. словари (при условии наличии ОЗУ от 16Гб и выше).
     
    #2 -=lebed=-, 18 Mar 2013
  3. VY_CMa

    VY_CMa Green member

    Joined:
    6 Jan 2012
    Messages:
    913
    Likes Received:
    480
    Reputations:
    724
    -=lebed=-, стоит ли натыкать под CUDA?
     
    _________________________
    #3 VY_CMa, 18 Mar 2013
  4. Rafa

    Rafa Member

    Joined:
    11 Oct 2011
    Messages:
    285
    Likes Received:
    90
    Reputations:
    4
    Text Duplicate Killer
     
    #4 Rafa, 18 Mar 2013
  5. C00LPack

    C00LPack Member

    Joined:
    7 Oct 2010
    Messages:
    425
    Likes Received:
    66
    Reputations:
    19
    naRedup
     
    #5 C00LPack, 18 Mar 2013
  6. qw1mb1

    qw1mb1 Member

    Joined:
    8 Feb 2013
    Messages:
    113
    Likes Received:
    16
    Reputations:
    8
    /showthread.php?p=1860839
     
    #6 qw1mb1, 18 Mar 2013
  7. GroM88

    GroM88 Elder - Старейшина

    Joined:
    24 Oct 2007
    Messages:
    463
    Likes Received:
    62
    Reputations:
    26
    Rafa, Накуй читать первый пост? лол

    -=lebed=-, Скачал) буду пробовать)
    C00LPack, Спасибо) тоже попробую)
    А вообще тут по форуму пошарудил и нашел софтину от ErrorNeo - "TrueSort"
    Очень даже быстро убирает дубли)
     
    #7 GroM88, 18 Mar 2013
(You must log in or sign up to post here.)