Чем удалить повторы?

Discussion in 'Болталка' started by totenkopf, 25 Mar 2012.

  1. totenkopf

    totenkopf Elder - Старейшина

    Joined:
    19 Jul 2010
    Messages:
    91
    Likes Received:
    63
    Reputations:
    19
    Есть файл 1 миллион записей.
    Примерно половина повторяется.
    Чем удалить повторы? Все что не пробовал виснет съедая ресурсы.
     
    #1 totenkopf, 25 Mar 2012
  2. mironich

    mironich Elder - Старейшина

    Joined:
    27 Feb 2011
    Messages:
    733
    Likes Received:
    73
    Reputations:
    19
    #2 mironich, 25 Mar 2012
  3. totenkopf

    totenkopf Elder - Старейшина

    Joined:
    19 Jul 2010
    Messages:
    91
    Likes Received:
    63
    Reputations:
    19
    Благодарю. Успел решить вопрос с помощью.
    UnixUtils бинарников sort.exe,uniq.exe.
    Почти мгновенно почистилось и отсортировалось все.
     
    #3 totenkopf, 25 Mar 2012
(You must log in or sign up to post here.)