Twitter опубликует исходники собственного аналитического программного обеспечения Sto

Discussion in 'Мировые новости. Обсуждения.' started by d3l3t3, 7 Aug 2011.

  1. d3l3t3

    d3l3t3 Banned

    Joined:
    3 Dec 2010
    Messages:
    1,771
    Likes Received:
    98
    Reputations:
    10
    Расширяя комплекс программ для обработки данных, социальная сеть Twitter вскоре опубликует исходные коды собственного программного приложения Storm, предназначенного для анализа в реальном времени крупномасштабных массивов данных. Приложение Storm является одним из собственных решений Twitter, предназначенных для работы с огромными массивами информации.

    В июле этого года компания приобрела разработчика программного обеспечения BackType, поставлявшего инструменты для анализа и исследования данных в сети Twitter. При помощи продуктов этой компании многие организации анализировали данные, связанные с их компанией, отзывами пользователей и общением персонала. Программное обеспечение Storm, базирующееся на разработках BackType, технически похоже на открытый комплекс Apache Haddop, но в отличие от последнего лучше приспособлено для работы с постоянно обновляющимися и меняющимися потоками данных, такими как новостные ленты Twitter.

    В Twitter говорят, что при помощи данного продукта пользователи могут проще и значительно быстрее анализировать данные в реальном времени. Анализировать данные и хранить результаты Storm может как в обычных файлах, так и в неструктурированных хранилищах или базах данных. Технически Storm может анализировать как Twitter-ленты, так и другие постоянно обновляемые данные. Одним из преимуществ продукта является его простота и широкие возможности по использованию.

    Storm представляет собой разновидность CEP-программ (complex event processing), похожих на те, что на коммерческой основе выпускают компании SAP и Oracle. Однако в отличие от двух последних Storm не имеет встроенного механизма хранения, так как полагается на внешние хранилища.

    Продукт должен быть презентован на конференции Strange Loop в США в начале сентября. Сейчас более подробные данные доступны в блоге Twitter по адресу http://engineering.twitter.com/2011/08/storm-is-coming-more-details-and-plans.html​

    (07:00) 07.08.2011
    http://cybersecurity.ru/programm/129317.html