Tachyon: распределённая и устойчивая к сбоям файловая система

Discussion in 'Мировые новости. Обсуждения.' started by Solitude, 20 Apr 2013.

  1. Solitude

    Solitude Member

    Joined:
    29 Aug 2011
    Messages:
    445
    Likes Received:
    23
    Reputations:
    1
    Tachyon: распределённая и устойчивая к сбоям файловая система

    Тахион — гипотетическая частица, движущаяся со скоростью, превышающей скорость света в вакууме. В отличие от тахиона, новый проект Tachyon (github ) — вовсе не выдумка, а вполне реальная файловая система, распределённая по разным носителям. Она отлично подходит для фреймворков в кластере, таких как Spark и MapReduce.

    Распределённая файловая система (ФС) гарантирует сохранность информации в случае аппаратного сбоя. Выход из строя одного носителя в кластере не влияет на производительность системы и сохранность данных. Носитель можно быстро заменить.

    В отличие от других распределённых файловых систем, Tachyon обеспечивает не только надёжность, но и высокую скорость. Для сравнения, она показывает в 300 более высокую пропускную способность, чем HDFS (Hadoop Distributed File System), за счёт специфической оптимизации и агрессивного использования памяти. Tachyon кэширует в памяти рабочие файлы и позволяет разным процессам получать доступ к ним: за счёт этого и достигается высокая производительность. Подобная архитектура отлично подходит, например, для стриминга медиаконтента: кодирование, рендеринг и трансляция осуществляются непосредственно из памяти сервера, ни разу не обратившись к жёсткому диску.

    Файловую систему разработали в Беркли (лаборатория UC Berkeley AMP Lab ). Система Tachyon идёт в комплекте с программными интерфейсами File API, которые по синтаксису похожи на Java.

    Новую файловую систему можно поставить на кластер Hadoop без каких-либо модификаций.

    20.04.2013
    http://www.xakep.ru/post/60486/​