Программы для хранения данных!

Сообщение **izhidkov** » 12 дек 2016, 15:38

Добрый день, интересует такая вещь.
Кто знает есть ли какие-нибудь программы которые позволяют архивировать данные с возможностью их восстановления в случае повреждения архива (ошибка диска/ канала связи и т.п.)?

Сообщение **alex45** » 12 дек 2016, 16:16

Вопрос поставлен слишком широко.
Для каких целей и какие данные необходимо архивировать?

Сообщение **Jackson** » 12 дек 2016, 17:05

izhidkov писал(а): Кто знает есть ли какие-нибудь программы которые позволяют архивировать данные с возможностью их восстановления в случае повреждения архива (ошибка диска/ канала связи и т.п.)?

Intel Matrix Storage Manager.
Acronis True Image.
и тэдэ.

Конкретнее.

want to have ultimate control, and the sky is the limit!

Хе-хе, а иные и в космос забрались.

Сообщение **hell_boy** » 12 дек 2016, 17:33

WinRAR, в опциях поставить "Добавить информацию для восстановления"

Сообщение **izhidkov** » 12 дек 2016, 19:20

TEB писал(а): Хе-хе, а иные и в космос забрались.

Скажи еще на что луну!

Сообщение **izhidkov** » 12 дек 2016, 19:21

TEB писал(а): Intel Matrix Storage Manager.

Это с RAID контроллерами который идет?

Сообщение **izhidkov** » 12 дек 2016, 19:28

TEB писал(а): Конкретнее.

Есть куча всяких разных файлов: проекты программ, документы, фото, образы дисков, exe-шники и т.п. и т.д. Хочется их 1) ужать 2) хранить в архивах, т.к. чтобы быстро копировались и перемещались 3) чтобы при ошибке чтения не ломался архив целиком, да и вообще чтобы исправлялся

Вопрос в общем не о программах для резервного копирования и технологиях избыточного хранения, а о ПО которое может например взять файл - добавить к нему избыточности. А затем через какое либо время проверить этот файл и восстановить.

С винраром не совсем понятно какую именно информацию он добавляет, какой класс ошибок исправляет и т.п. Хотелось бы что-то более профессиональное.

Сообщение **Jackson** » 12 дек 2016, 22:43

izhidkov писал(а): Скажи еще на что луну!

И даже дальше. А вот хамить не надо. Давно ли мы на "ты" перешли?

izhidkov писал(а): Это с RAID контроллерами который идет?

Точнее при них. РАЙД прекрасно и без этого софта живёт.

izhidkov писал(а): Хочется их 1) ужать

Забудьте. В виндовсе до сих пор осталась эта фича "сжатые диски", но она черевата тем что при малейшем сбое в ФС, аппаратном или программном, уйма данных теряется безвозвратно, и RAID1 даже не спасает.

izhidkov писал(а): 2) хранить в архивах, т.к. чтобы быстро копировались и перемещались

При современных скоростях оно и так мигом летает по гигабитной сетке.

izhidkov писал(а): 3) чтобы при ошибке чтения не ломался архив целиком, да и вообще чтобы исправлялся

Дорогое решение: купить хороший NAS с горячей заменой дисков и организовать там RAID10 из четырёх дисков. Дорого? тогда хотя бы RAID1. Снова дорого? Тогда покупаем рабочую станцию с корпусом MidiTower (не меньше) с аппаратным RAID1, пихаем в неё минимум 4 HDD: два для RAID1, один системный (можно SSD), ещё один для ПО и некритичных данных. И не забываем к этому всему ИБП человеческий (не back-UPS). На этой рабочей станции и работаем и данные храним. Ставим в угол, шумоизолируем и никогда не выключаем.
И ещё оптимизируем данные, безжалостно выкидывая всё лишнее, например от сотен фотографий "как я провёл отпуск" можно оставить отсилы десяток-полтора, напечатать на хорошей бумаге и вставить в альбом, а файлы больше не нужны. Кнопка DEL - важнейший инструмент любого творчества.
Такая раб.станция работает у меня дома уже лет 8, хватает на всё. С неё и кино в кинотеатре смотрится и музыка слушается по всему дому, и работаю тут же (вот прямо сейчас). Два раза менял диски в RAIDе: первый раз когда объём удваивал, второй раз один диск накрылся - спокойно сбегал за другими двумя и перестроил массив на них со всеми данными. Особо экономные закидывают её на антресоли (сделав соответственно из подручного и сэкономив на всём чём можно, кроме надёжности) и пользуются удалёнными сеансами (в WinXP например был встроенный терминальный сервер, его и к современным ОС можно прикрутить). Можно баребонку купить, можно коробочный ПК (только не знаю как там с РАЙДами, не попадались с ними), можно чистый NAS, можно обычную рабстанцию собрать - сами считайте что Вам лучше.
ИБП реально нужен. Диск у меня накрылся ровно тогда когда по закону подлости в ИБП сдохла батарея и вырубилось электричество (что случается раз в несколько лет - с того момента кстати и не вырубался). Батареи в ИБПшках менять совсем недорого, если в правильных местах покупать - я например купил сейчас батареи со сроком службы минимум 10 лет, в обычных магазинах паршивое и умирающее через год стоит столько же, а уж брендированные покупать - вообще раздеться, тем более что это на самом деле те же батареи, просто перекрашенные, и далеко не самые лучшие.

Отправлено спустя 8 минут 30 секунд:
Внешние съёмные носители - не вариант, проверял. Когда носитель полежит годик-другой, то шансы на то что он заведётся в следующий раз значительно уменьшаются. От типа носителя это не зависит.

Отправлено спустя 2 минуты 44 секунды:
А если хотите ещё дешевле - купите внешний HDD или SSD в ударостойком корпусе, и всё.

Сообщение **hell_boy** » 13 дек 2016, 10:15

izhidkov писал(а):С винраром не совсем понятно какую именно информацию он добавляет, какой класс ошибок исправляет и т.п. Хотелось бы что-то более профессиональное.

http://www.win-rar.ru/study/part2/security.php

Не нравится WinRAR - возьми open source FreeArc http://freearc.org/ru

Сообщение **Jackson** » 13 дек 2016, 10:56

izhidkov писал(а): Хотелось бы что-то более профессиональное.

Само решение - паковать данные на лету и складировать - мягко говоря, непрофессиональное, так что и результат "профессиональным" точно не будет.
Не вполне понимаю зачем жать данные когда в 21 веке нет проблем ни с объёмами хранилищ ни со скоростями. Скорость чтения данных с RAID1 в обычном настольном компе - 30-50 Мбайт/сек. Если это NAS то по гигабитной сети скорость передачи данных с него получается порядка 15 Мбайт/сек как минимум. BlueRay-образ переписывается по гигабитной сети примерно минут за 5-10.

Сообщение **izhidkov** » 13 дек 2016, 11:33

TEB писал(а): И даже дальше. А вот хамить не надо. Давно ли мы на "ты" перешли?

Хорошо, впредь буду только на Вы обращаться.

TEB писал(а): Тогда покупаем рабочую станцию с корпусом MidiTower (не меньше) с аппаратным RAID1, пихаем в неё минимум 4 HDD: два для RAID1, один системный (можно SSD), ещё один для ПО и некритичных данных.

Есть такой

TEB писал(а): Само решение - паковать данные на лету и складировать - мягко говоря, непрофессиональное, так что и результат "профессиональным" точно не будет.
Не вполне понимаю зачем жать данные когда в 21 веке нет проблем ни с объёмами хранилищ ни со скоростями. Скорость чтения данных с RAID1 в обычном настольном компе - 30-50 Мбайт/сек. Если это NAS то по гигабитной сети скорость передачи данных с него получается порядка 15 Мбайт/сек как минимум. BlueRay-образ переписывается по гигабитной сети примерно минут за 5-10.

Большое количество маленьких файлов сеть не переваривает

А вопрос то конечно от недостатка денег. Кроме варианта с аппаратными рейдами хотелось бы знать варианты программного резервирования. Слишком много всяких разных деталей по которым и рейд плохо, и программное резервирование - плохо (часть предрассудки, часть может быть реальна). Сейчас интересен именно вариант наличия ПО для кодирования и восстановления с избыточностью (бчх, турбо-кодов и современных аналогов).

Сообщение **Jackson** » 13 дек 2016, 11:40

izhidkov писал(а): Большое количество маленьких файлов сеть не переваривает

Прекрасно переваривает.

Отправлено спустя 2 минуты 6 секунд:

izhidkov писал(а): интересен именно вариант наличия ПО для кодирования и восстановления с избыточностью (бчх, турбо-кодов и современных аналогов)

Такое применяется только в защищённых хранилищах, где цель защиты - шифрование данных с целью обеспечения их конфиденциальности. Просто для складирования данных это бессмысленно и выглядит как <цензура>. Впрочем, дело вкуса.

Сообщение **izhidkov** » 13 дек 2016, 12:10

TEB писал(а): Такое применяется только в защищённых хранилищах, где цель защиты - шифрование данных с целью обеспечения их конфиденциальности.

Бчх, турбо и т.п. напрямую не шифруют данные, хотя некоторые алгоритмы могут смешивать данные для равномерной плотности 0 и 1

Сообщение **izhidkov** » 13 дек 2016, 12:12

TEB писал(а): Прекрасно переваривает.

Тогда файловая система не переваривает... 5,000,000 1кб файлов передать по сети/ да и с диска на диск - это не то чтобы проблема но все равно копирование пройдет медленней, чем копирование 1го большого 5 гб файла

Сообщение **izhidkov** » 13 дек 2016, 12:14

Так и что там кстати восстановили утерянный форум Сименса? )

Сообщение **Jackson** » 13 дек 2016, 12:35

izhidkov писал(а): но все равно копирование пройдет медленней

В гигабитной сети это неважно. Ну медленнее вполовину, ну 50 гигов не за 10 а за 20 минут перельёте. Ну и что?...

Сообщение **izhidkov** » 13 дек 2016, 12:45

TEB писал(а): В гигабитной сети это неважно. Ну медленнее вполовину, ну 50 гигов не за 10 а за 20 минут перельёте. Ну и что?...

А если несколько ТБ, то это уже на лишние часы расчет идет. Тогда может уже и есть смысл.

Сообщение **Jackson** » 13 дек 2016, 12:47

izhidkov писал(а): А если несколько ТБ

И Вы будете ежедневно перекачивать по несколько ТБ данных мелкими файлами? Что Вы там делаете?

Сообщение **izhidkov** » 13 дек 2016, 12:54

TEB писал(а): И Вы будете ежедневно перекачивать по несколько ТБ данных мелкими файлами? Что Вы там делаете?

Издержки стиля работы и профессии )

Сообщение **Jackson** » 13 дек 2016, 13:01

Тогда аппаратный RAID10 и серверные HDD.

Сообщение **izhidkov** » 13 дек 2016, 13:11

Спасибо.

Сообщение **Jackson** » 13 дек 2016, 17:03

Кстати, забыл спросить: и Вы собираетесь все эти Ваши терабайты ещё и архивировать?

Сообщение **izhidkov** » 14 дек 2016, 09:23

TEB писал(а): Вы собираетесь все эти Ваши терабайты ещё и архивировать?

Ну иначе они слишком много места занимают..
С большим объемом некоторых файлов и большим количеством мелких файлов возникает проблема из-за того что приходится "ручные" (копипастные) бэкапы гор виртуальных машин и данных внутри них делать...
Не бейте палками - я знаю что должны быть сервера Git/Mercurial и т.п., снимки виртуальных машин и т.п., но это стоит не кислых денег, это нужно учить, да и в общем они тем же проблемам подвержены (что и сами данные и ВМ).

Сообщение **Jackson** » 14 дек 2016, 10:04

izhidkov писал(а): приходится "ручные" (копипастные) бэкапы гор виртуальных машин

Понятно. Понятно что ничего непонятно, и да ладно, сворачиваюсь. :) Спросили только про хранение файлов - любой серьёзный NAS или скажем циска с этим бы справились, но теперь вот виртуальные машины только что появились. Как только задача вроде решается - Вы сообщаете новые вводные. Утомило

Я хотел сказать что на паковку-распаковку тоже уходят ресурсы и дисковое пространство, и при таких объёмах оно видится бессмысленным. Но Вам виднее.

Сообщение **izhidkov** » 14 дек 2016, 10:29

TEB писал(а): но теперь вот виртуальные машины только что появились.

Я сейчас их рассматриваю просто как файлы на диске хоста, не больше..