Что-то сегодня адуха какая-то.
Как будто бы рейд посыпался.
Пока я сегодня спал, пришло уведомление, что из массива выпал один диск, к моменту как я дополз до компьютера - уже недоставало
... показать большеЧто-то сегодня адуха какая-то.
Как будто бы рейд посыпался.
Пока я сегодня спал, пришло уведомление, что из массива выпал один диск, к моменту как я дополз до компьютера - уже недоставало двух.
При этом диски не были помечены сбойными, а просто пропали из массива. При этом находясь в системе и показывая по mdadm --examine, что они часть рейда. Причём ещё и в статусе "active". Когда в это же время в mdadm --detail было минус два диска как будто их просто не существует.
В итоге один вернулся сам после того как я этих двоих физически вынул и вернул обратно.
Второй вернулся после mdadm <array> --add. Выглядело всё это так как будто mdadm - слепой, а я его носом ткнул и он такой: "Да вот же он!".
Вот только в следующий ребут ФС, которая находится поверх LUKS на этом массиве не подмонтировалась с ошибкой "fsconfig system call failed: Structure needs cleaning", а e2fsck нашёл какую-то ебАную кучу всякой хрени (пока просто в режиме без изменений).
Оставил на ночь mdadm провести проверку целостности массива с пересчётом и ...
Заказал дисков, на которые планировал обновляться в самом конце года.
Короче говоря, астрологи объявили неделю приключений, танцев с бубном, незапланированных трат и потенциальной потери 30 терабайт данных 🎉
Предлагаю делать ставки на исход.
#hardware #server #soft #mdadm #Linux #RAID #log #storage #WTF #shit
- [Почти] всё восстановишь (59%, 13 голосов)
- Много проебёшь (13%, 3 голоса)
- Всё проебёшь (27%, 6 голосов)
22 голоса. Конец опроса: 1 мес. назад
kurator88
в ответ на Alexey Skobkin • • •а почему нет варианта где ты уверенно все восстановишь без потерь ?
как хорошо с zfs где два диска отданы в жертву богам
... показать большеа почему нет варианта где ты уверенно все восстановишь без потерь ?
как хорошо с zfs где два диска отданы в жертву богам
Alexey Skobkin
в ответ на kurator88 • • •Это первый вариант.
Для меня "всё" и "почти всё" - это примерно одно и то же в данной ситуации.
Почти гарантированно при исправлении ФС до той стадии где она монтируется что-то потеряется.
... показать большеЭто первый вариант.
Для меня "всё" и "почти всё" - это примерно одно и то же в данной ситуации.
Почти гарантированно при исправлении ФС до той стадии где она монтируется что-то потеряется.
Плюс у меня нет бесконечного ресурса дисков чтобы можно было, например, просто снять образы с тех, что работают в рейде сейчас и баловаться с этими данными до усрачки.
Да, я обновляю диски до тех, что в два раза больше, но RAID 6 съедает два диска на отказоустойчивость и тогда у меня будет место для снятия образов, но не будет места, куда можно что-то восстанавливать.
Так что скорее всего я остановлюсь на том, что добившись стабильной работы рейда и проверив, что сам по себе он цел запущу e2fsck в режиме с записью и буду надеяться, что оно не сожрёт вообще всё 🤷♂️
В теории, конечно, можно обратиться в компанию по восстановлению данных, но у меня на этих дисках LUKS именно потому, что мне спокойнее данные проебать, чем отдать кому-то несмотря на то, что там и не должно быть ничего такого.
Из плюсов - большую часть этого хранилища составляла медиатека и бэкапы.
Я переживу потерю коллекции фильмов, сериалов, аниме, а также бекапов того, что сейчас живо.
Да, потеряю какие-то, скажем, фотографии со времён школы или сорцы моих видео, какие-то старые документы, но это всё преходящее.
Не знаю как так получается, но я к тому, что это всё может проебаться отношусь абсолютно спокойно.
> как хорошо с zfs где два диска отданы в жертву богам
Ну так ZFS с двумя дисками отданными в жертву - это примерно то же самое, что у меня, просто на уровне ФС, а не блочных устройств.
Shit иногда happens даже в таких случаях 🤷♂️
kurator88
в ответ на Alexey Skobkin • • •>Shit иногда happens даже в таких случая
да, добавил в бэклог добавить бэкапов и по-больше по-больше
нужна какая-то социальная сеть где я даю людям 100гб а мне за это 2 раза по 50гб на разных хостах
... показать больше>Shit иногда happens даже в таких случая
да, добавил в бэклог добавить бэкапов и по-больше по-больше
нужна какая-то социальная сеть где я даю людям 100гб а мне за это 2 раза по 50гб на разных хостах
Alexey Skobkin
в ответ на kurator88 • • •@kurator88
Слушай, а что-то подобное уже есть в разных вариантах.
Я знаю, что такое есть у Synology. Знаю, что подобный [не совсем бекап] можно сделать с помощью syncthing - там есть режим, когда на ко
... показать больше@kurator88
Слушай, а что-то подобное уже есть в разных вариантах.
Я знаю, что такое есть у Synology. Знаю, что подобный [не совсем бекап] можно сделать с помощью syncthing - там есть режим, когда на конкретном девайсе данные лежат только зашифрованные.
По-моему ещё где-то видел что-то подобное. Но с ходу опенсорсных решений не вспомню именно для бекапа - где у тебя данные хранятся удалённо, а не синкаются с локальной копией.
kurator88
в ответ на Alexey Skobkin • • •хочется социальный проект либо крипто-проект. Отдал свое место - получи монеты, хочешь чужого места - заплати монеты
Чем больше я об этом думаю тем больше мне кажется что такое уже было
... показать большехочется социальный проект либо крипто-проект. Отдал свое место - получи монеты, хочешь чужого места - заплати монеты
Чем больше я об этом думаю тем больше мне кажется что такое уже было и я не придумываю а воспроизвожу. Раз название не приходи на ум - значит не взлетело
Alexey Skobkin
в ответ на kurator88 • • •@kurator88
Да, то, что ты описываешь звучит как что-то, что я где-то слышал.
В общем-то я когда писал выше - примерно подобная мысль проскакивала.
Беглый гуглинг выдаёт как минимум
... показать больше@kurator88
Да, то, что ты описываешь звучит как что-то, что я где-то слышал.
В общем-то я когда писал выше - примерно подобная мысль проскакивала.
Беглый гуглинг выдаёт как минимум вот это:
- storj.io
- filecoin.io
- tartle.co
- safenetwork.tech
- sia.tech
- u.is/en/
Из этого я раньше видел Sia, Storj и Filecoin по-моему - из-за чего и написал, что что-то такое есть.
Storj - Smarter cloud storage for your business.
www.storj.ioMax
в ответ на Alexey Skobkin • • •@kurator88
Восстанавливать диск можно не на RAID-массив - тогда и места хватит на все.
А потом данные перекинуть на старый диск, новые в RAID и обратно закинуть.
Да, несколько больше ко
... показать больше@kurator88
Восстанавливать диск можно не на RAID-массив - тогда и места хватит на все.
А потом данные перекинуть на старый диск, новые в RAID и обратно закинуть.
Да, несколько больше копирований - но зато и "поиграться" полноценно можно.
Alexey Skobkin
в ответ на Max • • •Это если доверять хардвари старых дисков. А я пока не знаю.
Alexey Skobkin
в ответ на Alexey Skobkin • • •Немножко картинок для привлечения внимания и вызывания нервных тиков.
#pic #server #fail #RAID
ru поделился этим.
Minoru
в ответ на Alexey Skobkin • • •Alexey Skobkin
в ответ на Minoru • • •Ну так дополни, чо нет-то.
Minoru
в ответ на Alexey Skobkin • • •Ostap Bender
в ответ на Alexey Skobkin • • •Roman
в ответ на Alexey Skobkin • • •Alexey Skobkin
в ответ на Roman • • •@3draven
Не надёжнее чем что?
Зависит от.
Я с ZFS не хотел связываться по нескольким достаточно простым причинам:
- её нет в ядре
... показать больше- она всё равно будет плохо работать на дисках раз
@3draven
Не надёжнее чем что?
Зависит от.
Я с ZFS не хотел связываться по нескольким достаточно простым причинам:
- её нет в ядре
- она всё равно будет плохо работать на дисках разных объёмов если её не балансировать с бубном
- это привязка к конкретной ФС
В итоге решил не переусложнять и разделить задачи по отдельным инструментам. Один занимается рейдом, один шифрует, один файлы хранит.
Раньше я вообще на mhddfs, а потом mergerfs жил 🤷♂️
Roman
в ответ на Alexey Skobkin • • •Alexey Skobkin
в ответ на Roman • • •@3draven
> Фс цельная и просто так ничего не потеряет
Эмм... Ну, скажи это людям, которые проёбывали всё с BTRFS.
Проебать можно всё и везде. Если это что-то очень важное - нужно заботить
... показать больше@3draven
> Фс цельная и просто так ничего не потеряет
Эмм... Ну, скажи это людям, которые проёбывали всё с BTRFS.
Проебать можно всё и везде. Если это что-то очень важное - нужно заботиться о резервных копиях.
Правило трёх бэкапов - оно не просто так существует.
Roman
в ответ на Alexey Skobkin • • •Alexey Skobkin
в ответ на Roman • • •@3draven
А я не знаю.
Я не знаю, что конкретно произошло пока.
И на выяснение уйдёт много времени. Я даже не уверен, потрачу ли я достаточно времени чтобы точно выяснить.
Возмож
... показать больше@3draven
А я не знаю.
Я не знаю, что конкретно произошло пока.
И на выяснение уйдёт много времени. Я даже не уверен, потрачу ли я достаточно времени чтобы точно выяснить.
Возможно это диски отказали. Возможно, недорогой SATA контроллер пизданулся. Даже баг в ФС исключать нельзя 🤷♂️
Taciturn
в ответ на Alexey Skobkin • • •> Я не знаю, что конкретно произошло пока.
А логи совсем не смотрел или в них ничего?
@3draven
Alexey Skobkin
в ответ на Taciturn • • •Немного смотрел, но не все. Их много достаточно, надо выделить время на ковыряние.
Taciturn
в ответ на Alexey Skobkin • • •Выкладывай все, почитаем вместе!
@3draven
Andrey Esin
в ответ на Alexey Skobkin • •@Alexey Skobkin
Я немного хз, какие данные на дисках и насколько критичен сервер в онлайне, но я бы его выключил и не включал но новых дисков, особенно, если оставшиеся 3 той же марки, ч
... показать больше@Alexey Skobkin
Я немного хз, какие данные на дисках и насколько критичен сервер в онлайне, но я бы его выключил и не включал но новых дисков, особенно, если оставшиеся 3 той же марки, что и выпавшие из рейда. В этот момент я бы взял выпавшие диски и с помощью badblocks без деструктивных опций проверил бы их
А если есть возможность воткнуть ещё диск, из тех новых, что пришли, то воткнул бы как hot spare один диск, на случай повторных пиздецов
Моё мнение не спрашивали, но поделился опытом, столкнувшись с такой же ситуацией, но рейд5 из 4 дисков осталось в живых 2, которые пришлось умаливать и через ddrescue уносить с них данные на новые диски и уже новые диски вставлять для последующего ребилда (lvm, luks, все как надо поднялось после такой дрочки)
Сил тебе и терпения!
#hardware #server #soft #mdadm #Linux #RAID #log #storage #WTF #shit
нравится это
z3rOR0ne :anarchy: и Alexey Skobkin нравится это.
Tech Cyborg поделился этим.
Alexey Skobkin
в ответ на Andrey Esin • • •@andrey
Спасибо.
Тут ещё смешно то, что у меня последние три года лежал запасной диск на 10 в ящике специально для такого случая.
Но неделю назад я его дал поюзать родне для восс
... показать больше@andrey
Спасибо.
Тут ещё смешно то, что у меня последние три года лежал запасной диск на 10 в ящике специально для такого случая.
Но неделю назад я его дал поюзать родне для восстановления данных с плохого диска 😁
Как вернут - добавлю, скорее всего.
Andrey Esin нравится это.
Taciturn
в ответ на Alexey Skobkin • • •Alexey Skobkin
в ответ на Taciturn • • •@Taciturn
Узнаем через ~неделю.
Пока что только мисматчи в массиве чинятся.
... показать большеПотом еще проверять результат, потом проверять ФС, потом собирать новый массив когда диски придут, п
@Taciturn
Узнаем через ~неделю.
Пока что только мисматчи в массиве чинятся.
Потом еще проверять результат, потом проверять ФС, потом собирать новый массив когда диски придут, потом копировать данные (если ФС оживёт).
Пока что я успел посчитать весь рейд и найти ~67к мисматчей, которые сейчас чинятся.
Ну и еще забрал запасной диск обратно и поставил его как горячую замену.
Когда будет о чём писать - напишу.
В целом такое количество мисматчей - это, кажется, не конец света. Они тупо могли за годы с выключениями света и сбоями контроллера накопиться даже без болезней дисков. UPS-то был не всегда, да и контроллер дешёвый.
Taciturn
в ответ на Alexey Skobkin • • •Может стоит добавить в cron, хотя бы раз в пол года (а лучше раз в три месяца) проверку (echo check > /sys/block/md127/md/sync_action)?
Alexey Skobkin
в ответ на Taciturn • • •Alexey Skobkin
в ответ на Alexey Skobkin • • •@Taciturn
Так, ну "repair" прошёл и нашёл ровно столько же мисматчей, сколько было найдено ранее.
И это уже хорошо. Значит они как минимум не растут в реальном времени.
Сейчас немного ра
... показать больше@Taciturn
Так, ну "repair" прошёл и нашёл ровно столько же мисматчей, сколько было найдено ранее.
И это уже хорошо. Значит они как минимум не растут в реальном времени.
Сейчас немного раскидал диски по разным контроллерам и повторяю "check". Скорость проверки заметно повысилась. Посмотрим, что найдёт.
Файловая система всё ещё поломана, но я её и не собирался чинить до того как RAID будет приведён в порядок.
Посмотрю, что покажет повторная проверка и буду запускать починку ФС.
А пока успел получить два из пяти новых дисков.
Alexey Skobkin
в ответ на Alexey Skobkin • • •"check" после "repair" показал 0 мисматчей.
Запускаю проверку ФС (пока readonly) чтобы оценить масштаб бед. В прошлый раз там были дикие простыни находок.... показать больше
"check" после "repair" показал 0 мисматчей.
Запускаю проверку ФС (пока readonly) чтобы оценить масштаб бед. В прошлый раз там были дикие простыни находок.
Alexey Skobkin
в ответ на Alexey Skobkin • • •Так.
Ну не одним же рейдом веселиться, правда?
Стал запускать полученные новые диски для нового рейда и из пяти:
- Один не запустился вообще
- Один оказался 12 ТБ в корпусе 20 ТБ
🎉
Успех!
#
... показать большеТак.
Ну не одним же рейдом веселиться, правда?
Стал запускать полученные новые диски для нового рейда и из пяти:
- Один не запустился вообще
- Один оказался 12 ТБ в корпусе 20 ТБ
🎉
Успех!
#hardware #HDD #Ozon #fun #log #server #RAID
Andrey Esin нравится это.
Alexey Skobkin
в ответ на Alexey Skobkin • • •А, ну в целом и не сильно удивительно.
Я заказывал 5 дисков у двух продавцов:
- 3 в Позитронике
- 2 у какого-то "1й! ГИПЕР", которого я никогда не видел
Угадайте с одного раза чьи диски не оправдал
... показать большеА, ну в целом и не сильно удивительно.
Я заказывал 5 дисков у двух продавцов:
- 3 в Позитронике
- 2 у какого-то "1й! ГИПЕР", которого я никогда не видел
Угадайте с одного раза чьи диски не оправдали себя
Mahury
в ответ на Alexey Skobkin • • •Alexey Skobkin
в ответ на Mahury • • •Поздравляю, вы выиграли очко!
Alexey Skobkin
в ответ на Alexey Skobkin • • •Четыре фотографии, 10 минут и возврат оформлен.
Осталось донести их до пункта выдачи.
Как-то около полутора-двух лет назад меня спрашивали почему я покупаю железо в Ozon, а не в DNS.
Ну... Вот прим
... показать большеЧетыре фотографии, 10 минут и возврат оформлен.
Осталось донести их до пункта выдачи.
Как-то около полутора-двух лет назад меня спрашивали почему я покупаю железо в Ozon, а не в DNS.
Ну... Вот примерно поэтому.
У меня есть определённый опыт общения с СЦ DNS и кроме того, что в самом идеальном случае я бы у них потратил на ~час больше времени, так я ещё и не уверен, что получилось бы им всучить обратно диск, который определяется другой моделью, объёмом и серийником.
Я, кстати, и те диски из которых текущий рейд собран тоже там брал и один из дисков был с битыми секторами. В итоге я его вернул 31 декабря, а 2 января получил новый.
С DNS я бы такое точно не провернул 🤷♂️
#Ozon #DNS #hardware #HDD #thoughts #log #RMA #refund
Alexey Skobkin
в ответ на Alexey Skobkin • • •Между тем на днях проверил ВСЕ рейдовые диски, которые сейчас есть на руках по S.M.A.R.T. расширенным тестом - все здоровы.
Так что, видимо, когда соберу новый массив старые диски можно будет пот
... показать большеМежду тем на днях проверил ВСЕ рейдовые диски, которые сейчас есть на руках по S.M.A.R.T. расширенным тестом - все здоровы.
Так что, видимо, когда соберу новый массив старые диски можно будет потом пустить на хранилище для бекапов, например 🤔
Тоже неплохая новость.
rayslava
в ответ на Alexey Skobkin • • •Alexey Skobkin
в ответ на rayslava • • •А это скорее всего не диски.
Alexey Skobkin
в ответ на Alexey Skobkin • • •Пришли два перезаказанных диска из пяти новых.
Один опять не запустился.
Интересно, если я продолжу их возвращать и перезаказывать, что произойдёт раньше: ряд сойдётся к нулю или Ozon ох
... показать большеПришли два перезаказанных диска из пяти новых.
Один опять не запустился.
Интересно, если я продолжу их возвращать и перезаказывать, что произойдёт раньше: ряд сойдётся к нулю или Ozon охуеет от моих возвратов?
#HDD #hardware #FAIL #log #Ozon
Alexey Skobkin
в ответ на Alexey Skobkin • • •Тем временем, я на днях забекапил на временный RAID 5 из новых дисков LUKS лежащий на RAID 6 и прошёлся e2fsck по файловой системе лежащей в нём.
В режиме "-p" оно отказывалось что-либо делать требуя альтернат
... показать большеТем временем, я на днях забекапил на временный RAID 5 из новых дисков LUKS лежащий на RAID 6 и прошёлся e2fsck по файловой системе лежащей в нём.
В режиме "-p" оно отказывалось что-либо делать требуя альтернативные суперблоки даже когда я их давал, но я включил слабоумие и отвагу и запустил в режиме "-y". Спустя несколько часов восстановление закончилось и раздел подмонтировался.
Так что пока что привёл сервер в полуживой режим - выключил все контейнеры, которые дрочат ФС большим количеством IO и/или пишут туда.
Жду последнего диска для нового RAID 6 и буду перетягивать файлики на новое место.
В это же время у меня подходит к концу гарантийный срок на ИБП пока сервисный центр ждёт, что я его привезу, т.к. они наконец-то получили новый вентилятор.
Думаю, несложно догадаться, что я не хочу делать важные операции с данными без ИБП - так что расписание у меня, судя по всему, плотненькое 😩
#hardware #server #HDD #RAID #EXT4 #recovery
Alexey Skobkin
в ответ на Alexey Skobkin • • •Кстати, если вы голосовали в опросе и волнуетесь угадали ли, то пока что всё выглядит, что большая часть данных будет восстановлена (я думаю, что какие-то файлы внутри будут местами поби
... показать большеКстати, если вы голосовали в опросе и волнуетесь угадали ли, то пока что всё выглядит, что большая часть данных будет восстановлена (я думаю, что какие-то файлы внутри будут местами побиты).
Так что первым делом после восстановления надо будет выкинуть или провалидировать все бэкапы, а потом перехэшировать торрентами всю медиатеку (помянем Transmission с его IO).
Если же вы проголосовали за то, что я всё проебу - не расстраивайтесь, я могу ещё успеть!
Andrey Esin нравится это.
Alexey Skobkin
в ответ на Alexey Skobkin • • •Ну короче на текущий момент у меня живо два RAID 6: старый и новый.
Работаю уже с новым, старый не форматирую пока новый на "испытательном сроке".
Думаю, что когда перееду на другую материнку гд
... показать большеНу короче на текущий момент у меня живо два RAID 6: старый и новый.
Работаю уже с новым, старый не форматирую пока новый на "испытательном сроке".
Думаю, что когда перееду на другую материнку где больше PCI-e линий и можно будет воспользоваться нормальным X4 контроллером, а также расставить все платы оптимально, то тогда можно будет старый массив уже чистить.
Пока что не устраиваю больших нагрузок дискам вроде торрентов потому, что во-первых хочу постепенно их нагружать, а во-вторых ИБП сейчас в ремонте и я не хочу поймать больше мисматчей когда опять вырубят свет или скакнет напряжение.
Alexey Skobkin
в ответ на Alexey Skobkin • • •Кстати, я тут думал как можно было бы делать снапшоты массива хотя бы раз в годик.
... показать большеСмотрел на варианты вроде BluRay и стримеров, но и то и другое оказалось слишком дорого.
Ну, точнее, стример мож
Кстати, я тут думал как можно было бы делать снапшоты массива хотя бы раз в годик.
Смотрел на варианты вроде BluRay и стримеров, но и то и другое оказалось слишком дорого.
Ну, точнее, стример можно купить старый не очень дорого, но туда и не влезет всё, что нужно.
Так что пока медиатека продолжает жить в режиме YOLO.
Artificial Stupidity
в ответ на Alexey Skobkin • • •а помнишь во времена этого нашего фидонета была поделка популярная, когда из видеомагнитофона делали делали кассетный накопитель
а стримеры - это и есть такого типа ленточные хран
... показать большеа помнишь во времена этого нашего фидонета была поделка популярная, когда из видеомагнитофона делали делали кассетный накопитель
а стримеры - это и есть такого типа ленточные хранилища или что-то другое?
Alexey Skobkin
в ответ на Artificial Stupidity • • •@AncientGood Не помню.
У меня компьютер появился заметно в нулевых только, когда фидонеты уже не имели особого смысла.
Да, стримеры - это ленточные хранилки. Бывают так называемые
... показать больше@AncientGood Не помню.
У меня компьютер появился заметно в нулевых только, когда фидонеты уже не имели особого смысла.
Да, стримеры - это ленточные хранилки. Бывают так называемые "библиотеки" даже, где механика касеты меняет сама когда место кончилось или надо куда-то доступиться.
Сейчас в мейнстриме формат LTO (9 версии).
Но стоят эти херовины (современных ревизий) дохера.
rayslava
в ответ на Alexey Skobkin • • •тогда это называлось АРхиватор на ВИДеокассетах.
Как стример, только очень ненадёжный, собранный из спичек и желудей, и к компьютеру цеплялся через самодельную ISA-плату, которую паяли
... показать большетогда это называлось АРхиватор на ВИДеокассетах.
Как стример, только очень ненадёжный, собранный из спичек и желудей, и к компьютеру цеплялся через самодельную ISA-плату, которую паяли в Зеленограде и невероятной кривизны софт 😀
@AncientGood
rayslava
в ответ на Artificial Stupidity • • •Золотые были времена, конечно!
@skobkin
Mahury
в ответ на Alexey Skobkin • • •Alexey Skobkin
в ответ на Mahury • • •Mahury
в ответ на Alexey Skobkin • • •Alexey Skobkin
в ответ на Mahury • • •Мне надо "бекап 60 тб" 🤷
Это будет минимум три диска по 20. Что в целом приближается по цене к поюзанному стримеру.
Оптику вроде BluRay на 100G не рассматриваю, т.к. тоже дорого и слишком неудобно для цен
... показать большеМне надо "бекап 60 тб" 🤷
Это будет минимум три диска по 20. Что в целом приближается по цене к поюзанному стримеру.
Оптику вроде BluRay на 100G не рассматриваю, т.к. тоже дорого и слишком неудобно для цены.
Mahury
в ответ на Alexey Skobkin • • •мм. 150К только на вход на диски.. и это самое дешёвое.
Taciturn
в ответ на Alexey Skobkin • • •Насчёт контроллеров:
Посмотри на AEC-82885T (пример — aliexpress.ru/item/10050067710…) — куча портов задёшево.
Конечно к нему нужен ещё HBA.
А ещё PCIe там только для питания (пруф — reddit.com/r/homelab/comm
... показать большеНасчёт контроллеров:
Посмотри на AEC-82885T (пример — aliexpress.ru/item/10050067710…) — куча портов задёшево.
Конечно к нему нужен ещё HBA.
А ещё PCIe там только для питания (пруф — reddit.com/r/homelab/comments/…) и есть отдельный разъём для питания, так что если есть возможность прикрутить на низкопрофильную планку над платой/пустотой, то вполне можно использовать без подключения к мат. плате.
Reddit - Dive into anything
www.reddit.comAlexey Skobkin
в ответ на Taciturn • • •А эти "расширители" - сомнительная штука.
Taciturn
в ответ на Alexey Skobkin • • •Alexey Skobkin
в ответ на Taciturn • • •48 гигабит - это ~10 SATA SSD. А откуда ты взял 12 гигабит на линк? Или ты подразумеваешь там SAS?
Taciturn
в ответ на Alexey Skobkin • • •Alexey Skobkin
в ответ на Taciturn • • •Ну у меня-то нет SAS контроллера. И в целом железо десктопное.
Taciturn
в ответ на Alexey Skobkin • • •Alexey Skobkin
в ответ на Taciturn • • •@Taciturn
У меня тут мой новый SATA-контроллер не завёлся (я его до этого не проверял).
Так что я раз уж мне всё равно тот возвращать и другой покупать решил посмотреть и на эти.
Наприм
... показать больше@Taciturn
У меня тут мой новый SATA-контроллер не завёлся (я его до этого не проверял).
Так что я раз уж мне всё равно тот возвращать и другой покупать решил посмотреть и на эти.
Например, такой:
ozon.ru/product/kontroller-pci…
Или такой:
ozon.ru/product/kontroller-pci…
Бэкплейн у меня с SATA-шными входами, но насколько я понял, никакой проблемы это не создаст, т.к. можно купить обычных кабелей, у которых с одной стороны SAS, а с другой - 4 SATA3.
Вроде такого:
ozon.ru/product/lsi-peripheral…
(только мне надо чуть длиннее, скорее всего)
Я всё правильно понял?
P.S. У меня под него есть PCI-e X16 слот с четырьмя линиями на новой материнке.
Taciturn
в ответ на Alexey Skobkin • • •А погрузиться в мир серверного б/у из Китая точное не хочешь?
aliexpress.ru/item/10050053212…
Всего 1859 рублей за 8 каналов, включая провода (правда тоже 50 см, но точно ли этого не хватит?).
Alexey Skobkin
в ответ на Taciturn • • •@Taciturn
> А погрузиться в мир серверного б/у из Китая точное не хочешь?
Не очень.
... показать большеУ меня мой переезд в серверный корпус уже как какой-то квартирный ремонт хуй знает сколько врем
@Taciturn
> А погрузиться в мир серверного б/у из Китая точное не хочешь?
Не очень.
У меня мой переезд в серверный корпус уже как какой-то квартирный ремонт хуй знает сколько времени длится. Я хочу поставить какую-то точку, а не ждать из Китая то, что мне в ближайшей перспективе не будет нужно.
> но точно ли этого не хватит?
Корпус длинный. Не хочу натягивать провода. Тут и более длинные провода местами из контроллера сейчас почти натянуты. Лучше возьму метровые кабели, сплету их велкро и красиво уложу чтобы не шли наискосок по корпусу мешая обслуживать.
Taciturn
в ответ на Alexey Skobkin • • •Ok. Тогда лично я за ozon.ru/product/kontroller-pci…
Он самый свежий и быстрый, 16 портов даже без экспандера.
Хотя на Ali всего 8918 рублей за комплект с метровыми кабелями!
... показать большеaliexpress.ru/item/10050050507…
Ok. Тогда лично я за ozon.ru/product/kontroller-pci…
Он самый свежий и быстрый, 16 портов даже без экспандера.
Хотя на Ali всего 8918 рублей за комплект с метровыми кабелями!
aliexpress.ru/item/10050050507…
Ну, на фото метровые, а так лучше уточнить сообщением, в описании про длину ни слова.
Или даже за 7312!
aliexpress.ru/item/10050052039…
Всего 6398!
aliexpress.ru/item/10050054853…
И если обдув слаб (например ты выкинул часть вентиляторов, за ненадобностью), то поставь рядом отдельный вентилятор, например через адаптер типа такого:
aliexpress.ru/item/10050066540…
Alexey Skobkin
в ответ на Taciturn • • •@Taciturn Обдув есть - ревучими серверными вентиляторами (правда на сниженных оборотах).
... показать большеМеста для вентилятора нет - платы стоят очень близко, т.к. еще видеокарта и вывод ATX контрол
@Taciturn Обдув есть - ревучими серверными вентиляторами (правда на сниженных оборотах).
Места для вентилятора нет - платы стоят очень близко, т.к. еще видеокарта и вывод ATX контроллов на PiKVM.
В остальном спасибо.
P.S. При живом Ozon, Aliexpress в гробу видел. Пойду туда только если больше нигде не будет.
Taciturn
в ответ на Alexey Skobkin • • •ask.adaptec.com/app/answers/de…
> * Adaptec RAID 51245, 51645, and 52445: Board Rev. C1 or later is needed. Previous board revisions may or may not recognize greater than 2TB disk drives.... показать больше
ask.adaptec.com/app/answers/de…
> * Adaptec RAID 51245, 51645, and 52445: Board Rev. C1 or later is needed. Previous board revisions may or may not recognize greater than 2TB disk drives.
Support for SATA and SAS disk drives with a size of 2TB or greater
ask.adaptec.comAlexey Skobkin
в ответ на Taciturn • • •Окей. Спасибо.
Taciturn
в ответ на Alexey Skobkin • • •Alexey Skobkin
в ответ на Taciturn • • •А мог бы в этот день в казино сходить!
Ostap Bender
в ответ на Alexey Skobkin • • •@Taciturn
burbilog
в ответ на Alexey Skobkin • • •Andrey Esin
в ответ на burbilog • •@burbilog
Если используется mdadm - можно утащить на любую машину весь массив/диск, на котором есть Линукс с поддержкой mdadm
@Alexey Skobkin
... показать больше@burbilog
Если используется mdadm - можно утащить на любую машину весь массив/диск, на котором есть Линукс с поддержкой mdadm
@Alexey Skobkin
Alexey Skobkin нравится это.
Alexey Skobkin
в ответ на Andrey Esin • • •Я полагаю, он имел в виду, что нельзя из RAID 5/6 вытащить ОДИН диск, унести
на другую машину и легко читать с него данные потому, что они там размазаны с контролем чётности.
Впрочем непонятно ч
... показать большеЯ полагаю, он имел в виду, что нельзя из RAID 5/6 вытащить ОДИН диск, унести
на другую машину и легко читать с него данные потому, что они там размазаны с контролем чётности.
Впрочем непонятно что тут ненавидеть, т.к. это не баг, а фича 🤷♂️
burbilog
в ответ на Alexey Skobkin • • •Alexey Skobkin
в ответ на burbilog • • •@burbilog @andrey
Ну, на моём массиве разница между зеркалом и 6 будет измеряться в очень больших деньгах.
Плюс у RAID 6 есть два parity.
... показать большеВ случае же просто зеркала придётся самому
@burbilog @andrey
Ну, на моём массиве разница между зеркалом и 6 будет измеряться в очень больших деньгах.
Плюс у RAID 6 есть два parity.
В случае же просто зеркала придётся самому решать где правильные данные если один на одном диске, который не умер физически некорректные данные.
1lyaP
в ответ на Alexey Skobkin • • •@burbilog @andrey У софтовых рейдов на линуксах, mdadm, lvm, zfs, etc есть один существенный минус: ПО размазывает блоки контроля чётности равномерно по всем дискам вместе с данными.
... показать больше@burbilog @andrey У софтовых рейдов на линуксах, mdadm, lvm, zfs, etc есть один существенный минус: ПО размазывает блоки контроля чётности равномерно по всем дискам вместе с данными. Это даёт удобство администрирования, но скорость восстановления таких массивов гораздо медленнее, чем у честных "железных" рейдов. К примеру, в хуавеевской железке 16-терабайтный hdd на 10k ребилдится за день, около 11 часов. В lvm-ном массиве аналогичный диск восстанавливается почти трое суток, на топовом ксеоне и терабайте оперативки.
У меня был в практике случай, когда администрация одного города закупила хранилки под конкретный проект, проигнорировав рекомендации архитекторов. Купили 6 схд, в каждой по несколько сотен nl-sas дисков и сколько-то там ссдшек под кеш. Запилили на этом хозяйстве шестые рейды. Где-то год всё работало, потом начали сыпаться диски: сначала меняли по одному-два в неделю, через пару месяцев уже по 4-5 штук. Постепенно довели инфраструктуру до критической точки, диски в рейдах уже не успевали перестраиваться. Проебали пару петабайт. Могли бы и больше, но к рекомендациям уже начали прислушиваться и мы сумели более-менее всё разрулить.
unkn0wwn
в ответ на 1lyaP • • •1lyaP
в ответ на unkn0wwn • • •@unkn0wwn @burbilog @andrey да, я тоже дома r10 пользую. Вероятность сбоя сразу двух дисков в одном зеркале околонулевая,
... показать большеа ребилдится оно в разы быстрее, чем p/q, счи
@unkn0wwn @burbilog @andrey да, я тоже дома r10 пользую. Вероятность сбоя сразу двух дисков в одном зеркале околонулевая,
а ребилдится оно в разы быстрее, чем p/q, считать же ничего не надо.
Но места в зеркале меньше всего, конечно. Когда думал над вариантами, r5 на 120+ тб выглядел очень привлекательно 😆
unkn0wwn
в ответ на 1lyaP • • •1lyaP
в ответ на unkn0wwn • • •Alexey Skobkin
в ответ на 1lyaP • • •@1lyaP @unkn0wwn @burbilog @andrey
> Вероятность сбоя сразу двух дисков в одном зеркале околонулевая
Напоминаю, что у меня именно два диска вылетел
... показать больше@1lyaP @unkn0wwn @burbilog @andrey
> Вероятность сбоя сразу двух дисков в одном зеркале околонулевая
Напоминаю, что у меня именно два диска вылетело 🤣
1lyaP
в ответ на Alexey Skobkin • • •Alexey Skobkin
в ответ на 1lyaP • • •И?
1lyaP
в ответ на Alexey Skobkin • • •Andrey Esin
в ответ на 1lyaP • •@1lyaP
Имхо потерю половины дисков может пережить всё, что в названии рейда имеет единичку
Как бы raid5+1 тоже может пережить вылет половины дисков
Да и сам рейд1 без проблем пере
... показать больше@1lyaP
Имхо потерю половины дисков может пережить всё, что в названии рейда имеет единичку
Как бы raid5+1 тоже может пережить вылет половины дисков
Да и сам рейд1 без проблем переживёт, не совсем понятно, в плане консистентности что будет на выходе. Там чуть выше @skobkon@lor.sh это подчеркнул
Кстати, рейд6 из 4 дисков переживает вылет 2 дисков, имхо
@burbilog @unkn0wwn @Alexey Skobkin
Alexey Skobkin нравится это.
1lyaP
в ответ на Andrey Esin • • •@andrey @burbilog @unkn0wwn нет, ты ошибаешься.
Raid 5+1, или raid5e это даже не отдельный тип рейда.
... показать большеЭто обычный parity с хотспаром. Массив из 6 дисков, собранных по этой схеме [4+1]+1, мож
@andrey @burbilog @unkn0wwn нет, ты ошибаешься.
Raid 5+1, или raid5e это даже не отдельный тип рейда.
Это обычный parity с хотспаром. Массив из 6 дисков, собранных по этой схеме [4+1]+1, может потерять два диска.
Raid10 из шести дисков выглядит так: [1+1][1+1][1+1]. Он может потерять три диска: по одному любому в каждом из зеркал. И останется работоспособным.
Ещо раз могу повторить: r10 это самый надёжный тип рейда. И скорость работы у него выше, ибо нет заморочек с чётностью. Минус - минимальный объем доступного места из всех рейдов, даже raidz3 даёт больше.
Andrey Esin
в ответ на 1lyaP • •@1lyaP
Минуточку
Хотспар, это вообще отдельная сущность, которая живёт рядом
Raid5+1 это когда у тебя минимум 6 дисков, которые представляют из себя 2 рейда5 объеденены в зеркало (п
... показать больше@1lyaP
Минуточку
Хотспар, это вообще отдельная сущность, которая живёт рядом
Raid5+1 это когда у тебя минимум 6 дисков, которые представляют из себя 2 рейда5 объеденены в зеркало (по тому же принципу как и рейд10 - два рейд0 объединены в зеркало)
У рейд10 высокая скорость работы, да, из-за отсутствия подсчёта контрольных сумм - по факту
Кстати интересно сравнить будет ли параллельное чтение с рейд5 из трёх дисков выше, чем чтение с рейд10
Так если подумать, ни один тип рейда не даёт возможность вылета более чем половины дисков из пула
@burbilog @unkn0wwn @Alexey Skobkin
Alexey Skobkin нравится это.
1lyaP
в ответ на Andrey Esin • • •Тогда это не raid5+1. Это уже raid50 - страйп из raid5. Он да, надежнее, чем обычная пятёрка. Например массив [3+1][3+1][3+1][3+1][3+1] содержит 20 дисков и может потерять до пяти штук, по одному в каждой группе.
Тем не менее, и raid50, и raid60 и r70,
... показать большеТогда это не raid5+1. Это уже raid50 - страйп из raid5. Он да, надежнее, чем обычная пятёрка. Например массив [3+1][3+1][3+1][3+1][3+1] содержит 20 дисков и может потерять до пяти штук, по одному в каждой группе.
Тем не менее, и raid50, и raid60 и r70, который я ни разу на практике не видел, проигрывают по надёжности raid10. Такой массив из 20 дисков [1+1][1+1][1+1][1+1][1+1][1+1][1+1][1+1][1+1][1+1] переживает потерю до 10 штук, по одному в каждом зеркале.
Что до скорости, у софтовых рейдов с этим всё сложно, т.к. помимо физического размера сектора дисков добавляется ещё куча параметров: размер блока в пуле/датасете, размер блока файловой системы, размер блока, которым пишет ПО, потери/фрагментация при передаче данных по сети/оптике, таймауты и всплески латентности при синхронизации, и пр.
Это, собственно, исторически так сложилось. Сначала были самые простые варианты: страйп и зеркало. Первое давало объём, второе - надёжность. Потом придумали чётность и сделали "гибрид": raid5, который и переживает потерю 1 диска, т.е. тоже отказоустойчив, и при этом ты не теряешь аж половину объёма дисков, как у зеркала. Дальше уже пошли p+q и другие схемы.
У современных решений, вроде zfs'а, есть куча настроек. К примеру, в пуле можно сделать датасет с хранением 5 копий каждого блока. Этот датасет, как несложно посчитать, может выжить даже при потере 80% дисков пула.
Andrey Esin
в ответ на 1lyaP • •Не согласен
У нас немного поплыла терминология
Имхо RAIDN+M, это значит что у тебя рейд уровня NM, условно, если RAID5+1, это 2 RAID5 в зеркале
То есть "+" после рейда, это
... показать большеНе согласен
У нас немного поплыла терминология
Имхо RAIDN+M, это значит что у тебя рейд уровня NM, условно, если RAID5+1, это 2 RAID5 в зеркале
То есть "+" после рейда, это не добавление хотспара, а другой уровень рейда - мол количество хотспаров не влияет на уровень рейда
То есть всё так же - 50%
50% получаются из-за зеркала, то есть изза единички в названии, если ты соберешь RAID51, то получишь тоже самое, те же 50% дисков, которые можно вытащить и массив продолжит жить
Digitual :ablobcatwave: нравится это.
1lyaP
в ответ на Andrey Esin • • •Ну, если ты не согласен с общепринятой терминологией, то я как-то не вижу смысла в продолжении дискуссии.
en.m.wikipedia.org/wiki/Standa…
... показать большеНу, если ты не согласен с общепринятой терминологией, то я как-то не вижу смысла в продолжении дискуссии.
en.m.wikipedia.org/wiki/Standa…
any of a set of standard configurations of Redundant Arrays of Independent Disks
Contributors to Wikimedia projects (Wikimedia Foundation, Inc.)Andrey Esin
в ответ на 1lyaP • •@1lyaP
В этой статье, в Nested RAID про плюсик написано
@burbilog @Alexey Skobkin @unkn0wwn
1lyaP
в ответ на Andrey Esin • • •raid 5+0, или raid50. А вот что такое raid5+1 - совершенно непонятно.
Andrey Esin
в ответ на 1lyaP • •Если продолжим опираться на википедию, то в русской чуть больше про это написано - ru.wikipedia.org/wiki/RAID#%D0… без указанного источника, но всё же
Смотри как получается,
... показать большеЕсли продолжим опираться на википедию, то в русской чуть больше про это написано - ru.wikipedia.org/wiki/RAID#%D0… без указанного источника, но всё же
Смотри как получается, в английской версии Вики - есть пример RAID01 = RAID0+1, можем наложить сюда такую же логику и получается RAID51 = RAID5+1, то есть список в английской версии, он скорее приведён для примера того, как образуются массивы и какие можно собрать, но не исключает наличие другие, более экзотичных массивов
Кстати, кстати, судя по той же Вики, хотспар не указывается при указании уровня рейда
Alexey Skobkin
в ответ на Andrey Esin • • •Только обычно верхний уровень идёт первым.
То есть по твоей логике 51 - это будет RAID 5 из зеркал.
UPD: только вики про nested levels со мной не согласна.
... показать большеТолько обычно верхний уровень идёт первым.
То есть по твоей логике 51 - это будет RAID 5 из зеркал.
UPD: только вики про nested levels со мной не согласна.
Andrey Esin
в ответ на Alexey Skobkin • •Alexey Skobkin
в ответ на 1lyaP • • •Страйпы из зеркал, да.
Надёжный, да. Пока в каждом зеркале есть рабочие диски он работает.
Но это именно зеркалирова... показать больше
Страйпы из зеркал, да.
Надёжный, да. Пока в каждом зеркале есть рабочие диски он работает.
Но это именно зеркалирование. У него тоже свои минусы вроде дороговизны и отсутствия возможности сравнить по паритету данные если диск не умер, а данные повреждены.
Но зато шустрее работает.
burbilog
в ответ на Alexey Skobkin • • •Andrey Esin
в ответ на burbilog • •@burbilog
Вот это грамотный подход к резерву
Но про бэкапы не забываешь, ведь, да?
@1lyaP @unkn0wwn @Alexey Skobkin
Alexey Skobkin нравится это.
burbilog
в ответ на Andrey Esin • • •Roman
в ответ на burbilog • • •burbilog
в ответ на Roman • • •@3draven @1lyaP @unkn0wwn @andrey поскольку я хожу клянчить себе сервера целиком, то на фоне денег за сервер+процессор+память диски как-то не выгляд
... показать больше@3draven @1lyaP @unkn0wwn @andrey поскольку я хожу клянчить себе сервера целиком, то на фоне денег за сервер+процессор+память диски как-то не выглядят большим перерасходом
хотя хрен знает, что бы я делал, случись нужда в сотнях терабайт. у меня, к счастью, виртуалки хоть и ответственные, но некрупные