Сколько места занимают все картинки / гифки / webm реактора?
Еще на тему
25Tb, хранятся в трёх экземплярах поэтому 75Tb.
Хорошие должны быть картинки, чтобы их в трех экземплярах хранить.
Два посетителям, один в архиве эталонный.
Один для использования, один в коллекцию и один для обмена
Бекапы мемов - вот это преданность делу! А зачем в 3ех? Этож явно не с потолка идея была
Если одни сломают, а другие потеряют - остаются третьи.
3 ноды это дефолтный минимум для устойчивого кластера
Минимальная отказоустойчивость.
Если у тебя отказывает нода, ты остаешься с одной, без резервирования вообще на весь период, пока вторая нода лежит. Довольно большой период порой. И это пиздец как стремно.
Особенно в период, когда сломанная нода поднимется, и начнется ОЧЕНЬ активная работа по восстановлению реплики, последняя живая нода тоже вполне может лечь. И привет.
Особенно в период, когда сломанная нода поднимется, и начнется ОЧЕНЬ активная работа по восстановлению реплики, последняя живая нода тоже вполне может лечь. И привет.
Поэтому у нас их 11.
Где это виданно, чтобы контент на ноду поднимать?! Контент же в отдельном файл сторадже. Если это AWS, то предположу, что один точно в леднике для бэкапа. Остальные два - не знаю
> Где это виданно, чтобы контент на ноду поднимать?!
В кластере типа Majority Node Set
В кластере типа Majority Node Set
Рейд.
Не, рейд тухлая история для больших объёмов. Raid 6 на из 12 HDD дисков на 20 ТБ полезного объёма при вылете 1 диска у меня восстанавливался дней 5. Это шляпа, если у тебя диски по 8 ТБ, например. Оно в объёме 8x8ТБ будет восстанавливаться недели 3. Даже на nvme этой займёт много времени. Тут надо хранилища, которые умеют работать с дисками по своим собственным алгоритмам, а ты уже работаешь с хранилищем.
в клауде 3 копии - стандарт считай
А нельзя оптимизировать? Если хеш-сумма одинаковая и размер совпадает, то использовать одну и ту же картинку?
Уникальность картинок проверяется по хэшу. Так что ненужных дубликатов нет.
Нужно ещё сделать базу стандарноответных картинок с тегами, для того, чтобы не постили новые с дополнительными шакалами.
Баяны не храните, значит
Один пиксель измени - хэш сумма файла измениться.
интересно, сколько таких же картинок на серверах реактора
Это с порнухой???
фигасе, думал больше в разы
Я годами думал, что на джое в день бывает около десяти миллиона посетителей...
я думал что меньше
гигов 6, в пределах десятки макс.
гигов 6, в пределах десятки макс.
25 это сжато?
Чем сжимать картинки? Если только векторные...
Как это "чем"
даавно есть алго для lossless сжатия jpg, раньше был lepton, сейчас можно через jpeg-xl. но все это требует мощности от проца. но как вариант старые-невостребованные картинки можно и ужать на 10-25% - с нулевой потерей в качестве от исходника.
И пойти дальше, если браузер поддерживает jpeg-xl, то сразу его и давать, а внутри все-тот-же старый jpeg но ужатый.
И пойти дальше, если браузер поддерживает jpeg-xl, то сразу его и давать, а внутри все-тот-же старый jpeg но ужатый.
Эх если бы. С jpeg-xl все печально, гугл его слил в угоду своего мерзотного webm под предлогом, что майки купили там патент на алгоритм сжатия. А гуглобарузер чуть ли не монополист на рынке браузеров.
Картинки не очень сжимаются. И их отдавать надо как-то юзерам. Ну т.е. в сторону cdn - основные проблемы у контент-генераторов, зачастую, это не хранение, как таковое, а доставка клиентам. Некоторые ДЦ контент-генераторам, арендующим сервера, по этой причине могут шейпить канал или вообще приостанавливать услуги (неоднократно такие пострадавшие такие появлялись на пороге конторы, где сейчас работаю). Поэтому нужны CDN. Им заплатить, в итоге, дешевле, чем платить за каналы ДЦ, где сервера стоят.
ММММ а если картинка запощена через ссылку на источник она тоже хранится на сайте?
Да, иначе бы уже половина сайта была в надписях изображение не доступно
логично но тогда почему большие картинки через ссылку запостить можно, а если так их закинуть то слишком большие картинки?
Возможно баг)
разные обработчики, видимо. Загрузить с компа - один обработчик, по ссылке - другой.
Да.
То есть люди зря бекап баянами делают…
50 Тб в бэкапах или на серверах через балансировщик нагрузки?
Смотря как хранить. Это может быть какой-нибудь SDS, типа CEPH. Там данные в 3 экземрплярах (минимум для продакшена) и всегда в онлайне. Если osd упадёт/сервер уйдёт на обслуживание, то по возвращение в онлайн оно автоматом догонит недостающие объекты в группах хранения (PG - placement group). Вообще очень классная штука, угробить такую - надо постараться. Но опять же. Это помогает сохранить доступность, но не является заменой бэкапов, если данные меняются, т.к. поменяются все три копии разом. Если данные не меняются, типа хранения контента, то тогда очень даже норм.
А рейд в 3-х копиях это не чересчур? Какая вероятность что одновременно навернется 2 диска?
А там и нет никаких рейдов. Там диски, напрямую скармливаются хранилищам. А два умерших диска - я видел в живую для raid10, когда второй умирающий диск в момент восстановления гробил весь рейд. Шансов, что умрёт все три диска, хранящих все три копии в кластере - очень маловероятная история, при том, что данные динамически начнут разъезжаться по живым дискам сами, как только произойдёт вылет первого. Т.е., скорее всего, надо больше 3-х дисков потерять. А рейд - они живёт в рамках или сервера, или железной хранилки. Опять же, надо понимать, что применимость разная. В ceph ты можешь загнать 120 дисков, и оно будет работать. А любые рейды забуксуют на таком объёме. С другой стороны, хрен чего ты построешь надёжного из 4х дисков, кроме raid-массива. Т.е. условия определяют применимость инструмента.
Не баян, а бекап...
я полнометражный мульт делал. у нас только исходники 45тб весят для него
Получается в среднем на один пост, 2 баяна
А в каждой кпии тоже 1 пост, два баяна: рекурсивненько
Если можно, то какие настройки для Elasticsearch для улучшения производительности делали и какие-то лайфхаки есть?
На работе храним тексты в разы меньше по количеству, но большие по текстовому объёму, всё время какая-то хуйня с производительностью и агрегациями. (~740гб на реплику, в индексе 2 реплики и 20-35 шардов, итого где-то 2.1 ТБ)
Грешим на то что одновременные запросы пользователей могут класть периодически кластер, думаем вводить очередь сообщений для контроля.
Если лень поделиться, то приму с благодарностью вектор гугления или материалы для изучения.
На работе храним тексты в разы меньше по количеству, но большие по текстовому объёму, всё время какая-то хуйня с производительностью и агрегациями. (~740гб на реплику, в индексе 2 реплики и 20-35 шардов, итого где-то 2.1 ТБ)
Грешим на то что одновременные запросы пользователей могут класть периодически кластер, думаем вводить очередь сообщений для контроля.
Если лень поделиться, то приму с благодарностью вектор гугления или материалы для изучения.
75T/b/
Как минимум дохуя, вспомнился анекдот - как устанешь считать то это только половинна будет, но ты все равно донать пиво админам на сервера.
25тб вообще ни о чём по объёму
сочувствую тебе с твоим ссдшником на две инди игры)
что то ты вонь развел дофига, а я ведь всего лишь хотел указать на твою ошибку -
ты написал 10 гигабайт вместо, наверное, 10 террабайт или 100 гигов, уж не знаю на что ты там копишь
ты написал 10 гигабайт вместо, наверное, 10 террабайт или 100 гигов, уж не знаю на что ты там копишь
Мне кажется, играм, которые влезут на 10 гигов ссд особо не нужен.
10 гигов это 1/100 терабайта, это так, для информации.
да? а я то думал меньше, ты случайно не учителем информатики работаешь, у меня ссдшник на терабайт, а реальный объём 894.24, так что 1 к десяти?) и что же ты на десять гигов запишешь, фотки своей краткой биографии...
> у меня ссдшник на терабайт, а реальный объём 894.24
Тебя маркетологи наебали просто, надо у нормальных производителей брать честный тебибайт.
Тебя маркетологи наебали просто, надо у нормальных производителей брать честный тебибайт.
у тех самых которые продают 0,48 молока
Никакого наебалова. Всё честно.
Диски честно маркируют как 1 000 000 000 000 байт. Что действительно 1 терабайт.
А вот то, что системы показывают 931ГБ - они показывают как раз уже в единицах, имеющих влияние от бинарного, т.е. кибибайт, мебибайт, тебибайт. Т.е. где-то всё идёт как KB, MB, TB, а где-то не опускают и пишут KiB, MiB, TiB. Но обычно всё же опускают.
А в случае выше, скорее всего, имеет место самоубеждение. Т.к. 894 похоже на честные 960 гигабайт, уоторые являются очень распространённой цифрой в объёмах твердотельников.
Диски честно маркируют как 1 000 000 000 000 байт. Что действительно 1 терабайт.
А вот то, что системы показывают 931ГБ - они показывают как раз уже в единицах, имеющих влияние от бинарного, т.е. кибибайт, мебибайт, тебибайт. Т.е. где-то всё идёт как KB, MB, TB, а где-то не опускают и пишут KiB, MiB, TiB. Но обычно всё же опускают.
А в случае выше, скорее всего, имеет место самоубеждение. Т.к. 894 похоже на честные 960 гигабайт, уоторые являются очень распространённой цифрой в объёмах твердотельников.
у меня 931гб доступно из 1тб. но по факту они там считают тб не как 1024гб (и т.д.), а как 10^12 байт, что и выходит 931.32гб. конечно наебалово, но не такое сильное, как у тебя. а таким образом твердотельные накопители вроде вообще все производители считают испокон веков
а вот если ты покупал 960гб вместо 1тб, то у тебя и должно быть ёмкость примерно 894,06гб реальных
Не все, производител вообще считают как им в голову взбредёт.![1000 ГБ 2.5" SATA накопитель VVD Green [WDS100T3G0A] [SATA, чтение -545 Мбайт/сек, запись - 385 Мбайт/сек]
□ Сравнить ★ ★ ★ ★ i 214 0 99,12
В магазинах: завтра с (12:00) Пункты выдачи: доступны Доставим на дом: сегодня
1024 ГБ 2.5" SATA накопитель DEXP С100 [C100SMYM1024] [SATA, чтение - 550](//img0.reactor.cc/pics/comment/dev-%D1%80%D0%B5%D0%B0%D0%BA%D1%82%D0%BE%D1%80-4961996.png "dev,реактор")
![1000 ГБ 2.5" SATA накопитель VVD Green [WDS100T3G0A] [SATA, чтение -545 Мбайт/сек, запись - 385 Мбайт/сек]
□ Сравнить ★ ★ ★ ★ i 214 0 99,12
В магазинах: завтра с (12:00) Пункты выдачи: доступны Доставим на дом: сегодня
1024 ГБ 2.5" SATA накопитель DEXP С100 [C100SMYM1024] [SATA, чтение - 550](http://img0.reactor.cc/pics/comment/full/dev-%D1%80%D0%B5%D0%B0%D0%BA%D1%82%D0%BE%D1%80-4961996.png "dev,реактор")
в зависимости от количества "банок" (и размера банок) может быть разный объём накопителя. там обычные объёмы 960гб, 1тб, 1.024тб - это всё не разный подсчёт, а разный реальный объём накопителя. и все эти производители кило-, мега, гига-, тера- считают как 1000, а не 1024. а скрин с торговой площадки в этом отношении не показателен вовсе.
вот первый накопитель официально продаётся как 1тб, а маленьким шрифтом написано, что это триллион байт.
третий накопитель официально продаётся как 960гб, а не таким уж и маленьким шрифтом написано то же самое, что и у первого.
а второй накопитель раньше и не слышал такого производителя, какой-то жёсткий китай, хоть и под российским брендом. потому не нашёл нормальной спецификации. но могу сказать, что он официально и продаётся как 1024гб. а на самом накопителе написано то же самое, что у других в спецификации.
вот первый накопитель официально продаётся как 1тб, а маленьким шрифтом написано, что это триллион байт.
третий накопитель официально продаётся как 960гб, а не таким уж и маленьким шрифтом написано то же самое, что и у первого.
а второй накопитель раньше и не слышал такого производителя, какой-то жёсткий китай, хоть и под российским брендом. потому не нашёл нормальной спецификации. но могу сказать, что он официально и продаётся как 1024гб. а на самом накопителе написано то же самое, что у других в спецификации.
Ты чего несешь болезный?
Пиздец ты ебанашка, глотни галоперидольчику, глядишь, попустит
твое здоровье
Человек, который копит на ссд называет других нищими, нихуя себе.
его везут на операцию, да? вырезать метеорит из Жепи
Смотря какое железо. Не в каждый сервер можно поставить 4x nvme. Например сервак (без перекоса по памяти и процу), в который можно напихать столько, обойдётся тысяч 11-16 бачей. Если самому покупать. Но это тогда надо думать, куда его размещать. Это надо серваков 4-5 для минимального покрытия - диски архитектурно не могут утилизироваться целиком во многих случаях. Целиком аренда стойки стоит тысячи 3 бачей в ДЦ. А ещё же каналы. Надо что-то думать с каналами. Чтобы выдавать столько контента, они должны быть толстыми. Это тоже деньги.
В реальности проще в таком кейса вместо аренды стоек/коллокейшена брать сервера в аренду. Правда это будет всегда кастом, и на сервер будет выходить 2-3 килобакса в месяц при условном конфиге cpu 24c/48t/256TB RAM/4xnvme 7TB/2-3Gbps публичная+5Gbps приватная сети. Ну если брать пачку, то и скинут, вероятно. Но всё равно.
Если проект не генератор денег, то как бы очень даже о чём цифры.
В реальности проще в таком кейса вместо аренды стоек/коллокейшена брать сервера в аренду. Правда это будет всегда кастом, и на сервер будет выходить 2-3 килобакса в месяц при условном конфиге cpu 24c/48t/256TB RAM/4xnvme 7TB/2-3Gbps публичная+5Gbps приватная сети. Ну если брать пачку, то и скинут, вероятно. Но всё равно.
Если проект не генератор денег, то как бы очень даже о чём цифры.
Через год переходят в боян, и уничтожаются
А СХД гетерогенная или гомогенная? хихихихихихи
Бля, если бы вы переконвертировали сраный GIF, то это бы на DVD влезло бы.
С выбором глав и нарезкой неудачных дублей.
хм, а это учитывая все что постили включая удаленное чистилище лолей, заминусованую порнуху из чистилища с лолями ?
Отличный комментарий!