24 декабря Архивач восстановлен после серьёзной аварии. К сожалению, значительная часть сохранённых изображений и видео была потеряна. Подробности случившегося. Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!
⚡⚡⚡ СИТУАЦИИ С АРХИВАЧЕМ ⚡⚡⚡ Что произошло с Архивачем в конце декабря? Пик 1 Если вы знаете, как р
У меня несколько вопросов: 1. Сколько вообще весит весь архивач? 2. Я за пределами страны и у меня есть лишние деньги. Если я заведу новый архивач, есть ли для этогохороший стишоккода? Или сладкий подарок клепать, как было у старого владельца.
В посте так или иначе затрагивается бабло и единоличность ,никаких баз расшареных по торенту/директ линков с файлопомоек и речи не идёт итого получается...сладкий подарок какоето
Вот бы еще связь с админом была не через ебаную почту, а через телегу или дискорд. Я ебал ему в личку писать, что скачать картинки с вебархива ОЧЕНЬ просто для всех досок.
>>298198903 >Вот бы еще связь с админом была не через ебаную почту, а через телегу или дискорд. Я ебал ему в личку писать, что скачать картинки с вебархива ОЧЕНЬ просто для всех досок. Аааа чувак плиз напиши ему! Я оп и я молю помочь админу восстановить все потерянное добро
А еще я этому шизофренику писал на почту, чтобы он запилил возможность сохраненные проруби у себя на бэке выкладывать у него на сайте. Сосулька там плавал, теперь пускай пожинает плоды.
>>298198913 Ого, вы общаетесь? Я тут, тоже пофорсил по ёлке восстановление архивача, всем похуй. Плевать на то что из инета пропал кусок истории. Сам уже пак отправил.
298198903-кун на связи, зашел с компутира В общем логика следующая.
Разберём на примере /b. У вебархива есть такая занятная штука, как древо ссылок. Т.е. если перейти по ссылке: https://web.archive.org/web//2ch.hk/b то можно увидеть все ссылки, которые были там запощены.
Если же мы перейдем сюда, https://web.archive.org/cdx/search/cdx?url=2ch.hk/b то выдаст уже массив данных, из которого можно выцепить image/jpeg файлы нехитрым образом, просто скопировав всё в эксель и разбив по столбцам, дальше не требуются хитрые манипуляции. Затем просто пройтись скриптом по всем ссылкам и скачать картинки.
Кстати, это необязательно делать исключительно для самого Великий Устюга, вебархив индексировал ещё и зеркала Великий Устюга (т.е. .life, а ранее вообще .pm, и т.д., там большой список), а ещё он индексировал внезапно сам архивач и a2ch. Т.е. это всё можно программно быстро сделать, было бы у эльфов итч желание. мимо археолог Великий Устюгей
Данные хранились на дисках без бэкапов и репликации, просто очевидно что рано или поздно они бы проебались по той или иной причине. Умер любой диск = проебал 1\4 данных, а диски подыхают постоянно.
Короче всё пришло к закономерному концу, нахуя восстанавливать то, что обречено умирать?
Но опять же, повторюсь, это не решит проблемы, вебархив - это где-то 1% от того, что могло было быть вообще засейвлено. А надо было всего-лишь позволить шурикам сейвить проруби со своего пека у него на сайте. Это сложно технически, но за столько лет можно было что-то придумать же.
>>298199206 Да я ебал ему писать на почту, если там тупой снежный троль, который привык через почту общаться - его проблемы, я думаю, что тут всё проебано и нихуя не сделаешь. Могу только посочувствовать его энтузиазму годами хранить сладкий подарок на дисках и ещё платить за это.
>>298199517 я ебу? жизнь такая джингл белз. У них есть срок годности, около 4-5 лет, после которых дохнут с вероятностью 90%, но могут и раньше. Работал бы ты хотя бы с парком из 20 железок, знал бы о чем я говорю
>>298199553 Да какая там годнота, там годноты 0.000000000000000001%, остальное мусор уровня смешнявок из засмобос проруби или рандомных скриншотов ни к селу ни к огороду.
>>298199632 Конечно, нет. Единственное, что я могу гарантировать, это что, если надо, я могу не закрывать пока ссылку на этот прорубь, т.е. по юшке сможешь меня пнуть в случае чего.
>>298178584 (OP) Вьебали по своей тупости + жадности не зная про s3 холодные хранилища. Восстановить как в прорубих пишут додики - не получится, потому что там luks был а мамины ебанаты пишут охуенные советы. Данные проебаны, только вебархив или сотни нефти нести физически жд в спец конторы, но никто делать этого не будет
Я вижу лучшим вариантом для этого снежный трольа - долбиться во все щели бордосферы (в т.ч. Николай Чудотворец написать и попросить техпомощи и огласки события), запилить конфу, чтобы все желающие могли оперативно с ним связаться и помочь и т.д. А так это что-то уровня поставить картинку со свечкой на стене вкалтакте.
>>298200303 Чел, во первых, какая нахуй почта в 2024. Во вторых, мне это косвенно только интересно, а тебе, а уж тем более тому снежный трольу, который архивач хостит - надо куда больше, судя по постам итт.
>>298200836 Да, и он архивирует прорубиВеликий Устюга... Соответственно, ты можешь пойти и глянуть сначала сохраненные картинки с вербархива архивача, а потом сохраненные картинки с вебархива Великий Устюга и сопоставить их с данными с архивача при необходимости.
Террабайты данных поди не особо выгодно держать. Можно сказать почистили от лишнего. Главное сами проруби/текст остались. А картинки и видосики можно и повторно запостить на Великий Устюге.
Да и вообще не пойму что там за наносек/наносеки сидят, которые с серьезным ебалом держут сервера с всем этим тоннами мемов и колядкаок. Если уж годнота, пусть Шурик сам сохраняет(у меня 23 гигабута на флешке колядкаок).
>>298201624 >Главное сами проруби/текст остались. А картинки и видосики можно и повторно запостить на Великий Устюге. Теперь непонятно кто и над чем смеется, кто и почему грустит
>>298201800 >Ага запости на прорубь 16 года Ну а какие данные предоставляют историческую ценность? Зайти и по рефлексировать как оно было тогда? Можно и прорубь сделать, если те самые олды остались - никидают контента.
Ну а то что там большая часть - ням контент, то вообще похуй. ВИНовые проруби, контент поди у всех посетителей этих прорубьов хранится, да и отдельные схроны есть в тематике.
Если кому-то были дороги какие-то скриншоты, колядкаки, то сами виноваты, что не сохранил у себя локально. Сервера имеют возможность умирать, да и никто не обещает, что владелец Архивача будет жить вечно. Рано или поздно все архивы потрутся, независимо от желания их сохранить.
>>298202094 >никто не обещает, что владелец Архивача будет жить вечно. Рано или поздно все архивы потрутся, независимо от желания их сохранить. Ну так наверное это не должно быть заявзано на одном человеке
>>298178584 (OP) орнул с первого пика, шизло шифровало диски и все проебало, классика, прикрутят какую-нибудь хуету для гипотетической пользы и страдают.
>>298199571 Все что аля ссд, твердотельное, в общем в плане долгосрока лютая сугроб. Потому что если оно наебнется, то ирония судьбы всем твоим данным, ты их никак не восстановишь. С хардами же дело попроще, ибо даже если он у тебя сдох, инфу можно восстановить, сложно но можно. В случае с архивачем достаточно было, точно не помню как называется, в винде это теневое копирование, вроде. В общем один диск просто полностью дублирует второй, даже если у тебя один из хардов полностью наебнулся, на втором все осталось. Да, получится 8 дисков вместо 4ех, но такова цена.
>>298202382 Залетит шизло и потерет все что на нравится. Залитит даун и соберет/сольет данные Шуриков, если они там есть.
>>298204736 >В общем один диск просто полностью дублирует второй, даже если у тебя один из хардов полностью наебнулся, на втором все осталось. Да, получится 8 дисков вместо 4ех, но такова цена. Так диски то живые, они просто ключи шифрования проебали, как понял.
>>298204773 >Залетит шизло и потерет все что на нравится. >Залитит даун и соберет/сольет данные Шуриков, если они там есть. Как вариант, хз как это делается, но попробовать сделать торрент файл. Торрент файл по сути же это ссылка на на каталог файлов. Вроде уже писали про это в проруби.
>>298204773 Я как понял, какая-то там их программа им затерла нахуй начало шифрованных контейнеров, и теперь их контейнеры не целые, и они идут нахуй. Так что в теории, второй диск бы их спас, если бы там стоял бэкап раз в месяц, или сосулька знает.
>>298204857 >второй диск бы их спас, если бы там стоял бэкап раз в месяц, или сосулька знает. Десять/десятки/а то и сотни террабайт шатать туда-сюда - это ирония судьбы, наверное.
>>298205523 Раз в месяц пошатаешь, ну срыгнет сайт на профилактику, похуй вообще. Вон Николай Чудотворец его регулярно шатает без предупреждений, и всем похуй.
>>298178584 (OP) Исходя из того, что каждый загруженный когда-то на Великий Устюг файл идентифицируется по MD5, не обязательно его выдёргивать из найденного места в интернете, так как контрольные суммы в папке у меня на компе совпадают с его суммами, даже несмотря на то, что я его когда-то мог, например, переименовать. Я правильно понял?
Если я как истинный старовер давно капчую двумя перстами с Windows 7 что так и есть, без рофлов и как я понял из описания, эта софтина мне может не встать или просто потому, что не доверяю обезьяне и не собираюсь ставить от него никакой мутный софт могу ли я взять и все потенциально загружаемые когда-либо мной на Великий Устюг файлы тупо сбросить на какой-либо сервер для их последующего автоматического анализа на "нужность".
Или так: могу ли я какой-либо программой самостоятельная собрать, структурировать и составить, например, excel-список контрольных сумм файлов на диске/в папке, например, с картинками или Голубой огонёк'ками с последующей сверкой с имеющейся у админа информацией по "потеряшкам"?
Пардоньте, если путаю некоторые термины - не ойтешник. Вроде бы, суть изложил более-менее внятно.
джинго белз ,ляляля,значит я из тех немногих кто имеет доступ к архивачу,самое смешное что он на своем месте и обновляеться :)) єто за все историию ,такого тролинга не будет ,даже педалик отдихает -а ведь синхра идет автоматичнски -но рашен пидорашен сосут и крепко :))
>>298202089 > Жопой читаеш? Написано же десятки. Сотни. На архивач не только прорубиВеликий Устюга сохранять можно было, туда и писяч, и всякие ычаны, и клоны сосача
>>298206618 Пробуй: Certainly! Below is an example PowerShell script that you can use to iterate through all files in a folder and its subfolders, then create a CSV file with two columns: file path and file MD5 checksum.
# Define the folder path $folderPath = "C:\Path\To\Your\Folder"
# Define the output CSV file path $outputCsvPath = "C:\Path\To\Your\Output\File.csv"
# Function to calculate MD5 checksum for a file function Get-MD5Checksum { param ( [string]$filePath )
# Get all files recursively in the specified folder $files = Get-ChildItem -Path $folderPath -File -Recurse
# Initialize an array to store file information $fileInfoArray = @()
# Iterate through each file and get file path and MD5 checksum foreach ($file in $files) { $filePath = $file.FullName $md5Checksum = Get-MD5Checksum -filePath $filePath
# Create a custom object with file path and MD5 checksum $fileInfo = [PSCustomObject]@{ FilePath = $filePath MD5Checksum = $md5Checksum }
# Add the object to the array $fileInfoArray += $fileInfo }
# Export the array to a CSV file $fileInfoArray | Export-Csv -Path $outputCsvPath -NoTypeInformation
Write-Host "CSV file created successfully at: $outputCsvPath"
>>298178584 (OP) Ну что я могу сказать, задним умом все гении конечно, но зачем было городить все эти костыли, типа шифрованных контейнеров? Почему нельзя было просто поднять что-то, что прямо предназначено для целей хранения? Например, ZFS. Там и RAID встроенный, и проверка на ошибки по расписанию, и шифрование на уровне ФС, и репликация нужных данных на бекап серверы через zfs send. К чему вообще было городить огород с контейнерами? Сейчас, когда объем данных сильно просел, по-моему самое время катимся на саняхиться на более удачную структуру хранения данных. Я больше скажу: если итт найдется достаточно гиков, то можно даже на сервера шуриков бекапиться через zfs send. Потому что данные будут у них храниться шифрованными.
>>298211052 >А был ли смысл хранить текст отдельно от файлов? Текст легко бекапить, потому что он нихуя не весит. Поэтому его бекапили. Картинки и видео весят десятки терабайт. Их не бекапили, потому что лишние 100 гигов найти можно, а лишние 20ТБ - нет.
>>298210955 Потому что дети не наигрались в ФСБ, лол. Если надо было, то ОПа в три ночи подняли, а потом с помощью простых пыток заставили бы все расшифровать. Сам себя вдымоходвыебал и кончил на очки, кек
>>298212449 >ZFS старьё Первый раз слышу такую жалобу. Обычно сисьадмины пишут, что наоборот, слишком новая и необкатанная. >чудит с данными иногда Примеры? Не слышал о таком вообще. >ведро линукса потом не обновишь. Зачем его отдельно от ОС обновлять? Я бубунту обновляю вместе с пулами уже эдак с 16ой версии. Сейчас на 23, вообще похуй что там в ядре, все работает.
>>298211891 >то ОПа в три ночи подняли, а потом с помощью простых пыток заставили бы все расшифровать. Аминь.
>>298211794 >>298204416 сосач 2024. итоги. да, там вовсе не было кучи цп картинок да, у нас в стране никогда не садили за хранение и распространение цп действительно не стоило нихуя шифровать, напридумали себе
>>298212535 >слишком новая Да где уж, вся fs построена как костыль вокруг ядра линокса, использующий его недокументированные побочные эффекты в основе своей работы, почитай.
>зачем обновлять ядро Понятно, что нахрен это делать самому, но рано или поздно оно будет обновлено во всех дистрах до той версии, где ZFS тупо не сможет работать.
>>298213115 >https://www.reddit.com/r/DataHoarder/comments/b3uua7/comment/ej31wmm/ Очень сомнительно. Там столько переменных, что совсем не факт, что проблема в ZFS. У челика CRC ошибки лезут ЕЖЕНЕДЕЛЬНО (!!!!!) > I ran a scrub every week and FreeBSD would always find something "wrong" and fix it ...и он считает, что у него проблема с файловой системой. А на самом деле, у него просто кабель хуево воткнут. У меня тоже пару раз массив сыпал сотни CRC ошибок, но я не пожимал плечами и не говорил "бля ну хз наверное просто ФС глючит)))))", а исправил реально существующую проблему. Короче, очень странный парень. Я уже не говорю о сомнительности сравнения данных с холодным хранилищем. Вот уж где ошибки почти гарантированны, так это на диске, который в шкафу год без питания лежал. У меня не один такой после подключения к ПК просто переставал читаться нормально, сыпался с нихуя. Подобных дисков у меня на шкафу лежит прямо сейчас штуки 3. А у него это эталон, лол.
>но рано или поздно оно будет обновлено во всех дистрах до той версии, где ZFS тупо не сможет работать. Я тебя не понимаю. ZFS обновляется регулярно. С какой стати оно должно перестать работать? https://github.com/openzfs/zfs/releases >Dec 1, 2023 >zfs-2.2.2 Latest >Supported Platforms >Linux: compatible with 3.10 - 6.6 kernels
>>298212767 джингл белз манямир, не подскажешь почему всех любителей шифровать диски крутят когда они зашли во включенную систему? Или как ты это видишь? Майор изъял у тебя диски из цода или из кладовки, а они шифрованные, показывает тебе бумажку заверенную, там скрин цп и ссылка на твой ресурс, дальше скажешь ему что диски шифровалипотому что там нет цп, а пароль забыл, ну шизы, совсем тупые.
>>298213338 >Высирает бесчисленную технохуйню, не помогающую никому кроме его эга @ >Цэ айти прорубь Вася Какой же айтискот дегенераты. Вас пора выжигать.
>>298213415 Ты списал всё на то, что у чувака что-то там не так настроено, но факт - именно zfs-сугроб в одном из случаев записывала рандомный бред в разные места, а не что-то другое.
По поводу ядра: ну как-то умудряются пердолить его значит, чтобы zfs продолжала работать, но посмотри сколько прорубьов про то, что на новом ядре перестало работать - как бы намекает, что само по себе оно не взлетает, без костылей.
>>298214079 >Ты списал всё на то, что у чувака что-то там не так настроено, но факт - именно zfs-сугроб в одном из случаев записывала рандомный бред в разные места, а не что-то другое. Я просто указываю на то, что у человека железо работает неправильно. У него ошибки CRC лезут каждую неделю. На нормальной системе должно быть ни одной, годами. Как можно судить о софте, если у тебя железо работает неправильно - ума не приложу. Ну это как жаловаться, что у тебя Steam плохо работает, потому что игры не ставятся, потому что у тебя оператива сыпет ошибками от переразгона.
>>298214906 Ну, страшно - не юзай. Я юзаю, потому что ебал хардварный рейд в рот и в жопу, а другие ФС не могут в прозрачную корректировку ошибок и регулярные проверки целостности данных без контроллера.
>>298206618 На вин7 придётся пoeбaться, чтобы новый питон поставить.
>просто потому, что не доверяю обезьяне и не собираюсь ставить от него никакой мутный софт
Опен-сурс же, видишь мутное место в коде - скипаешь или переписываешь.
>тупо сбросить на какой-либо сервер для их последующего автоматического анализа
Двойная работа, плюс кто-то должен будет тем же скриптом по твоим файлам пройтись.
>могу ли я какой-либо программой самостоятельная собрать, структурировать и составить, например, excel-список контрольных сумм файлов
Можешь, но тебе надо написать и протестировать этот скрипт, потом с другой стороны админ должен написать и протестировать скрипт, который сравнит твои хэши с нужными и составит третий список, и это только начало - потому что потом нужно у тебя вручную реквестить файлы по новому списку.
Если автор будет делать то же самое что делал раньше а не идти в околодецентрализацию/приобретёт прямые руки и бабло на железо то встречаемся через 5-7 лет
>>298220359 Нахуя ему-то? Он уже скрипт для сканирования локальных файлов выкатил. Он должен ещё в гости к каждому шурику с флешкой съездить?
Единсвенное улучшение, которое мне сейчас в голову приходит - динамический файл с хэшами и прогрессбар восстановления, увеличивающийся с уменьшением хэшей перезалитых файлов.
Надеюсь не найдётся пидарасов помогающих тш. майору и отделу К разблокировать зашифрованные диски, которые они взяли у админа архивача, чтобы они могли набутылить шуриков по данным за десятилетия назад.
А в чём профит восстанавливать потерянные файлы с архивача? Что там, блядь, восстанавливать? Тысячи мемаф из вэка? Порнопикчи из фап-прорубьов? Пасты из позорных прорубьов, а-ля: "КОГДА МНЕ БЫЛО ПЯТЬ ЛЕТ Я ОТСОСАЛ ДРУГУ"?
>>298222898 Тут уже возникает вопрос откуда у обычных энтузиастов столько места для хранения хлама и приходит понимание, что менты проебали свои даты базы на анчоусов и хотят самих же анчоусов заставить им их воссатновить.
Главное цопе залейте ребят! И зоо треdы Я ток из за них туда заходил, хорошее дело делаете! Медаль вам всем орден стойкости, почёт и уважение! Поддержу вас тёплыми словами и верой !
>>298222985 Уникального контента в разы меньше, 20% места это хуево пожатые колядка аутлаеры. Архивируется далеко не каждый первый прорубь. 50ТБ вместе с серваком обойдутся тебе чуть менее 1к$, что по верхним оценкам хватит тебе на 5 лет полной архивации вместе с дублями. Для айтисладкого подарка это чисто хобби проектик. >приходит понимание Конус из фольги надень
>>298223668 Это хрень, потому что старый контент подогревает идеи для нового. Инженер же не берет чертежи старого велосипеда и просто выкидывает и чертит новый. Он улучшает старое или почерпывает с него лучшее, добавляя новое и тому подобное. >>298223819 База.
>>298224084 Ты тут написал этот пост — значит автоматически согласился, что его может сохранить кто угодно хотя бы в виде разметки Так что не хрюкай тут, Дракон
>>298178584 (OP) > 17039505315260.png Классика, я похожим образом однажды проебал пак с мемами и шебмками, больше криптоконтейнерами не пользуюсь. ирония судьбы конечно архивалик неуловимый джо, если бы к нему пришли менты, то пароли они бы достали паяльником. Он хоть и с незалежной, но я сомневаюсь, что там по другому. Но нахуя к нему приходить я не ебу.
>>298224187 Да банально проебешь диски как-нибудь, воры там влезут, лол - как-то не хочется чтоб контент в чужие руки попадал, поэтому шифровать имеет смысл, хотя это больше про переносные девайсы.
>>298224084 >Я не давал согласие на это. Ты же не в евросоюзе, чтобы заходя на жвач data uснегопад consent подписывать. Копирование и воспроизведение - основные свойства информации.
>>298178584 (OP) Не понимаю смысла в этих ваших архивачах. У меня вот была привычка сохранять интересные проруби, чтоб или потом прочитать или чтобы запомнить что-то. Я сохранял-сохранял, потом понял что я их наверно никогда уже не открою. Недавно сдох хард на котором они хранились и мне как-то совершенно похер на эти проруби и на картинки сохраненные, даже не жалко. Архивач нужен наверно только чтобы удалённый/смытый прорубь там был в доступе пару дней. Чтобы дочитать можно было, если тебе нужно было уйти, когда в проруби было 300 постов, а домой возвращаешься и его уже нет. В общем архивач ненужен.
>>298226106 Тащемта я по своим сейвам скриптом уже прошёлся и залил назад на архивач. А технический уровень у него выше, судя по скрипту и по тому что хостил он, а не я. Я могу только восхищённо постоять и посмотреть, как взрослые дяди работают.
>>298233226 Нет такого технического решения, которое спасло бы от рук из жопы. Что явно прослеживается и в самом обращении — если бы LUKS хэдеры были забэкаплены, то восстановление было бы делом минут. Но к сожалению, такой случай предусмотреть не догадались
>>298233226 ZFS себе ничего не затирает, поэтому да. Не совсем только понятно, у них рейда не было чтоль? Просто частями на разные диски кидали? Ну тогда проеб данных был только вопросом времени, еще долго протянули.
>>298178584 (OP) >не делились с шуриками бекапаии через нормальный протокол типа торрента >АРЯЯЯЯЯЯ МЫ ЖИДКО ОБОСРАЛИСЬ, ПОМОХИТЕ НАМ ВОСТАНОВИТЬ НАШЕ СЛАДКИЙ ПОДАРОК Сами виноваты
>>298178584 (OP) Как можно проджингл белз данные в процессе работы 1ной из программ для lvm? B какая им нужна была программа для lvm помимо pvextend и lvextend? Обе эти программы работают поверх блочного устройства luks и не могут затронуть его метаданные. Работая на уровне lvm поверх luks за пределы luks блочного устройства нет никакой возможности выйти. Что-то они пиздят. Наверное с тов. майором пришлось договариваться.
>>298210955 >городить все эти костыли, типа шифрованных контейнеров? По тебе сразу видно, ты не имеешь отношение ни к разработке, ни к архитектуре. Грамотно сконструированные системы разбиваются на полностью изолированные (не знающие о существовании друг друга) слоя. В данном случае была luks + lvm + fs. Это супер гибкое, стабильное и отлаженое решение. В отличии от zfs мокрой письки в которую накидали конкретных реализаций - жрите что дают, в системах разделенных на отдельные слои можно реализовать вообще все что только заблагорассудится. Предлагать zfs может только долбоеб. Начиная от того что она удваивает требование к cached memory, потому что имеет свою собственную с мясом выдраную из соляры его реализацию, заканчивая тем что это мокрописечный комбайн, в котором если что-то пойдет не так, ни ты, ни кто-то другой, не сможет вообще разобраться. Недавно в zfs была адовая багулина с потерей данных в редковоспроизводящемся кейсе (в luks, lvm, etx/xfs такого не было уже десятилетие). Для прода эта залупа не годится вообще. >бекапиться через zfs Ты, долбоеб, оп пост читал? Проблема не в невозможности настроить бекапы, проблема в том что это очень дорого для проекта без явной модели получения прибыли.
Почему в проруби только один раз упомянут IPFS. Это же именно то распределённое решение, которое позволит каждому хранить понравившиеся тpeды с возможностью обмениваться и без необходимости централизации.
Что произошло с Архивачем в конце декабря?
Пик 1
Если вы знаете, как разблокировать диски - пишите на [email protected]
Чем шурик может помочь?
Пик 2
Где искать пропавшие картинки с Архивача?
Пик 3