Что такое хеш? Хеш-функцией называется математическое преобразование информации в короткую, определенной длины строку.
Зачем это нужно? Анализ при помощи хеш-функций часто используют для контроля целостности важных файлов операционной системы, важных программ, важных данных. Контроль может производиться как по необходимости, так и на регулярной основе.
Как это делается? Вначале определяют, целостность каких файлов нужно контролировать. Для каждого файла производится вычисления значения его хеша по специальному алгоритму с сохранением результата. Через необходимое время производится аналогичный расчет и сравниваются результаты. Если значения отличаются, значит информация содержащаяся в файле была изменена.
Какими характеристиками должна обладать хеш-функция?
- должна уметь выполнять преобразования данных произвольной длины в фиксированную;
- должна иметь открытый алгоритм, чтобы можно было исследовать её криптостойкость;
- должна быть односторонней, то есть не должно быть математической возможности по результату определить исходные данные;
- должна «сопротивляться» коллизиям, то есть не должна выдавать одинаковых значений при разных входных данных;
- не должна требовать больших вычислительных ресурсов;
- при малейшем изменении входных данных результат должен существенно изменяться.
Какие популярные алгоритмы хеширования? В настоящее время используются следующие хеш-функции:
- CRC – циклический избыточный код или контрольная сумма. Алгоритм весьма прост, имеет большое количество вариаций в зависимости от необходимой выходной длины. Не является криптографическим!
- MD 5 – очень популярный алгоритм. Как и его предыдущая версия MD 4 является криптографической функцией. Размер хеша 128 бит.
- SHA -1 – также очень популярная криптографическаяфункция. Размер хеша 160 бит.
- ГОСТ Р 34.11-94 – российский криптографический стандарт вычисления хеш-функции. Размер хеша 256 бит.
Когда эти алгоритмы может использовать системный администратор? Часто при скачивании какого-либо контента, например программ с сайта производителя, музыки, фильмов или другой информации присутствует значение контрольных сумм, вычисленных по определенному алгоритму. Из соображений безопасности после скачивания необходимо провести самостоятельное вычисление хеш-функции и сравнить значение с тем, что указано на сайте или в приложении к файлу. Делали ли вы когда-нибудь такое?
Чем удобнее рассчитывать хеш? Сейчас существует большое количество подобных утилит как платных, так и свободных для использования. Мне лично понравилась HashTab . Во-первых, утилита при установке встраивается в виде вкладки в свойства файлов, во-вторых, позволяет выбирать большое количество алгоритмов хеширования, а в третьих является бесплатной для частного некоммерческого использования.
Что есть российского? Как было сказано выше в России есть стандарт хеширования ГОСТ Р 34.11-94, который повсеместно используется многими производителями средств защиты информации. Одним из таких средств является программа фиксации и контроля исходного состояния программного комплекса «ФИКС». Эта программа является средством контроля эффективности применения СЗИ.
ФИКС (версия 2.0.1) для Windows 9x/NT/2000/XP
- Вычисление контрольных сумм заданных файлов по одному из 5 реализованных алгоритмов.
- Фиксация и последующий контроль исходного состояния программного комплекса.
- Сравнение версий программного комплекса.
- Фиксация и контроль каталогов.
- Контроль изменений в заданных файлах (каталогах).
- Формирование отчетов в форматах TXT, HTML, SV.
- Изделие имеет сертификат ФСТЭК по НДВ 3 № 913 до 01 июня 2013 г.
А как на счет ЭЦП? Результат вычисленияхеш-функции вместе с секретным ключом пользователя попадает на вход криптографического алгоритма, где и рассчитывается электронно-цифровая подпись. Строго говоря, хеш-функция не является частью алгоритма ЭЦП, но часто это делается специально, для того, чтобы исключить атаку с использованием открытого ключа.
В настоящее время многие приложения электронной коммерции позволяют хранить секретный ключ пользователя в закрытой области токена (ruToken , eToken ) без технической возможности извлечения его оттуда. Сам токен имеет весьма ограниченную область памяти, измеряемую в килобайтах. Для подписания документа нет никакой возможности передать документ в сам токен, а вот передать хеш документа в токен и на выходе получить ЭЦП очень просто.
Нередко при скачивании торрентов или непосредственно самих файлов в описании стоит что-то наподобие «ad33e486d0578a892b8vbd8b19e28754» (например, в ex.ua), нередко с припиской «md5». Это хеш-код - результат, который выдает хэш-функция после обработки входящих данных. В переводе с английского хэш обозначает путаницу, марихуану, травку или блюдо из мелко нарезанного мяса и овощей. очень и очень сложно, можно сказать, что практически невозможно. Тогда возникает вопрос: «Зачем вообще нужны все эти они выдают непонятную абракадабру, которая еще и не поддается расшифровке?». Об этом и пойдет речь в данной статье.
Что такое хэш-функция и как она действует?
Данная функция предназначена для преобразования входящих данных сколь угодно большого размера в результат фиксированной длины. Сам процесс такого преобразования называется хешированием, а результат - хэшем или хэш-кодом. Порой еще используют слова «отпечаток» или «дайджест сообщения», но на практике они встречаются намного реже. Существует масса различных алгоритмов того, как можно превратить любой массив данных в некую последовательность символов определенной длины. Наибольшее распространение получил алгоритм под названием md5, который был разработан еще в 1991 году. Несмотря на то, что на сегодняшний день md5 является несколько устаревшим и к использованию не рекомендуется, он до сих пор все еще в ходу и часто вместо слова «хеш-код», на сайтах просто пишут md5 и указывают сам код.
Зачем нужна хеш-функция?
Зная результат, практически невозможно определить исходные данные, но одни и те же входящие данные дают одинаковый итог. Поэтому хэш-функция (ее еще называют функция свертки) часто используется для хранения очень важной информации, такой как пароль, логин, номер удостоверения и другая персональная информация. Вместо сравнивания сведений, вводимых пользователем, с теми, которые хранятся в базе данных, происходит сопоставление их хешей. Это дает гарантию, что при случайной утечке информации никто не сможет воспользоваться важными данными для своих целей. Путем сравнения хеш-кода также удобно проверять правильность загрузки файлов с интернета, особенно если во время скачивания происходили перебои связи.
Хэш-функции: какими они бываю т
В зависимости от своего предназначения хэш-функция может быть одного из трех типов:
1. Функция для проверки целостности информации
Когда происходит по сети, происходит расчет хэша пакета, и этот результат также передается вместе с файлом. При приеме снова вычисляется хэш-код и сравнивается с полученным по сети значением. Если код не совпадает, то это говорит об ошибках, и испорченный пакет снова будет передан. У такой функции быстрая скорость расчета, но малое количество хэш значений и плохая стабильность. Пример такого типа: CRC32, у которой всего лишь 232 отличающихся между собой значения.
2. Криптографическая функция
Используется для защиты от (НД). Они позволяют проверить, не произошло ли искажение данных в результате НД во время передачи файлов по сети. Истинный хэш в этом случае общедоступен, а хэш полученного файла можно вычислить с помощью множества разных программ. У таких функций долгий и стабильный срок работы, а поиск коллизий (возможных совпадений результата от разных исходных данных) очень осложнен. Именно такие функции используют для хранения в БД паролей (SH1, SH2, MD5) и прочей ценной информации.
3. Функция, предназначенная для создания эффективной структуры данных
Ее целью является компактная и довольно упорядоченная организация сведений в специальной структуре, которая носит название хэш-таблицы. Такая таблица позволяет добавлять новую информацию, удалять сведения и выполнять поиск нужных данных с очень высокой скоростью.
Сегодня, пожалуй, трудно найти человека, который не знает о том, что такое криптовалюта. Этот инновационный продукт буквально взорвал Интернет, приковав к себе внимание миллионов людей. Майнинг цифровых монет - один из немногих способов стать обладателем криптовалюты. Однако сложность сети популярных платформ возросла настолько, что для добычи дорогостоящих “коинов” недостаточно хешрейта обычных процессоров и видеокарт.
Хешрейт - единица измерения, позволяющая определить эффективную вычислительную мощность оборудования, задействованного в добыче криптоавлюты. Hashrate может выражаться в следующих единицах:
- хеш/секунду (H/s);
- мегахеш/секунду (MH/s);
- гигахеш/секунду (GH/s);
- терахеш/секунду (TH/s);
- петахеш/секунду (PH/s).
Стоит отметить, что единица H/s не встречается ни в одной пиринговой сети. Это объясняется тем, что сложность майнинга непрерывно растёт, а на добычу криптомонет требуется оборудование, располагающее более серьезными вычислительными мощностями.
На чем основан процесс майнинга
Майнинг - довольно сложный процесс, суть которого заключается в том, что оборудование, задействованное в поддержке стабильной и правильной работы пиринговой сети, должно решать математические задачи. Когда находится правильный ответ, майнер получает определенное вознаграждение.
Математические задачи появляются внутри сети не случайно, а как следствие проведения очередной транзакции. История всех финансовых операций записывается в специальный реестр, находящийся в открытом доступе. Оборудование, подключенное к сети, начинает обработку поступившей информацию, а его главная цель - методом перебора случайных чисел найти нужный хеш. В случае, если «правильный» хеш подошёл к секретному ключу, то пиринговая сеть открывает доступ к следующим операциям.
Для того чтобы было более понятно, что из себя представляет хешрейт, приведем наглядный пример. Допустим, нам известно, что оборудование майнера имеет мощность, равную 15 MH/s (мегахеш/секунду). Это значит, что вычислительные мощности позволяют ежесекундно генерировать 16 миллионов различных числовых комбинаций, среди которых может оказаться единственно правильная, удовлетворяющая все требования пиринговой сети.
Как узнать хешрейт оборудования
Наиболее верный и простой способ узнать вычислительную мощность имеющегося оборудования - установить специальное программное обеспечение для майнинга, а затем открыть консоль, в которой отображаются все данные. Однако этот метод абсолютно не подходит людям, которые только задумались о приобретении девайсов для криптодобычи. В этом случае стоит обратить внимание на мощность, заявленную производителем. Но она имеет среднее значение и может меняться в зависимости от следующих факторов:
- Алгоритм майнинга. Следует учитывать, что хешрейт может как вырасти, так и снизиться, при работе с разными алгоритмами. Например, если девайс демонстрирует высокие показатели внутри пиринговой сети, использующей алгоритм SHA, то эффективность существенно снижается при переходе на сеть, работающую с Scrypt.
- Производитель оборудования. Если, например, взять видеокарту GTX 1080 от Nvidia и аналогичную от MSI, то несмотря на общее сходство показателей, их хешрейт будет абсолютно разным.
Большинство начинающих майнеров бороздят просторы всемирной сети в поисках специальных таблиц, в которых указана достоверная информация о вычислительной мощности того или иного оборудования.
Видеокарты, обладающие наивысшим хешрейтом
Современный рынок графических адаптеров предлагает широчайший ассортимент, однако далеко не все видеокарты эффективно справляются с майнингом. Предлагаем рассмотреть таблицу, в которой приведены лучшие видеоадаптеры для криптодобычи на конец ноября 2017 года.
|
Hashrate (MH/s) |
Стоимость (рубли) |
Окупаемость (дней) |
Окупаемость без учёта затрат на электроэнергию (дней) |
|
|
Radeon RX470 |
11.700 |
|||
|
Radeon RX480 |
15.100 |
|||
|
GeForce GTX 1060 |
12.000 |
|||
|
GeForce GTX 1070 |
23.500 |
|||
|
Radeon Fury X |
26.500 |
Хешрейт, который указан в таблице, является действительным при работе с алгоритмом Equihash. Однако показатели могут существенно измениться, так как сложность майнинга непрерывно растёт. На сегодняшний момент невозможно спрогнозировать, какая вычислительная мощность данных девайсов будет спустя даже месяц. Поэтому сроки окупаемости оборудования могут существенно увеличиться.
Как рассчитать доход, зная хешрейт
Каждый майнер, знающий настоящий хешрейт собственного оборудования, может без проблем рассчитать свой суточный, недельный и даже месячный доход. Для этого достаточно воспользоваться онлайн калькулятором, например, предоставляемым сервисом coinwarz.com.
Будьте в курсе всех важных событий United Traders - подписывайтесь на наш
Алгоритмы хэширования строк помогают решить очень много задач. Но у них есть большой недостаток: что чаще всего они не 100%-ны, поскольку есть множество строк, хэши которых совпадают. Другое дело, что в большинстве задач на это можно не обращать внимания, поскольку вероятность совпадения хэшей всё-таки очень мала.
Определение хэша и его вычисление
Один из лучших способов определить хэш-функцию от строки S следующий:
H(S) = S + S * P + S * P^2 + S * P^3 + ... + S[N] * P^N
где P - некоторое число.
Разумно выбирать для P простое число, примерно равное количеству символов во входном алфавите. Например, если строки предполаются состоящими только из маленьких латинских букв, то хорошим выбором будет P = 31. Если буквы могут быть и заглавными, и маленькими, то, например, можно P = 53.
Во всех кусках кода в этой статье будет использоваться P = 31.
Само значение хэша желательно хранить в самом большом числовом типе - int64, он же long long. Очевидно, что при длине строки порядка 20 символов уже будет происходить переполнение значение. Ключевой момент - что мы не обращаем внимание на эти переполнения, как бы беря хэш по модулю 2^64.
Пример вычисления хэша, если допустимы только маленькие латинские буквы:
Const int p = 31;
long long hash = 0, p_pow = 1;
for (size_t i=0; i В большинстве задач имеет смысл сначала вычислить все нужные степени P в каком-либо массиве. Уже теперь мы в состоянии эффективно решить такую задачу. Дан список строк S, каждая длиной не более M символов. Допустим, требуется найти все повторяющиеся строки и разделить их на группы, чтобы в каждой группе были только одинаковые строки. Обычной сортировкой строк мы бы получили алгоритм со сложностью O (N M log N), в то время как используя хэши, мы получим O (N M + N log N). Алгоритм. Посчитаем хэш от каждой строки, и отсортируем строки по этому хэшу. Vector Предположим, нам дана строка S, и даны индексы I и J. Требуется найти хэш от подстроки S. По определению имеем: H = S[I] + S * P + S * P^2 + ... + S[J] * P^(J-I)
H * P[I] = S[I] * P[I] + ... + S[J] * P[J],
H * P[I] = H - H
Полученное свойство является очень важным. Действительно, получается, что, зная только хэши от всех префиксов строки S, мы можем за O (1) получить хэш любой подстроки
. Единственная возникающая проблема - это то, что нужно уметь делить на P[I]. На самом деле, это не так просто. Поскольку мы вычисляем хэш по модулю 2^64, то для деления на P[I] мы должны найти к нему обратный элемент в поле (например, с помощью Расширенного алгоритма Евклида), и выполнить умножение на этот обратный элемент. Впрочем, есть и более простой путь. В большинстве случаев, вместо того чтобы делить хэши на степени P, можно, наоборот, умножать их на эти степени
. Допустим, даны два хэша: один умноженный на P[I], а другой - на P[J]. Если I < J, то умножим перый хэш на P, иначе же умножим второй хэш на P. Теперь мы привели хэши к одной степени, и можем их спокойно сравнивать. Например, код, который вычисляет хэши всех префиксов, а затем за O (1) сравнивает две подстроки: String s; int i1, i2, len; // входные данные
// считаем все степени p
const int p = 31;
vector Вот некоторые типичные применения хэширования: Пусть дана строка S длиной N, состоящая только из маленьких латинских букв. Требуется найти количество различных подстрок в этой строке. Для решения переберём по очереди длину подстроки: L = 1 .. N. Для каждого L мы построим массив хэшей подстрок длины L, причём приведём хэши к одной степени, и отсортируем этот массив. Количество различных элементов в этом массиве прибавляем к ответу. Реализация: String s; // входная строка
int n = (int) s.length();
// считаем все степени p
const int p = 31;
vector Давайте попробуем понять что такое сложность сети, которой пугают всех новых майнеров и что это за такой хешрейт сети. Сейчас очень много чатов по майнингу криптовалют и по трейдингу. Каждый вопрос новичка «какой ASIC купить или какую ферму собрать» сопровождается ответом… «Да ты посмотри как растет сложность сети и не думай даже соваться в это дело!» Для простоты мы будем рассматривать сложность и хешрейт сети на примере монетки (аналог Эфириума, на аналогичном алгоритме). Цифры меньше и, надеюсь, мне будет проще вам объяснить суть. У сети каждой криптовалюты есть такой параметр, как «время создания блока». В случае с Musicoin это 15 секунд. Каждый 15 секунд один из майнеров должен находить решение для создания блока. Как удержать этот параметр в 15 секунд, вне зависимости от количества майнеров которые подключены к сети? Ведь, если майнеров много, они будут находить блоки слишком часто (вот пример пустого блока в сети UBIQ http://www.ubiq.cc/block/212214), а если майнеров мало, то блоки будут находиться редко и транзакции сети будут идти очень долго. За нахождение 1 блока в сети Musicoin майнер или пул (много майнеров вместе) получают 309 монет Musicoin = $13 по сегодняшнему курсу. Отступление. В сети Эфириум за нахождение одного блока платят 5 ETH = $1900, в сети Эфириум классик 5 ETC = $75. Но, к сожалению, и сложность и хешрейт сетей в этих монетах в разы больше.
Если майнеры будут плодить пустые блоки и получать за это деньги — монета будет обесцениваться, а если блоки будут находить медленно — транзакции встанут… опять же, монета будет обесцениваться. Тут начинает работать Сложность. Если на пальцах, то это просто сложность задачи, которую надо решить майнерам для создания блока, и она может меняться. Сложность зависит от Хешрейта сети (количества майнеров подключенных к сети данной монеты). Если майнеров мало — сложность падает, если майнеров много — сложность начинает расти и одному конкретному майнеру блок найти сложнее… Вознаграждение майнеры получают в монетах самой сети, но все майнеры любят хорошие машины, еду и тряпки. Поэтому для них важно сколько это в долларах США, ведь если цена монеты выросла на бирже, то и ценность вознаграждения за нахождение блока стала больше в пресловутых долларах США. На днях, 27 августа (см. график выше) цена монетки musicoin выросла в разы, майнеры которые были заняты майнингом монет Zcash, Эфириум, Monero … ахнули в предвкушении больше прибыли и переключили свои фермы на монетку musicoin. При этом сама сеть musicoin, разумеется, отреагировала резким ростом сложности. Сложность измеряется в хэшах (обычно террахэшах TH), в применении к майнингу, это единица выполненной работы. Мощность сети (количество майнеров) измеряется в хэшах в секунду (TH/s). Сеть сама подстраивает сложность таким образом, чтобы Сложность/мощность сети = время до следующего блока (в случае с Musicoin 15 секунд). 27 августа до взлета цены Сложность сети была: 7.5 TH в среднем, а Хешрейт сети: 500 GH/s (примерно 16000 видеокарт), то после взлета цены Хешрейт сети вырос до: 1.12 TH/s (1120 GH/s) (примерно 35000 видеокарт), а сложность при этом взлетела до 16.728 TH. В итоге прибыль фермы, которая добывала монету ДО взлета цены и ПОСЛЕ взлета цены не изменилась. Ферма стала добывать меньше монет, но по большей цене (не важно ферма это или целый пул ферм). Это ключевой момент, который очень многие не понимают. Да, можно на этих скачках курса-сложности вырвать парочку баксов, но, как правило, все устаканивается за пару часов и не принципиально какую валюту вы будете добывать на одном и том же алгоритме. Выхлоп будет одинаковый. Конечно, если вы ждете взлета той или иной валюты, копайте ее. Тут надо сделать очередное отступление, есть люди которые пристально следят за сложностью и хешрейтом… всех сетей круглые сутки и в моменты когда, хешрейт падет или сложность проседает, покупают мощности на Nicehash и направляют их на сеть просевшей монеты. И ловят много много блоков.
Собственно, вывод:
Давайте представим, что есть только одна валюта Эфириум. Хешрейт сети Эфириум постоянно растет, приходят все новые и новые майнеры. Если курс Эфириум будет падать, а количество майнеров будет неизменым (или ещё хуже будет расти), майнинг придет к уровню розетки (сколько намайнил $, столько заплатил за электричество $). В этой ситуации фермы начнут выключать и продавать, сложность начнет падать, а доходы опять расти. Выживает сильнейший и тот, у кого есть деньги иногда ждать и майнить на розетку.Пример задачи. Поиск одинаковых строк
Хэш подстроки и его быстрое вычисление
Применение хэширования
Определение количества различных подстрок
