Вскрытие двух сбоев в работе основной сети Ethereum

11 и 12 мая 2023 года в сети Ethereum'Mainnet произошли два значительных перебоя. Это привело к задержке добычи блоков на 4 эпохи и 9 эпох соответственно. Во время второго инцидента был наложен штраф за неактивность. Однако в обоих случаях сеть смогла восстановиться автономно.

Влияние

Первый сбой привел к пропаже примерно 47 блоков, а второй - к более существенной потере примерно 149 блоков. Задержки и пропажа блоков привели к потере дохода в размере около 5 ETH для пострадавших производителей блоков. Однако ожидается, что эта цифра будет значительно выше, если учесть вознаграждение за пакет строителей.

По оценкам, 65% валидаторов находились в автономном режиме в течение 8 эпох, что привело к утечке неактивности, в результате чего потери составили около 28 ETH, плюс около 50 ETH в виде недополученного дохода из-за отсутствия аттестаций. В общей сложности потери составили около 83 ETH, что в среднем составляет менее 0,00015 ETH на валидатор.

Кроме того, следует отметить, что ни один валидатор не был сбит, что указывает на то, что проблемы носили скорее системный, чем индивидуальный характер.

Причины

Причина сбоев кроется в некоторых клиентах консенсуса, включая Prysm, которые не смогли оптимально обработать валидные аттестаты со старой целевой контрольной точкой. Это заставляло Prysm пересчитывать предыдущие состояния маяков для проверки подлинности аттестаций', что приводило к истощению ресурсов и значительному замедлению выполнения запросов клиентов-валидаторов.

Триггер

Серия старых аттестаций, голосующих за старый блок маяков (блок из эпохи N-2 в эпоху N), была передана, что вызвало проблемы в Prysm и Teku. Эти действительные, но проблемные аттестаты заставляли Prysm многократно регенерировать одно и то же состояние из-за быстрого заполнения кэша.

Обнаружение

Проблемы были обнаружены после существенного падения участия сети в эпохи 200 551 и 200 750, что привело к временному прекращению финализации цепочки.

Summary

Основной проблемой было то, что сеть не смогла завершить работу из-за отсутствия блоков и аттестаций. Кроме того, сеть испытывала стресс из-за увеличения объема обработки максимальных депозитов. В частности, Prysm столкнулся с проблемой многократного повторения (функция replayBlocks), что привело к высокой загрузке процессора.

Несмотря на эти проблемы, продолжительность инцидентов была относительно короткой, и массовых слэшингов зафиксировано не было. Разнообразие клиентов сети и способность некоторых клиентов предлагать блоки и создавать аттестаты позволили цепочке восстановиться. Важно отметить, что для решения проблемы конечности не потребовалось ручного вмешательства или экстренной разблокировки.

Этот инцидент продемонстрировал ограниченность тестовых сетей, которые не являются репрезентативными для среды Mainnet, что подчеркивает необходимость более надежных стресс-тестов и планирования действий в чрезвычайных ситуациях. Он также послужил успешным полевым испытанием штрафов за утечку данных о бездействии.

Для предотвращения повторения подобных проблем было введено несколько исправлений. К ним относятся использование состояния head для проверки аттестаций на недавний канонический блок в качестве целевого корня, использование кэша следующего слота для проверки аттестаций на граничные слоты в предыдущей эпохе и отбрасывание любых аттестаций, не подтвержденных двумя предыдущими правилами. Эти меры должны снизить вероятность повторного воспроизведения состояний и игнорирования аттестаций для старых блоков в обычных условиях.

Хотя отключение Mainnet создало значительные проблемы, быстрое восстановление и ценные извлеченные уроки прокладывают путь к созданию более устойчивой сети Ethereum.

Как бы то ни было, перебои в работе сети Ethereum были вызваны серьезными проблемами.