Como recuperamos um RAID 5 com dois discos com falha em uma empresa de logística

Observação: este é um caso ilustrativo que combina situações típicas do trabalho com storage corporativo que atendemos. Por confidencialidade, os detalhes não correspondem a nenhum cliente específico nem a datas reais. O objetivo é mostrar como abordamos tecnicamente este tipo de falha.

O que acontece quando um RAID 5 perde dois discos ao mesmo tempo? Em teoria, ele não deveria sobreviver: o RAID 5 tolera a falha de apenas um. É assim que abordamos a reconstrução de um arranjo nesse cenário, para uma empresa cujo sistema de gestão de expedição ficou completamente inacessível.

O cenário: dois discos, no mesmo fim de semana

Numa sexta à noite, um dos discos de um RAID 5 de quatro discos começou a falhar. O sistema seguiu operando em modo degradado, exatamente como foi projetado para fazer. Na madrugada de sábado, um segundo disco caiu durante uma tempestade elétrica. O arranjo ficou completamente fora do ar, e com ele o sistema de rotas, estoque e faturamento da empresa.

Por que isso não se resolve com software

O RAID 5 distribui um bloco de paridade entre todos os discos do arranjo. Essa paridade permite calcular exatamente o que havia em um disco ausente: é uma operação matemática, e funciona.

Quando faltam dois, essa operação deixa de ter solução. Não é que seja difícil, nem que falte um software melhor: a informação necessária para o cálculo simplesmente não está mais em lugar nenhum. Por isso a reconstrução de um RAID 5 com dois discos com falha não começa no computador, e sim na bancada do laboratório. A pergunta deixa de ser como reconstruir o arranjo e passa a ser como fazer um daqueles dois discos voltar a ler.

Antes de tocar em um disco: o levantamento de informação

O primeiro passo não é abrir nada, é entender o que aconteceu. E boa parte dessa resposta costuma estar escrita em algum registro do próprio sistema. Sempre que possível, extraímos os logs da controladora RAID ou do NAS. Essa informação, quando existe, responde perguntas que de outro modo teriam de ser deduzidas às cegas:

• Em que ordem cada disco caiu e com quanta diferença de tempo. É o dado que define em qual concentrar o trabalho de recuperação.
• Se o arranjo esteve operando em modo degradado e por quanto tempo, ou seja, o quanto ficou desatualizado o primeiro disco que saiu.
• Se alguém já tentou uma reconstrução depois da segunda falha. Esse dado sozinho muda por completo o prognóstico do caso, e é muito melhor sabê-lo antes de começar do que no meio do processo.
• Os contadores de erro de cada unidade, que antecipam qual será difícil de ler.

Esse levantamento é feito junto com a área de infraestrutura ou de sistemas do cliente, que tem acesso ao console de administração, conhece o histórico do equipamento e sabe o que foi tentado antes de nos chamarem. Não é uma formalidade: é a diferença entre trabalhar com informação e trabalhar por eliminação.

Quando os registros não estão disponíveis, porque a controladora morreu, porque o arranjo foi reconfigurado ou porque a máquina foi desligada sem deixar rastro, a mesma análise precisa ser reconstruída depois, examinando a estrutura dos dados nas clonagens. Dá para fazer, mas custa mais tempo e dá menos certezas.

Nem todo disco com falha vale o mesmo

Em quase todos esses casos os dois discos não caíram ao mesmo tempo. Um falhou primeiro e o arranjo seguiu em modo degradado, às vezes por dias, sem ninguém perceber. O segundo caiu depois, e aí tudo parou.

Isso significa que o primeiro disco a falhar contém dados velhos: desde que saiu do arranjo, o sistema seguiu gravando sem ele. O segundo, ao contrário, esteve ativo até o último minuto.

Por isso o trabalho não se divide por igual. Com os registros do sistema em mãos, determinamos em que ordem caíram e concentramos o esforço de recuperação no segundo, que é o que tem a informação atual. Sem registros, essa ordem é deduzida depois, comparando as estruturas de dados de cada clonagem. Recuperar o disco errado pode devolver um arranjo que monta perfeitamente, mas com dados de uma semana atrás, o que para uma operação de expedição é quase tão inútil quanto não ter nada.

O que significa recuperar o acesso a um disco

Depende do motivo da falha. São três famílias, com três intervenções diferentes.

Falha eletrônica. A placa controladora queimou, normalmente por um pico de tensão. Ela é substituída pela de um disco doador, mas trocar não basta: cada placa guarda os parâmetros de calibração do seu próprio disco, únicos de fábrica. Essa informação precisa ser transferida para a placa nova, ou o disco não reconhecerá os seus próprios pratos.

Falha de firmware. O disco liga e gira, mas não se apresenta ao sistema ou informa capacidade zero. O problema está na área de serviço, uma região reservada do disco que não é acessível por vias normais. Isso é trabalhado com equipamento específico que conversa diretamente com o firmware do fabricante.

Falha mecânica. A mais delicada das três, e a que obriga a abrir o disco.

A troca de cabeçotes em clean room (câmara de fluxo laminar com pressão positiva)

Quando os cabeçotes de leitura falham não há atalho: é preciso abrir o disco e substituí-los. E isso só pode ser feito dentro de um clean room (câmara de fluxo laminar com pressão positiva).

A razão é de escala. Os cabeçotes de um disco rígido não tocam a superfície: eles voam sobre ela a uma distância de poucos nanômetros, sustentados pela própria corrente de ar que o prato gera ao girar. Uma partícula de poeira comum é centenas de vezes maior do que essa altura de voo. Se uma única entrar enquanto o disco está aberto, na partida seguinte o cabeçote a arrasta contra a superfície magnética e risca o prato. Um prato riscado não se recupera: a informação que estava ali deixa de existir fisicamente.

A câmara resolve isso com dois mecanismos complementares. O fluxo laminar faz circular ar filtrado em uma única direção, constante e sem turbulência, de modo que qualquer partícula é varrida para fora em vez de ficar suspensa sobre o disco aberto. A pressão positiva mantém o interior com pressão maior do que a do ambiente, então o ar sempre sai por qualquer abertura e nunca entra ar sem filtrar.

Conseguir o doador correto também não é um trâmite de compra. Um disco corporativo de dez ou quinze anos atrás já não é fabricado, e raramente aparece no mercado local. Essa busca, identificar qual unidade serve e onde obtê-la, pode ser a parte mais lenta de todo o processo, e é invisível para o cliente, que só vê que o caso está no laboratório.

Dentro da câmara, o procedimento é:

1. Localizar um disco doador adequado. Não serve qualquer unidade do mesmo modelo: ela precisa ser compatível nas características que permitem que os seus cabeçotes leiam os pratos do disco danificado.
2. Retirar o conjunto de cabeçotes do disco danificado com ferramentas específicas que os mantêm separados entre si. Se dois cabeçotes se tocam, danificam-se mutuamente e ficam inutilizados.
3. Retirar os cabeçotes do doador e montá-los no disco original, sem que em nenhum momento encostem na superfície dos pratos.
4. Fechar e testar. Se o disco voltar a ler, entra imediatamente em clonagem.

Esse último ponto não é um detalhe menor. Um disco com cabeçotes transplantados tem vida útil curta e imprevisível: pode ler por horas ou falhar em minutos. Por isso ninguém fica explorando nem olhando o que tem lá dentro: ele é clonado por completo desde o primeiro segundo, e toda a análise posterior acontece sobre essa cópia.

Só agora começa a reconstrução

Com pelo menos um dos discos com falha lendo de novo, o processo continua:

1. Clonagem bit a bit de todos os discos, os sadios e o recuperado. Daqui em diante ninguém toca mais nos originais.
2. Determinar os parâmetros do arranjo: ordem dos discos, tamanho do stripe, rotação da paridade e offset inicial. Quando a controladora morreu ou foi reconfigurada, esses parâmetros não estão documentados em lugar nenhum e precisam ser deduzidos analisando a estrutura dos próprios dados.
3. Reconstrução virtual do RAID sobre as clonagens, sem gravar nelas uma única vez.
4. Extração do sistema de arquivos e validação contra os backups parciais que existirem.
5. Verificação de integridade das tabelas e arquivos críticos antes da entrega.

A lição técnica por trás do caso

Com dois discos fora, o erro mais caro é tentar forçar o arranjo pela controladora para que ele monte de novo. Essa operação costuma reescrever a paridade existente e destrói justamente a informação que permitia reconstruir.

A ordem correta é a inversa, e não admite atalhos: primeiro o laboratório, depois o software. Recuperar o acesso ao disco com falha, clonar, e só então reconstruir.