Questão 46 do CNU 2024 (Cesgranrio) — Bloco 2, Eixo 5: Apoio à Decisão, Inteligência Artificial e Métodos Quantitativos

Um empreendimento de alta tecnologia pretende trabalhar com o framework Hadoop para o armazenamento e processamento de dados em larga escala. Pretende-se configurar o Sistema de Arquivos Distribuídos do Hadoop (HDFS), de modo que ele atue como um sistema de arquivos bem distribuídos, atuando na camada de armazenamento do Hadoop.
A configuração adequada para esse sistema HDFS ser mais tolerante a falhas é aquela na qual o sistema se encarrega de

  1. Acriar um diretório no cluster master, para servir de apoio aos dados de armazenamento temporário do sistema distribuído, formando um bloco de arquivos de 64MB associado às aplicações dos clientes, com cada bloco manipulado pelo HDFS.
  2. Bdesignar as estruturas de dados como nós, associados às funções de monitoração e execução de dados, pretendendo, com isso, checar falhas de acesso aos nós e permitir o reacesso a um nó perdido.
  3. Cestruturar os dados recebidos em blocos de 64 MB, de forma a estabelecer uma coleção de pares com a chave de identificação e o valor, que é o dado propriamente dito, sendo a manipulação realizada por funções construídas com linguagens específicas.
  4. Dparticionar os arquivos em blocos de 64 MB e replicar os blocos em três cópias no modo cluster e uma cópia no modo local, alocando os mesmos em servidores diferentes.
  5. Eprovidenciar, para cada estrutura de dados, uma conexão ao nó ao qual ela está ligada por meio de um link utilizando o protocolo SSH, de modo a manter uma estrutura básica master-slave entre os nós do sistema distribuído de dados, facilitando a localização dos dados no cluster.
Gabarito e comentário

Gabarito: D — particionar os arquivos em blocos de 64 MB e replicar os blocos em três cópias no modo cluster e uma cópia no modo local, alocando os mesmos em servidores…

No Apache Hadoop, a tolerância a falhas na camada de armazenamento é provida pelo HDFS (Hadoop Distributed File System) por meio da divisão dos arquivos em blocos de tamanho fixo (historicamente 64 MB no Hadoop 1.x e 128 MB a partir do Hadoop 2.x) e da sua replicação automática entre os nós de dados (DataNodes).

No modo cluster, o fator de replicação padrão é 3 (três cópias distribuídas estrategicamente em diferentes servidores e racks para suportar quedas de hardware), enquanto em execuções locais ou em nós únicos utiliza-se apenas 1 cópia.

Análise das alternativas incorretas:

  • A: a tolerância a falhas decorre da replicação entre DataNodes, e não de diretórios de apoio temporário no nó mestre.
  • B: foca vagamente em estruturas de dados e monitoramento, sem descrever o mecanismo central de particionamento e replicação de blocos.
  • C: a estruturação em pares chave-valor manipulados por funções específicas define o modelo de programação MapReduce, e não o armazenamento no HDFS.
  • E: o SSH é utilizado apenas para scripts de inicialização remota dos daemons do cluster, não consistindo na estratégia de armazenamento tolerante a falhas.

Dica de prova: A Cesgranrio frequentemente contrasta a camada de armazenamento (HDFS: blocos e réplicas) com a camada de processamento (MapReduce: chaves, valores e funções de mapeamento).

Fundamentos: Hadoop · HDFS · Tolerância a falhas em sistemas distribuídos · Replicação de blocos

Comentário Cravei IA, gerado a partir do gabarito oficial e verificado automaticamente. A IA pode errar: o gabarito da banca prevalece.

Origem

Questão 46 do caderno tipo 1 (turno da tarde) do Bloco 2 – Tecnologia, Dados e Informação, CNU 2024, banca Cesgranrio. Gabarito definitivo divulgado pela banca.

Onde esta questão aparece no Cravei CNU

Simulado CNU Bloco 3: todas as questões comentadas do bloco →

Guia do Bloco 3 – Ciência, Dados e Tecnologia: cargos, pesos e conteúdo →

Questões relacionadas