Informática · Concurso PRF, PF
Big data e seus "Vs"
4 min de leituracom podcast4 flashcards2 questões
Cai no edital de: PRF, Agente PF, Escrivão PF, Papiloscopista PF
Resumo: Big data e seus "Vs"
Essência. Conjuntos de dados tão grandes, rápidos ou variados que as ferramentas tradicionais de banco não dão conta. O modelo dos 3 Vs (Doug Laney, Gartner) foi ampliado para 5 Vs.
- Volume: quantidade massiva de dados.
- Velocidade: ritmo de geração e processamento, inclusive em tempo real. Ex.: leituras de placas por câmeras OCR a cada segundo.
- Variedade: estruturados (tabelas), semiestruturados (JSON, XML) e não estruturados (texto, imagem, vídeo).
- Veracidade: qualidade e confiabilidade — um dos grandes desafios. Ex.: placa lida errado pela câmera.
- Valor: utilidade para gerar conhecimento e decisões.
- 3 Vs clássicos: volume, velocidade, variedade; + veracidade e valor = 5.
- Associados: data lake (bruto), data warehouse (tratado, para BI), processamento distribuído (Hadoop, Spark), mineração de dados, análise preditiva.
- Fontes: IoT e redes sociais alimentam o big data.
Exceções e distinções. Big data não é só volume nem só dados estruturados. Data lake guarda dados em formato original; data warehouse, dados estruturados e organizados para análise.
Pegadinha Cebraspe. "Big data é caracterizado apenas pelo volume" → errado.
Lembre também: "a veracidade não é característica do big data" é errado; palavras de alerta: "apenas", "não inclui", ou item que exclui um dos Vs.
Visão geral
Big data designa conjuntos de dados tão grandes, rápidos ou variados que as ferramentas tradicionais de banco de dados não dão conta de armazenar e analisar. O modelo original de 3 Vs (Doug Laney, Gartner, início dos anos 2000) foi ampliado para 5 Vs.
Regra
| V | Significado | Exemplo |
|---|---|---|
| Volume | quantidade massiva de dados | imagens de todas as câmeras do país |
| Velocidade | ritmo de geração e necessidade de processamento (inclusive em tempo real) | leituras de placas a cada segundo |
| Variedade | tipos e formatos diversos: estruturados, semiestruturados (JSON, XML) e não estruturados (texto, imagem, vídeo) | planilhas, JSON de sistemas, vídeos |
| Veracidade | confiabilidade e qualidade dos dados — um dos grandes desafios | placa lida errado pela câmera |
| Valor | utilidade/retorno que se extrai dos dados | descobrir rota usada pelo tráfico |
Conceitos associados: data lake (dados brutos em formato original), data warehouse (dados tratados e estruturados para análise), processamento distribuído (Hadoop, Spark), mineração de dados, análise preditiva.
Aprofundamento
Os "Vs" do Big Data
| V | Significado |
|---|---|
| Volume | quantidade enorme de dados |
| Velocidade | dados gerados e processados em alta frequência, muitas vezes em tempo real |
| Variedade | estruturados (tabelas), semiestruturados (JSON, XML) e não estruturados (texto, imagem, vídeo) |
| Veracidade | qualidade e confiabilidade dos dados |
| Valor | utilidade para gerar conhecimento e decisões |
- Data warehouse: repositório de dados estruturados e tratados, organizado para análise (BI). Data lake: repositório de dados brutos em qualquer formato, tratados quando usados (schema on read). Data lakehouse combina os dois.
- ETL (extrair, transformar, carregar) alimenta o warehouse; ELT carrega bruto e transforma depois (comum em lakes).
- Processamento distribuído: Hadoop (HDFS + MapReduce), Spark (em memória, mais rápido); bancos NoSQL (documentos, chave-valor, colunar, grafos) para variedade e escala.
- Mineração de dados e análise preditiva descobrem padrões (ex.: pontos críticos de acidentes a partir de dados históricos).
- Tipos de análise: descritiva (o que aconteceu), diagnóstica (por quê), preditiva (o que vai acontecer), prescritiva (o que fazer).
Como o Cebraspe cobra
- "Big data é caracterizado apenas pelo volume": errado.
- "A veracidade não é característica/desafio do big data": errado.
- "Big data trata só de dados estruturados": errado (variedade inclui não estruturados).
- Detalhe que torna o item errado: "apenas", "não inclui", ou excluir um dos Vs.
Revisão rápida
- 3 Vs clássicos: volume, velocidade, variedade.
- 5 Vs: + veracidade e valor.
- Dados estruturados, semiestruturados e não estruturados.
- Data lake = bruto; data warehouse = tratado.
- IoT e redes sociais alimentam o big data.
Mapa mental: Big data e seus "Vs"
Toque play para percorrer o mapa. Clique num card para ver de perto, no fundo para afastar; arraste para mover e use Ctrl/⌘ + roda do mouse (ou a pinça) para zoom.
Flashcards de Big data e seus "Vs"
Tente lembrar antes de virar o card.
- Revelar resposta
Quais são os "Vs" clássicos do conceito de Big Data?
Volume, Velocidade, Variedade, Veracidade e Valor.
- Revelar resposta
Quais são os quatro tipos de análise de dados (analytics)?
Descritiva: o que aconteceu. Diagnóstica: por que aconteceu. Preditiva: o que vai acontecer. Prescritiva: o que fazer (recomenda ações). Pegadinha: atribuir "recomendar ações" à diagnóstica ou à preditiva.
- Revelar resposta
Big data usa as mesmas ferramentas dos bancos relacionais? O que é escalabilidade horizontal?
Não: usa ferramentas distribuídas (Hadoop, Spark, NoSQL). Escalabilidade horizontal: adicionar mais máquinas ao cluster, em arquitetura sem compartilhamento de recursos (shared-nothing); vertical = máquina mais potente.
- Revelar resposta
O que é matching (correspondência de dados)?
Processo de qualidade de dados que identifica registros que se referem à mesma entidade, em geral entre fontes diferentes (e também dentro de uma fonte, na deduplicação). Restringir à "mesma fonte" torna o item errado.
Questões de Big data e seus "Vs"
Questão 1 · PRF · Certo ou Errado
Entre as características tradicionalmente associadas ao conceito de big data, conhecidas como os "Vs", incluem-se o volume, a velocidade e a variedade dos dados, mas não a sua veracidade, uma vez que a confiabilidade dos dados não é considerada um desafio relevante nesse contexto.
Revelar gabarito
Gabarito: Errado
Errado. A veracidade (confiabilidade e qualidade dos dados) é, sim, tradicionalmente considerada uma das características ("Vs") do big data, ao lado de volume, velocidade e variedade — e frequentemente também valor. Garantir a veracidade dos dados é, inclusive, um dos grandes desafios no tratamento de big data.
Questão 2 · PRF · Certo ou Errado
O conceito de big data é caracterizado apenas pelo grande volume de dados armazenados, não estando relacionado à velocidade de geração desses dados nem à diversidade de seus formatos.
Revelar gabarito
Gabarito: Errado
Errado. Big data é tipicamente caracterizado por múltiplas dimensões (os "Vs"), incluindo pelo menos volume, velocidade e variedade dos dados — não apenas o volume.