Qual é a diferença entre o hadoop e o teradata aster?

(Isenção de responsabilidade: esta resposta é baseada no meu próprio entendimento e informações disponíveis no momento. Isso não representa necessariamente a opinião do meu empregador.)

A diferença pode ser de

-> A perspectiva do usuário que diz respeito apenas à facilidade de uso e desempenho.

OU

-> Uma perspectiva dos desenvolvedores de soluções que diz respeito ao design / implementação subjacente.

Deixe-me dar uma resposta genérica.

  1. O Apache Hadoop e a plataforma Teradata Aster suportam o MapReduce, mas suas implementações são muito diferentes. O Hadoop MapReduce é implementado no HDFS (Hadoop Distributed File System), enquanto o SQL-MapReduce do Teradata Aster é implementado em um banco de dados relacional de processamento paralelo em massa (MPP). Ambos têm mais ou menos os mesmos recursos funcionais. Ambos processam conjuntos de dados extremamente grandes em um cluster ou grade de computação, mas o desempenho varia de acordo com o formato dos dados e o tipo de processamento ou análise necessária. Os especialistas do Grupo de Estratégia Empresarial realizaram testes práticos em vários ambientes reais e multi-estruturados. conjuntos de dados grandes usando especificações idênticas de hardware e rede. Os testes focaram na facilidade de uso (tempo para desenvolver) e tempo para obter informações (desempenho em uma ampla variedade de ETL, consulta simples e processamento analítico avançado). Os resultados do teste foram comparados para garantir que cada plataforma retornasse exatamente as mesmas informações após cada operação. Os testes mostraram as vantagens de cada plataforma com base no tipo de gerenciamento de dados ou na tarefa analítica em questão.

Mais ajuda!

O Aster Data (agora Teradata Aster) é construído no PostgreSQL. Cada um dos nós no sistema nCluster do Aster é um nó do PostgreSQL. Simplificando, eles criaram um banco de dados MPP usando o Postgres. Isso é semelhante ao que Greenplum e Netezza fizeram.

O Hadoop é uma espécie de redescoberta da tecnologia de banco de dados MPP, pioneira em Teradata e Tandem no final dos anos 80. Mas, ao contrário de limitá-lo a um banco de dados, o Hadoop é mais um sistema de arquivos distribuído baseado em conceitos semelhantes.