Qual é a diferença entre um arquiteto de dados, analista de dados, engenheiro de dados e cientista de dados?

Para entender a diferença, devemos conhecer as respectivas responsabilidades e os conjuntos de habilidades de que precisam.

Abaixo está um

infografia descritiva

para entender melhor as diferentes funções e informações relacionadas a uma carreira orientada a dados.

Clique no link abaixo para explorar mais.

Tome uma decisão sábia, papéis, responsabilidades e conjuntos de habilidades necessários para a carreira orientada a dados. | Infografia de ciência de dados | Pinterest

Para mais perguntas, envie-me um e-mail para

[email protected]

o

O domínio da ciência de dados está no centro das discussões há alguns anos e não há sinais de que esteja diminuindo. À medida que mais empresas, organizações e empresas estão despertando para a importância de extrair informações importantes da pilha de dados em que estão, a demanda por cientistas de dados,

engenheiros de dados

, e outros especialistas na área aumentaram significativamente. Não é à toa que, embora haja um foco maior em trazer esses talentos de ciência de dados, um novo conjunto de títulos e funções de ciência de dados também foi criado para atender às necessidades do mercado.

Recentemente, muito foi discutido e escrito sobre as diferenças entre os vários papéis no domínio da ciência de dados. Entre outros, os que têm destaque são aqueles que discutem e debatem o

diferenças entre cientistas de dados

e

engenheiros de dados

. Se você está se perguntando o que desencadeia esse tremendo interesse por esses papéis, uma mudança de perspectiva sentida ao longo dos anos pode ser o fator determinante.

Se você voltar alguns anos atrás, verá que o foco predominante era recuperar informações preciosas a partir de dados. À medida que empresas e organizações começaram a tomar decisões baseadas em dados e orientadas por dados, o que trouxe vários benefícios, a importância do gerenciamento de dados começou a afundar no setor - lenta mas seguramente. Isso também fez com que as partes interessadas percebessem que a qualidade dos dados era importante para obter informações úteis, porque é o princípio de “Garbage In, Garbage Out” que também funciona no domínio da ciência de dados. Mesmo se você for capaz de criar os melhores modelos, é provável que seus resultados sejam fracos e ineficazes, caso seus dados não sejam qualitativos. E foi isso que trouxe o papel do

engenheiro de dados

sob os holofotes.

Segundo o Gartner, apenas 15% dos projetos de big data chegam à produção. De acordo com especialistas em domínio, uma das principais razões por trás dessas falhas se deve à incapacidade de construir um pipeline de produção, que é uma das principais tarefas de um

engenheiro de dados

. Na era moderna da análise, os cientistas de dados obtêm a maior atenção e atenção. No entanto, os papéis desempenhados pelos engenheiros de dados são igualmente importantes, embora sejam frequentemente ignorados. É importante perceber que a ciência de dados (e até a análise de dados) não floresceria se não houvesse um ambiente de trabalho de engenharia de dados. Se você não acredita, pode considerar o que dizem os registros do Glassdoor.

De acordo com os dados da Glassdoor em 2018, o número de vagas destinadas a

engenheiros de dados

foi quase cinco vezes mais que isso para os cientistas de dados. Em outros lugares, pode-se encontrar trabalhos de cientistas de dados que excedam o número de

engenheiro de dados

alguns dizem que isso pode acontecer porque inúmeras organizações nem sempre (ou são incapazes de) traçar uma linha distinta entre um cientista de dados e um

engenheiro de dados

. Assim, eles acabam postando empregos para os primeiros, enquanto, na realidade, os empregos deveriam estar buscando

engenheiros de dados

em vez de. Tais ações por parte das organizações talvez sejam desencadeadas pela ignorância dos significantes

diferenças entre cientistas de dados

e

engenheiros de dados

. Muitos relatórios revelaram que a maioria das organizações exige mais

engenheiros de dados

do que cientistas de dados em sua equipe. Portanto, a questão é a seguinte: o que exatamente é a engenharia de dados e como é o papel desempenhado por um

engenheiro de dados

diferente daquele jogado por um cientista de dados.

Principais diferenças entre cientistas e engenheiros de dados

Com

em relação às habilidades e responsabilidades, você encontrará consideráveis ​​sobreposições entre cientistas de dados e

engenheiros de dados

. Uma das principais

diferenças entre cientistas de dados

e

engenheiros de dados

é a área de foco. Para

engenheiros de dados

, a ênfase está na criação de arquitetura e infraestrutura para geração de dados. Pelo contrário, o foco dos cientistas de dados está na análise estatística e matemática avançada dos dados gerados.

Embora o papel dos cientistas de dados exija uma interação constante com a infraestrutura de dados que o

engenheiros de dados

criados e mantidos, o primeiro não é responsável pela criação e manutenção dessa infraestrutura. Em vez disso, eles podem ser chamados de clientes internos, cujo trabalho é realizar pesquisas de alto nível sobre negócios e operações de mercado para identificar tendências e relações, que por sua vez precisam deles para usar uma variedade de métodos e máquinas sofisticados para interagir com os dados e agir sobre isso.

É o trabalho de

engenheiros de dados

fornecer as ferramentas e a infraestrutura necessárias para dar suporte a analistas e cientistas de dados, para que esses profissionais possam fornecer soluções completas para problemas de negócios.

Engenheiros de dados

têm a tarefa de criar uma infraestrutura escalável e de alto desempenho que ajuda a fornecer informações de negócios com clareza a partir de fontes de dados brutas, além de implementar projetos analíticos complexos, onde a ênfase está na coleta, avaliação, gerenciamento e visualização de dados, além de desenvolver análises analíticas em tempo real e em lote soluções.

Talvez agora você entenda que, apesar de algumas

diferenças entre cientistas de dados

e

engenheiros de dados

, os formadores dependem do último. Enquanto os cientistas de dados lidam com ferramentas avançadas de análise como Hadoop, R, modelagem estatística avançada e SPSS, o foco de

engenheiros de dados

permanecem nos produtos que suportam essas ferramentas. Assim, um

engenheiro de dados

pode lidar com NoSQL, MySQL, SQL, Cassandra, etc.

De certa forma, você pode dizer que, na cadeia de produção de valor dos dados, o papel de

engenheiros de dados

é semelhante aos encanadores, pois eles facilitam o trabalho de cientistas de dados, analistas de dados e outros profissionais que trabalham no setor de ciência de dados. Como em qualquer infraestrutura, os encanadores não recebem os holofotes e, no entanto, são insubstituíveis, pois ninguém pode fazer nenhum trabalho sem eles. O mesmo se aplica a

engenheiros de dados

também.

Analistas de dados

coletar, processar e executar análise estatística de dados. Diferentemente dos cientistas de dados, suas habilidades podem não ser tão avançadas quanto a criação de novos algoritmos, mas os objetivos dentro da organização são os mesmos para entender como as perguntas podem ser respondidas e os problemas resolvidos com o uso adequado dos dados.

Os analistas de dados realizam

analytics

para encontrar insights, isso não é diferente do que um cientista de dados faz; mas, na analítica, existe uma hipótese determinada, e o analista tenta encontrar insights específicos para essa hipótese. Um analista também apresenta os dados na forma de tabelas, gráficos e tabelas; isso ajuda na construção de bancos de dados para organizações.

Agora está claro que um analista faz parte do

ciência de dados

equipe então, quem é um cientista de dados? Como o nome sugere, os cientistas de dados são os mais hábeis e têm a perspicácia necessária para executar as tarefas que um analista de dados faria; mas suas responsabilidades vão além disso.

Enquanto um analista de dados trabalha em aspectos conhecidos dos negócios, um cientista de dados lida com os aspectos desconhecidos dos dados acumulados. Não há hipótese específica, o cientista de dados precisa passar por grandes quantidades de dados, estruturados e não estruturados.

Um cientista de dados também precisa ser proficiente em

Machine Learning

, ele / ela precisa ser especialista em matemática, estatística e no design de algoritmos e códigos.

Podemos ver que, um cientista de dados precisa de um conjunto maior de habilidades e também de uma melhor proficiência nas funções que um analista também desempenharia. Os analistas de dados são classificados depois para

Analista de negócios

e inteligência de negócios.

Eu não pesquisei as ofertas de emprego. Eles fornecem uma amostra dos empregos e de suas expectativas no mercado público. Esses quatro trabalhos estão todos relacionados aos dados.

Uma breve história sobre dados e computadores:

Esses dados estão em décadas de desenvolvimento do computador moderno. Ele melhorou o poder de processamento computacional, modularizado por componentes em placas-mãe, cpu, gpu, ram, discos rígidos e cabos de conexão.

Tudo depende da arquitetura do computador e é utilizável pelo sistema operacional. Essa interface permite que os usuários realizem ações computacionais nos aplicativos. Eles fazem isso com as ferramentas padrão de monitor, teclado, mouse, estéreo e microfone.

Atualmente, o conceito de computador foi desenvolvido para laptop, smartphone e dispositivo digital similar. Eles têm o mesmo conceito, mas as pessoas podem usá-los em contextos diferentes.

A qualidade da arquitetura e do sistema operacional é composta pelo design e usabilidade dos aplicativos de software.

Este computador, de várias formas, é um componente de uma grande rede, conhecida coloquialmente como internet ou web.

Essa rede enorme requer muitos dispositivos e infraestrutura. Ele precisa de todas as conexões de rede ou transmissão sem fio, comutadores de redes locais, roteadores entre redes locais e externas, dispositivos maiores do tipo roteador para lidar com conexões regionais maiores e muitos utilitários de banda larga para fornecer o serviço de rede.

Dito isso, uma parte crucial do computador em rede é a placa Ethernet. Todos os dispositivos de computação têm endereços IP exclusivos e endereços MAC físicos, para identificá-los na inter-rede.

Tudo dito, o setor de tecnologia de computadores é enorme. Você pediu apenas quatro empregos que contribuem para o desenvolvimento e o sucesso tecnológico contínuo dessa indústria na economia.

O analista de dados realiza uma análise básica dos conjuntos de dados fornecidos. Às vezes, eles trabalham com o banco de dados de informações e outras vezes com um desenvolvedor ou administrador de banco de dados. O analista trabalha com os dados no contexto de um estudo proposto. Eles fornecem avaliação imparcial.

O cientista de dados realiza trabalhos parcialmente de análise de dados. Eles são versados ​​em modelagem computacional e podem desenvolver os algoritmos para implementá-los. Eles fornecem trabalho consultivo aos tomadores de decisão.

O engenheiro de dados trabalha com sistemas de dados. Eles desenvolvem a estrutura para armazenar, extrair, gerenciar e desenvolver fontes de informação. Eles são, ao contrário, construtores de tais sistemas.

O arquiteto de dados prevê as necessidades de dados da organização e planeja a infraestrutura. Isso abrange todas as fontes necessárias de dados nos quais o analista, cientista e engenheiro trabalham. Inclui qualquer hardware, software e rede para conectar todos eles.

Isso inclui uma descrição básica dos trabalhos solicitados. Existem muitos outros trabalhos no ambiente de dados. Como administrador e desenvolvedor de banco de dados, gerente de dados, engenheiro de software, desenvolvedor de rede, desenvolvedor de negócios, analista de negócios, gerente de produtos, desenvolvedor de produtos e suporte técnico de tecnologia da informação.

Esses são possíveis trabalhos em uma organização maior, que já atingiu massa crítica de tecnólogos da informação.

Cientistas de dados

Os cientistas de dados de TI são responsáveis ​​pela mineração de dados complexos e pelo fornecimento de consultoria relacionada a sistemas para sua organização. Eles projetam novas maneiras de incorporar vastas informações com foco nos tópicos de tecnologia da informação. Eles trabalham com equipes de outros profissionais de TI para gerenciar dados estatísticos e criar modelos diferentes com base nas necessidades da empresa. Eles possuem habilidades analíticas avançadas, além de suas excepcionais habilidades de comunicação oral e escrita. Eles processam as informações de pesquisa para facilitar o consumo e as transformam em planos acionáveis. Eles também agregam valor aos seus negócios por meio de suas descobertas e idéias ponderadas.

Analistas de dados

Um analista de dados usa dados para adquirir informações sobre tópicos específicos. Isso geralmente começa com o processo de pesquisa, no qual os analistas de dados encontram os participantes da pesquisa e coletam as informações necessárias. Os dados são então interpretados e apresentados em formas como gráficos ou relatórios. Os analistas de dados também podem colocar seus dados de pesquisa em bancos de dados online.

Engenheiros de dados

Os termos "cientista de dados" e "engenheiro de dados" são às vezes usados ​​de forma intercambiável e envolvem conjuntos de habilidades semelhantes. No entanto, as funções dos cientistas e engenheiros de dados são sensivelmente diferentes. A principal tarefa dos cientistas e engenheiros de dados é coletar grandes e pequenas quantidades de dados e criar novas maneiras de analisar e utilizar esses dados. Os cientistas de dados usam seus conhecimentos (geralmente nas ciências naturais ou sociais), juntamente com matemática, estatística e ciência da computação para analisar dados e fornecer soluções para questões críticas. Os engenheiros de dados empregam habilidades semelhantes com o objetivo de coletar, organizar e armazenar dados. Em outras palavras, os engenheiros de dados fornecem dados limpos, organizados e acessíveis aos cientistas de dados que os analisam para resolver problemas e criar novas tecnologias com base em suas descobertas.

Arquiteto de Dados

Os arquitetos de dados são responsáveis ​​pelo design, estrutura e manutenção dos dados, geralmente organizados em um banco de dados relacional. Um arquiteto de dados garante a precisão e acessibilidade dos dados relevantes para uma organização ou projeto. O gerenciamento e organização dos dados é altamente técnico e requer habilidades avançadas em computadores e proficiência em linguagens de computador orientadas a dados, como SQL e XML.

Referências:

Cientista de dados, salário de TI

Salário de analista de dados

Salário de Data Scientist / Engineer

Salário do arquiteto de dados

Talvez tire a palavra "dados" para ajudar a responder à pergunta ... e sabemos que arquitetos, analistas, engenheiros e cientistas são todos diferentes linhas de trabalho ...

Alguns projetam, outros constroem. Alguns constroem modelos baseados em comportamentos / atributos observáveis ​​/ demonstráveis ​​no mundo físico, outros constroem modelos hipotéticos e os testam.

Portanto, é um pensamento não totalmente formado, mas um começo para 10 :)

Definitivamente, acrescentaria também o aprendizado de máquina nas habilidades do cientista de dados e provavelmente no topo das habilidades necessárias. Além disso, o cientista de dados precisa ser um pouco "artista de dados" em termos de saber como escolher a melhor maneira de visualizar e apresentar os padrões descobertos e as associações de dados.

Geralmente, as habilidades de dados são divididas em duas grandes categorias -

1. Habilidades de engenharia

- Configurando sistemas de banco de dados, escrevendo consultas, integrando aplicativos, etc.

2. Habilidades de análise

- Pode ser muito amplo, desde estatística matemática, estatística aplicada multivariada, álgebra matricial, mineração de dados, aprendizado de máquina etc.

Muitos engenheiros de dados e arquitetos têm as mesmas habilidades (nº 1), mas diferentes perfis de trabalho. "Cientista de dados" e "Analistas de dados" têm a mesma missão em uma organização, mas geralmente têm habilidades diferentes (razões abaixo). Observe que algumas organizações usam os dois termos - cientistas e analistas de forma intercambiável, o que pode resultar em alguma confusão.

Veremos como os quatro perfis de trabalho foram inventados e como a maioria das pessoas o usa.

Arquiteto de Dados

Grandes empresas geram grandes quantidades de dados de várias fontes diferentes (agrupadas em duas)

1. Fontes internas - sistemas existentes (CRM, HRMS, Web Analytics etc.) 2. Fontes externas - Feeds do mercado de ações etc.

Um arquiteto de dados é alguém que pode entender todas as fontes de dados e

elaborar um plano

para integrar, centralizar e manter todos os dados. Ele deve ser capaz de entender como os dados se relacionam com as operações atuais e os efeitos que quaisquer alterações futuras no processo terão no uso de dados na organização. Ele precisa ter uma visão de ponta a ponta e ver como um projeto lógico se traduzirá em um ou mais bancos de dados físicos e como os dados fluirão pelos estágios sucessivos envolvidos.

Isso pode incluir coisas como projetar bancos de dados relacionais, desenvolver estratégias para aquisição de dados, recuperação de arquivos e implementação de um banco de dados, limpar e manter o banco de dados, removendo e excluindo dados antigos, etc.

Engenheiro de Dados

Os engenheiros de dados são engenheiros de núcleo duro que conhecem os aspectos internos dos softwares de banco de dados. Ele compila e instala sistemas de banco de dados, escreve consultas complexas, dimensiona-o para várias máquinas, garante backups e implementa sistemas de recuperação de desastres. Ele geralmente possui um profundo conhecimento e experiência em um ou mais softwares de banco de dados diferentes (SQL / NoSQL).

Analista de informações

As principais tarefas de um analista de dados são a compilação e análise de informações numéricas. Eles geralmente têm um diploma em ciência da computação e negócios. Eles obtêm insights analíticos de todos os dados que uma organização pode ter (softwares de banco de dados ou apenas planilhas de excel) que fazem sentido para a organização e os compilam em relatórios decentes, para que outras pessoas não técnicas possam entender e decidir seu curso de ação.

Um analista geralmente trabalha para obter informações analíticas dos dados e esse perfil de trabalho não inclui trabalhar com estatísticas (geralmente) e não tem nada a ver com "BigData" em particular.

Uma organização de tamanho médio decente pode ter muitos analistas. Por exemplo - um analista de vendas pode analisar todas as vendas no trimestre passado e descobrir uma estratégia de vendas adequada (onde vender e quem vender para maximizar os lucros). Ele então comunicará o relatório à liderança.

Cientista de dados

"Cientista de dados" é um fenômeno muito recente e geralmente está associado ao BigData. A missão geral de um cientista é a mesma de um analista, mas uma vez que o volume e a velocidade dos dados ultrapassam um determinado nível, são necessárias habilidades realmente sofisticadas para obter essas idéias.

Um "cientista de dados" geralmente possui muitas habilidades sobrepostas - engenharia de banco de dados, manipulação de sistemas BigData como Hadoop OR Netezza, conhecimento de Python / R e conhecimento de estatística / mineração de dados.

Enquanto um analista de dados tradicional pode analisar apenas dados de uma única fonte (CRM, etc.), um cientista de dados provavelmente irá explorar e examinar dados de várias fontes díspares. O cientista de dados analisará todos os dados recebidos com o objetivo de descobrir uma visão anteriormente oculta, que por sua vez pode resolver um problema de negócios. Os bons cientistas de dados não apenas abordam problemas de negócios, mas também escolhem os problemas certos que têm mais valor para a organização.

Mais sobre cientista de dados -

resposta de -