Diferença entre mineração de dados e aprendizado de máquina

Acho que as diferenças entre os três têm um propósito e o que está envolvido ao usá-los.

O Machine Learning constrói modelos que dependem de dados em vez de regras predefinidas para ajustar seus parâmetros, a fim de minimizar um erro. É uma ferramenta para mapear entrada para uma saída (ou seja, decisão). Mas você deseja identificar as regras relevantes para esse mapeamento.

O Deep Learning é uma classe de modelos de aprendizado de máquina que aprendem uma representação hierárquica dos dados para minimizar sua taxa de erro. Portanto, é a mesma ferramenta, mas há mais espaço para explorar os dados e encontrar um mapeamento ideal para a decisão.

A mineração de dados consiste em encontrar informações úteis, como tendências e correlações em grandes quantidades de dados que, de outra forma, parecem arbitrárias. Trata-se de encontrar informações valiosas em seus dados.

O aprendizado profundo é uma classe de métodos de aprendizado de máquina, portanto, há diferenças nos métodos, mas não necessariamente no objetivo. Data Mining e Machine Learning, um pode usar o outro para realizar sua tarefa.

Você está dirigindo pela estrada e seu filho diz: “Olha mamãe / papai. É um caminhão! ”. A capacidade deles de identificá-lo como caminhão é porque você os treinou: alguns veículos são carros e outros são caminhões. Anteriormente, você dizia "sim, é um caminhão" ou "não, é um carro" várias vezes. Isso é aprendizado de máquina. Agora que seu filho pode facilmente identificar a diferença entre um caminhão e um carro, você responde: “Sim! É um caminhão, um caminhão que chamamos de ambulância ”. Reforçar uma resposta com informações contextuais é um aprendizado profundo.

A mineração de dados é o processo de usar dados (que normalmente não são explicitamente projetados em um experimento) para encontrar padrões ou insights. Isso pode ser feito através da exploração, análise, visualização ou modelagem (ML + AI).

A ciência de dados é o processo de usar técnicas de mineração de dados para criar um _produto de dados_ que prevê um resultado (preços), classifica uma resposta (caminhão / carro, ambulância / trator / carro esportivo), nos dá uma melhor compreensão de um sistema complexo (insights) ou gera resultados (nlg, traduções etc.).

A mineração de dados é uma área que tirou grande parte de sua inspiração e técnicas do aprendizado de máquina. aprendizado de máquina é um termo amplamente usado que abrange muitos tipos de programas que você encontrará na análise de big data e na mineração de dados. Muito progresso foi feito em áreas como mineração visual de dados e processamento de linguagem natural usando técnicas de aprendizado profundo. Se você quiser aprender sobre isso ... é melhor aprender com os recursos on-line. Também posso sugerir os melhores cursos de Deep Learning e Machine Learning

  • Ciência de Dados: Aprendizado Profundo em Python
  • Aprendizado profundo prático com PyTorch

Escolha o primeiro curso. Deste curso, você pode aprender sobre:

Este curso permitirá que você comece a construir sua PRIMEIRA rede neural artificial usando técnicas de aprendizado profundo. Seguindo meu curso anterior sobre regressão logística, pegamos esse bloco de construção básico e construímos redes neurais não lineares completas desde o início usando Python e Numpy.

Este curso fornece muitos exemplos práticos para que você possa realmente ver como o aprendizado profundo pode ser usado em qualquer coisa. Ao longo do curso, faremos um projeto do curso, que mostrará como prever ações do usuário em um site, dados dados do usuário, como se o usuário está ou não em um dispositivo móvel, o número de produtos visualizados e por quanto tempo permaneceram no seu site, se eles são visitantes recorrentes ou não e a que hora do dia eles visitaram.

E também..

  • Aprenda como o Deep Learning REALMENTE funciona (não apenas alguns diagramas e código mágico da caixa preta)
  • Aprenda como uma rede neural é construída a partir de blocos de construção básicos (o neurônio)
  • Codifique uma rede neural do zero em Python e numpy
  • Codifique uma rede neural usando o TensorFlow do Google
  • Descrever diferentes tipos de redes neurais e os diferentes tipos de problemas para os quais eles são usados.
  • Derivar a regra de retropropagação dos primeiros princípios
  • Crie uma rede neural com uma saída que tenha K> 2 classes usando softmax
  • Instale o TensorFlow

Melhores cursos on-line de aprendizado de máquina:

  • Machine Learning AZ ™: Python prático e R em ciência de dados
  • O curso completo de aprendizado de máquina com Python

Data Mining é um termo que geralmente usamos na extração de dados de grandes conjuntos de dados.

as preferências humanas são praticamente imprevisíveis; portanto, inventamos as ciências da psicologia e da sociologia para nos ajudar a estudar essas coisas: o estudo das pessoas e todas as emoções e comportamentos que elas exibem.

tradicionalmente, um psicólogo, para testá-lo, encontraria um subconjunto de pessoas que se encaixam em sua categoria, trazê-las para o laboratório e depois pedir que façam alguma tarefa enquanto registram os resultados.

mas com os dados disponíveis gratuitamente, o cientista de dados pode fazer o mesmo com a melhor ferramenta de psicologia existente.

portanto, os dados estão disponíveis em uma variedade muito vasta e não queremos tudo, caso contrário, temos que pesquisar nossos requisitos manualmente e isso seria insano. Para obter os dados que atendem aos nossos requisitos, fazemos a mineração de dados.

Em resumo, a mineração de dados é a arte de obter os dados necessários desses enormes conjuntos de dados.

Para entender melhor, você também pode usar um exemplo de qualquer mecanismo de pesquisa, pesquisar sua consulta e obter resultados refinados. se não for refinado, haveria tudo e você estará condenado a encontrar a pesquisa desejada.

agora para responder coisas sobre aprendizado de máquina

o aprendizado de máquina usa a ciência de dados de fato depende dele, sem conjuntos de dados. Ele não pode avançar mais. O aprendizado de máquina tem tudo a ver com a obtenção dos dados desejados, criando um modelo de aprendizado de máquina e treinando-o com o conjunto de dados.

para explicar melhor, digamos que nosso programa tradicional faça apenas o que instruímos e que eles não são livres para aprender ou fazer qualquer coisa por conta própria.

até uma mente humana precisa de muita informação para fazer qualquer coisa. por isso, criamos módulos que podem processar dados, entendê-los, treiná-los e decidir a melhor abordagem.

Um exemplo muito fácil é um chatbot. usa muitos dados de conversação disponíveis para treinar a si próprio e, dependendo da melhor abordagem, usa suas informações enquanto responde a uma pergunta de alguém, é claro que só pode responder sob esses conjuntos de dados que os alimentamos para treinamento.

e por ultimo

O aprendizado profundo está impulsionando avanços na inteligência artificial que estão mudando nosso mundo

O Deep Learning é um subcampo do aprendizado de máquina, preocupado com algoritmos inspirados na estrutura e função do cérebro, denominadas redes neurais artificiais. se você não tem idéia do que é isso, seria melhor entender o aprendizado de máquina muito melhor do que colocar suas presas no aprendizado profundo.

Espero que ele responda para você entender melhor as coisas.

Aprendizado de máquina e aprendizado profundo são coisas semelhantes e geralmente podem ser confundidos, mas a mineração de dados é definitivamente outra concepção. Vou tentar explicar todas essas três coisas para que você entenda a diferença entre elas.

Machine Learning

é o campo de estudo que oferece aos computadores a capacidade de aprender sem serem explicitamente programados. O ML é uma das tecnologias mais empolgantes que alguém já viu. Como é evidente no nome, ele fornece ao computador o que o torna mais semelhante aos seres humanos:

A capacidade de aprender

. O aprendizado de máquina está sendo usado ativamente hoje, talvez em muito mais lugares do que se esperaria. Existem quatro principais

tipos de algoritmos de aprendizado de máquina

:

  • ML supervisionado;
  • ML não supervisionado;
  • ML semi-supervisionado;
  • Reforço ML;

O aprendizado de máquina é um subconjunto da IA. Ou seja, todo aprendizado de máquina conta como IA, mas nem todo AI conta como aprendizado de máquina. Por exemplo, a lógica simbólica - mecanismos de regras, sistemas especialistas e gráficos de conhecimento - pode ser descrita como IA, e nenhuma delas é aprendizado de máquina.

O aprendizado profundo é uma técnica de aprendizado de máquina que ensina os computadores a fazer o que acontece naturalmente com os seres humanos: aprender pelo exemplo. Como os algoritmos de aprendizado profundo exigem uma tonelada de dados para aprender, esse aumento na criação de dados é um dos motivos pelos quais os recursos de aprendizado profundo cresceram nos últimos anos. Além de mais criação de dados, os algoritmos de aprendizado profundo se beneficiam do maior poder computacional disponível atualmente, bem como da proliferação da Inteligência Artificial (AI) como serviço. O aprendizado profundo é a principal tecnologia por trás de:

  • Carros sem motorista, que permitam reconhecer um sinal de parada ou distinguir um pedestre de um poste de luz;
  • Controle de voz em dispositivos de consumo, como telefones, tablets, TVs;
  • Assistentes virtuais;
  • Traduções;
  • Chatbots e robôs de serviço;
  • Compras e entretenimento personalizados e muitos outros;

Está alcançando resultados que antes não eram possíveis.

A mineração de dados é o processo de classificar uma grande capacidade de dados para identificar e estabelecer relacionamentos entre esses dados para resolver problemas através da análise de dados. As ferramentas de mineração de dados têm muitos propósitos diferentes e um deles é prever tendências futuras.

As principais propriedades da mineração de dados são:

  • Descoberta automática de padrões;
  • Concentre-se em grandes conjuntos de dados e bases;
  • Previsão de resultados prováveis;
  • Criação de informações acionáveis;

Há muita sobreposição entre mineração de dados e estatísticas. De fato, a maioria das técnicas usadas na mineração de dados pode ser colocada em uma estrutura estatística. No entanto, as técnicas de mineração de dados não são as mesmas que as técnicas estatísticas tradicionais.

Os métodos de mineração de dados são adequados para grandes conjuntos de dados e podem ser mais facilmente automatizados. De fato, os algoritmos de mineração de dados geralmente exigem grandes conjuntos de dados para a criação de modelos de qualidade.

Então, acho que descrevi todos os conceitos básicos sobre esses termos e agora você deve entender as principais diferenças. Para resumir, posso dizer que todas essas coisas estão conectadas umas às outras e podem fazer coisas mágicas.

A mineração de dados é o processo de extrair informações ou conhecimentos úteis (padrões ou insights não tão óbvios) de grandes conjuntos de dados. Esse conhecimento pode ainda ser usado para aplicativos de negócios, como análise de mercado, gerenciamento de riscos, detecção de fraudes etc. A mineração de dados pode ser realizada por análise, visualização ou modelagem de Machine Learning.

O Machine Learning é o processo de obter conhecimento de dados passados ​​e usá-lo para fazer previsões futuras. Algoritmo de exemplo: máquinas de vetores de suporte

O aprendizado profundo é um tipo de técnica de aprendizado de máquina com mais recursos, pois tenta imitar os neurônios no cérebro humano. Ele tenta aprender um fenômeno como uma hierarquia aninhada de conceitos, com cada conceito definido em relação a conceitos mais simples. Algoritmo de exemplo: redes neurais de convolução

Deixe-me fazer rapidamente uma distinção nítida entre Machine Learning e Deep Learning -:

  1. Engenharia de recursos É o processo de extrair os recursos importantes dos dados usando o conhecimento do domínio e depois alimentá-los no algoritmo de aprendizado. Esse processo garante que os padrões nos dados sejam mais visíveis ao algoritmo de aprendizado. No Machine Learning, a maioria dos recursos aplicados precisa ser identificada por um especialista. Esse processo requer tempo e esforço substanciais. No Deep Learning, o algoritmo extrairia os recursos por conta própria.
  2. Abordagem de solução de problemas Ao resolver um problema usando o algoritmo tradicional de aprendizado de máquina, é recomendável dividir o problema em partes menores, resolvê-las e depois combinar sua saída para obter o resultado final. Visto que o aprendizado profundo recomenda resolver o problema de ponta a ponta; Por exemplo, suponha que haja um problema de reconhecimento de animais e uma imagem possa ter vários animais. O aprendizado de máquina identificaria primeiro os possíveis objetos na imagem e, em seguida, prever ou reconhecer cada um deles separadamente. Enquanto o Deep Learning ingeriria a imagem completa e produziria a localização e o nome do objeto de uma só vez.
  3. Os algoritmos de aprendizado profundo de dados geralmente precisam de mais dados para obter um bom desempenho em relação aos algoritmos tradicionais de aprendizado de máquina.
  4. Hardware O aprendizado profundo é intensivo em termos computacionais (devido a um número maior de multiplicações de matrizes) quando comparado ao aprendizado de máquina tradicional e, portanto, precisa de máquinas de ponta para um melhor desempenho.
  5. Tempo de treinamento O Deep Learning leva mais tempo para treinar.

Espero que isto ajude!

Desejo-lhes tudo de bom

Mineração de dados: é a descoberta de padrões nos dados. Geralmente eles são padrões não óbvios. Isso (geralmente) significa que os dados são, em certo sentido, "grandes". Isso costumava ser considerado não-não até que os métodos fossem pensados ​​para lidar com múltiplas comparações, etc. (Na verdade, nem tanto os métodos eram completamente novos; as pessoas os aplicavam ou até pensavam em novas maneiras de pensar sobre as coisas. Uma das maneiras de contornar problemas é considerar dados na estrutura bayesiana, e essa é a primeira maneira (sabemos) de pensar em probabilidade.É claro que foi "esquecido" até termos computadores poderosos o suficiente para fazer estatísticas bayesianas de maneira não trivial.) Você ignora esses métodos ou considerações por sua conta e risco. Especialmente se você estiver fazendo inferências.

Aprendizado de máquina: um "campo de estudo que dá aos computadores a capacidade de aprender sem serem explicitamente programados" (Arthur Samuel). Mais formalmente: "Diz-se que um programa de computador aprende com a experiência E com relação a alguma classe de tarefas T e com a medida de desempenho P, se seu desempenho nas tarefas em T, medido por P, melhorar com a experiência E" (Tom Mitchell).

OK, essa é a definição estrita de aprendizado de máquina. Quando as pessoas dizem "algoritmos de aprendizado de máquina", porém, geralmente estão falando sobre muitas coisas. Da regressão linear e logística às florestas aleatórias e às redes neurais (mais sobre as posteriores.) A maioria desses algoritmos tem laços profundos com o pensamento estatístico / probabilístico e foram derivados ou descobertos por estatísticos. Na maioria das vezes, onde as estatísticas "clássicas" estão interessadas em inferência, o aprendizado de máquina está interessado em previsão. (O fato lamentável para quem se considera estatístico hoje em dia é que os estatísticos "clássicos" vociferantes definiram, na mente de todos, as estatísticas "clássicas" como irrelevantes, porque continuam discutindo sobre algumas coisas que são ou parecem irrelevantes. O fato é que muitos estatísticos estão muito interessados ​​na previsão, não apenas na inferência, e que o pensamento estatístico é realmente muito necessário ao lidar com dados.)

Redes neurais: (ou redes neurais artificiais) são algoritmos de aprendizado "inspirados no cérebro". Eles são, basicamente, aproximadores de função: eles usam dados para aproximar a função / processo que gera os dados.

Aprendizado profundo: o nome começou como uma versão abreviada do aprendizado com redes neurais profundas. Basicamente, toda rede neural tem uma camada de entrada, camadas ocultas e uma camada de saída. Redes neurais profundas têm muitas camadas ocultas. O nome mudou um pouco para incluir vários tipos de hierarquias profundas (ou seja, com muitas camadas) para "aprender" com dados complexos.

O aprendizado profundo, portanto, é um tipo de aprendizado de máquina. A mineração de dados usa muitos algoritmos de "aprendizado de máquina" (normalmente chamados hoje em dia, embora, nesse caso, sejam usados ​​principalmente para inferência ou pelo menos descoberta inferencial).