K80 vs p100

A AMAX acaba de publicar um white paper sobre a análise básica de desempenho das placas Nvidia GPU Accelerator para aplicativos de aprendizado profundo. Este documento fornece uma análise básica de desempenho das placas aceleradoras Nvidia K40, K80 e M40 Enterprise GPU e placas GeForce GTX Titan X e GTX 980 Ti para aplicações de aprendizado profundo. White paper para download aqui:

Soluções de GPU para computação de alto desempenho

.

Já existem muitas respostas boas, apenas meus 5 centavos.

A situação depende significativamente de suas necessidades (quanta memória você precisa, precisa de fp16 ou fp32 e assim por diante).

Uma visão geral bastante vasta de aspectos importantes está aqui:

Hardware para aprendizagem profunda. Parte 3: GPU

E uma tabela com características técnicas de diferentes GPUs está aqui:

https://docs.google.com/spreadsheets/d/1xAo6TcSgHdd25EdQ-6GqM0VKbTYu8cWyycgJhHRVIgY

Somente os desinformados e analfabetos tecnologicamente compram a NVIDIA (especialmente GTX / RTX) para cargas de trabalho profissionais.

A AMD esmaga absolutamente a NVIDIA nesta área. As placas AMD são muito mais poderosas, elas podem executar tudo o que as GPUs NVIDIA podem e possuem todos os softwares de código aberto.

Benchmarks de tensorflow da AMD:

Você precisa comprar uma GPU NVIDIA de US $ 13.000 para corresponder ou exceder levemente o desempenho de uma GPU AMD de US $ 400.

A resposta correta é que nenhuma delas é. Até agora, nenhuma das outras respostas aqui deu a resposta “correta” em termos de FLOPS / $, que praticamente é a única métrica que importa depois que você tem (> 8 GB de) memória GPU suficiente.

Aqui estão alguns benchmarks que comparam o desempenho do treinamento do Inception v3 nas três opções "razoáveis" de GPU no mercado hoje.

Note que o Titan V custa US $ 3.000, enquanto o 1080 Ti custa apenas US $ 700. Basicamente, você realmente deseja manter o 1080 Ti, a menos que queira desempenho de 64 bits ou precise do rendimento aumentado em 40%.

Veja nosso post aqui para mais informações:

Comparação da GPU Titan V (Volta) com TensorFlow

Atualmente, o melhor cartão para Deep Learning em Titan X Pascal. Está disponível apenas na página NVIDIA (

Placa gráfica NVIDIA Titan X com arquitetura Pascal

) Você pode ver algumas referências aqui:

jcjohnson / cnn-benchmarks

Comparado a qualquer cartão Tesla, é muito mais rápido que eles. Principalmente porque é baseado na arquitetura Pascal e não no Maxwell. A principal vantagem dos cartões Tesla é a Memória (M40 tem 24 GB, enquanto os Titãs têm 12 GB) M40 é ~ Titan X Maxwell, que é mais lento que o Titan X Pascal. M60 são duas GPU (uma GPU é mais lenta que a M40), portanto, são mais rápidas que o X Pascal, mas x5 mais expansivas e têm 16 GB de memória.

O motivo do preço da Tesla é a precisão dupla. Não precisamos dessas coisas no Deep Learning. De fato, gostaríamos de ter precisão fp16, pois ela pode ser 2x mais rápida que fp32 e consumir 2x menos memória. O único cartão que possui fp16 em P100.

Se eu tiver que comprar cartões, isso dependerá da quantidade de dinheiro que eu quero gastar:

~ 700 $ -> GTX 1080 (mais lento que o TITAN XP, mas mais rápido que em qualquer outro cartão)

~ 1200 $ -> TITAN XP

~ 5000 $ -> 4 x TITAN XP

As K40, K80, M40 e M60 são GPUs antigas e foram descontinuadas desde 2016. Aqui está uma atualização para abril de 2019:

Responderei rapidamente à pergunta original antes de passar para as GPUs de 2019. Do mais rápido para o mais lento: M60> K80> M40> K40. Essas GPUs têm desempenho teórico máximo de 9,64, 8,74, 7 e 4,29 TFLOPs, respectivamente.

Com isso dito, vamos para 2019 ...

  • A NVIDIA Tesla V100 é a GPU mais rápida do mercado para Deep Learning em 2019. É a Ferrari das GPUs Deep Learning. O preço é de ~ $ 8.750 (embora haja descontos disponíveis para os membros do programa de iniciação da NVIDIA).
  • O NVIDIA RTX 2080 Ti é a melhor GPU para Deep Learning do ponto de vista de preço e desempenho em 2019. O 2080 Ti é ~ 80% mais rápido que o V100 para treinamento de precisão única de redes neurais, 82% mais rápido com meia precisão, e 1/7 do preço. O preço sugerido é de US $ 1.199.

Para uma discussão aprofundada, recomendo uma publicação do Lambda Labs:

Qual é a melhor GPU para Deep Learning?

—————————————————

Discussão detalhada Os principais candidatos em 2019 para a melhor GPU para Deep Learning são:

  • RTX 2080 Ti: 11 GB de memória, ~ $ 1199 MSRP
  • Titan RTX: 24 GB de memória, $ 2499 MSRP
  • Tesla V100: 32 GB de memória, ~ $ 8750
  • Titan V: 12 GB de memória, $ 2999 MSRP
  • Titan Xp, 12 GB de memória, US $ 1700 novos na Amazon (não está mais em produção)
  • 1080 Ti, 11 GB de memória, $ 1200 novos na Amazon (não está mais em produção)

Os benchmarks dessas GPUs são exibidos abaixo. Esses gráficos exibem o número de imagens que cada GPU é capaz de processar por segundo enquanto treina várias redes neurais populares (por exemplo, VGG16, AlexNet). Essa é uma métrica muito comum para comparar o desempenho da GPU no Machine Learning.

Nota: Detalhes sobre os tamanhos de imagem / lotes usados ​​estão incluídos no

publicação no blog

.

Usando os dados brutos desses benchmarks, podemos obter um desempenho normalizado médio de cada GPU no FP32 e FP16 usando o desempenho do 1080 Ti como um divisor de normalização e definindo seu desempenho arbitrariamente para 100.

Desempenho normalizado médio no FP32:

  • 1080 Ti: 100
  • Titan Xp: 112
  • RTX 2080 Ti: 136
  • Titan V: 141
  • Titan RTX: 147
  • Tesla V100: 170

Desempenho normalizado médio no FP16:

  • 1080 Ti: 100
  • Titan Xp: 109
  • RTX 2080 Ti: 173
  • Titan RTX: 209
  • Titan V: 214
  • Tesla V100: (não incluído na postagem do blog)

Calcule o preço / desempenho de cada GPU dividindo o preço de cada GPU por seu desempenho:

Desempenho normalizado médio no FP32:

  • 1080 Ti: US $ 1200/100 = US $ 12,00
  • Titan Xp: $ 1700/112 = $ 15,18
  • RTX 2080 Ti: US $ 1199/136 = US $ 8,81
  • Titan V: $ 2999/141 = $ 21,27
  • Titan RTX: $ 2499/147 = $ 17,00
  • Tesla V100: $ 8750/170 = $ 51,47

Desempenho normalizado médio no FP16:

  • 1080 Ti: US $ 1200/100 = US $ 12,00
  • Titan Xp: $ 1700/109 = $ 15,60
  • RTX 2080 Ti: US $ 1199/173 = US $ 6,93
  • Titan RTX: US $ 2499/209 = US $ 11,96
  • Titan V: $ 2999/214 = $ 14,01
  • Tesla V100: (não incluído na postagem do blog)

Como você pode ver, o 2080 Ti sai # 1 do ponto de vista de preço / desempenho para os treinamentos em FP32 e FP16.

Para a maioria das pessoas, o 2080 Ti será mais que suficiente. Se você precisar de mais memória do que o 2080 Ti oferece, escolha o Titan RTX. Se você precisa de 32 GB de memória ou não tem preço, escolha o Tesla V100.

A Lambda Labs, empresa que escreveu o post citado, vende servidores e estações de trabalho com as GPUs 2080 Ti:

  • Lambda Quad: Deep Learning Desktop com 4x GPUs 2080 Ti
  • Lambda Blade: Servidor Deep Learning com 8x 2080 Ti GPUS

Divulgação: Sou engenheiro da Lambda Labs.