Combine o aprendizado de máquina e os gráficos do Metal 4

Apresentamos o Metal 4, que aprimora a integração de aprendizado de máquina em jogos e gráficos. O Metal 4 permite técnicas como redimensionamento, compactação de assets e mesclagem de animações usando redes de ML, o que melhora o desempenho e a fidelidade visual. Os principais recursos incluem 'MTLTensors' para fluxos de trabalho de ML, 'MTL4MachineLearningCommandEncoder' para executar redes na linha do tempo da GPU, Shader ML para incorporar operações de ML em shaders, além de ferramentas de depuração aprimoradas. O CoreML é ideal para a criação de modelos de ML, e você pode obter uma integração perfeita da ML aos apps com a ajuda do Metal Debugger.

O Metal 4 apresenta o 'MTLTensor', um recurso projetado especificamente para workloads de aprendizado de máquina. 'MTLTensors' são contêineres de dados multidimensionais, permitindo a representação eficiente dos layouts de dados complexos usados em aprendizado de máquina, como aqueles necessários para operações de convolução. Eles simplificam a indexação de dados multidimensionais em comparação com representações planas como 'MTLBuffers'. Um 'MTLTensor' é definido de acordo com a classificação (número de eixos), as extensões (número de pontos de dados ao longo de cada eixo), o tipo de dados e as propriedades de uso. Essas propriedades são especificadas em um objeto 'MTLTensorDescriptor'. É possível criar 'MTLTensors' a partir de um objeto 'MTLDevice', que oferece desempenho otimizado com um layout opaco, ou de um objeto 'MTLBuffer' existente, onde é preciso especificar as etapas a serem consideradas para o preenchimento potencial.

O Metal mais recente também apresenta o 'MTL4MachineLearningCommandEncoder', permitindo que o trabalho de aprendizado de máquina seja integrado à linha do tempo da GPU junto com comandos de computação e renderização. Esse novo codificador permite que modelos completos de ML sejam executados na GPU, sincronizando com outros comandos do Metal usando primitivas de sincronização padrão, como barreiras e cercas. O fluxo de trabalho envolve duas partes principais: offline e tempo de execução. Offline, o sistema converte um pacote CoreML em um 'MTLPackage' otimizado usando a ferramenta de linha de comando 'metal-package-builder'. Em tempo de execução, o sistema compila 'MTLPackage' em um 'MTL4MachineLearningPipelineState' e cria o 'MTL4MachineLearningCommandEncoder' configurado com o estado do pipeline, entradas e saídas, e então envia comandos codificados para a GPU. O codificador utiliza um 'MTLHeap' para armazenar dados intermediários, otimizando o uso de recursos. Isso permite a execução paralela de tarefas não dependentes, melhorando o desempenho. Os recursos de sincronização do Metal 4 garantem que as saídas de ML que consomem trabalho aguardem a conclusão da rede, o que o torna adequado para várias aplicações em tempo real, não apenas jogos.

O Metal 4 apresenta o Shader ML, permitindo que desenvolvedores incorporem operações de aprendizado de máquina diretamente nos shaders. Isso melhora o desempenho e reduz o uso de memória ao eliminar a necessidade de sincronizar tensores entre a memória do dispositivo e os shaders. A compressão de material neural, uma técnica específica de ML, é um exemplo. Ela comprime texturas de material em até 50% em comparação com formatos tradicionais compactados em bloco. Com o Shader ML, todo o processo de avaliação de material neural, desde a inicialização dos tensores de entrada até a inferência e sombreamento, pode ser combinado em uma única execução de shader. O Metal Performance Primitives é integrado ao Shader ML, fornecendo APIs de alto desempenho, como multiplicação e convolução de matrizes. Isso permite implementar rotinas de avaliação de redes neurais de forma eficiente dentro de fragment shaders, resultando em aplicações em tempo real sem perda perceptível de qualidade, mas com uso significativamente menor de memória e espaço em disco.

No exemplo dado, com as novas ferramentas de GPU no Xcode, é possível depurar um workload de aprendizado de máquina que está causando artefatos graves no cálculo da oclusão de ambiente de um app. Você pode capturar o rastreamento da GPU e utilizar o Visualizador de Dependências para inspecionar a sincronização dos buffers de comando, descartando qualquer problema. Pode, então, examinar os tensores de entrada e saída do 'MTL4MachineLearningCommandEncoder', confirmando que o problema está na própria rede de aprendizado de máquina. Depois, pode abrir a rede no novo Depurador de Rede de ML, uma ferramenta visual que representa a estrutura do modelo (escrita em PyTorch e convertida para CoreML e MTLPackage), o que permite identificar a operação responsável pela introdução dos artefatos. Ao inspecionar o gráfico, os artefatos estão presentes na saída e na entrada de uma operação anterior, indicando um problema dentro da rede. A função 'SignedSmoothstep' é identificada como a área do problema. Ao revisar o código Python, um bug é descoberto: um asterisco extra, que faz com que o sistema interprete uma operação de multiplicação como uma operação de energia. A correção desse erro resolve o problema e a implementação de oclusão de ambiente neural usando o 'MTL4MachineLearningCommandEncoder' do Metal 4 é depurada com êxito.