Escola Supercomputador
Santos Dumont

Resumo: Esta palestra apresenta o RISC-V como uma alternativa open-source às arquiteturas proprietárias, como ARM e x86. Serão abordados o histórico, os motivos para seu desenvolvimento e o ecossistema criado pela RISC-V International. Também discutiremos a arquitetura base, a extensão vetorial e aplicações futuras.

Marcelo Pias é Professor Adjunto no Centro de Ciências Computacionais (C3) da Universidade Federal do Rio Grande (FURG). Obteve o título de PhD em Ciência da Computação pela University College London (UCL), no Reino Unido, onde posteriormente trabalhou como pesquisador no Departamento de Computação da Universidade de Cambridge. Este trabalho foi complementado com um estágio pós-doutoral nos Laboratórios de Pesquisa da INTEL. Em 2023, realizou estágio pós-doutoral no Austrian Institute of Technology (AIT), em Viena, Áustria, com um projeto para investigar tipos de erros em modelos de linguagem de grande escala (LLMs), especificamente focando nos tipos I e II de alucinações. Seus interesses de pesquisa incluem sensores inteligentes, IA embarcada, análise de erros em modelos de linguagem, e mais recentemente, ainda de forma incipiente, computação quântica. Como embaixador acadêmico do NVIDIA Deep Learning Institute (DLI), recebeu em 2020 o reconhecimento de excelência da NVIDIA pela formação de alunos e pesquisadores nas áreas de deep learning e aplicações aceleradas por GPUs. Participou nas atividades do comitê técnico da Fundação RISC-V que especificou a extensão vetorial para ISA RISC-V

Resumo: High Performance Computing (HPC) makes use of parallel computing as a key primitive to provide increased performance demanded by the applications that address the grand challenge problems in the area of science and engineering. The talk will elaborate about the features provided by hardware as well as the software stack used in HPC, which allows these applications to harness these underlying characteristics to provide an efficient solution.

Mr. Ashish Kuvelkar obtained his Masters Degree in Electrical Engineering from Bombay University, India. At Hardware Technologies Development Group of C-DAC, Pune, he has been involved in development of hardware subsystems for various generation of PARAM, India's flagship supercomputing systems. He also shares knowledge with students of ACTS, a training wing of C-DAC. Currently, as a Convener of Expert Group on HR Development of National Supercomputing Mission, he is involved in co-ordinating the activities of the Expert Group and implementing its mandate by working with various stakeholders from educational institutes and the industry.

Resumo: Weather and climate sector has been for long one of major consumers of supercomputing hardware and programming techniques. Due to complexity of the Earth system, this domain is "supercomputing" by nature. Since the first von Neumann machines, the paradigm of developing the weather&climate prediction codes has based on mathematical physics and a solid belief in the Moore law. In latest decades, the additional improvement of the forecast quality costs significant coordinated efforts in physical parameterizations, data assimilation, ensemble forecasting, parallel computing. The recent breakthrough in the AI-driven weather forecast promises the further progress in fidelity of predictions and even the drop of computational costs. Can AI replace the hydrodynamic models? What are the perspectives for AI in producing climate projections? How the niche of physics-based models is changing? We will try to touch these questions of the crucial research domain with rapidly changing landscape.

Prof. Victor Stepanenko is deputy director in the Research Computing Center of Lomonosov Moscow State University, the head of laboratory for supercomputer modeling of the climate system processes. He is the leader for research group developing the land surface component of the Russian Numerical Weather Forecast system and the Earth System model.

Summary: Throughout the long history of technological advancements in HPC, various cooling solutions have been developed, ranging from air cooling to liquid cooling, including full liquid immersion. The efficiency of heat dissipation has a direct impact on performance, and with the recent demands for AI performance, achieving high-efficiency cooling while managing energy costs is crucial. In this talk, we will explore how heat generation and dissipation are shaping the competitive landscape of HPC and AI, as well as Eviden’s contributions to the field.

Bio: Genaro Costa is an HPC Distinguished Expert at EVIDEN, where he coordinates the R&D Labs at Eviden within SENAI CIMATEC. Previously, as an Adjunct Professor at UFBA, he served as the coordinator of the Interdisciplinary Bachelor’s program in Science and Technology and as the Vice-Director of the Professor Milton Santos Institute of Humanities, Arts, and Sciences. He holds a degree in Computer Science from UCSal and earned his master’s and doctorate in Informatics from the Universitat Autónoma de Barcelona (UAB). His research interests span High-Performance Computing, Artificial Intelligence, Big Data, and Quantum Computing.

South Africa’s High Performance Computing initiative was established in 2007 to drive the developments of HPC in South Africa and the entire African continent. This presentation will cover the rationale behind the investment, some of the critical consideration taken in ensuring sustainable HPC activities and share some of the advancements that have been realised over the past decade and a half.

Bio: Dr Happy Sithole is the Centre Manager for the South African cyberinfrastructure (CI) system, NICIS since 2019. He is responsible for the coordination of this system so that it meets the demands of the South African National System of Innovation, in support of the Department of Science and Innovation. This involves the three main entities of the CI, Centre for High-Performance Computing (CHPC), South African National Research Network (SANReN), Data Intensive Initiative of South Africa (DIRISA). Prior to becoming the CI centre manager, Sithole spent 12 years as the director of the Centre for High Performance Computing. He completed his PhD in materials science, focusing on electronic and atomistic simulation of iron sulphides, at the University of Limpopo, where he also lectured for nine years. He has applied high-performance computing to solve problems in mining industries and nuclear power plant designs, such as at his time at the Pebble Bed Modular Reactor. Sithole also sits on the steering committees of high- performance computing meetings in Germany, Russia , Singapore and Poland. He is the Co- Chair of the Infrastructure Working Group of Global Open Science Cloud Initiative. He was the Chairperson of the ICT Committee of the National Library Board and is currently a board member at the Center for Nuclear Safety (CNSS) at the National Nuclear Regulator. Dr. Sithole also chairs the National Institute for Theoretical Computational Sciences (NITheCS).

Bio: Formado em Eletrônica, Tecnologia da Informação e Especialista em Redes de Computadores, trabalhando a mais de 25 anos nas áreas de Hardware e Sistemas Operacionais, experiência com servidores de alto desempenho, software Opensource, virtualização e monitoração de ambientes críticos. Há 12 anos está na AMD, como Field Application Engineer (FAE), responsável pelo suporte técnico de todos os clientes no Brasil para ambientes de Datacenters e Corporativo.

Resumo: Visão geral do ambiente computacional do supercomputador Santos Dumont, mostrando os principais aspectos com relação aos recursos de hardware e de software disponíveis aos usuários.
Visão geral das ferramentas de avaliação de desempenho disponível aos usuários do supercomputador Santos Dumont, mostrando aspectos que visam obter um melhor entendimento da execução da aplicação, obtendo-se perfil de desempenho, que podem orientar no sentido de otimização do código.

Objetivos: Este curso contemplará a programação paralela heterogênea em arquiteturas de computadores de memória distribuída, com enfoque na área de computação científica. Serão abordados tópicos como conceitos fundamentais de paralelismo, arquiteturas do sistema Santos Dumont, técnicas de otimização e estudo de casos. É também objetivo do curso a aplicação prática em laboratório dos conhecimentos de programação paralela adquiridos pelos alunos.

Ementa: Configuração dos nós computacionais; arquiteturas paralelas disponíveis (CPU e GPU) sistema operacional Linux RedHat; sistema de gerenciamento de recursos SLURM: principais comandos, submissão e monitoramento de jobs, políticas de submissão no SDUMONT; compiladores, ambientes paralelos de programação distribuída (OpenMPI, Intel MPI), carregando bibliotecas computacionais.

Bibliografia:

1. Evaluating scalability and efficiency of the Resource and Job Management System on large HPC Clusters, Yiannis Georgiou (BULL S.A.S, France); Matthieu Hautreux (CEA-DAM, France) (16th Workshop on Job Scheduling Strategies for Parallel Processing, May 2012)
2. Contributions for Resource and Job Management in High Performance Computing, Yiannis Georgiou, Universite Joseph Fourier (Thesis, December 2010
3. Parallel Programming by Thonas Rauber and Gudula Runger. Springer 2010.
4. Using MPI Portable parallel Programming with the Message-Passing Interface by Willian Gropp, Ewing Lusk and Anthony Skjllum. 2014
5. https://www.dkrz.de/pdfs/docs/docu-mistral/bullx_scs_4_r4_de_2014-01.pdf?lang=de
6. http://hpc-support.lboro.ac.uk/bullxprof.html
7. Parallel Programming by Thonas Rauber and Gudula Runger. Springer 2010.
8. https://slurm.schedmd.com/

Resumo: Visão geral do Sistema de Arquivos Paralelo Lustre e como está configurado no SDumont, apresentando as melhores práticas na utilização do Lustre e uma visão geral sobre o MPI-IO.

Objetivos: Este curso contemplará a programação paralela em arquiteturas de computadores de memória distribuída com arquivos paralelos Lustre, com enfoque na área de computação científica. Serão abordados tópicos como conceitos fundamentais de paralelismo de dados, arquiteturas de sistemas de arquivos paralelos, técnicas de otimização e estudo de casos. É também objetivo do curso a aplicação prática em laboratório dos conhecimentos de programação paralela adquiridos pelos alunos.

Ementa:

1. Arquitetura de um Sistema de Arquivos Paralelo Lustre
2. Funcionamento do Lustre no SDumont
3. Parâmetros e Utilização do Lustre
4. Introdução ao MPI-IO
5. Exemplos

1. High performance Parallel I/O by Prabhat and Quincey Koziol. Chapman & Hall/CRC Computaiocnal Science Series. 2015
2. Parallel Programming by Thonas Rauber and Gudula Runger. Springer 2010.
3. Using MPI Portable parallel Programming with the Message-Passing Interface by Willian Gropp, Ewing Lusk and Anthony Skjllum. 2014
4. https://www.mpi-forum.org/
5. http://lustre.org/

Resumo: Este é um minicurso voltado a desenvolver a capacidade de usar o sistema operacional através do terminal de comandos em oposição à clicks do mouse. Inicia-se com conceitos fundamentais da organização do Unix, seguindo para o formato dos comandos, o fluxo de execução e programação modular com funções.

Ementa: Terminal, Arquivos e diretórios, Comandos, Variáveis, Operações. Fluxo de execução, programação modular

Bibliografia:

1. Classic Shell Scripting, por Arnold Robbins, isbn 978-8577801473
2. Linux pocket guide daniel j. barret, isbn 978-1449316693
3. https://www.geeksforgeeks.org/introduction-to-unix-system/

Resumo: O desempenho de programas pode ser diretamente afetado pelo desbalanceamento de carga em programas paralelos, cache miss e incapacidade dos compiladores de otimizar alguns loops específicos. Para descobrir quais partes do código devem ser modificadas e melhorar o desempenho, ferramentas de Profiling podem ser usadas. Este minicurso explora algumas técnicas, métodos e ferramentas com o objetivo de melhorar o desempenho de códigos em C/C++ sem necessariamente envolver paralelismo. Para tanto, exploraremos por exemplo, otimização de memória cache. Além disso, serão exibidos métodos para identificar trechos de códigos responsáveis gargalos tempo computacional. O minicurso será dado no formato de hands-on, permitindo que os alunos possam executar os experimentos de forma prática.

Ementa:

1. Uso do profile gprof
2. Otimização em nível de cache
3. Otimização de loops e em low level
4. Profiling em OpemMP/MPI

Resumo: In this tutorial we will present the new OpenMP Cluster (OMPC) distributed programming model. The OMPC runtime allows the programmer to annotate their code using OpenMP target offloading directives and run the application in a distributed environment seamlessly using a task-based programming model. OMPC is responsible for scheduling tasks to available nodes, transferring input/output data between nodes, and triggering remote execution all the while handling fault tolerance. The runtime leverages the LLVM infrastructure and is implemented using the well-known MPI library.

Resumo: Curso introdutório em linguagem CUDA, uma extensão da linguagem C utilizada para a programação de aplicações de propósito geral, sendo executadas em arquitetura massivamente paralela de placas gráficas, denominadas GPU.

Objetivos: A arquitetura das GPUs (“Graphics Processing Unit”) foi projetada para efetuar os cálculos em ponto flutuante mais frequentemente realizados em aplicações gráficas. Esta é uma arquitetura bem mais especializada que a presente em CPUs (“Central processing unit”) , o que faz com que estes programas rodem mais rapidamente nestas plataformas. Além disso, as GPUs são altamente paralelizadas, já havendo atualmente modelos com milhares de núcleos computacionais (“cores”). Embora originalmente desenvolvida para executar aplicações gráficas com maior eficiência, também é cada vez maior o uso de GPUs em aplicações não-gráficas. São aplicações que envolvem a resolução de métodos de álgebra numérica computacional, frequentemente também utilizados nas aplicações gráficas, obtendo-se um significativo ganho de desempenho. Neste curso será apresentada a arquitetura de placas gráficas NVIDIA e a conexão destas placas com o computador hospedeiro. Em seguida será apresentado a plataforma de programação CUDA, que é uma extensão do C/C++ processada tanto no computador hospedeiro quanto nas placas gráficas conectadas a este. Serão apresentados exemplos de códigos de cada um dos tópicos abordados, os quais os alunos poderão executá-los nas máquinas disponíveis em sala de aula.

Ementa:

1. Introdução (Arquitetura)
2. Modelo de Paralelismo em CUDA
• Organização e Identificação
• Atribuição
• Escalonamento
3. Hieraquia de Memoria
4. Métricas desempenho e otimização
5. Estudo de caso: multiplicação de matrizes

1. CUDA by Example: An Introduction to General Purpose GPU Programming, by David Weller
2. Programming Massively Parallel Processors: A Hands-on Approach (Applications of GPU Computing Series), by David B. Kirk and Wen-mmei W. Hwu- Second Edition
3. http://docs.nvidia.com/cuda/cuda-cprogramming-guide/index.htm
4. http://devblogs.nvidia.com/parallelforall

Objetivos: MPI (Message Passing Interface) é uma API padrão para comunicação de dados por meio de mensagens entre processos distribuídos, comumente usada em HPC para criar aplicações que podem ser escalonadas em supercomputadores com múltiplos nós. Como tal, MPI é totalmente compatível com CUDA, que é projetado para computação paralela em um ou mais nós. Existem muitos motivos para querer combinar a programação paralela em MPI e CUDA potencializando os recursos de forma máxima. Um motivo comum é permitir a solução de problemas com um tamanho de dados muito grande para caber na memória de recursos computacionais GPU. Outro motivo é acelerar uma aplicação MPI existente para multi-GPU sobre um único nó existente ou para múltiplos. Com CUDA-AWARE-MPI, esses objetivos podem ser alcançados de forma fácil e eficiente. Neste minicurso, explicarei como funciona a compatibilidade entre MPI e CUDA, e o quão eficiente é e como pode ser usada.

Ementa:

1. Introdução a escalabilidade de aplicações multi-nós
2. Multi-GPU Programming
• P2P
• NVSHMEM
• Aproximações Distribuidas e Duplicadas
3. Práticas em Laboratório
• Hands-on 1 - Benchmarks Ping Pong
• Hands-on 2 - Jacobi
• Hands-on 3 - Modelo Monte Carlos - Aproximação de Pi
4. Análise Comparativa de Desemplenho entre NCCL x CUDA-AWARE-MPI

1. CZARNUL, P. Parallel programming for modern high performance computing systems. New York: Chapman and Hall: CRC, 2018. 330 p.
2. DOWD, K.; SEVERANCE, C. An introduction to parallel programming. Sebastopol: O'Reilly & Associates, 1998. 446 p.
3. HAGER, G.; WELLEIN, G. Introduction to high performance computing for scientists and engineers. 2nd ed. Boca Raton: Chapman and Hall: CRC, 2018. 400 p.
4. HENNESSY, J. L.; PATTERSON, D. A. Computer architecture: a quantitative approach. 6th ed. San Francisco: Elsevier: Morgan Kaufmann, 2017. 936 p.
5. PACHECO, P. S. An introduction to parallel programming. San Francisco: Elsevier: Morgan Kaufmann, 2011. 392 p
6. STERLING, T.; ANDERSON, M.; BRODOWICZ, M. High performance computing: modern systems and practices. Cambridge: Elsevier: Morgan Kaufmann, 2017. 718 p.

Resumo: O objetivo deste curso é apresentar os conceitos básicos de programação para FPGAs e como aplicá-los em sistemas distribuídos. FPGAs são aceleradores que possuem circuitos integrados compostos de blocos lógicos, blocos de entrada e saída, registros, memórias e chaves seletores para interconexões que definem conexões entre os blocos lógicos e de entrada e saída. O código-fonte dos programas utilizados no curso e todo o material estão disponíveis no repositório https://gitlab.com/ompcluster/conferences/sdumont-24. Neste curso, daremos foco ao ambiente de FPGAs da AMD (Xilinx), abordaremos de forma introdutória os conceitos sobre como desenvolver e executar kernels em FPGAs conforme a documentação oficial (HLS e XRT), e também conceitos de execução de aplicações aceleradas por FPGA em sistemas distribuídos. Também apresentaremos de forma introdutória opções de execução de aplicações aceleradas por FPGAs usando OpenMP, através do modelo de programação OpenMP Cluster (OMPC), mostraremos uma forma alternativa e mais simples de acelerar aplicações em sistemas distribuídos usando FPGAs. Assumimos que o usuário possui compreensão geral sobre programação com a linguagem C/C++ e em sistemas distribuídos (Message Passing Interface - MPI). Durante o curso, serão apresentados exemplos em linguagem C, possivelmente com alguns exercícios sendo propostos aos participantes.

Ementa:

1. Introdução
2. Conceitos gerais sobre FPGAs
3. Desenvolvimento de kernels para FPGAs
4. High-Level Synthesis (HLS)
5. Controlando aplicações aceleradas por FPGAs
6. Aplicação de soma de vetores acelerada por FPGAs.
7. Aplicação de soma de vetores acelerada por FPGAs distribuída.
8. Conceitos básicos sobre MPI
9. Conceitos básicos sobre OpenMP
10. OpenMP Cluster (OMPC)
11. OMPC para FPGAs
12. Aplicação de soma de vetores acelerada por FPGAs usando OMPC.
13. Aplicação de soma de vetores acelerada por FPGAs usando OMPC distribuída.
14. Aplicação de multiplicação de matrizes usando FPGAs.

1. XRT: https://www.xilinx.com/products/design-tools/vitis/xrt.html
2. HLS: https://docs.xilinx.com/r/en-US/ug1399-vitis-hls
3. AMD Tutorials: https://docs.xilinx.com/r/en-US/Vitis-Tutorials-Getting-Started/Vitis-HLS
4. OMPC: YVIQUEL, Hervé et al. The OpenMP Cluster Programming Model. In: Workshop Proceedings of the 51st International Conference on Parallel Processing. 2022. p. 1-11.

Objetivos: Este curso contemplará a programação paralela heterogênea através de diretivas de compilação no padrão OpenMP com suporte a dispositivos de processamento massivo, como GPUs, e com enfoque na área de computação científica. Serão abordados os conceitos do padrão, versões que suportam o processamento nestes dispositivos, modelos de memória e execução, comparação com outras formas de programação, compiladores suportados e exemplos práticos.

Ementa:

1. Breve introdução à computação paralela massiva
2. Introdução ao conceito de programação por diretivas de compilação
3. Padrão OpenMP
4. Evolução do padrão e versionamento
5. Principais diretivas
6. Comparação com outras formas de programação paralela massiva
7. Compiladores com suporte ao padrão
8. Exemplos práticos
9. Estudo de caso

1. https://www.openmp.org/specifications/ OpenMP 5.1 Specification
2. R.v.d. Pas et. al., Using OpenMP - The next Step;, MIT Press, Oct. 2017, ISBN: 9780262534789
3. Jose Monsalve Diaz et. al, "Is OpenMP 4.5 Target Off-load Ready for the Real World;, https://openmpcon.org/wp-content/uploads/2018_Session1_Diaz.pdf
4. NASA Advanced Supercomputing Division, “Using OpenMP 4.5 Target Offload for Programming Heterogeneous Systems”, https://www.nas.nasa.gov/hecc/assets/pdf/training/OpenMP4.5_3-20-19.pdf

Resumo: O objetivo deste curso é apresentar aos programadores que não estão familiarizados com programação paralela as noções básicas para desenvolver e executar programas paralelos com o paradigma de troca de mensagens, utilizando as bibliotecas de comunicação do padrão MPI. O MPI é um padrão, implantado há mais de 25 anos, que vem sendo amplamente utilizado para o desenvolvimento de programas paralelos científicos em arquitetura de sistemas distribuídos, tais como clusters de alto desempenho, com milhares de processadores. O código fonte dos programas utilizados no curso, e as instruções para a instalação do ambiente de execução MPI, estão disponíveis em https://github.com/gpsilva2003/MPI. Utilizamos a documentação de referência do próprio padrão MPI e as referências listadas na seção bibliográfica para a elaboração do curso. O curso inicia fornecendo informações sobre o ambiente de sistemas distribuídos e sobre a programação de troca de mensagens. A seguir apresentamos as rotinas básicas da norma MPI, incluindo as rotinas de gerenciamento de ambiente, de comunicação ponto a ponto, as rotinas de comunicações coletivas, e detalhes sobre os diversos modos de envio e recepção das mensagens. Durante o curso, serão apresentados exemplos em linguagem C, com alguns exercícios sendo propostos aos participantes. Assumimos que o usuário possui compreensão gerais sobre programação com a linguagem C.

Ementa:

1. Introdução
   • Características de MPI
   • Histórico de MPI
   • Plataformas de Hardware
   • Exemplo de aplicações paralelas
   • Avaliação de desempenho - Conceitos básicos
2. O padrão MPI.
• Exemplo de um programa MPI
• Rotinas básicas de gerenciamento.
• Rotinas básicas de comunicação ponto a ponto
• Correspondência entre os tipos MPI e C
• Identificando o tamanho e as informações da mensagem recebida
• Estudo de caso: método do trapézio
3. Rotinas de Comunicação Coletivas
• Barreira: MPI_Barrier()
• Difusão: MPI_Broadcast()
• Coleta: MPI_Gather()
• Redução: MPI_Reduce()
• Redução com difusão: MPI_Allreduce()
• Coleta com difusão: MPI_Allgather()
• Estudo de caso: multiplicação de matriz
4. Comunicação MPI em detalhes
• Rotinas de envio e recepção bloqueantes x não-bloqueantes
• Modos de comunicação: síncrono, pronto, bufferizado e padrão
• Evitando o impasse (deadlock)
• Considerações de desempenho
• Estudo de caso: número primos

1. https://www.mpi-forum.org/docs/mpi-3.1/mpi31-report.pdf
2. Gabriel Silva, Programação Paralela com MPI: Um Curso Introdutório, Amazon Serviços de varejo do Brasil, 2018.
3. Peter Pacheco. Parallel Programming with MPI . Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 2019.
4. Wesley Kendall, 2013, beginning MPI( An Introduction in C) .

Resumo: Na Computação de Alto Desempenho (High-Performance Computing), as operações de entrada e saída (I/O) são um gargalo para um número crescente de aplicações, podendo comprometer a escalabilidade. Em ambientes de larga escala, como clusters e supercomputadores, o uso de bibliotecas de alto-nível como MPI-IO permite obter melhor desempenho através de I/O paralelo e de operações coletivas. Estas possibilitam o uso transparente de técnicas de otimização como data sieving e two-phase I/O. Nesse contexto, este minicurso objetiva introduzir conceitos de I/ O paralelo e MPI-IO, com um enfoque prático, de forma que os participantes aprendam a utilizar a biblioteca em suas aplicações.

Pré-requisitos: Conhecimentos básicos sobre conceitos MPI

1. Processos, ranks
2. Comunicadores
3. Operações bloqueantes e não bloqueantes (troca de mensagem)
4. Operações individuais e coletivas (troca de mensagem)
5. MPI datatypes

A programação híbrida utilizando MPI+OpenMP com diretivas de descarga (offloading) para aceleradores é uma abordagem eficiente para explorar paralelismo em clusters com múltiplos nós com aceleradores (como GPUs). O MPI é utilizado para comunicação entre os nós do cluster e OpenMP utilizado para distribuir a carga de trabalho em cada nó entre os seus diversos processadores (núcleos) e os aceleradores, normalmente GPUs. Com essa abordagem conseguimos realizar a paralelização da aplicação, com a descarga de tarefas mais intensivas para GPUs, além de aproveitar os núcleos de processador existentes em cada nó, conseguindo a maximização do desempenho da aplicação, Em nosso curso abordaremos os seguintes tópicos:

1. Conceitos básicos de programação com MPI e OpenMP
2. Estrutura básica de comunicação entre hospedeiro e GPU
3. Apresentação dos diferentes níveis de suporte a threads do MPI e suas implicações para programação híbrida: único, afunilado, serializado e múltiplo.
4. Suporte dos compiladores para OpenMP offloading
5. Movimentação de dados entre o hospedeiro e dispositivo
6. Diretivas OpenMP para offloading: target, cláusula map, target data, target teams, target teams distribute
7. Exemplos de programação híbrida MPI e OpenMP

Resumo: Python é uma linguagem de programação de alto nível para programação de propósito geral lançada ao público em 1991. Possui contruções que permitem a criação de programas de pequena à grande escala e possui uma filosofia de design que prioriza principalmente a legibilidade de código. É cada vez mais usada em computação científica e numérica. Python tem tipagem dinâmica e gerência automática de memória. Suporta múltiplos paradigmas de programação, como programação orientada à objetos, imperativa, funcional e procedural. É citado frequentemente como uma de suas melhores características sua grande e abrangente biblioteca padrão. O Python Package Index, o repositório oficial de pacotes de terceiros, possui outros 130000 pacotes. Interpretadores da linguagem Python estão disponíveis para diversos sistemas operacionais. A implmentação de referência, a CPython, é open source e possui um modelo de desenvolvimento comunitário assim como a maior parte das outras implementações alternativas.

Pré-requisitos

1. Conhecimentos básicos de programação estruturada
2. Conhecimentos básicos de programação orientada à objetos
3. Conhecimentos básicos do uso do shell bash ou similar no ambiente GNU/Linux

1. Introdução geral à HPC
2. Processamento em memória compartilhada
• Threads vs processos
• Módulo threading vs módulo multiprocessing
3. Módulo multiprocessing
• Exemplo: aproximação de pi com Monte Carlo
4. Processamento em memória distribuída
• Introdução à MPI
• Módulo mpi4pi
• Módulo mpi4pi + módulo numpy
• Exemplo: reimplementação da aproximação de pi com MPI
5. Biblioteca Parsl

Requisitos: The minimum requirements to deploy the hands-on lab enviroment are: VirtualBox 6.1, Dual-Core processor with virtualization support 4 GB RAM, 7 GB storage space

Ementa:

1. HPC Clusters overview: Types of clusters, Basic architecture of an HPC cluster
2. Infrastructure components: Resource management, Time sincronism, Image repository, Shared file system, User account management, Passwordless authentication, Environment modules, High performance network
3. Hands-on lab environment: Infrastructure, Infrastructure tools
4. Clustershell
5. Environment Modules
6. SLURM
7. Architecture
8. Daemons
9. Configuration Files: Partitions, Nodes, Scheduling policies, Administrative commands, Environment deployment
10. Munge
11. MySQL/MariaDB
12. Daemons
13. Slurm configuration
14. Testing
15. Access control and Accounting: Accounting hierarchy, Implementing access control, Creating, modifying, and removing associations, Restricting resource access
16. Administrative activities: Modifying jobs’ priorities, Nodes management, Resource reservation, Partition management, Accounting report

Requisitos: The minimum requirements to deploy the hands-on lab enviroment are: VirtualBox 6.1, Dual-Core processor with virtualization support 4 GB RAM, 7 GB storage space

Ementa:

1. HPC Clusters overview: Types of clusters, Basic architecture of an HPC cluster
2. Infrastructure components: Resource management, Time sincronism, Image repository, Shared file system, User account management, Passwordless authentication, Environment modules, High performance network
3. Hands-on lab environment: Infrastructure, Infrastructure tools
4. Clustershell
5. Environment Modules
6. SLURM
7. Architecture
8. Daemons
9. Configuration Files: Partitions, Nodes, Scheduling policies, Administrative commands, Environment deployment
10. Munge
11. MySQL/MariaDB
12. Daemons
13. Slurm configuration
14. Testing
15. Access control and Accounting: Accounting hierarchy, Implementing access control, Creating, modifying, and removing associations, Restricting resource access
16. Administrative activities: Modifying jobs’ priorities, Nodes management, Resource reservation, Partition management, Accounting report

Resumo: O RISC-V é uma alternativa para o desenvolvimento de hardware aberto, com o objetivo de se tornar uma arquitetura universal de processadores. Este minicurso, dividido em três partes, aborda os principais conceitos e decisões de projeto com a especificação RV32I, incluindo a interface ISA e a implementação simplificada de uma CPU. Em seguida, aborda arquiteturas de domínio específico (DSAs) e o uso de paralelismo em nível de dados com a extensão vetorial RISC-V, voltado para aplicações de alto desempenho e sistemas embarcados.

Ementa

1. Parte I: Conceitos e decisões de projeto
1. Introdução ao RISC-V RV32I
2. Interface ISA no sistema computacional
3. Assembly RISC-V: instruções, transferência de dados e procedimentos
4. Projeto simplificado de uma CPU RISC-V (ciclo único)
5. Exemplos e laboratórios com simulador e IA generativa
2. Parte II: Arquiteturas de Domínio Específico (DSAs)
1. Máquina vetorial RISC-V para HPC
2. Extensão vetorial para sistemas embarcados
3. Extensão vetorial para processadores de aceleração
4. DSAs baseadas em RISC-V
5. Exemplos e laboratórios com simulador e IA generativa

1. David Patterson and Andrew Waterman. 2017. The RISC-V Reader: An Open Architecture Atlas (1ª ed.). Strawberry Canyon. Tradução para Português-BR: http://riscvbook.com/portuguese/

Bio: Calebe P. Bianchini é formado em Ciência da Computação na UFSCar, onde também obteve o título de mestre. Finalizou seu doutorado em Engenharia da Computação pela POLI/USP em 2009. Somados, já são mais de 19 anos de experiência com Computação de Alto Desempenho, com participação em diversos projetos de pesquisa e desenvolvimento com Petrobras, Shell, Intel, CERN, dentre outros. Atualmente é professor e pesquisador na Universidade Presbiteriana Mackenzie e de Centro Universitário FEI. É um membro ativo na comunidade brasileira de Computação de Alto Desempenho, especialmente na organização de competições e desafios nesta área. É também Embaixador Universitário do Deep Learning Institute (DLI) da NVIDIA, ministrando cursos relacionados à Computação de Alto Desempenho em GPUs NVidia.

Sobre o bootcamp: O bootcamp de Programação Paralela Aplicada é uma oportunidade excepcional para quem deseja dominar as técnicas de programação paralela e computação de alto desempenho e aplicá-las a desafios reais. Com foco em paralelização e otimização de código para multicore e manycore, além de uso de modelos de programação em supercomputação, este bootcamp oferece uma abordagem prática e orientada a resultados. Guiado por mentores experientes, o bootcamp tem como objetivo capacitar os participantes a enfrentar problemas computacionais complexos, impulsionando inovação e eficiência em suas áreas de atuação.

Ementa

1. Introdução a Modelos de Programação Paralela
2. Multicores e OpenMP
3. Medidas de escalabilidade
4. Demonstrações e Experimentações
5. MPI e Comunicação
6. Demonstrações e Experimentações
7. Manycores e GPGPUs
8. Medidas de desempenho
9. Demonstrações e Experimentações

1. SILVA, G. P. ; BIANCHINI, C. P. ; COSTA, E. B. . Programação Paralela e Distribuída com MPI, OpenMP e OpenACC para computação de alto desempenho. 1. ed. São Paulo: Casa do Código, 2022.
2. BIANCHINI, C. P. ; SILVA, G. P. Programação Paralela com OpenMP: Modelo de Tarefas. 2024.
3. BIANCHINI, C. P. ; COSTA, E.B.; SILVA, G. P. Programação Paralela Híbrida: MPI+ OpenMP Offloading. 2024.