2024 Red Hat Summit Recap

Slide 1

Slide 1 text

Summit Recap O que há de novo ? Summit Recap Vinicius Branda Martinez Manager, Account Solution Architects [email protected] 1 Rio de Janeiro | 20 AGOSTO 2024

Slide 2

Slide 2 text

2 ● Vinicius Branda Martinez ● Manager, Enterprise Private Solution Architect (Red Hat) ● 13 anos ● Professor (MBA Impacta) ● +-20 anos de experiência (EDS, Tata) ● Data Processing (FATEC) ● MBA Business Administration (FGV) ● Pós Graduação Distributed Software Architecture (PUC/MG) ● MBA Data Science e Analytics (USP/ESALQ) ● Linkedin ● Twitter ● Github

Slide 3

Slide 3 text

CONFIDENTIAL designator 3

Slide 4

Slide 4 text

CONFIDENTIAL designator 4

Slide 5

Slide 5 text

CONFIDENTIAL designator 5

Slide 6

Slide 6 text

V0000000 6 Summit 2024 AI AI enabled portfolio Lightspeed portfolio Usability & Adoption | Guidance | Virtual Assistant | Code Generation Models RHEL AI Base Model | Alignment Tuning | Methodology & Tools | Platform Optimization & Acceleration AI platform OpenShift AI Development | Serving | Monitoring & Lifecycle | Resource Management AI enabled apps App & Developer services Developer Productivity | App Connectivity | Secure Supply Chain LLM Capabilities Enable Large Language Model serving in OpenShift AI RHEL Image Mode Define your RHEL OS as a Containerfile and create a bootable image Podman AI Extension for Podman Desktop to streamline AI Model development InstructLab Open source community project for GenAI model development Ansible + Terraform Enhance Infrastructure-as-code with Ansible Automation Platform Ansible Policy as Code Extend AAP directly into the realms of governance, risk and compliance (GRC) Konveyor AI Improve the economics of replatforming and refactoring applications using Generative AI Connectivity Link Connect applications across multi cluster and multi cloud environments

Slide 7

Slide 7 text

7 Inteligência Artificial

Slide 8

Slide 8 text

8 Optional section marker or title Gartner's AI Hype Cycle

Slide 9

Slide 9 text

9 Optional section marker or title Gartner's AI Hype Cycle

Slide 10

Slide 10 text

10 Optional section marker or title Gartner's AI Hype Cycle

Slide 11

Slide 11 text

11 O potencial de IA Gerativa é notório, mas será dado essa questão, não existem questões adicionais ? > Qual a origem dos dados ? > Podemos assegurar que os dados da minha empresa/órgão estão seguros ? > Quais/quantos dados foram utilizados no treinamento desse modelo ? > Vieses (Bias) Governança, Inovação com Ética e Responsabilidade Inteligência Artificial e Seus Desafios no Brasil

Slide 12

Slide 12 text

Optional section marker or title 12 Plano Brasileiro de Inteligência Artificial(Pbia) ▸ Apresentado em 30 de julho de 2024 (em aprovação) ▸ Desenvolvido pelo Conselho Nacional de Ciência e Tecnologia, o Pbia tem como principais objetivos desenvolver uma "nuvem soberana" onde os dados do governo brasileiro devem ser integrados e os LLMs portugueses desenvolvidos, respeitando e abraçando nossa diversidade cultural, social e linguística; Governança, Inovação com Ética e Responsabilidade Inteligência Artificial e Seus Desafios no Brasil CDE IA ▸ Prioridade para agenda de 2024 ▸ 15 de Agosto de 2024 ▸ Centro de Excelência de Ciência de Dados e Inteligência Artificial do Banco Central do Brasil ▸ "..as diretrizes de governança para o uso e o desenvolvimento seguros e éticos, no âmbito do Banco Central do Brasil, de serviços de software que utilizam ciência de dados e IA;"

Slide 13

Slide 13 text

13 AI REQUER Multi Vendor AI REQUER Múltiplos Modelos AI Everywhere AI = Open Source Colaboração Transparência Problemas compartilhados são resolvidos mais rápidos Trabalho em conjunto cria propósitos comuns Mais de 1 Milhão de Projetos Open Source AI

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Optional section marker or title Família de Modelos IBM Granite 16 IBM Granite Code models Base Granite-34B-Code-Base Granite-20B-Code-Base Granite-8B-Code-Base Granite-3B-Code-Base Instruction-tuned Granite-34B-Code-Instruct Granite-20B-Code-Instruct Granite-8B-Code-Instruct Granite-3B-Code-Instruct IBM Granite Language models English Base Granite-7B-Base English Instruction-tuned Granite-7B-Instruct Granite

Slide 17

Slide 17 text

"...This work introduces LAB (Large-scale Alignment for chatBots), a novel methodology designed to overcome the scalability challenges in the instruction-tuning phase of large language model (LLM) training. Leveraging a taxonomy-guided synthetic data generation process and a multi-phase tuning framework, LAB significantly reduces reliance on expensive human annotations and proprietary models like GPT-4. " Optional section marker or title InstructLab Project 17

Slide 18

Slide 18 text

Podman AI Lab 18 Podman AI Lab é uma extensão open source para Podman Desktop que oferece aos desenvolvedores a capacidade de construir, testar e executar aplicativos generativos alimentados por inteligência artificial (GenAI) em contêineres usando uma interface gráfica intuitiva executada em sua estação de trabalho local ● O Podman AI Lab permite que os desenvolvedores tragam IA facilmente para seus aplicativos, sem depender de infraestrutura além de um laptop ● O Podman AI Lab baseia-se na no Podman Desktop, um projeto open source fundado na Red Hat que agora tem mais de um milhão de downloads

Slide 19

Slide 19 text

Optional section marker or title O Sistema Operativo Inteligente 19 Desenvolva, teste e execute perfeitamente LLMs da família Granite para aplicativos empresariais. Plataforma Modelos Fundacionais InstructLab model alignment tools Solução escalável e econômica para aprimorar os recursos do LLM e tornar o desenvolvimento de modelos de IA aberto e acessível a todos os usuários. Optimized bootable model runtime instances Modelos Granite e ferramentas InstructLab distribuídos como uma imagem RHEL inicializável, incluindo bibliotecas Pytorch/runtime e otimização de hardware (NVIDIA, Intel e AMD). Enterprise support, lifecycle & indemnification Plataforma empresarial confiável, suporte de produção 24 horas por dia, 7 dias por semana, ciclo de vida do modelo estendido e indenização de propriedade intelectual do modelo pela Red Hat. Granite LLMs open-source, distribuídos sob a licença Apache-2.0, com total transparência nos conjuntos de dados de treinamento.

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Operacionalização AI/ML não é simples App developer IT operations Data engineer Data scientist ML engineer Business leadership Objetivos Coleta e Preparo de Dados Desenvolvimento de Modelo Gestão, Governança e Monitoramento Integração de modelos no ciclo de desenvolvimento Todos desempenham um papel crucial em um processo complexo

Slide 23

Slide 23 text

Operacionalização AI/ML não é simples Upstream projects Product Community projects CodeFlare

Slide 24

Slide 24 text

24 Modelos de desenvolvimento Conduza ciência de dados exploratória no JupyterLab com acesso às principais bibliotecas e estruturas de AI/ML, incluindo TensorFlow e PyTorch, usando nossas imagens de notebook ou as suas próprias. Deployment e monitoramento de modelos Implante modelos em qualquer nuvem, espaço OpenShift totalmente gerenciado e autogerenciado e monitore centralmente seu desempenho. Gerenciamento de Ciclo de Vida Crie pipelines de ciência de dados repetíveis para treinamento e validação de modelos e integre-os a pipelines Devops para entrega de modelos em toda a sua empresa. Maiores capacidades/colaboração Crie projetos e compartilhe-os entre as equipes. Combine componentes Red Hat, software de código aberto e software certificado por ISV. Hybrid MLOps platform Colabore em uma plataforma comum para reunir equipes de TI, Data Science e desenvolvimento de aplicativos.

Slide 25

Slide 25 text

Optional section marker or title O Sistema Operativo Inteligente 25 InstructLab Taxonomy | Alignment tuning | Command-line interface (CLI) | Model training infrastructure Pytorch| Runtime libraries | GPU support | vLLM | Deepspeed Granite family models • Workbenches • Distributed workloads • Data and model pipelines • ISV images |Custom images • GPU support • Visual editor • Automated data science pipeline • Serving engines: Kserve, ModelMesh • Serving runtimes : Custom, vLLM, TGIS, OVMS • Performance metrics • Operations metrics • Quality metrics Model Serving Data & model pipeline Model development Model Monitoring

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Feche o GAP entre a ideação de automações e sua respectiva criação

Slide 28

Slide 28 text

IBM watsonx Code Assistant Red Hat Ansible Lightspeed Red Hat Ansible content creation VS Code extension Ansible content tools Best practices anonymize post processing Customize model Prompt Sugestão Prompt Suggestion Utilize datasets próprios para customizações Experiência Integrada do Desenvolvedor

Slide 29

Slide 29 text

Prompt refinement Red Hat Ansible Lightspeed Create Ansible Playbook generation ᐩ Chat guiado para aumentar produtividade do desenvolvedor ᐩ Explicação do Playbook para acelerar o aprendizado da estrutura, sintaxe e seu funcionamento ᐩ WCA 20B Granite Playbook generation Guided chat Prompt refinement

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Training dataset creation Model training Create Model customization / fine tuning ᐩ Permite que usuários do Ansible Lightspeed façam uso de seu conteúdo para treinar o modelo. ᐩ Recomendações são baseadas de acordo com parametrizações e características da organização e identificação de padrões.

Slide 32

Slide 32 text

Generative AI Poderoso, pluggable LLMs combinados com as últimas versões da documentação do OpenShift Troubleshoot, investigue e aprenda mais Prove suporte e orientações para atividades de troubleshooting Suporte onde voce precisar Integrado diretamente no Console da Ferramenta OpenShift Lightspeed

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Toolkits de Migração ▸ GenAI aplicada ao contexto de migração ▸ Workflow-integrated LLMs ▸ Geração de Código Fonte (IDE) ▸ Migrações bem-sucedidas geram recomendações

Slide 35

Slide 35 text

35 Portfolio

Slide 36

Slide 36 text

Mecanismo Integrado para enforce de políticas com características singulares Enforce/Inform durante execuções de ações Policy as Code for Red Hat Ansible Automation Platform Solução para Governança, Risco e Compliance (GRC) em ambientes Complexos Valide o enforce de políticas durante ciclos de desenvolvimento Acelere validações de políticas em tempo de desenvolvimento Relatórios de verificaç e controle Policy compliance e relatóri de auditoria para maior gest e controle > Create Manage Scale

Slide 37

Slide 37 text

Introducing: Red Hat Connectivity Link Developer Preview

Slide 38

Slide 38 text

RHEL Image Mode # Derive standard operating environment FROM rhel9/rhel-bootc:latest RUN dnf install -y [system agents] [dependencies] && dnf clean all COPY [unpackaged application] COPY [configuration files] RUN [config scripts] # Derive database server from SOE FROM corp-repo/corp-soe:latest RUN dnf install -y [database] [dependencies] && dnf clean all COPY [configuration files] RUN [config scripts]

Slide 39

Slide 39 text

Red Hat OpenShift Virtualization Red Hat OpenShift Virtualization Red Hat OpenShift Container Platform Red Hat Enterprise Linux Physical machine VMs Containers ▸ Totalmente Integrado Com o Red Hat OpenShift ▸ Baseado no KubeVirt Top 10 projetos mais ativos da CNCF ▸ Plataforma Unificada Gerenciamento e ferramental unificados, com ecossistema completo ▸ Performance e Estabilidade Baseado no Hypervisor KVM que é padrão da indústria ▸ Inclui Subscrição do RHEL ''Guests" baseados no Red Hat Enterprise Linux já contemplados na subscrição ▸ Suporte à Guests Microsoft Windows Microsoft Server Virtualization Validation Program (SVVP) Abordagem Cloud Native para Virtualização Tradicional

Slide 40

Slide 40 text

linkedin.com/company/red-hat youtube.com/user/RedHatVideos facebook.com/redhatinc twitter.com/RedHat 40 Red Hat is the world’s leading provider of enterprise open source software solutions. Award-winning support, training, and consulting services make Red Hat a trusted adviser to the Fortune 500. Thank you