Share
Embed
2024 Red Hat Summit Recap
Slide deck cobrindo os principais lançamentos/novidades apresentadas no Red Hat Summit (2024)
Vinicius
August 22, 2024
Transcript
40 slides
-
Summit Recap O que há de novo ? Summit Recap
Vinicius Branda Martinez Manager, Account Solution Architects [email protected] 1 Rio de Janeiro | 20 AGOSTO 2024 -
2 • Vinicius Branda Martinez • Manager, Enterprise Private Solution
Architect (Red Hat) • 13 anos • Professor (MBA Impacta) • +-20 anos de experiência (EDS, Tata) • Data Processing (FATEC) • MBA Business Administration (FGV) • Pós Graduação Distributed Software Architecture (PUC/MG) • MBA Data Science e Analytics (USP/ESALQ) • Linkedin • Twitter • Github -
V0000000 6 Summit 2024 AI AI enabled portfolio Lightspeed portfolio
Usability & Adoption | Guidance | Virtual Assistant | Code Generation Models RHEL AI Base Model | Alignment Tuning | Methodology & Tools | Platform Optimization & Acceleration AI platform OpenShift AI Development | Serving | Monitoring & Lifecycle | Resource Management AI enabled apps App & Developer services Developer Productivity | App Connectivity | Secure Supply Chain LLM Capabilities Enable Large Language Model serving in OpenShift AI RHEL Image Mode Define your RHEL OS as a Containerfile and create a bootable image Podman AI Extension for Podman Desktop to streamline AI Model development InstructLab Open source community project for GenAI model development Ansible + Terraform Enhance Infrastructure-as-code with Ansible Automation Platform Ansible Policy as Code Extend AAP directly into the realms of governance, risk and compliance (GRC) Konveyor AI Improve the economics of replatforming and refactoring applications using Generative AI Connectivity Link Connect applications across multi cluster and multi cloud environments -
11 O potencial de IA Gerativa é notório, mas será
dado essa questão, não existem questões adicionais ? > Qual a origem dos dados ? > Podemos assegurar que os dados da minha empresa/órgão estão seguros ? > Quais/quantos dados foram utilizados no treinamento desse modelo ? > Vieses (Bias) Governança, Inovação com Ética e Responsabilidade Inteligência Artificial e Seus Desafios no Brasil -
Optional section marker or title 12 Plano Brasileiro de Inteligência
Artificial(Pbia) ▸ Apresentado em 30 de julho de 2024 (em aprovação) ▸ Desenvolvido pelo Conselho Nacional de Ciência e Tecnologia, o Pbia tem como principais objetivos desenvolver uma "nuvem soberana" onde os dados do governo brasileiro devem ser integrados e os LLMs portugueses desenvolvidos, respeitando e abraçando nossa diversidade cultural, social e linguística; Governança, Inovação com Ética e Responsabilidade Inteligência Artificial e Seus Desafios no Brasil CDE IA ▸ Prioridade para agenda de 2024 ▸ 15 de Agosto de 2024 ▸ Centro de Excelência de Ciência de Dados e Inteligência Artificial do Banco Central do Brasil ▸ "..as diretrizes de governança para o uso e o desenvolvimento seguros e éticos, no âmbito do Banco Central do Brasil, de serviços de software que utilizam ciência de dados e IA;" -
13 AI REQUER Multi Vendor AI REQUER Múltiplos Modelos AI
Everywhere AI = Open Source Colaboração Transparência Problemas compartilhados são resolvidos mais rápidos Trabalho em conjunto cria propósitos comuns Mais de 1 Milhão de Projetos Open Source AI -
14 Optional section marker or title Red Hat’s AI Portfolio
Strategy Open Hybrid Cloud Platforms Red Hat Enterprise Linux | Red Hat OpenShift | Red Hat Ansible Platform Acceleration | Performance | Scale | Automation | Observability | Security | Developer Productivity | App Connectivity | Secure Supply Chain Partner Ecosystem Hardware | Accelerators | Delivery AI enabled portfolio AI models AI platform AI workload support Trust Choice Consistency -
15 Optional section marker or title Red Hat’s AI Portfolio
Strategy Open Hybrid Cloud Platforms Red Hat Enterprise Linux | Red Hat OpenShift | Red Hat Ansible Platform Acceleration | Performance | Scale | Automation | Observability | Security | Developer Productivity | App Connectivity | Secure Supply Chain Partner Ecosystem Hardware | Accelerators | Delivery AI models RHEL AI Base Model | Alignment Tuning | Methodology & Tools | Platform Optimization & Acceleration Trust Choice Consistency -
Optional section marker or title Família de Modelos IBM Granite
16 IBM Granite Code models Base Granite-34B-Code-Base Granite-20B-Code-Base Granite-8B-Code-Base Granite-3B-Code-Base Instruction-tuned Granite-34B-Code-Instruct Granite-20B-Code-Instruct Granite-8B-Code-Instruct Granite-3B-Code-Instruct IBM Granite Language models English Base Granite-7B-Base English Instruction-tuned Granite-7B-Instruct Granite -
"...This work introduces LAB (Large-scale Alignment for chatBots), a novel
methodology designed to overcome the scalability challenges in the instruction-tuning phase of large language model (LLM) training. Leveraging a taxonomy-guided synthetic data generation process and a multi-phase tuning framework, LAB significantly reduces reliance on expensive human annotations and proprietary models like GPT-4. " Optional section marker or title InstructLab Project 17 -
Podman AI Lab 18 Podman AI Lab é uma extensão
open source para Podman Desktop que oferece aos desenvolvedores a capacidade de construir, testar e executar aplicativos generativos alimentados por inteligência artificial (GenAI) em contêineres usando uma interface gráfica intuitiva executada em sua estação de trabalho local • O Podman AI Lab permite que os desenvolvedores tragam IA facilmente para seus aplicativos, sem depender de infraestrutura além de um laptop • O Podman AI Lab baseia-se na no Podman Desktop, um projeto open source fundado na Red Hat que agora tem mais de um milhão de downloads -
Optional section marker or title O Sistema Operativo Inteligente 19
Desenvolva, teste e execute perfeitamente LLMs da família Granite para aplicativos empresariais. Plataforma Modelos Fundacionais InstructLab model alignment tools Solução escalável e econômica para aprimorar os recursos do LLM e tornar o desenvolvimento de modelos de IA aberto e acessível a todos os usuários. Optimized bootable model runtime instances Modelos Granite e ferramentas InstructLab distribuídos como uma imagem RHEL inicializável, incluindo bibliotecas Pytorch/runtime e otimização de hardware (NVIDIA, Intel e AMD). Enterprise support, lifecycle & indemnification Plataforma empresarial confiável, suporte de produção 24 horas por dia, 7 dias por semana, ciclo de vida do modelo estendido e indenização de propriedade intelectual do modelo pela Red Hat. Granite LLMs open-source, distribuídos sob a licença Apache-2.0, com total transparência nos conjuntos de dados de treinamento. -
Optional section marker or title 20 InstructLab Taxonomy | Alignment
tuning | Command-line interface (CLI) | Model training infrastructure Pytorch| Runtime libraries | GPU support | vLLM | Deepspeed Granite family models O Sistema Operativo Inteligente -
21 Optional section marker or title Red Hat’s AI Portfolio
Strategy Open Hybrid Cloud Platforms Red Hat Enterprise Linux | Red Hat OpenShift | Red Hat Ansible Platform Acceleration | Performance | Scale | Automation | Observability | Security | Developer Productivity | App Connectivity | Secure Supply Chain Partner Ecosystem Hardware | Accelerators | Delivery AI models RHEL AI Base Model | Alignment Tuning | Methodology & Tools | Platform Optimization & Acceleration AI platform OpenShift AI Development | Serving | Monitoring & Lifecycle | MLOps | Resource Management Trust Choice Consistency -
Operacionalização AI/ML não é simples App developer IT operations Data
engineer Data scientist ML engineer Business leadership Objetivos Coleta e Preparo de Dados Desenvolvimento de Modelo Gestão, Governança e Monitoramento Integração de modelos no ciclo de desenvolvimento Todos desempenham um papel crucial em um processo complexo -
24 Modelos de desenvolvimento Conduza ciência de dados exploratória no
JupyterLab com acesso às principais bibliotecas e estruturas de AI/ML, incluindo TensorFlow e PyTorch, usando nossas imagens de notebook ou as suas próprias. Deployment e monitoramento de modelos Implante modelos em qualquer nuvem, espaço OpenShift totalmente gerenciado e autogerenciado e monitore centralmente seu desempenho. Gerenciamento de Ciclo de Vida Crie pipelines de ciência de dados repetíveis para treinamento e validação de modelos e integre-os a pipelines Devops para entrega de modelos em toda a sua empresa. Maiores capacidades/colaboração Crie projetos e compartilhe-os entre as equipes. Combine componentes Red Hat, software de código aberto e software certificado por ISV. Hybrid MLOps platform Colabore em uma plataforma comum para reunir equipes de TI, Data Science e desenvolvimento de aplicativos. -
Optional section marker or title O Sistema Operativo Inteligente 25
InstructLab Taxonomy | Alignment tuning | Command-line interface (CLI) | Model training infrastructure Pytorch| Runtime libraries | GPU support | vLLM | Deepspeed Granite family models • Workbenches • Distributed workloads • Data and model pipelines • ISV images |Custom images • GPU support • Visual editor • Automated data science pipeline • Serving engines: Kserve, ModelMesh • Serving runtimes : Custom, vLLM, TGIS, OVMS • Performance metrics • Operations metrics • Quality metrics Model Serving Data & model pipeline Model development Model Monitoring -
26 Optional section marker or title Red Hat’s AI Portfolio
Strategy Open Hybrid Cloud Platforms Red Hat Enterprise Linux | Red Hat OpenShift | Red Hat Ansible Platform Acceleration | Performance | Scale | Automation | Observability | Security | Developer Productivity | App Connectivity | Secure Supply Chain Partner Ecosystem Hardware | Accelerators | Delivery AI enabled portfolio Lightspeed portfolio Usability & Adoption | Guidance | Virtual Assistant | Code Generation AI models RHEL AI Base Model | Alignment Tuning | Methodology & Tools | Platform Optimization & Acceleration AI platform OpenShift AI Development | Serving | Monitoring & Lifecycle | MLOps | Resource Management Trust Choice Consistency -
Feche o GAP entre a ideação de automações e sua
respectiva criação -
IBM watsonx Code Assistant Red Hat Ansible Lightspeed Red Hat
Ansible content creation VS Code extension Ansible content tools Best practices anonymize post processing Customize model Prompt Sugestão Prompt Suggestion Utilize datasets próprios para customizações Experiência Integrada do Desenvolvedor -
Prompt refinement Red Hat Ansible Lightspeed Create Ansible Playbook generation
ᐩ Chat guiado para aumentar produtividade do desenvolvedor ᐩ Explicação do Playbook para acelerar o aprendizado da estrutura, sintaxe e seu funcionamento ᐩ WCA 20B Granite Playbook generation Guided chat Prompt refinement -
Prompt refinement Red Hat Ansible Lightspeed Create Ansible Playbook generation
ᐩ Chat guiado para aumentar produtividade do desenvolvedor ᐩ Explicação do Playbook para acelerar o aprendizado da estrutura, sintaxe e seu funcionamento ᐩ WCA 20B Granite -
Training dataset creation Model training Create Model customization / fine
tuning ᐩ Permite que usuários do Ansible Lightspeed façam uso de seu conteúdo para treinar o modelo. ᐩ Recomendações são baseadas de acordo com parametrizações e características da organização e identificação de padrões. -
Generative AI Poderoso, pluggable LLMs combinados com as últimas versões
da documentação do OpenShift Troubleshoot, investigue e aprenda mais Prove suporte e orientações para atividades de troubleshooting Suporte onde voce precisar Integrado diretamente no Console da Ferramenta OpenShift Lightspeed -
33 Optional section marker or title Red Hat’s AI Portfolio
Strategy Open Hybrid Cloud Platforms Red Hat Enterprise Linux | Red Hat OpenShift | Red Hat Ansible Platform Acceleration | Performance | Scale | Automation | Observability | Security | Developer Productivity | App Connectivity | Secure Supply Chain Partner Ecosystem Hardware | Accelerators | Delivery AI enabled portfolio Lightspeed portfolio Usability & Adoption | Guidance | Virtual Assistant | Code Generation AI models RHEL AI Base Model | Alignment Tuning | Methodology & Tools | Platform Optimization & Acceleration AI platform OpenShift AI Development | Serving | Monitoring & Lifecycle | MLOps | Resource Management AI workload support Optimize AI workloads Deployment & Run | Compliance | Certification | Models | Open Source Ecosystem Trust Choice Consistency -
Toolkits de Migração ▸ GenAI aplicada ao contexto de migração
▸ Workflow-integrated LLMs ▸ Geração de Código Fonte (IDE) ▸ Migrações bem-sucedidas geram recomendações -
Mecanismo Integrado para enforce de políticas com características singulares Enforce/Inform
durante execuções de ações Policy as Code for Red Hat Ansible Automation Platform Solução para Governança, Risco e Compliance (GRC) em ambientes Complexos Valide o enforce de políticas durante ciclos de desenvolvimento Acelere validações de políticas em tempo de desenvolvimento Relatórios de verificaç e controle Policy compliance e relatóri de auditoria para maior gest e controle > Create Manage Scale -
RHEL Image Mode # Derive standard operating environment FROM rhel9/rhel-bootc:latest
RUN dnf install -y [system agents] [dependencies] && dnf clean all COPY [unpackaged application] COPY [configuration files] RUN [config scripts] # Derive database server from SOE FROM corp-repo/corp-soe:latest RUN dnf install -y [database] [dependencies] && dnf clean all COPY [configuration files] RUN [config scripts] -
Red Hat OpenShift Virtualization Red Hat OpenShift Virtualization Red Hat
OpenShift Container Platform Red Hat Enterprise Linux Physical machine VMs Containers ▸ Totalmente Integrado Com o Red Hat OpenShift ▸ Baseado no KubeVirt Top 10 projetos mais ativos da CNCF ▸ Plataforma Unificada Gerenciamento e ferramental unificados, com ecossistema completo ▸ Performance e Estabilidade Baseado no Hypervisor KVM que é padrão da indústria ▸ Inclui Subscrição do RHEL ''Guests" baseados no Red Hat Enterprise Linux já contemplados na subscrição ▸ Suporte à Guests Microsoft Windows Microsoft Server Virtualization Validation Program (SVVP) Abordagem Cloud Native para Virtualização Tradicional -
linkedin.com/company/red-hat youtube.com/user/RedHatVideos facebook.com/redhatinc twitter.com/RedHat 40 Red Hat is the world’s
leading provider of enterprise open source software solutions. Award-winning support, training, and consulting services make Red Hat a trusted adviser to the Fortune 500. Thank you