Portland AI Engineers January Meeting

Este mês teremos apresentações técnicas detalhadas de construtores de IA em busca de feedback e diversas perspectivas com as quais nossa incrível comunidade sempre pode contar.

**Programação:**

* 17h00 - 17h30: Lanches e networking
* 5h30 - 6h30: Apresentações
* 6h30 - 7h00: Encerramento e networking

***

### Apresentadores

\-\-\-

**Randy Olson**
**Título:** Além da demonstração: construindo IA confiável com avaliações LLM
**Sobre mim:**
Randy Olson é cofundador e CTO da Goodeye Labs, onde está construindo ferramentas para ajudar as equipes a avaliar os resultados da IA em escala. Ele tem doutorado em Ciência da Computação e mais de 15 anos de experiência prática em engenharia de software, aprendizado de máquina, biologia computacional, ciência de dados e desenvolvimento de produtos de IA. Seu trabalho foi apresentado no New York Times, Wired e FiveThirtyEight, incluindo projetos como calcular viagens rodoviárias ideais e analisar tendências de dados em grande escala. Ele também criou ferramentas de código aberto amplamente utilizadas, como TPOT, uma biblioteca automatizada de aprendizado de máquina. Atualmente, ele está focado em resolver um problema que tem visto em todas as equipes com as quais trabalhou: tornar os sistemas de IA mais confiáveis ​​e confiáveis ​​em ambientes de produção.
**Descrição da palestra:**
As avaliações (evals) LLM se tornaram um dos tópicos mais comentados na engenharia de IA, mas para muitas equipes, elas permanecem abstratas ou intimidantes. Esta palestra elimina o ruído e se torna prática. O que são avaliações LLM, por que você deveria se importar e como você realmente as implementa? Começarei explicando o que torna as avaliações essenciais, especialmente à medida que a IA passa de demonstrações para sistemas de produção onde a qualidade e a consistência são importantes. Veremos o cenário de avaliação, incluindo estruturas sólidas de código aberto, como DeepEval e Verdict, que você pode começar a usar hoje. Em seguida, examinarei um exemplo prático usando Truesight, a plataforma de avaliação que venho construindo no Goodeye Labs, para mostrar como é configurar e executar avaliações na prática. Quer você seja um engenheiro de IA enviando modelos, um gerente de produto definindo barras de qualidade ou qualquer pessoa que trabalhe na área de IA, você sairá com uma compreensão clara de por que as avaliações são importantes e como começar, com ou sem um orçamento.

**Envolva-se:**

* **Apresente seu trabalho em um evento futuro**: Envie-nos um e-mail para [[email protected]](http://mailto:[email protected]/) para discutir o compartilhamento de seu projeto ou insights
* **Forneça feedback**: ajude a moldar nossa comunidade compartilhando suas ideias e sugestões
* **Patrocine um evento**: [Entre em contato conosco](https://www.portlandai.engineer/sponsorship) para discutir oportunidades de parceria

Para obter mais informações e fazer parte da nossa comunidade, visite [portlandai.engineer](https://portlandai.engineer/)
**Obrigado aos nossos incríveis patrocinadores**
[Experimento da Incubadora de Portland](https://www.piepdx.com/) (PIE)
[Florista de Silício](https://siliconflorist.com/)
[AlteredCraft](https://alteredcraft.com)
[O'Reilly](https://www.oreilly.com/)
[Instrumento](https://www.instrument.com/)