Portland AI Engineers January Meeting

Questo mese avremo presentazioni tecniche approfondite da parte di costruttori di intelligenza artificiale alla ricerca di feedback e prospettive diverse su cui la nostra straordinaria community può sempre contare.

**Programma:**

* 17:00 - 17:30: snack e networking
* 17:30 - 18:30: Presentazioni
* 6:30 - 7:00: conclusione e networking

***

### Presentatori

\-\-\-

**Randy Olson**
**Titolo:** Oltre la demo: creazione di un'intelligenza artificiale affidabile con valutazioni LLM
**Su di me:**
Randy Olson è cofondatore e CTO di Goodeye Labs, dove crea strumenti per aiutare i team a valutare i risultati dell'intelligenza artificiale su larga scala. Ha un dottorato di ricerca in informatica e oltre 15 anni di esperienza pratica in ingegneria del software, apprendimento automatico, biologia computazionale, scienza dei dati e sviluppo di prodotti AI. Il suo lavoro è stato presentato sul New York Times, Wired e FiveThirtyEight, inclusi progetti come il calcolo di viaggi su strada ottimali e l'analisi delle tendenze dei dati su larga scala. Ha anche creato strumenti open source ampiamente utilizzati come TPOT, una libreria automatizzata di apprendimento automatico. In questi giorni, si è concentrato sulla risoluzione di un problema che ha riscontrato in ogni team con cui ha lavorato: rendere i sistemi di intelligenza artificiale più affidabili e affidabili negli ambienti di produzione.
**Descrizione conversazione:**
Le valutazioni LLM (evals) sono diventate uno degli argomenti più discussi nell'ingegneria dell'intelligenza artificiale, ma per molti team rimangono astratte o intimidatorie. Questo discorso taglia il rumore e diventa pratico. Cosa sono le valutazioni LLM, perché dovresti preoccuparti e come implementarle effettivamente? Inizierò spiegando cosa rende essenziali le valutazioni, soprattutto ora che l'intelligenza artificiale si sposta dalle demo ai sistemi di produzione dove la qualità e la coerenza contano. Esamineremo il panorama della valutazione, inclusi solidi framework open source come DeepEval e Verdict che puoi iniziare a utilizzare oggi. Quindi illustrerò un esempio pratico utilizzando Truesight, la piattaforma di valutazione che ho creato presso Goodeye Labs, per mostrare come si configura nella pratica l'impostazione e l'esecuzione delle valutazioni. Che tu sia un ingegnere di intelligenza artificiale che spedisce modelli, un product manager che definisce gli standard di qualità o chiunque lavori direttamente nello spazio dell'intelligenza artificiale, te ne andrai con una chiara comprensione del perché le valutazioni sono importanti e di come iniziare, con o senza budget.

**Partecipa:**

* **Presenta il tuo lavoro a un evento futuro**: inviaci un'e-mail a [[email protected]](http://mailto:[email protected]/) per discutere della condivisione del tuo progetto o delle tue intuizioni
* **Fornisci feedback**: aiuta a dare forma alla nostra community condividendo idee e suggerimenti
* **Sponsorizza un evento**: [Contattaci](https://www.portlandai.engineer/sponsorship) per discutere le opportunità di partnership

Per ulteriori informazioni e per unirti alla nostra community, visita [portlandai.engineer](https://portlandai.engineer/)
**Grazie ai nostri fantastici sponsor**
[Esperimento dell'incubatore di Portland](https://www.piepdx.com/) (PIE)
[Fioraio di silicio](https://siliconflorist.com/)
[AlteredCraft](https://alteredcraft.com)
[O'Reilly](https://www.oreilly.com/)
[Strumento](https://www.instrument.com/)