Portland AI Engineers January Meeting

Tento mesiac budeme mať podrobné technické prezentácie od tvorcov AI, ktorí hľadajú spätnú väzbu a rôzne perspektívy, na ktoré sa naša úžasná komunita môže vždy spoľahnúť.

**Rozvrh:**

* 5:00 - 5:30: Občerstvenie a networking
* 5:30 - 6:30: Prezentácie
* 6:30 - 7:00: Zbaliť a nadviazať kontakty

***

### Predkladatelia

\-\-\-

**Randy Olson**
**Názov:** Beyond the Demo: Budovanie spoľahlivej AI s hodnoteniami LLM
**O mne:**
Randy Olson je spoluzakladateľom a CTO Goodeye Labs, kde vytvára nástroje, ktoré pomáhajú tímom vyhodnocovať výstupy AI vo veľkom rozsahu. Má doktorát z informatiky a viac ako 15 rokov praktických skúseností v oblasti softvérového inžinierstva, strojového učenia, výpočtovej biológie, dátovej vedy a vývoja produktov AI. Jeho práca bola uvedená v New York Times, Wired a FiveThirtyEight, vrátane projektov, ako je výpočet optimálnych ciest a analýza trendov vo veľkom meradle. Vytvoril tiež široko používané nástroje s otvoreným zdrojovým kódom, ako je TPOT, knižnica automatického strojového učenia. V súčasnosti sa sústreďuje na riešenie problému, ktorý videl v každom tíme, s ktorým pracoval: na zvýšenie spoľahlivosti a dôveryhodnosti systémov AI v produkčných prostrediach.
**Popis rozhovoru:**
Hodnotenia LLM (evals) sa stali jednou z najdiskutovanejších tém v inžinierstve AI, ale pre mnohé tímy zostávajú abstraktné alebo zastrašujúce. Táto prednáška obmedzuje hluk a stáva sa praktickou. Čo sú hodnotenia LLM, prečo by vás to malo zaujímať a ako ich vlastne implementujete? Začnem vysvetlením, prečo sú hodnotenia nevyhnutné, najmä keď sa AI presúva z ukážok na produkčné systémy, kde záleží na kvalite a konzistencii. Pozrieme sa na prostredie hodnotenia vrátane pevných rámcov s otvoreným zdrojom, ako sú DeepEval a Verdict, ktoré môžete začať používať už dnes. Potom prejdem praktickým príkladom pomocou Truesight, hodnotiacej platformy, ktorú som vytvoril v Goodeye Labs, aby som ukázal, ako nastavenie a prevádzkovanie hodnotení vyzerá v praxi. Či už ste inžinier umelej inteligencie pri odosielaní modelov, produktový manažér definujúci ukazovatele kvality alebo ktokoľvek, kto pracuje priamo v priestore AI, odídete s jasným pochopením toho, ako začať, s rozpočtom alebo s rozpočtom.

**Zapoj sa:**

* **Predstavte svoju prácu na budúcom podujatí**: Napíšte nám na [[email protected]](http://mailto:[email protected]/), aby ste prediskutovali zdieľanie svojho projektu alebo postrehov
* **Poskytnite spätnú väzbu**: Pomôžte formovať našu komunitu zdieľaním svojich nápadov a návrhov
* **Sponzorujte podujatie**: [Kontaktujte nás](https://www.portlandai.engineer/sponsorship), ak chcete prediskutovať možnosti partnerstva

Ak chcete získať ďalšie informácie a pripojiť sa k našej komunite, navštívte [portlandai.engineer](https://portlandai.engineer/)
**Ďakujeme našim úžasným sponzorom**
[Experiment Portland Incubator](https://www.piepdx.com/) (PIE)
[Silicon Florist](https://siliconflorist.com/)
[AlteredCraft](https://alteredcraft.com)
[O'Reilly](https://www.oreilly.com/)
[Nástroj](https://www.instrument.com/)