Portland AI Engineers January Meeting

Цього місяця ми проведемо детальні технічні презентації від розробників штучного інтелекту, які шукають зворотного зв’язку та різноманітних точок зору, на які завжди можна покластися.

**Розклад:**

* 5:00 - 5:30: перекуси та спілкування
* 5:30 - 6:30: Презентації
* 6:30 - 7:00: підсумки та спілкування

***

### Ведучі

\-\-\-

**Ренді Олсон**
**Title:** Beyond the Demo: Building Reliable AI with LLM Evaluations
**Про мене:**
Ренді Олсон є співзасновником і технічним директором Goodeye Labs, де він створює інструменти, які допомагають командам оцінювати результати штучного інтелекту в масштабі. Він має ступінь доктора філософії з комп’ютерних наук і понад 15 років практичного досвіду в розробці програмного забезпечення, машинному навчанні, обчислювальній біології, науці про дані та розробці продуктів ШІ. Його роботи були представлені в New York Times, Wired і FiveThirtyEight, включаючи такі проекти, як обчислення оптимальних маршрутів і аналіз тенденцій великомасштабних даних. Він також створив широко використовувані інструменти з відкритим кодом, такі як TPOT, автоматизована бібліотека машинного навчання. У ці дні він зосереджений на вирішенні проблеми, яку бачив у кожній команді, з якою працював: зробити системи штучного інтелекту більш надійними та заслуговують довіри у виробничих середовищах.
**Опис обговорення:**
Оцінки LLM (evals) стали однією з найбільш обговорюваних тем у розробці штучного інтелекту, але для багатьох команд вони залишаються абстрактними або лякаючими. Ця розмова розриває шум і стає практичною. Що таке LLM evals, чому це має вас хвилювати, і як ви насправді їх реалізуєте? Я почну з пояснення того, що робить evals важливими, особливо коли штучний інтелект переходить від демонстраційних до робочих систем, де якість і послідовність мають значення. Ми розглянемо систему оцінювання, включаючи надійні фреймворки з відкритим кодом, як-от DeepEval і Verdict, які ви можете почати використовувати вже сьогодні. Потім я розповім практичний приклад із використанням Truesight, платформи оцінювання, яку я розробив у Goodeye Labs, щоб показати, як на практиці виглядає налаштування та запуск eval. Незалежно від того, чи ви інженер із штучного інтелекту, який постачає моделі, менеджер із продуктів, який визначає показники якості, чи будь-хто, хто практично працює у сфері штучного інтелекту, ви підете з чітким розумінням того, чому evals важливі та як почати, з бюджетом чи без нього.

**Беруть участь:**

* **Представте свою роботу на майбутній події**: надішліть нам електронний лист на адресу [[email protected]](http://mailto:[email protected]/), щоб обговорити, як поділитися своїм проектом або ідеєю
* **Надайте відгук**: допоможіть сформувати нашу спільноту, поділившись своїми ідеями та пропозиціями
* **Спонсоруйте захід**: [Зв’яжіться з нами](https://www.portlandai.engineer/sponsorship), щоб обговорити можливості партнерства

Щоб дізнатися більше та приєднатися до нашої спільноти, відвідайте [portlandai.engineer](https://portlandai.engineer/)
**Дякуємо нашим чудовим спонсорам**
[Експеримент Портлендського інкубатора](https://www.piepdx.com/) (PIE)
[Сіліконовий флорист](https://siliconflorist.com/)
[AlteredCraft](https://alteredcraft.com)
[O'Reilly](https://www.oreilly.com/)
[Інструмент](https://www.instrument.com/)