Portland AI Engineers January Meeting

В этом месяце у нас пройдут подробные технические презентации от разработчиков искусственного интеллекта, которым нужны отзывы и различные точки зрения, на которые всегда можно положиться на наше удивительное сообщество.

**Расписание:**

* 5:00–5:30: Закуски и общение.
* 5:30 – 6:30: Презентации
* 6:30–7:00: Подведение итогов и общение.

***

### Докладчики

\-\-\-

**Рэнди Олсон**
**Название:** За пределами демонстрации: создание надежного искусственного интеллекта с помощью оценок LLM
**О себе:**
Рэнди Олсон — соучредитель и технический директор Goodeye Labs, где он создает инструменты, помогающие командам оценивать результаты ИИ в масштабе. Он имеет докторскую степень в области компьютерных наук и более 15 лет практического опыта в области разработки программного обеспечения, машинного обучения, вычислительной биологии, науки о данных и разработки продуктов искусственного интеллекта. Его работа была освещена в New York Times, Wired и FiveThirtyEight, включая такие проекты, как расчет оптимальных поездок и анализ крупномасштабных тенденций данных. Он также создал широко используемые инструменты с открытым исходным кодом, такие как TPOT, автоматизированную библиотеку машинного обучения. Сейчас он сосредоточен на решении проблемы, с которой сталкивается в каждой команде, с которой работал: сделать системы искусственного интеллекта более надежными и заслуживающими доверия в производственных средах.
**Описание разговора:**
Оценки LLM (evals) стали одной из самых обсуждаемых тем в разработке искусственного интеллекта, но для многих команд они остаются абстрактными или пугающими. Этот доклад устраняет шум и становится практическим. Что такое оценки LLM, почему вас это должно волновать и как их на самом деле реализовать? Я начну с объяснения того, почему оценки важны, особенно по мере того, как ИИ переходит от демонстрационных версий к производственным системам, где качество и последовательность имеют значение. Мы рассмотрим среду оценки, включая надежные платформы с открытым исходным кодом, такие как DeepEval и Verdict, которые вы можете начать использовать уже сегодня. Затем я рассмотрю практический пример использования Truesight, оценочной платформы, которую я создавал в Goodeye Labs, чтобы показать, как настройка и запуск оценок выглядят на практике. Независимо от того, являетесь ли вы инженером по моделям отгрузки ИИ, менеджером по продукту, определяющим планки качества, или кем-то, кто работает практически в сфере ИИ, вы уйдете с четким пониманием того, почему оценки важны и с чего начать, с бюджетом или без него.

**Принимайте участие:**

* **Представьте свою работу на будущем мероприятии**: напишите нам по адресу [[email protected]](http://mailto:[email protected]/), чтобы обсудить возможность поделиться своим проектом или идеями.
* **Оставьте отзыв**: помогите сформировать наше сообщество, поделившись своими идеями и предложениями.
* **Спонсируйте мероприятие**: [Свяжитесь с нами](https://www.portlandai.engineer/sponsorship), чтобы обсудить возможности партнерства.

Чтобы получить дополнительную информацию и присоединиться к нашему сообществу, посетите [portlandai.engineer](https://portlandai.engineer/).
**Спасибо нашим замечательным спонсорам**
[Эксперимент с Портлендским инкубатором](https://www.piepdx.com/) (PIE)
[Силиконовый флорист](https://siliconflorist.com/)
[AlteredCraft](https://alteredcraft.com)
[О'Рейли](https://www.oreilly.com/)
[Инструмент](https://www.instrument.com/)