Portland AI Engineers January Meeting

Diesen Monat werden wir ausführliche technische Präsentationen von KI-Entwicklern halten, die nach Feedback und vielfältigen Perspektiven suchen, auf die sich unsere großartige Community immer verlassen kann.

**Zeitplan:**

* 17:00 – 17:30 Uhr: Snacks und Networking
* 17:30 - 18:30 Uhr: Präsentationen
* 6:30 – 19:00 Uhr: Zusammenfassung und Networking

***

### Moderatoren

\-\-\-

**Randy Olson**
**Titel:** Jenseits der Demo: Aufbau zuverlässiger KI mit LLM-Bewertungen
**Über mich:**
Randy Olson ist Mitbegründer und CTO von Goodeye Labs, wo er Tools entwickelt, die Teams dabei helfen, KI-Ergebnisse in großem Maßstab zu bewerten. Er hat einen Doktortitel in Informatik und verfügt über mehr als 15 Jahre praktische Erfahrung in den Bereichen Softwareentwicklung, maschinelles Lernen, Computerbiologie, Datenwissenschaft und KI-Produktentwicklung. Seine Arbeiten wurden in der New York Times, Wired und FiveThirtyEight vorgestellt, darunter Projekte wie die Berechnung optimaler Roadtrips und die Analyse groß angelegter Datentrends. Er hat auch weit verbreitete Open-Source-Tools wie TPOT entwickelt, eine automatisierte Bibliothek für maschinelles Lernen. Heutzutage konzentriert er sich auf die Lösung eines Problems, das er in jedem Team sieht, mit dem er zusammengearbeitet hat: KI-Systeme in Produktionsumgebungen zuverlässiger und vertrauenswürdiger zu machen.
**Vortragsbeschreibung:**
LLM-Bewertungen (Evals) sind zu einem der am meisten diskutierten Themen in der KI-Technik geworden, für viele Teams bleiben sie jedoch abstrakt oder einschüchternd. Dieser Vortrag durchdringt den Lärm und wird praktisch. Was sind LLM-Bewertungen, warum sollten Sie sich darum kümmern und wie implementieren Sie sie tatsächlich? Ich erkläre zunächst, was Evaluierungen so wichtig macht, insbesondere wenn KI von Demos zu Produktionssystemen übergeht, bei denen es auf Qualität und Konsistenz ankommt. Wir werfen einen Blick auf die Evaluierungslandschaft, einschließlich solider Open-Source-Frameworks wie DeepEval und Verdict, die Sie noch heute verwenden können. Dann gehe ich ein praktisches Beispiel mit Truesight durch, der Evaluierungsplattform, die ich bei Goodeye Labs entwickelt habe, um zu zeigen, wie das Einrichten und Durchführen von Evaluierungen in der Praxis aussieht. Ganz gleich, ob Sie ein KI-Ingenieur sind, der Modelle versendet, ein Produktmanager, der Qualitätsbalken definiert, oder jemand, der praktisch im KI-Bereich arbeitet, Sie werden mit einem klaren Verständnis dafür zurückkommen, warum Evaluierungen wichtig sind und wie Sie mit oder ohne Budget beginnen können.

**Machen Sie mit:**

* **Präsentieren Sie Ihre Arbeit bei einer zukünftigen Veranstaltung**: Senden Sie uns eine E-Mail an [[email protected]](http://mailto:[email protected]/), um das Teilen Ihres Projekts oder Ihrer Erkenntnisse zu besprechen
* **Feedback geben**: Gestalten Sie unsere Community mit, indem Sie Ihre Ideen und Vorschläge teilen
* **Eine Veranstaltung sponsern**: [Kontaktieren Sie uns](https://www.portlandai.engineer/sponsorship), um Partnerschaftsmöglichkeiten zu besprechen

Weitere Informationen und die Möglichkeit, unserer Community beizutreten, finden Sie unter [portlandai.engineer](https://portlandai.engineer/).
**Vielen Dank an unsere großartigen Sponsoren**
[Portland-Inkubator-Experiment](https://www.piepdx.com/) (PIE)
[Siliconflorist](https://siliconflorist.com/)
[AlteredCraft](https://alteredcraft.com)
[O'Reilly](https://www.oreilly.com/)
[Instrument](https://www.instrument.com/)