PyData Prague #35 - Probably unreliable vulnerabilities

Привет, экстракторы Python и уязвимые агенты!

35-я встреча PyData пройдет в **офисах Aisle** (Palác Zlatý kříž, 2-й этаж). Как обычно, переговоры начнутся в 18:30, но мы призываем вас прийти уже в **18:00**, чтобы насладиться возможностью пообщаться и освежиться (чем вы можете продолжать заниматься во время перерыва и после переговоров).

Наша главная цель — создать сообщество вокруг Python и данных и сделать его привлекательным для людей с различными навыками и уровнями опыта.

⚡ Если вы хотите выступить с кратким докладом (до 5 минут, чтобы представить идею, инструмент или результаты, хотя бы в какой-то степени связанные с Python и/или данными), свяжитесь с нами до начала мероприятия или в его начале.

**Чему нас научил однофайловый анализатор безопасности LLM?**
**([Станислав Форт](https://www.linkedin.com/in/stanislav-fort/), Проход)**

Высококачественные исследования безопасности ИИ могут выявить реальные уязвимости в критически важной инфраструктуре. AISLE — один из примеров такого подхода с более высоким уровнем сигнала, результаты которого подтверждены в таких проектах, как OpenSSL и Curl. В то же время низкокачественные отчеты, созданные ИИ, заваливают разработчиков ПО с открытым исходным кодом ложными срабатываниями.

Насколько сложно найти ошибку безопасности? Мы исследуем этот вопрос с помощью наноанализатора — намеренно простого сканера безопасности с открытым исходным кодом. Для многих классов уязвимостей удивительным ядром является не сложная платформа, а целенаправленный вызов LLM, завернутый в правильный рабочий процесс.

Эта простота имеет пределы. Такой подход может упускать из виду очевидные проблемы, вызывать галлюцинации рискованных выводов или давать противоречивые результаты при разных прогонах. Вот почему так важны валидация, сортировка, бенчмаркинг и человеческое суждение, и почему настоящей проблемой является построение надежных процессов на основе ненадежных примитивов.

**Получение достоверного текста, когда PDF-файлы неверны, а распознавание текста не удается**
**([Марсела Брихтова Пиптова](https://www.linkedin.com/in/marcela-brichtov%C3%A1-piptov%C3%A1-b950ba184/), Россум)**

LLM нужен текст в качестве входных данных. Таким образом, прежде чем модель сможет рассуждать о документе, мы должны прочитать текст — шаг, который часто рассматривается как «простая часть» или решенная проблема. Но так ли это?

В этом докладе мы рассмотрим скрытые сложности извлечения текста. Это особенно важно для таких моделей, как T-LLM от Rossum, архитектуры, предназначенной только для кодирования, которая в значительной степени зависит от высококачественного входного сигнала. Вы узнаете, почему транзакционные документы иногда удивительно сложны для распознавания текста, почему не всегда можно просто скопировать и вставить текст из PDF-файла и почему извлечение текста по-прежнему является темой для исследователей Rossum (и нашей команды поддержки клиентов).