Development.Data Science & AI
Усачёв Денис
Сбердевайсы, Москва
Руководитель Python разработки на ML системах
Руководитель Python разработки на ML системах
Тема доклада:
Как прокачать надёжность ML системы
Тезисы доклада:
Всем нам хорошо известно, что одним из аспектов надёжности является тестирование. За годы разработки в индустрии сформировались практики тестирования классических детерминированных сервисов, где мы можем точно предсказать результат выполнения алгоритма/бизнес логики.
А что делать, если ваша система - ML сервис? Результат модели непредсказуем до тех пор пока не передашь на вход данные и не получишь результат. Но даже зная как себя поведёт конкретная модель на конкретном датасете, после дообучения мы попадаем вновь в начальную точку, когда мы не можем предсказать результат модели на известном наборе данных из-за изменившихся весов. Ситуация усугубляется если у вас цепочка моделей, где результат каждой последующей зависит от предыдущей, а значит и ошибка вносимая одной моделью заведомо вносит ошибку в последующие модели.
Как гарантировать бизнесу высокое качество в столь неопределенной среде? Взяв в качестве примера одну из систем виртуального ассистента Салют я расскажу какую эволюцию мы прошли, какие новые приёмы и метрики придумали для того чтобы гарантировать качество ML системы.
О себе:
Привет! Меня зовут Денис, я руководитель Python разработки на ML системах в SberDevices. Занимаюсь развитием виртуальных ассистентов последние 5 лет. Активно продвигаю подходы принятия решения основанных на данных, люблю автоматизировать рутинную работу и создавать большие и сложные системы играючи.
Как прокачать надёжность ML системы
Тезисы доклада:
Всем нам хорошо известно, что одним из аспектов надёжности является тестирование. За годы разработки в индустрии сформировались практики тестирования классических детерминированных сервисов, где мы можем точно предсказать результат выполнения алгоритма/бизнес логики.
А что делать, если ваша система - ML сервис? Результат модели непредсказуем до тех пор пока не передашь на вход данные и не получишь результат. Но даже зная как себя поведёт конкретная модель на конкретном датасете, после дообучения мы попадаем вновь в начальную точку, когда мы не можем предсказать результат модели на известном наборе данных из-за изменившихся весов. Ситуация усугубляется если у вас цепочка моделей, где результат каждой последующей зависит от предыдущей, а значит и ошибка вносимая одной моделью заведомо вносит ошибку в последующие модели.
Как гарантировать бизнесу высокое качество в столь неопределенной среде? Взяв в качестве примера одну из систем виртуального ассистента Салют я расскажу какую эволюцию мы прошли, какие новые приёмы и метрики придумали для того чтобы гарантировать качество ML системы.
О себе:
Привет! Меня зовут Денис, я руководитель Python разработки на ML системах в SberDevices. Занимаюсь развитием виртуальных ассистентов последние 5 лет. Активно продвигаю подходы принятия решения основанных на данных, люблю автоматизировать рутинную работу и создавать большие и сложные системы играючи.