Почему я перешел с Python на Go для ML-инференса

После пяти лет разработки ML-систем на Python я столкнулся с классической проблемой: inference latency рос быстрее, чем бизнес-требования. ## Почему Go? Python — отличный язык для прототипирования, но production inference требует: • Низкой задержки (<10ms p99) • Эффективного использования CPU (GIL — bottleneck) • Простого деплоя (single binary) Go решает все три проблемы. ## Архитектура Мы используем ONNX Runtime Go API для запуска моделей. Модель конвертируется из PyTorch → ONNX → оптимизируется с ONNX Runtime. ## Результаты | Метрика | Python | Go | |---------|--------|-----| | p50 latency | 12ms | 3ms | | p99 latency | 45ms | 8ms | | CPU usage | 400% | 120% | | Memory | 2GB | 800MB | ## Не все так просто • Экосистема ML в Go слабее • Нет Jupyter / interactive debugging • Меньше готовых библиотек ## Вывод Для high-throughput inference Go — отличный выбор. Для research и prototyping Python остаётся king.