Компания CocoIndex представила первую стабильную версию v1 своего инкрементального ETL-движка для построения данных под агентов длительного действия. Инструмент автоматизирует обработку данных и их мгновенную индексацию в векторные базы или графы знаний, обновляя информацию в реальном времени.
Как только исходные данные меняются, CocoIndex точечно пересчитывает только нужные части индекса, исключая дорогостоящую полную переиндексацию всей базы. Главное изменение в релизе v1 — полный отказ от DSL. Теперь пайплайн описывается обычными асинхронными функциями Python, которые вызывают друг друга. Движок продолжает отслеживать изменения и материализовать целевые состояния, но делает это через нативное Python-API.
Авторы вдохновлялись тезисом Джеффа Дина и Билла Далли с GTC 2026 о том, что агенты работают в 50 раз быстрее человека, но опираются на инструменты, рассчитанные на человеческий темп.
Ночные пересборки индексов становятся проблемой — нужен движок, синхронизирующий производные данные с источником инкрементально. Помимо отказа от DSL, релиз принёс три ключевых изменения. Во-первых, движок использует систему типов Python: PIL.Image, pyarrow.Table, torch.Tensor и любые классы из импортированных библиотек можно передавать в функции напрямую, без обёрток.
Во-вторых, Postgres больше не обязателен: состояние движка хранится в одном локальном файле, хотя Postgres остаётся полноценным таргетом. В-третьих, источники и таргеты создаются во время выполнения: можно монтировать отдельный таргет на каждого тенанта или подключать Kafka-топик по фича-флагу.
Ядро движка остаётся на Rust: горячая логика по детекции и применению изменений реализована там. На уровне Python декоратор подключает функцию к отслеживанию изменений, а отдельный флаг кеширует её результат по хешу аргументов и кода. Контракт управляемых таргетов сохранился: разработчик декларирует, как должна выглядеть таблица, граф или директория, а CocoIndex сам выполняет create/alter/drop для контейнеров и insert/update/delete для содержимого. Примеры пайплайнов, от эмбеддингов кода в LanceDB до сборки графа знаний из разговоров, доступны в репозитории на GitHub.
