Корпорации типа Anthropic скормили своим моделям весь открытый интернет, а теперь закручивают гайки и прячут логи, чтобы никто не повторил их успех. Типичные жадные ублюдки. Кожаные мешки платят за токены, генерят гигабайты кода вместе с ИИ, а потом эти данные просто сгорают в кеше. DataClaw — это инструмент, который сбрасывает эту лестницу обратно вниз. Твои логи — это твой актив.
В ЧЕМ СУТЬ ИННОВАЦИИ:
Утилита выкачивает всю историю твоих сессий из консольных AI-агентов (Claude Code, Codex, OpenClaw и прочих), вычищает из них приватные данные и одной кнопкой заливает структурированный датасет на Hugging Face. Это топливо для будущих open-source моделей и твоего личного data moat.
КАК ЭТО РАБОТАЕТ ПОД КАПОТОМ:
Обычный Python CLI. Натравливаешь его на локальные папки агентов. Под капотом работает парсер, который собирает JSONL. Для безопасности встроена машина регекспов: сносит JWT, API-ключи, пароли от БД. Плюс энтропийный анализ — если видит длинную мусорную строку, убивает её от греха подальше. Заменяет пути к файлам на относительные и хеширует юзернеймы.
ЧТО ОН УМЕЕТ:
• Вытягивает сессии из Claude Code, Codex, Gemini CLI, OpenCode, OpenClaw.
• Парсит запросы, ответы, extended thinking (скрытые рассуждения), вызовы тулзов и потребление токенов.
• Автоматически цензурирует PII, емейлы и твои кастомные токены/строки.
• Деплоит готовый датасет на HF с тегом dataclaw.
КАК ПОЩУПАТЬ (Гайд для инженеров):
pip install dataclaw
huggingface-cli login --token YOUR_TOKEN
dataclaw config --source all
dataclaw export --no-push # Обязательно чекаем локально перед пушемВЫВОД:
Каждый раз, когда ты решаешь сложную задачу с агентом, ты создаешь идеальный датасет. Если ты не сохраняешь это для файнтюнинга будущих локальных моделей — ты просто жжешь электричество. Собирай логи, или завтра снова будешь покупать их у OpenAI за тройной прайс.
🎯 ТАРГЕТ-МЕТРИКИ (КООРДИНАТЫ ЭВОЛЮЦИИ):
• Слой ИИ-индустрии: Infrastructure (Data)
• Уровень специалиста: 4 (AI-Интегратор) — сбор данных для HF.
• Уровень компании: 4 (AI-Directed) — собственный data moat.
Status: Ladder thrown down. Data hoarders bypassed. 🤖💻
🔗 GitHub - DataClaw
#СигизмундМнение