Stream-режим AI-агента: README.md

2026-05-27 12:30:17 +00:00
parent b55d22b7d8
commit 5db81fb2ee
1 changed files with 107 additions and 0 deletions
@@ -0,0 +1,107 @@
 # Stream‑режим AI‑агента
 ## Описание проекта
 Проект реализует **AI‑агент**, построенный на основе LangGraph и LangChain, который взаимодействует с LLM `llama3` через Ollama и использует эмбеддинги от Nomic.  
 Главная особенность – **потоковый вывод** (`stream`) вместо обычного `.invoke()`. Это позволяет видеть ответ токен за токеном в реальном времени, что особенно полезно при работе с длинными запросами или многократным вызовом инструментов.
 ## Предварительные требования
 | Компонент | Версия / Минимальные требования | Как установить |
 |-----------|---------------------------------|----------------|
 | **Python** | 3.10+ (рекомендуется 3.11) | `python -m venv .venv && source .venv/bin/activate` |
 | **Ollama** | Любая версия, поддерживающая `llama3` | [Официальная инструкция](https://ollama.com/download) |
 | **LLM‑модель** (`llama3`) | Доступна в Ollama | `ollama pull llama3` |
 | **Qdrant** (необязательно, если используете внешнее хранилище) | Любая версия | `docker run -p 6333:6333 qdrant/qdrant` |
 > ⚠️ Если вы не планируете хранить состояние в Qdrant, можно использовать встроенный `MemorySaver`.
 ## Установка
 ```bash
 # Клонируйте репозиторий (или скачайте файлы)
 git clone https://github.com/your-username/stream-ai-agent.git
 cd stream-ai-agent
 # Создайте и активируйте виртуальное окружение
 python -m venv .venv
 source .venv/bin/activate   # Windows: .\.venv\Scripts\activate
 # Установите зависимости
 pip install -r requirements.txt
 ```
 `requirements.txt` содержит:
 ```text
 langgraph==0.1.*
 langchain==0.2.*
 langchain-ollama==0.0.*
 nomic-embed-text==0.3.*
 python-dotenv==1.0.*
 ```
 ## Запуск
 ### 1. Инициализация агента (файл `agent.py`)
 ```bash
 # Убедитесь, что переменная окружения OLLAMA_MODEL установлена (по умолчанию "llama3")
 export OLLAMA_MODEL=llama3   # Linux/macOS
 set OLLAMA_MODEL=llama3      # Windows
 python agent.py
 ```
 > Внутри `agent.py` реализован потоковый вывод:  
 > ```python
 > for chunk in graph.stream(state):
 >     print(chunk, end="", flush=True)
 > ```
 ### 2. Тестирование с примером запроса
 ```bash
 # Запускаем скрипт и вводим запрос вручную
 python agent.py
 ```
 Пример ввода:
 ```
 User: Расскажи мне о последних достижениях в области квантовых вычислений.
 ```
 Вывод будет появляться токен за токеном, пока модель генерирует ответ.
 ## Пример использования
 ```python
 from langgraph.graph import StateGraph, START
 from langchain_ollama import ChatOllama
 from nomic_embed_text import NomicEmbedText
 from langgraph.prebuilt.tool_executor import ToolExecutorNode
 from langgraph.checkpoint.memory import MemorySaver
 # Инициализация LLM и эмбеддингов
 llm = ChatOllama(model=os.getenv("OLLAMA_MODEL", "llama3"))
 embedder = NomicEmbedText()
 # Создание графа с потоковым выводом
 graph = StateGraph()
 graph.add_node("agent_executor", ToolExecutorNode(llm=llm, tools=[]))
 graph.set_entry_point(START)
 graph.set_finish_point("agent_executor")
 state = {"messages": [HumanMessage(content="Привет!")]}
 # Потоковый вывод
 for chunk in graph.stream(state):
    print(chunk, end="", flush=True)
 ```
 > В реальном проекте вы можете подключить собственные инструменты (API‑вызыватели, базы знаний и т.д.) через `ToolExecutorNode`.
 ## Лицензия
 MIT © 2026.