Добавлен client.py
This commit is contained in:
@@ -1,120 +1,71 @@
|
|||||||
# client.py
|
# client.py
|
||||||
|
|
||||||
"""
|
"""
|
||||||
Интерактивный CLI для LangChain‑агента с потоковым выводом.
|
Интерактивный CLI для LangChain‑агента, работающего в режиме stream.
|
||||||
Используем только стек из условия:
|
|
||||||
- langchain.agents.create_agent
|
|
||||||
- langchain.tools.tool
|
|
||||||
- langchain_ollama.ChatOllama
|
|
||||||
- rich.print (rprint)
|
|
||||||
"""
|
"""
|
||||||
|
|
||||||
from langchain.agents import create_agent
|
from langchain.agents import create_agent # обязательный стек
|
||||||
from langchain.tools import tool
|
from langchain.tools import tool # обязательный стек
|
||||||
from langchain_ollama import ChatOllama
|
from rich import print as rprint # обязательный стек
|
||||||
from rich import print as rprint
|
|
||||||
|
|
||||||
# ------------------------------------------------------------------
|
# ------------------------------------------------------------------
|
||||||
# 1. Определяем LLM‑обёртку – Ollama
|
# Определяем простейший инструмент (для демонстрации)
|
||||||
# ------------------------------------------------------------------
|
# ------------------------------------------------------------------
|
||||||
llm = ChatOllama(model="llama3") # модель, которую можно заменить
|
@tool("echo")
|
||||||
|
def echo_tool(input: str) -> str:
|
||||||
# ------------------------------------------------------------------
|
|
||||||
# 2. Создаём инструмент get_price
|
|
||||||
# В реальном проекте он бы вызывал подагент или API,
|
|
||||||
# здесь просто возвращаем фиктивную таблицу.
|
|
||||||
# ------------------------------------------------------------------
|
|
||||||
@tool("get_price", "Получить цену товара в указанном городе")
|
|
||||||
def get_price(product: str, city: str) -> str:
|
|
||||||
"""
|
"""
|
||||||
Возвращает таблицу с ценой продукта в заданном городе.
|
Возвращает введённую строку без изменений.
|
||||||
"""
|
"""
|
||||||
# В реальном коде здесь могла бы быть логика обращения к API
|
return input
|
||||||
return f"| Продукт | Цена (руб.) | Магазин |\n| {product} | 89 | Магнит |"
|
|
||||||
|
|
||||||
# ------------------------------------------------------------------
|
# ------------------------------------------------------------------
|
||||||
# 3. Создаём агента, который использует LLM и инструмент get_price
|
# Создаём агента с одним инструментом
|
||||||
# ------------------------------------------------------------------
|
# ------------------------------------------------------------------
|
||||||
agent = create_agent(
|
agent = create_agent(
|
||||||
llm=llm,
|
tools=[echo_tool], # список доступных инструментов
|
||||||
tools=[get_price],
|
verbose=True, # включаем вывод логов (необязательно)
|
||||||
verbose=False, # будем выводить вручную
|
|
||||||
)
|
)
|
||||||
|
|
||||||
# ------------------------------------------------------------------
|
# ------------------------------------------------------------------
|
||||||
# 4. Функции форматирования чанков
|
# Основной цикл CLI
|
||||||
# ------------------------------------------------------------------
|
# ------------------------------------------------------------------
|
||||||
def format_message(message) -> str:
|
def main() -> None:
|
||||||
"""
|
"""
|
||||||
Форматируем сообщение для вывода.
|
Запускает бесконечный цикл чтения пользовательского ввода и
|
||||||
Если в сообщении есть content – возвращаем его,
|
передаёт его агенту в режиме stream. Ответы печатаются токен за токеном.
|
||||||
иначе (tool call) формируем строку вызова инструмента.
|
|
||||||
"""
|
"""
|
||||||
if message.content:
|
rprint("[bold green]LangChain Stream‑Agent CLI[/bold green]")
|
||||||
return message.content
|
rprint("Введите сообщение (Ctrl+C для выхода):")
|
||||||
# Предполагаем, что tool_calls содержит один элемент
|
|
||||||
tc = message.tool_calls[0]
|
|
||||||
name = tc["name"]
|
|
||||||
args = tc.get("args", {})
|
|
||||||
return f"{name}({args})"
|
|
||||||
|
|
||||||
def format_chunk_message(chunk):
|
try:
|
||||||
"""
|
while True:
|
||||||
Выводим токен текста в режиме stream.
|
# Читаем ввод пользователя
|
||||||
При смене шага выводим разделитель.
|
user_input = input("> ").strip()
|
||||||
"""
|
if not user_input:
|
||||||
global step
|
continue
|
||||||
message, meta = chunk
|
|
||||||
if meta["langgraph_step"] != step:
|
|
||||||
step = meta["langgraph_step"]
|
|
||||||
rprint("\n--- --- ---\n")
|
|
||||||
if message.content:
|
|
||||||
# flush=False – чтобы не добавлять перевод строки после каждого токена
|
|
||||||
print(message.content, end="", flush=True)
|
|
||||||
|
|
||||||
# ------------------------------------------------------------------
|
# Формируем запрос к агенту
|
||||||
# 5. Основной цикл CLI
|
stream = agent.stream(
|
||||||
# ------------------------------------------------------------------
|
{"messages": [{"role": "human", "content": user_input}]},
|
||||||
def main():
|
stream_mode=["messages", "updates"],
|
||||||
"""
|
)
|
||||||
Запускаем интерактивный режим: пользователь вводит запрос,
|
|
||||||
агент отвечает в режиме stream.
|
|
||||||
"""
|
|
||||||
rprint("[bold cyan]LangChain Stream‑Agent[/bold cyan]")
|
|
||||||
rprint("Введите ваш вопрос (Ctrl+C для выхода):")
|
|
||||||
while True:
|
|
||||||
try:
|
|
||||||
user_input = input("\n> ")
|
|
||||||
except KeyboardInterrupt:
|
|
||||||
rprint("\n[red]Выход из программы.[/red]")
|
|
||||||
break
|
|
||||||
|
|
||||||
if not user_input.strip():
|
# Перебираем события из потока и выводим их
|
||||||
continue
|
for event in stream:
|
||||||
|
# Событие может быть либо токеном сообщения, либо обновлением состояния
|
||||||
|
if isinstance(event, dict) and "type" in event:
|
||||||
|
# Обновление (например, вызов инструмента)
|
||||||
|
rprint(f"[yellow]Update: {event}[/yellow]")
|
||||||
|
else:
|
||||||
|
# Токен текста
|
||||||
|
rprint(event, end="", flush=True)
|
||||||
|
|
||||||
# Запускаем потоковый вывод
|
# После завершения потока выводим перевод строки
|
||||||
stream = agent.stream(
|
rprint("\n")
|
||||||
{"messages": [{"role": "human", "content": user_input}]},
|
|
||||||
stream_mode=["messages", "updates"],
|
|
||||||
)
|
|
||||||
|
|
||||||
step = 1 # номер текущего шага агента
|
except KeyboardInterrupt:
|
||||||
|
rprint("\n[bold red]Выход из программы.[/bold red]")
|
||||||
|
|
||||||
for chunk in stream:
|
|
||||||
chunk_type, chunk_data = chunk
|
|
||||||
|
|
||||||
if chunk_type == "messages":
|
|
||||||
format_chunk_message(chunk_data)
|
|
||||||
|
|
||||||
elif chunk_type == "updates":
|
|
||||||
# При завершении шага выводим итоговое сообщение
|
|
||||||
model_update = chunk_data.get("model")
|
|
||||||
if model_update:
|
|
||||||
last_msg = model_update["messages"][-1]
|
|
||||||
rprint("\n" + format_message(last_msg))
|
|
||||||
|
|
||||||
# После завершения потока добавляем перевод строки для следующего запроса
|
|
||||||
print()
|
|
||||||
|
|
||||||
if __name__ == "__main__":
|
if __name__ == "__main__":
|
||||||
main()
|
main()
|
||||||
Reference in New Issue
Block a user