fix: build_agent/build_llm + inference BroJS, stream API

This commit is contained in:
2026-05-27 08:17:52 +00:00
parent b2fef8b01b
commit a77caec920
+108 -56
View File
@@ -7,93 +7,141 @@ from dotenv import load_dotenv
from langchain.agents import create_agent from langchain.agents import create_agent
from langchain.tools import tool from langchain.tools import tool
from langchain_openai import ChatOpenAI from langchain_openai import ChatOpenAI
from pydantic import SecretStr
load_dotenv() load_dotenv()
llm = ChatOpenAI( BROJS_INFERENCE_URL = "https://platform.brojs.ru/jrnl-bh/api/inference/v1"
model=os.getenv("OPENAI_MODEL", "openai/gpt-oss-20b:free"), DEFAULT_MODEL = "openai/gpt-oss-20b:free"
base_url=os.getenv("OPENAI_BASE_URL", "https://openrouter.ai/api/v1"), STEP_SEPARATOR = "\n --- --- --- \n"
api_key=SecretStr(os.getenv("OPENAI_API_KEY", "fake")),
temperature=0.7, DEFAULT_QUESTION = (
"Помоги составить список покупок: молоко, хлеб, яблоки. Я нахожусь в Казани."
) )
step = 1
def _api_key() -> str:
return (
os.getenv("OPENAI_API_KEY")
or os.getenv("JOURNAL_MCP_PAT")
or os.getenv("JOURNAL_TOKEN")
or ""
)
@tool def _base_url() -> str:
def get_price(product: str, city: str) -> str: if os.getenv("OPENAI_BASE_URL"):
"""Узнать примерную цену продукта в указанном городе. Возвращает строку таблицы.""" return os.environ["OPENAI_BASE_URL"]
price_agent = create_agent( if os.getenv("OPENAI_API_KEY"):
return os.getenv("OPENROUTER_BASE_URL", "https://openrouter.ai/api/v1")
return BROJS_INFERENCE_URL
def _model() -> str:
return os.getenv("OPENAI_MODEL") or os.getenv("OPENROUTER_MODEL") or DEFAULT_MODEL
def build_llm() -> ChatOpenAI:
return ChatOpenAI(
model=_model(),
base_url=_base_url(),
api_key=_api_key(),
temperature=0.7,
)
def _extract_table(text: str) -> str:
lines = [line for line in text.splitlines() if "|" in line]
if lines:
return "\n".join(lines)
return text.strip()
def _build_price_subagent(llm: ChatOpenAI):
return create_agent(
model=llm, model=llm,
system_prompt=( system_prompt=(
"Ты эксперт по розничным ценам в России. " "Ты аналитик цен на продукты питания. "
"Ответ — одна строка таблицы: | Продукт | Цена (руб.) | Магазин |" "По названию продукта и городу оцени реалистичную цену в рублях. "
"Ответь ТОЛЬКО одной строкой markdown-таблицы:\n"
"| Продукт | Цена (руб.) | Магазин |"
), ),
) )
result = price_agent.invoke(
{
"messages": [ def make_get_price_tool(llm: ChatOpenAI):
{ price_subagent = _build_price_subagent(llm)
"role": "human",
"content": ( @tool
f"Какая примерная цена на «{product}» в городе {city}? " def get_price(product: str, city: str) -> str:
"Верни строку | Продукт | Цена (руб.) | Магазин |" """Возвращает примерную цену продукта в указанном городе.
),
} Args:
] product: название продукта (молоко, хлеб, яблоки и т.д.)
} city: город покупателя
"""
prompt = (
f"Город: {city}. Продукт: {product}. "
"Верни одну строку таблицы с ценой и магазином."
) )
return result["messages"][-1].content result = price_subagent.invoke(
{"messages": [{"role": "human", "content": prompt}]}
)
last = result["messages"][-1]
content = getattr(last, "content", str(last))
return _extract_table(content)
return get_price
shopping_agent = create_agent( def build_agent(llm: ChatOpenAI | None = None):
"""Главный агент покупок — точка входа для автопроверки."""
llm = llm or build_llm()
get_price = make_get_price_tool(llm)
return create_agent(
model=llm, model=llm,
tools=[get_price], tools=[get_price],
system_prompt="Ты помощник по планированию покупок", system_prompt="Ты помощник по планированию покупок",
) )
def format_message(message) -> str: def format_message(message) -> str:
"""Текст сообщения или вызов инструмента.""" """Текст сообщения или вызов инструмента."""
if message.content: content = getattr(message, "content", None)
return str(message.content) if content:
return str(content)
tool_calls = getattr(message, "tool_calls", None) or [] tool_calls = getattr(message, "tool_calls", None) or []
if tool_calls: if tool_calls:
tc = tool_calls[0] call = tool_calls[0]
name = tc.get("name") if isinstance(tc, dict) else getattr(tc, "name", "?") name = call.get("name") if isinstance(call, dict) else getattr(call, "name", "")
args = tc.get("args") if isinstance(tc, dict) else getattr(tc, "args", {}) args = call.get("args") if isinstance(call, dict) else getattr(call, "args", {})
return f"{name}({args})" return f"{name}({args})"
return str(message) return str(message)
def format_chunk_message(chunk_data: tuple) -> None: def run_shopping_assistant_stream(
"""Потоковый вывод токенов с разделителем при смене шага.""" agent=None,
global step question: str = DEFAULT_QUESTION,
message, meta = chunk_data ) -> None:
current_step = meta.get("langgraph_step", step) """Потоковый запуск агента (messages + updates)."""
agent = agent or build_agent()
if current_step != step: stream = agent.stream(
step = current_step
print("\n --- --- --- \n")
if message.content:
print(message.content, end="", flush=True)
def main() -> None:
global step
step = 1
question = (
"Помоги составить список покупок: молоко, хлеб, яблоки. Я нахожусь в Казани."
)
stream = shopping_agent.stream(
{"messages": [{"role": "human", "content": question}]}, {"messages": [{"role": "human", "content": question}]},
stream_mode=["messages", "updates"], stream_mode=["messages", "updates"],
) )
step = 1
def format_chunk_message(chunk_data: tuple) -> None:
nonlocal step
message, meta = chunk_data
graph_step = meta.get("langgraph_step", step)
if graph_step != step:
step = graph_step
print(STEP_SEPARATOR, end="")
if message.content:
print(message.content, end="", flush=True)
for chunk in stream: for chunk in stream:
chunk_type, chunk_data = chunk chunk_type, chunk_data = chunk
@@ -105,11 +153,15 @@ def main() -> None:
if model_update: if model_update:
last_message = model_update["messages"][-1] last_message = model_update["messages"][-1]
formatted = format_message(last_message) formatted = format_message(last_message)
if formatted: if formatted.strip():
print(formatted) print(formatted)
print() print()
def main() -> None:
run_shopping_assistant_stream()
if __name__ == "__main__": if __name__ == "__main__":
main() main()