fix: build_agent/build_llm + inference BroJS, stream API
This commit is contained in:
@@ -7,93 +7,141 @@ from dotenv import load_dotenv
|
|||||||
from langchain.agents import create_agent
|
from langchain.agents import create_agent
|
||||||
from langchain.tools import tool
|
from langchain.tools import tool
|
||||||
from langchain_openai import ChatOpenAI
|
from langchain_openai import ChatOpenAI
|
||||||
from pydantic import SecretStr
|
|
||||||
|
|
||||||
load_dotenv()
|
load_dotenv()
|
||||||
|
|
||||||
llm = ChatOpenAI(
|
BROJS_INFERENCE_URL = "https://platform.brojs.ru/jrnl-bh/api/inference/v1"
|
||||||
model=os.getenv("OPENAI_MODEL", "openai/gpt-oss-20b:free"),
|
DEFAULT_MODEL = "openai/gpt-oss-20b:free"
|
||||||
base_url=os.getenv("OPENAI_BASE_URL", "https://openrouter.ai/api/v1"),
|
STEP_SEPARATOR = "\n --- --- --- \n"
|
||||||
api_key=SecretStr(os.getenv("OPENAI_API_KEY", "fake")),
|
|
||||||
temperature=0.7,
|
DEFAULT_QUESTION = (
|
||||||
|
"Помоги составить список покупок: молоко, хлеб, яблоки. Я нахожусь в Казани."
|
||||||
)
|
)
|
||||||
|
|
||||||
step = 1
|
|
||||||
|
def _api_key() -> str:
|
||||||
|
return (
|
||||||
|
os.getenv("OPENAI_API_KEY")
|
||||||
|
or os.getenv("JOURNAL_MCP_PAT")
|
||||||
|
or os.getenv("JOURNAL_TOKEN")
|
||||||
|
or ""
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
@tool
|
def _base_url() -> str:
|
||||||
def get_price(product: str, city: str) -> str:
|
if os.getenv("OPENAI_BASE_URL"):
|
||||||
"""Узнать примерную цену продукта в указанном городе. Возвращает строку таблицы."""
|
return os.environ["OPENAI_BASE_URL"]
|
||||||
price_agent = create_agent(
|
if os.getenv("OPENAI_API_KEY"):
|
||||||
|
return os.getenv("OPENROUTER_BASE_URL", "https://openrouter.ai/api/v1")
|
||||||
|
return BROJS_INFERENCE_URL
|
||||||
|
|
||||||
|
|
||||||
|
def _model() -> str:
|
||||||
|
return os.getenv("OPENAI_MODEL") or os.getenv("OPENROUTER_MODEL") or DEFAULT_MODEL
|
||||||
|
|
||||||
|
|
||||||
|
def build_llm() -> ChatOpenAI:
|
||||||
|
return ChatOpenAI(
|
||||||
|
model=_model(),
|
||||||
|
base_url=_base_url(),
|
||||||
|
api_key=_api_key(),
|
||||||
|
temperature=0.7,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def _extract_table(text: str) -> str:
|
||||||
|
lines = [line for line in text.splitlines() if "|" in line]
|
||||||
|
if lines:
|
||||||
|
return "\n".join(lines)
|
||||||
|
return text.strip()
|
||||||
|
|
||||||
|
|
||||||
|
def _build_price_subagent(llm: ChatOpenAI):
|
||||||
|
return create_agent(
|
||||||
model=llm,
|
model=llm,
|
||||||
system_prompt=(
|
system_prompt=(
|
||||||
"Ты эксперт по розничным ценам в России. "
|
"Ты аналитик цен на продукты питания. "
|
||||||
"Ответ — одна строка таблицы: | Продукт | Цена (руб.) | Магазин |"
|
"По названию продукта и городу оцени реалистичную цену в рублях. "
|
||||||
|
"Ответь ТОЛЬКО одной строкой markdown-таблицы:\n"
|
||||||
|
"| Продукт | Цена (руб.) | Магазин |"
|
||||||
),
|
),
|
||||||
)
|
)
|
||||||
result = price_agent.invoke(
|
|
||||||
{
|
|
||||||
"messages": [
|
def make_get_price_tool(llm: ChatOpenAI):
|
||||||
{
|
price_subagent = _build_price_subagent(llm)
|
||||||
"role": "human",
|
|
||||||
"content": (
|
@tool
|
||||||
f"Какая примерная цена на «{product}» в городе {city}? "
|
def get_price(product: str, city: str) -> str:
|
||||||
"Верни строку | Продукт | Цена (руб.) | Магазин |"
|
"""Возвращает примерную цену продукта в указанном городе.
|
||||||
),
|
|
||||||
}
|
Args:
|
||||||
]
|
product: название продукта (молоко, хлеб, яблоки и т.д.)
|
||||||
}
|
city: город покупателя
|
||||||
|
"""
|
||||||
|
prompt = (
|
||||||
|
f"Город: {city}. Продукт: {product}. "
|
||||||
|
"Верни одну строку таблицы с ценой и магазином."
|
||||||
)
|
)
|
||||||
return result["messages"][-1].content
|
result = price_subagent.invoke(
|
||||||
|
{"messages": [{"role": "human", "content": prompt}]}
|
||||||
|
)
|
||||||
|
last = result["messages"][-1]
|
||||||
|
content = getattr(last, "content", str(last))
|
||||||
|
return _extract_table(content)
|
||||||
|
|
||||||
|
return get_price
|
||||||
|
|
||||||
|
|
||||||
shopping_agent = create_agent(
|
def build_agent(llm: ChatOpenAI | None = None):
|
||||||
|
"""Главный агент покупок — точка входа для автопроверки."""
|
||||||
|
llm = llm or build_llm()
|
||||||
|
get_price = make_get_price_tool(llm)
|
||||||
|
return create_agent(
|
||||||
model=llm,
|
model=llm,
|
||||||
tools=[get_price],
|
tools=[get_price],
|
||||||
system_prompt="Ты помощник по планированию покупок",
|
system_prompt="Ты помощник по планированию покупок",
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
def format_message(message) -> str:
|
def format_message(message) -> str:
|
||||||
"""Текст сообщения или вызов инструмента."""
|
"""Текст сообщения или вызов инструмента."""
|
||||||
if message.content:
|
content = getattr(message, "content", None)
|
||||||
return str(message.content)
|
if content:
|
||||||
|
return str(content)
|
||||||
tool_calls = getattr(message, "tool_calls", None) or []
|
tool_calls = getattr(message, "tool_calls", None) or []
|
||||||
if tool_calls:
|
if tool_calls:
|
||||||
tc = tool_calls[0]
|
call = tool_calls[0]
|
||||||
name = tc.get("name") if isinstance(tc, dict) else getattr(tc, "name", "?")
|
name = call.get("name") if isinstance(call, dict) else getattr(call, "name", "")
|
||||||
args = tc.get("args") if isinstance(tc, dict) else getattr(tc, "args", {})
|
args = call.get("args") if isinstance(call, dict) else getattr(call, "args", {})
|
||||||
return f"{name}({args})"
|
return f"{name}({args})"
|
||||||
return str(message)
|
return str(message)
|
||||||
|
|
||||||
|
|
||||||
def format_chunk_message(chunk_data: tuple) -> None:
|
def run_shopping_assistant_stream(
|
||||||
"""Потоковый вывод токенов с разделителем при смене шага."""
|
agent=None,
|
||||||
global step
|
question: str = DEFAULT_QUESTION,
|
||||||
message, meta = chunk_data
|
) -> None:
|
||||||
current_step = meta.get("langgraph_step", step)
|
"""Потоковый запуск агента (messages + updates)."""
|
||||||
|
agent = agent or build_agent()
|
||||||
|
|
||||||
if current_step != step:
|
stream = agent.stream(
|
||||||
step = current_step
|
|
||||||
print("\n --- --- --- \n")
|
|
||||||
|
|
||||||
if message.content:
|
|
||||||
print(message.content, end="", flush=True)
|
|
||||||
|
|
||||||
|
|
||||||
def main() -> None:
|
|
||||||
global step
|
|
||||||
step = 1
|
|
||||||
|
|
||||||
question = (
|
|
||||||
"Помоги составить список покупок: молоко, хлеб, яблоки. Я нахожусь в Казани."
|
|
||||||
)
|
|
||||||
|
|
||||||
stream = shopping_agent.stream(
|
|
||||||
{"messages": [{"role": "human", "content": question}]},
|
{"messages": [{"role": "human", "content": question}]},
|
||||||
stream_mode=["messages", "updates"],
|
stream_mode=["messages", "updates"],
|
||||||
)
|
)
|
||||||
|
|
||||||
|
step = 1
|
||||||
|
|
||||||
|
def format_chunk_message(chunk_data: tuple) -> None:
|
||||||
|
nonlocal step
|
||||||
|
message, meta = chunk_data
|
||||||
|
graph_step = meta.get("langgraph_step", step)
|
||||||
|
if graph_step != step:
|
||||||
|
step = graph_step
|
||||||
|
print(STEP_SEPARATOR, end="")
|
||||||
|
if message.content:
|
||||||
|
print(message.content, end="", flush=True)
|
||||||
|
|
||||||
for chunk in stream:
|
for chunk in stream:
|
||||||
chunk_type, chunk_data = chunk
|
chunk_type, chunk_data = chunk
|
||||||
|
|
||||||
@@ -105,11 +153,15 @@ def main() -> None:
|
|||||||
if model_update:
|
if model_update:
|
||||||
last_message = model_update["messages"][-1]
|
last_message = model_update["messages"][-1]
|
||||||
formatted = format_message(last_message)
|
formatted = format_message(last_message)
|
||||||
if formatted:
|
if formatted.strip():
|
||||||
print(formatted)
|
print(formatted)
|
||||||
|
|
||||||
print()
|
print()
|
||||||
|
|
||||||
|
|
||||||
|
def main() -> None:
|
||||||
|
run_shopping_assistant_stream()
|
||||||
|
|
||||||
|
|
||||||
if __name__ == "__main__":
|
if __name__ == "__main__":
|
||||||
main()
|
main()
|
||||||
|
|||||||
Reference in New Issue
Block a user