8.-samopisnyy-poiskovyy-agent-na-osnove-/README.md

Самописный поисковый агент на основе deep agents from scratch

Описание

Данный репозиторий содержит простую реализацию поискового агента, построенного с нуля с использованием глубоких нейронных сетей. Агент:

• Преобразует запросы и документы в TF‑IDF векторы.
• Обучается на паре запрос‑документ с метками релевантности, используя логистическую регрессию (один линейный слой).
• Оценивает точность и полноту на тестовом наборе.
• Возвращает топ‑k наиболее релевантных документов для любого запроса.

Технологии

• Python 3.8+
• PyTorch
• scikit‑learn
• NumPy

Установка

# Клонируйте репозиторий
git clone https://git.brojs.ru/kuzakhmetovartur/8.-samopisnyy-poiskovyy-agent-na-osnove.git
cd 8.-samopisnyy-poiskovyy-agent-na-osnove

# Создайте виртуальное окружение (рекомендуется)
python -m venv venv
source venv/bin/activate   # Windows: venv\Scripts\activate

# Установите зависимости
pip install -r requirements.txt

requirements.txt содержит:

torch>=1.7.0
scikit-learn>=0.24
numpy>=1.19

Использование

Демонстрация

python src/index.py

Вы увидите вывод обучения, оценку точности/полноты и пример поиска.

Интеграция в свой проект

from src.index import SearchAgent

documents = [
    "Документ 1",
    "Документ 2",
    # ...
]

agent = SearchAgent(documents)

# Обучаем
queries = ["Какой вопрос?", "Что такое AI?"]
relevance = [[0], [1]]  # индексы релевантных документов
agent.train_agent(queries, relevance, epochs=10)

# Оцениваем
precision, recall = agent.evaluate(queries, relevance)

# Поиск
results = agent.search("Новый запрос", top_k=3)
for doc, score in results:
    print(f"{score:.4f} - {doc}")

Тесты

Тесты находятся в tests/ (если добавлены). Запуск:

pytest tests/

Ограничения

• Модель использует только один линейный слой, поэтому не может захватывать сложные взаимосвязи.
• Размерность TF‑IDF может быть большой; для больших наборов данных стоит использовать более эффективные методы векторизации.
• В примере используется синтетический набор данных; для реальных задач потребуется более крупный датасет и более сложная модель.

Лицензия

MIT License