AIEC-RAG---/AIEC-RAG/README.md

# AIEC-RAG 智能检索增强生成系统

## 项目简介

AIEC-RAG 是一个基于 LangChain、LangGraph 和 HippoRAG 架构的企业级智能检索增强生成（RAG）系统。该系统专门针对企业知识库设计，提供高质量的智能问答服务，支持复杂的多跳推理和迭代检索。

### 核心特性

- 🚀 **迭代式检索**：基于 LangGraph 的智能迭代检索，自动判断信息充分性
- 🔍 **多跳推理**：支持复杂的知识图谱推理，处理多步骤问题
- 📊 **向量+图谱融合**：结合向量检索和知识图谱的混合检索架构
- 🎯 **智能查询分解**：自动将复杂查询分解为多个子查询并行处理
- 📈 **可观测性**：集成 LangSmith 提供完整的追踪和监控
- 🔧 **灵活配置**：支持提示词模板和参数的动态配置
- 🌐 **生产就绪**：提供 Docker 部署和负载均衡支持

## 系统架构

```
用户查询
    ↓
查询复杂度判断
    ↓
┌─────────────┬──────────────┐
│  简单查询    │   复杂查询     │
│     ↓       │      ↓        │
│  向量检索    │   查询分解     │
│     ↓       │      ↓        │
│  简单回答    │   并行检索     │
└─────────────┤      ↓        │
              │  充分性检查     │
              │    ↓    ↓      │
              │  充分  不充分   │
              │   ↓     ↓      │
              │         子查询  │
              │          ↓     │
              │      迭代检索   │
              └───────┬────────┘
                      ↓
                   最终答案
```

## 快速开始

### 1. 环境要求

- Python 3.8+
- Elasticsearch 8.x（用于向量存储）
- 至少 8GB RAM
- 推荐 GPU（用于嵌入模型，可选）

### 2. 安装依赖

```bash
# 克隆项目
git clone <repository_url>
cd AIEC-RAG

# 创建虚拟环境（推荐）
python -m venv venv
source venv/bin/activate  # Windows: venv\Scripts\activate

# 安装依赖
pip install -r requirements-cpu-full.txt
```

### 3. 配置环境

创建 `.env` 文件并配置以下参数：

```env
# API密钥（使用OneAPI或其他兼容接口）
ONEAPI_KEY=your_api_key_here

# 模型配置
ONEAPI_MODEL=qwen2-7b-instruct        # 主模型
ONEAPI_MODEL_EMBED=text-embedding-v3   # 嵌入模型

# Elasticsearch配置
ELASTICSEARCH_HOST=http://localhost:9200
ELASTICSEARCH_USERNAME=elastic
ELASTICSEARCH_PASSWORD=your_password

# LangSmith配置（可选）
LANGCHAIN_TRACING_V2=false
LANGCHAIN_API_KEY=your_langsmith_key
LANGCHAIN_PROJECT=aiec-rag
```

### 4. 配置提示词（可选）

编辑 `rag_config_production.yaml` 自定义提示词模板：

```yaml
prompt_templates:
  query_decomposition:
    enabled: true
    default_sub_queries: 2
    # template: "自定义提示词..."  # 可选
```

### 5. 启动服务

```bash
# 生产环境启动
python rag_api_server_production.py

# 服务将在 http://localhost:8100 启动
```

## API 使用

### 基础检索

```bash
curl -X POST http://localhost:8100/retrieve \
  -H "Content-Type: application/json" \
  -d '{
    "query": "什么是混沌工程？",
    "mode": "0",
    "save_output": true
  }'
```

### 响应格式

```json
{
  "success": true,
  "query": "什么是混沌工程？",
  "answer": "混沌工程是一种...",
  "supporting_facts": [
    ["段落1标题", "段落1内容"],
    ["段落2标题", "段落2内容"]
  ],
  "supporting_events": [
    ["事件1", "event_id_1"],
    ["事件2", "event_id_2"]
  ],
  "metadata": {
    "iterations": 2,
    "total_passages": 15,
    "confidence": 0.85
  }
}
```

## Docker 部署

### 构建镜像

```bash
docker build -t aiec-rag:latest .
```

### 运行容器

```bash
docker run -d \
  --name aiec-rag \
  -p 8100:8100 \
  -v $(pwd)/.env:/app/.env \
  -v $(pwd)/rag_config_production.yaml:/app/rag_config_production.yaml \
  aiec-rag:latest
```

### Docker Compose（推荐）

```yaml
version: '3.8'
services:
  aiec-rag:
    build: .
    ports:
      - "8100:8100"
    env_file:
      - .env
    volumes:
      - ./rag_config_production.yaml:/app/rag_config_production.yaml
      - ./api_outputs:/app/api_outputs
    restart: unless-stopped
```

## 配置说明

### 检索参数

| 参数 | 说明 | 默认值 |
|-----|------|-------|
| `max_iterations` | 最大迭代次数 | 2 |
| `top_k_events` | 返回的事件数量 | 10 |
| `top_k_passages` | 返回的段落数量 | 3 |
| `confidence_threshold` | 充分性判断阈值 | 0.7 |

### 提示词配置

系统支持6种核心提示词的自定义：

1. **query_complexity_check** - 查询复杂度判断
2. **query_decomposition** - 查询分解
3. **sufficiency_check** - 充分性检查
4. **sub_query_generation** - 子查询生成
5. **simple_answer** - 简单答案生成
6. **final_answer** - 最终答案生成

详见 `rag_config_production.yaml` 配置文件。

## 性能优化

### 1. 缓存策略

- 使用 Elasticsearch 的查询缓存
- LangChain 的嵌入缓存
- 提示词模板缓存

### 2. 并发处理

- 支持并行子查询检索
- 异步处理长时间运行的查询
- 连接池管理

### 3. 资源限制

```python
# 在配置中设置资源限制
max_parallel_retrievals: 2  # 最大并行检索数
request_timeout: 120        # 请求超时（秒）
max_retries: 3             # 最大重试次数
```

## 监控和日志

### LangSmith 集成

设置环境变量启用 LangSmith 追踪：

```env
LANGCHAIN_TRACING_V2=true
LANGCHAIN_API_KEY=your_key
```

### 日志配置

日志文件位于 `api_outputs/` 目录，包含：
- 查询历史
- 性能指标
- 错误日志

## 故障排除

### 常见问题

1. **Elasticsearch 连接失败**
   - 检查 ES 服务是否运行
   - 验证连接参数和认证信息
   - 确认网络连通性

2. **内存不足**
   - 减少 `top_k` 参数值
   - 使用更小的嵌入模型
   - 增加系统内存

3. **响应超时**
   - 调整 `request_timeout` 参数
   - 检查模型响应速度
   - 考虑使用更快的模型

### 调试模式

启用调试模式获取详细日志：

```python
# 在请求中设置
{
  "query": "...",
  "mode": "1"  # 启用调试模式
}
```

## 项目结构

```
AIEC-RAG/
├── atlas_rag/              # HippoRAG核心实现
├── elasticsearch_vectorization/  # ES向量化模块
├── retriver/               # 检索器实现
│   ├── langgraph/         # LangGraph工作流
│   └── langsmith/         # LangSmith集成
├── rag_api_server_production.py  # 生产服务入口
├── rag_config_production.yaml    # 生产配置
├── prompt_loader.py       # 提示词加载器
├── requirements.txt       # 项目依赖
├── Dockerfile            # Docker配置
├── .env.example         # 环境变量示例
└── README.md           # 本文档
```

## 贡献指南

欢迎贡献代码和提出建议！请遵循以下步骤：

1. Fork 本项目
2. 创建特性分支 (`git checkout -b feature/AmazingFeature`)
3. 提交更改 (`git commit -m 'Add some AmazingFeature'`)
4. 推送到分支 (`git push origin feature/AmazingFeature`)
5. 创建 Pull Request

## 许可证

本项目采用 MIT 许可证。详见 [LICENSE](LICENSE) 文件。

## 联系方式

- 项目维护者：[团队名称]
- 邮箱：[contact@example.com]
- 问题反馈：[GitHub Issues](https://github.com/xxx/issues)

## 致谢

- [LangChain](https://github.com/langchain-ai/langchain)
- [LangGraph](https://github.com/langchain-ai/langgraph)
- [HippoRAG](https://github.com/xxx/hipporag)
- [Elasticsearch](https://www.elastic.co/)

---

*最后更新：2024年9月*