路桥数据治理

lingmin_package@163.com 9dd47855ea 文件修改 6 天之前
config 62f5eddf2c markdown数据预处理 1 月之前
docker 62f5eddf2c markdown数据预处理 1 月之前
file_processors 9dd47855ea 文件修改 6 天之前
foundation 62f5eddf2c markdown数据预处理 1 月之前
server 6953548b32 数据治理代码 2 月之前
test 5c7dd87a52 删除文件 1 月之前
views 62f5eddf2c markdown数据预处理 1 月之前
.gitignore 6953548b32 数据治理代码 2 月之前
Dockerfile 6953548b32 数据治理代码 2 月之前
README.md 402b22c4b4 删除错误的 1 月之前
gunicorn_config.py 6953548b32 数据治理代码 2 月之前
requirements.txt 6953548b32 数据治理代码 2 月之前
run.sh 6953548b32 数据治理代码 2 月之前

README.md

LQDataGovernance 数据治理服务

#### 环境安装

  • pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

    后端启动服务

    • cd LQDataGovernance
    • uvicorn server.app:app --port=8010 --host=0.0.0.0
    • gunicorn -c gunicorn_config.py server.app:app 多进程启动

pip install pdfplumber -i https://mirrors.aliyun.com/pypi/simple/

文档处理

pip install PyPDF2 python-docx langchain-text-splitter -i https://mirrors.aliyun.com/pypi/simple/

### PostgreSQL 数据库操作测试

sentence-transformers

pip install psycopg2-binary pgvector -i https://mirrors.aliyun.com/pypi/simple/
pip install pymilvus sentence-transformers 

向量数据库 milvus

测试接口

#### 生成模型接口

- chat
    http://localhost:8010/test/data/governance
 {
  "config": {
      "session_id":"222"
  },
  "input": "本项目共设3个预制场:1#预制场位于连接线LK5+600填方区,负责70片T梁预制;2#预制场位于A匝道AK0+273挖方路基,负责555片T梁;3#预制场位于E匝道EK0+000挖方区,负责144片T梁。各预制场均配备龙门吊、型钢台座、智能喷淋养护系统等设备,满足不同梁型的预制需求。"
}

{\n  \"system\": \"你是一个施工方案业务编写专家!\",\n  \"instruction\": \"请根据提供的预制场信息,总结各预制场的分布及主要任务。\",\n  \"input\": \"本项目共设3个预制场:1#预制场位于连接线LK5+600填方区,负责70片T梁预制;2#预制场位于A匝道AK0+273挖方路基,负责555片T梁;3#预制场位于E匝道EK0+000挖方区,负责144片T梁。各预制场均配备龙门吊、型钢台座、智能喷淋养护系统等设备,满足不同梁型的预制需求。\",\n  \"output\": \"本项目共设置3个预制场:\\n1. 1#预制场位于连接线LK5+600填方区,主要负责70片T梁的预制;\\n2. 2#预制场位于A匝道AK0+273挖方路基,主要负责555片T梁的预制;\\n3. 3#预制场位于E匝道EK0+000挖方区,主要负责144片T梁的预制。\\n各预制场均配备了龙门吊、型钢台座和智能喷淋养护系统等设备,能够满足不同梁型的预制需求。\"\n}