DB-GPT：强强联合Langchain-Vicuna的应用实战开源项目，彻底改变与数据库的交互方式-程序员宅基地

技术标签：算法 Langchain langchain HuggingFace AI 数据库 Vicuna

今天看到蚂蚁科技 Magic 开源的DB-GPT项目，觉得创意很好，集成了当前LLM的主流技术，主要如下

Langchain：构建在LLM之上的应用开发框架
HuggingFace: 模型标准，提供大模型管理功能
Vicuna: 一个令GPT-4惊艳的开源聊天机器人，基于LLaMA模型和ShareGPT数据集训练的，能够达到接近ChatGPT/Bard的质量，而且明显优于其它基准模型

本文针对DB-GPT详细了解下的笔记

什么是DB-GPT

DB-GPT ： Revolutionizing Database Interactions with Private LLM Technology

DB-GPT是一个实验性的开源项目，它使用本地化的GPT大型模型与数据和环境进行交互。使用此解决方案，没有数据泄露的风险，数据是100%私密和安全的。

DB-GPT使用FastChat创建了一个庞大的模型操作系统，并提供了一个由Vicuna驱动的大型语言模型。此外，还提供了私有领域知识库问答功能、对其他插件的支持、支持Auto-GPT插件。

DB-GPT愿景是使围绕数据库和llm构建应用程序变得更容易、更方便。

GPT项目可以直接本地部署连接到私有数据库, 进行私有数据处理，目前已支持SQL生成、SQL诊断、数据库知识问答、数据处理等一系列的工作

关键特性

SQL语言功能
- SQL生成
- SQL诊断
私人领域的问答和数据处理
- 知识管理(目前支持多种文档格式:txt, pdf, md, html, doc, ppt和url)
- 数据库知识问答
- 知识嵌入（knowledge Embedding）
插件
- 支持自定义插件执行任务，并原生支持Auto-GPT插件，例如:
  - 自动执行SQL和检索查询结果
  - 自动爬取和学习知识（crawling and learning of knowledge）
知识库的统一矢量存储/索引
- 支持PDF、TXT、Markdown、CSV、DOC、PPT、webl等非结构化数据
支持多个LLMs
- 支持多种大型语言模型，目前支持Vicuna (7b,13b)， ChatGLM-6b (int4, int8)， guanaco(7b,13b,33b)， Gorilla(7b,13b)，llama-2(7b, 13b, 70b)
- TODO: baichuan(7b, 13b)

架构图

具备的能力如下

知识库能力:支持私有领域知识库问答能力
大规模模型管理能力:提供基于FastChat的大型模型操作环境。
统一的数据矢量存储和索引:提供统一的方式来存储和索引各种数据类型
连接模块:用于连接不同模块和数据源，实现数据流和交互
代理和插件:提供代理和插件机制，允许用户自定义和增强系统的行为
提示生成和优化:自动生成高质量的提示并进行优化，提高系统响应效率
多平台产品接口:支持web、移动、桌面等多种客户端产品。

子模块：

DB-GPT-Hub Text-to-SQL parsing with LLMs
DB-GPT-Plugins DB-GPT Plugins, Can run autogpt plugin directly
DB-GPT-Web ChatUI for DB-GPT

整个知识库的处理过程，可参考如下：
在这里插入图片描述

使用到的开源项目

这个项目是站在巨人的肩膀上，没有开源社区是无法工作的。

FastChat for providing chat services
vicuna-13b as the base model
langchain tool chain
Auto-GPT universal plugin template
Hugging Face for big model management
Chroma for vector storage
Milvus for distributed vector storage
ChatGLM as the base model
llama_index for enhancing database-related knowledge using in-context learning based on existing knowledge bases.

部署硬件说明

DB-GPT在消费级GPU即可完成部署，具体部署的硬件说明如下:

GPU型号	显存大小	性能
TRX4090	24G	可以流畅的进行对话推理，无卡顿
TRX3090	24G	可以流畅进行对话推理，有卡顿感，但好与V100
V100	16G	可以进行对话推理，有明显卡顿

Roadmap

参考

LLM实战系列(1)—强强联合Langchain-Vicuna应用实战
 LLM实战系列(2) —— DB-GPT阿里云部署指南

本文链接：https://blog.csdn.net/penriver/article/details/131920469

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

51单片机的中断系统_51单片机中断篇-程序员宅基地

文章浏览阅读3.3k次，点赞7次，收藏39次。CPU 执行现行程序的过程中，出现某些急需处理的异常情况或特殊请求，CPU暂时中止现行程序，而转去对异常情况或特殊请求进行处理，处理完毕后再返回现行程序断点处，继续执行原程序。void 函数名(void) interrupt n using m {中断函数内容 //尽量精简 }编译器会把该函数转化为中断函数，表示中断源编号为n，中断源对应一个中断入口地址，而中断入口地址的内容为跳转指令，转入本函数。using m用于指定本函数内部使用的工作寄存器组，m取值为0~3。该修饰符可省略，由编译器自动分配。_51单片机中断篇

oracle项目经验求职,网络工程师简历中的项目经验怎么写-程序员宅基地

文章浏览阅读396次。项目经验(案例一)项目时间：2009-10 - 2009-12项目名称：中驰别克信息化管理整改完善项目描述：项目介绍一，建立中驰别克硬件档案(PC,服务器，网络设备，办公设备等)二，建立中驰别克软件档案(每台PC安装的软件，财务，HR，OA，专用系统等)三，能过建立的档案对中驰别克信息化办公环境优化(合理使用ADSL宽带资源，对域进行调整，对文件服务器进行优化，对共享打印机进行调整)四，优化完成后..._网络工程师项目经历

LVS四层负载均衡集群-程序员宅基地

文章浏览阅读1k次，点赞31次，收藏30次。LVS：Linux Virtual Server，负载调度器，内核集成，阿里的四层SLB(Server Load Balance)是基于LVS+keepalived实现。NATTUNDR优点端口转换WAN性能最好缺点性能瓶颈服务器支持隧道模式不支持跨网段真实服务器要求anyTunneling支持网络private（私网）LAN/WAN（私网/公网）LAN（私网）真实服务器数量High (100)High (100)真实服务器网关lvs内网地址。

「技术综述」一文道尽传统图像降噪方法_噪声很大的图片可以降噪吗-程序员宅基地

文章浏览阅读899次。https://www.toutiao.com/a6713171323893318151/作者 | 黄小邪/言有三编辑 | 黄小邪/言有三图像预处理算法的好坏直接关系到后续图像处理的效果，如图像分割、目标识别、边缘提取等，为了获取高质量的数字图像，很多时候都需要对图像进行降噪处理，尽可能的保持原始信息完整性（即主要特征）的同时，又能够去除信号中无用的信息。并且，降噪还引出了一..._噪声很大的图片可以降噪吗

Effective Java 【对于所有对象都通用的方法】第13条谨慎地覆盖clone_为继承设计类有两种选择,但无论选择其中的-程序员宅基地

文章浏览阅读152次。目录谨慎地覆盖cloneCloneable接口并没有包含任何方法，那么它到底有什么作用呢？Object类中的clone()方法如何重写好一个clone()方法1.对于数组类型我可以采用clone()方法的递归2.如果对象是非数组，建议提供拷贝构造器（copy constructor）或者拷贝工厂（copy factory）3.如果为线程安全的类重写clone()方法4.如果为需要被继承的类重写clone()方法总结谨慎地覆盖cloneCloneable接口地目的是作为对象的一个mixin接口（详见第20_为继承设计类有两种选择,但无论选择其中的

毕业设计基于协同过滤的电影推荐系统-程序员宅基地

文章浏览阅读958次，点赞21次，收藏24次。今天学长向大家分享一个毕业设计项目基于协同过滤的电影推荐系统项目运行效果：项目获取：https://gitee.com/assistant-a/project-sharing21世纪是信息化时代，随着信息技术和网络技术的发展，信息化已经渗透到人们日常生活的各个方面，人们可以随时随地浏览到海量信息，但是这些大量信息千差万别，需要费事费力的筛选、甄别自己喜欢或者感兴趣的数据。对网络电影服务来说，需要用到优秀的协同过滤推荐功能去辅助整个系统。系统基于Python技术，使用UML建模，采用Django框架组合进行设

随便推点

你想要的10G SFP+光模块大全都在这里-程序员宅基地

文章浏览阅读614次。10G SFP+光模块被广泛应用于10G以太网中，在下一代移动网络、固定接入网、城域网、以及数据中心等领域非常常见。下面易天光通信（ETU-LINK）就为大家一一盘点下10G SFP+光模块都有哪些吧。一、10G SFP+双纤光模块10G SFP+双纤光模块是一种常规的光模块，有两个LC光纤接口，传输距离最远可达100公里，常用的10G SFP+双纤光模块有10G SFP+ SR、10G SFP+ LR，其中10G SFP+ SR的传输距离为300米，10G SFP+ LR的传输距离为10公里。_10g sfp+

计算机毕业设计Node.js+Vue基于Web美食网站设计(程序+源码+LW+部署)_基于vue美食网站源码-程序员宅基地

文章浏览阅读239次。该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：项目技术：Express框架 + Node.js+ Vue 等等组成，B/S模式 +Vscode管理+前后端分离等等。环境需要1.运行环境：最好是Nodejs最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发环境：Vscode或HbuilderX都可以。推荐HbuilderX;3.mysql环境：建议是用5.7版本均可4.硬件环境：windows 7/8/10 1G内存以上；_基于vue美食网站源码