SPDB(ZJ)-202409003-关于“浦发银行大模型应用体系建设项目之配套产品采购“供应商征集公告
上海浦东发展银行总行
大模型应用体系建设项目之配套产品采购供应商征集公告
一、 采购名称:大模型应用体系建设项目之配套产品采购
二、 征集时间:2024年9月25日-2024年9月30日
三、 项目需求
本次项目需求包含三个包件,分别是大模型应用体系建设项目之大模型训练与推理平台产品采购、大模型应用体系建设项目之向量数据库产品采购、大模型应用体系建设项目之大模型应用创设平台产品采购,上述产品均需满足信创要求,各供应商可以申报其中一个或多个包件,具体包件在申请中注明。
(一)包件一:大模型应用体系建设项目之大模型训练与推理平台产品采购
本次大模型训练与推理平台产品,产品需满足信创要求,具备大模型数据管理、大模型训练、大模型推理、大模型管理、大模型训推算力资源管理、监控、调度等大模型全生命周期的能力,旨在构建大模型一体化训推管理平台,实现异构算力纳管、大模型资产管理,一站式满足企业训练和使用大模型。具体详细要求如下。
1. 功能需求
(1)数据管理
l 数据本地导入:支持非结构化数据的本地导入;
l 数据存储导入:支持非结构化数据的对象存储导入;
l 数据集管理:支持数据集的查看、编辑、删除、搜索、分类;
l 数据集版本管理:支持数据集版本的查看、编辑、删除;
l 数据导出:支持数据集的对象存储导出。
(2)模型训练
l 任务管理:支持大模型训练任务的启动、暂停、终止、自动重训;
l 断点续训:支持大模型训练任务断点续训,支持配置训练任务的断点续训间隔;
l 低代码微调:支持以低代码的方式进行大模型增量预训练、SFT、Lora微调,支持微调任务资源配置、支持微调参数灵活配置;
l 低代码强化:支持以低代码的模式下进行大模型的RLHF强化学习,支持学习任务资源配置、支持强化学习参数灵活配置;
l Notebook训练:支持Notebook的大模型代码训练、支持相关任务资源配置、支持训练结果镜像打包;
(3)模型服务
l 模型部署:支持大模型镜像一键部署,支持部署资源配置、支持部署参数配置, 支持部署日志的查看;
l 模型调用:支持通过接口调用方式,实现大模型服务的单请求预测、流式预测、批量预测;服务管理:支持大模型服务的创建、查看、筛选、搜索、版本管理;
l 服务监控:支持大模型服务维度、容器维度、集群维度的资源监控;
l 服务日志:支持以副本维度实时查看服务日志信息,支持查看往期服务日志;
l 服务预警:支持查看大模型服务告警信息,配置大模型服务告警策略;
l 在线更新:支持以不停服的方式通过灰度发布或滚动发布的形式发布新版大模型服务;
(4)模型管理
l 模型集成:支持自定义大模型服务的集成;至少支持1个主流商用大模型和2个开源大模型,开源大模型至少包括Qwen2和ChatGLM4;
l 模型共享:支持模型镜像共享、复用;
l 模型管理:支持大模型新增、导入、删除、版本管理、模型血缘记录;
l 模型压缩:通过量化、蒸馏、剪枝、稀疏化等方法在尽量减少精度损失的前提下,降低AI 加速卡资源占用,提高推理速度。
l 模型评测:支持创建模型评估任务并自动计算模型评估效果。
(5)平台管理
l 项目管理:支持以项目维度进行平台资源、数据、权限等内容的划分管理;
l 资源管理:支持多种类型存储的管理和分配。支持数据卷的创建和分配,用于数据隔离和共享;
l 角色权限:支持平台角色的增删改查,配置角色对应的权限。
(6)算力管理
l 支持资源池或租户算力资源配额手动扩缩容。
(7)资源监控
l 支持可视化展示资源池(租户或队列)当前资源消耗;
l 支持可视化展示训练任务和推理任务当前资源消耗;
l 支持可视化展示平台各节点当前资源使用情况。
(8)资源告警
l 支持节点和算力卡层级硬件故障监控告警。
(9)资源调度
l 支持训练和推理任务的优先级调度
l 支持资源池或租户算力隔离及用户之间的资源共享
l 支持训练和推理任务列表查看、日志下载和手动中止
l 支持节点、算力卡和Pod故障自动处理,保障任务持续运行
(10)外部集成
l 提供接口获取正在运行的训练推理任务清单,以及对应任务的资源消耗情况
l 提供接口支持平台、资源池或租户资源使用情况获取和资源配额的管理
l 提供接口获取节点、算力卡的资源使用情况和健康状态
2. 技术需求
(1) 部署需求
l 满足浦发银行信创云(华为HCSO)环境,以及通用云的裸金属、容器部署。
l 需适配浦发银行的基础软件需求(包括但不限于操作系统、中间件、数据库、桌面系统、浏览器等),具体如下:
a. 操作系统:银河麒麟高级服务器操作系统;
b. 中间件:宝兰德;
c. 数据库:GoldenDB;
d. 桌面系统:统信桌面操作系统;
e. 浏览器:360安全浏览器。
(2) 产品性能
在无缓存背景下,支持300个在线用户,页面响应时间在10s内。支撑600亿以上大模型服务,保障首字响应时间在1000毫秒以内,且有效输出达到99%以上。
3. 非功能性需求
(1) 产品服务要求
l 提供7×24×2小时(2小时到场)上门服务;
l 提供专用报修电话;
l 提供一名原厂专署技术客户经理跟踪整个服务事件以及紧急派遣,在客户自定义严重程度为最高的情况,专署技术客户经理提供与电话支持同步的现场故障诊断(需提供原厂专署技术客户经理移动电话、公司电话、公司邮箱);
l 需满足以下评价指标项目的年度服务承诺,也可在此基础上提供更高水平的服务承诺。实际服务承诺,备件更换时间,人员资质数量,备件库等等:
a. 现场响应时间:在2小时内到达现场,比例>=95%;
b. 故障修复时间:支持7×24故障修复,故障修复在24小时内结单,比例>=85%;
c. 同一组件故障的重复维修时间:同一组件在修复后30天内不会发生故障>=95%;
d. 故障诊断的准确性:在日志完整的情况下,1次诊断正确>=85%;
e. 维修规范和流程的合规性:必须保证,比例为100%;
f. 用户满意度:最高级别,比例为>90%。
(2) 增值服务要求
l 提供与周边系统集成对接服务,包括但不限于浦发银行现有模型服务与管理平台、统一身份和访问管理系统、高管信息及数据服务管理平台、通用云管平台、大数据服务平台等,且可以通过API与第三方系统进行集成。
l 提供部署行方大模型训练和推理集成服务,包括但不限于浦发银行已部署使用的开源大模型(Qwen2.0、ChatGLM4),以及浦发银行后续使用的开源及商业大模型。
l 提供增值服务,包括但不限于提供专业培训服务等。
4. 系统安全
(1)数据安全:密码等敏感数据应加密存储和加密传输,屏蔽显示敏感信息。
(2)高危漏洞:系统不存在高危漏洞,包括SQL注入、XSS跨站脚本,木马文件上传、远程命令执行、任意文件下载、越权、暴力破解、短信炸弹等。
(二)包件二:大模型应用体系建设项目之向量数据库产品采购
本次向量数据库产品采购,通过引入商用向量数据库,借助其产品能力,形成统一规范和管理体系以实现多场景下向量数据的存储、管理与检索,支撑后续大模型及知识库的应用场景建设。具体详细要求如下。
1. 产品技术能力需求
(1) 数据库基础能力
l 多维度(2-4096维)向量数据存储、单表多向量字段创建、索引创建、距离计算及查询
l 标量数据、向量数据的常用类型及增删改查的原子性操作
l 半结构化数据类型支持
l 相似距离算法支持
l 数据保留周期管理
l 支持针对数据分区的增删改查
(2) 数据索引支持能力
l 支持标量与向量索引的构建与删除,且向量索引必须支持一种图索引算法
l 支持增量索引功能
(3) 多字段联合主键
l 支持多字段作为联合主键功能,并使用主键字段进行查询
(4) 多场景数据检索能力
l 召回率为100%的向量检索(精确检索)
l 向量与标量过滤的混合检索
l 基于标量主键的查询
l 向量与全文融合检索
(5) 数据导入导出能力
l 支持向量数据的批量与单条数据导入,支持数据批量导出
(6) 高可用及可扩展能力
l 支持数据库高可用架构
l 支持计算或存储能力的动态扩缩容
(7) 权限管理能力
l 具备根据用户/角色进行数据访问权限控制的能力
l 具备支持到表级别的数据访问权限控制
(8) API服务接口支持
l 支持通过访问接口方式,对外提供服务,服务接口须支持数据导入与导出、数据写入与查询、用户管理、权限管理等常用功能
(9) 集群运维管理能力
l 支持集群关键指标监控和存储
l 支持关键核心参数配置化
l 支持故障节点替换或恢复
l 支持数据库版本升级
l 支持输出系统运行关键日志
(10) 大模型生态集成能力
l 支持与主流大模型工具生态集成使用的能力及解决方案
(11) 数据备份恢复能力
l 支持全量与增量数据备份和恢复
l 支持基于时间段的数据恢复
l 支持设置备份周期和频次
(12) 日志审计
l 支持提供完整清晰的审计日志,包括查看所有数据库操作历史日志
(13) 产品性能
l 数据导入性能
在指定的服务器资源配置下,支持面向768维1000万向量和960维100万向量进行导入时,耗时分别不高于1200s和7200s
l 向量检索性能
在指定的服务器资源配置下,支持面向768维1000万向量和960维100万向量,召回率分别为90%、95%、100%时,QPS分别不低于5000、3000、1000
l 带过滤条件检索性能
在指定的服务器资源配置下,支持面向768维1000万向量,通过标量条件分别过滤90%、50%、10%数据时,QPS分别不低于500、800、1000
(14) 产品部署要求
产品支持浦发银行信创云(华为HCSO)环境部署,包含云上裸金属环境、虚拟机环境。
2. 非功能性需求
(1) 公司基本情况
公司规模不低于300人,产品研发人数不低于100人。
(2) 产品的服务支持度
l 售前售后服务的响应时间为7*24小时
l 产品问题技术支持响应不超过1小时,解决时效不超过2小时
l 具备产品知识转移方案(使用手册、教学视频、培训、运维等)
(3) 产品安全
l 高危漏洞:系统不存在高危漏洞,包括SQL注入、XSS跨站脚本,木马文件上传、远程命令执行、任意文件下载、越权、暴力破解、短信炸弹等。
(三)包件三:大模型应用体系建设项目之大模型应用创设平台产品采购
本次大模型应用创设平台产品采购,产品需满足信创要求,支持全业务场景提供标准化大模型应用开发和监控服务,实现对大模型业务场景的组合编排。具体详细要求如下。
1. 功能需求
(1)第三方系统对接
l 对接浦发银行模型服务与管理平台;
l 支持对接开源大模型(至少包括:Qwen2.0、ChatGLM4)、以及其他业内主流商用大模型;
l 对接我行周边系统。
(2)具备应用零代码编排能力,包括但不限于以下功能:
l 具备配置角色指令、提示词优化、推荐问、插件接入、自定义组件接入、配置现有知识库、配置结构化数据库的能力;
l 具备配置敏感词过滤、长期记忆、多轮对话、多工作流接入的能力。
(3)具备应用画布编排能力,包括但不限于以下功能:
l 具备配置大模型节点、知识库节点、数据库节点的能力;
l 具备配置分支器/选择器节点、代码节点的能力;
l 具备配置自定义API节点、循环处理节点的能力。
(4)具备发布管理能力,包括但不限于以下功能:
l 支持智能体发布为H5应用、API;
l 支持发布的智能体可嵌入浦发银行周边系统。
(5)具备用户、角色及日志管理能力,包括但不限于以下功能:
l 用户管理:支持单个及批量增删改查用户、用户组、用户属性;支持自定义用户角色和批量修改。
l 角色管理:支持对平台中已有角色,进行功能权限配置;支持创建自定义角色,进行功能模块的权限分配;支持指定任意角色,可以页面展示这些角色具有哪些功能权限。
l 日志管理:具备记录和管理平台运行中的各种日志信息的能力。
(6)具备智能体调试及用户反馈采集能力,包括但不限于以下功能:
l 单智能体调试可展示完整智能体思维链,包括用户意图识别、总体执行步骤、知识库调用命中知识片段和组件调用输入输出参数;
l 具备智能体批量测试能力,批量导出测试结果的能力;
l 具备用户反馈采集能力,支持用户点赞、点踩等信息反馈。
(7)具备通用插件库管理能力及提供丰富的通用插件,包括但不限于以下功能:
l 提供10个以上的通用插件,并提供定期插件升级服务; 如搜索引擎插件、可视化图表插件、金融计算器插件、单位换算插件等。
2. 技术需求
(1)支持容器化部署,满足浦发银行软硬件及信创要求
l 产品需具备在浦发银行信创云(华为HCSO)环境或通用云的裸金属和容器环境实施部署,提供7*24小时不间断服务;
l 产品涉及操作系统、中间件、桌面系统、浏览器的,需适配行方基础软件,具体要求如下:
a. 操作系统:银河麒麟高级服务器操作系统;
b. 中间件:宝兰德;
c. 数据库:GoldenDB;
d. 桌面系统:统信桌面操作系统;
e. 浏览器:360安全浏览器。
(2)产品性能
支持高并发用户访问,确保平台在30个用户并发情况下操作(如任务编排时),平台正常响应满足智能体应用访问第一年高峰查询量300笔/秒,三年后高峰查询量1,000笔/秒的性能要求。
3. 非功能性需求
(1)产品服务要求
l 提供7×24×2小时(2小时到场)上门服务;
l 提供专用报修电话;
l 提供一名原厂专署技术客户经理跟踪整个服务事件以及紧急派遣,在客户自定义严重程度为最高的情况,专署技术客户经理提供与电话支持同步的现场故障诊断(需提供原厂专署技术客户经理移动电话、公司电话、公司邮箱);
l 需满足以下评价指标项目的年度服务承诺,也可在此基础上提供更高水平的服务承诺。实际服务承诺,备件更换时间,人员资质数量,备件库等等:
a. 现场响应时间:在2小时内到达现场,比例>=95%;
b. 故障修复时间:支持7×24故障修复,故障修复在24小时内结单,比例>=85%;
c. 同一组件故障的重复维修时间:同一组件在修复后30天内不会发生故障>=95%;
d. 故障诊断的准确性:在日志完整的情况下,1次诊断正确>=85%;
e. 维修规范和流程的合规性:必须保证,比例为100%;
f. 用户满意度:最高级别,比例为>90%。
(2)增值服务要求
应承诺完成产品与行方周边系统集成对接,包括但不限于征集方现有模型服务与管理平台、统一身份和访问管理系统、高管信息及数据服务管理平台、云管平台、大数据服务平台等。应承诺完成征集产品与征集方大模型集成对接,包括但不限于浦发银行已部署使用的开源大模型(Qwen2.0、ChatGLM4),以及浦发银行后续使用的开源及商业大模型;
应承诺征集产品中涉及到的安全算子等功能支撑类模型算法,须支持集成部署于浦发银行现有模型服务与管理平台。
可在符合要求的征集产品基础上提供增值服务,包括但不限于提供专业培训服务,提供工程师驻场服务等。
(3)系统安全
l 数据安全:密码等敏感数据应加密存储和加密传输,屏蔽显示敏感信息;
l 高危漏洞:系统不存在高危漏洞,包括SQL注入、XSS跨站脚本,木马文件上传、远程命令执行、任意文件下载、越权、暴力破解、短信炸弹等。
四、 合格服务供应商基本资质要求
(一)包件一:大模型应用体系建设项目之大模型训练与推理平台产品采购
1. 具有中华人民共和国境内独立法人资格的企业,持有工商行政管理部门或市场监督管理部门登记的《营业执照》,且《营业执照》经营(许可)范围与本项目相符。
2. 企业注册资本不低于10,000万元人民币(或等值)。
3. 三年内(从2021年9月1日起至今),须具有国内系统重要性银行(中国工商银行、中国银行、中国建设银行、中国农业银行、交通银行、招商银行、兴业银行、中信银行、中国邮政储蓄银行、浦发银行、中国民生银行、中国光大银行、平安银行、华夏银行、宁波银行、广发银行、江苏银行、上海银行、北京银行、南京银行,下同)项目的成功案例。
4. 近三年内(从2021年9月1日起至今),须具有国内系统重要性银行)或其他全国性大型证券、保险机构大模型训练与推理平台产品实施的成功案例;
5. 报名供应商须为产品的制造商(原厂商)或其合法代理商;如为代理商,须提供制造商(原厂商)针对本项目的授权,一家代理商只能代理一个品牌产品,同一品牌只允许一家代理商参与本项目报名,同一品牌的制造商(原厂商)和代理商不得同时参与本项目报名,代理商提供产品厂商(即原厂)对本项目的授权书和有效的代理商符合资格要求的证明材料,授权书应明确原厂对本项目所有报价项的承诺(提供制造商授权书和代理商资格证明)。
6. 不接收联合体的申请。
(二)包件二:大模型应用体系建设项目之向量数据库产品采购
1. 具有中华人民共和国境内独立法人资格的企业,持有工商行政管理部门或市场监督管理部门登记的《营业执照》,且《营业执照》经营(许可)范围与本项目相符。
2. 企业注册资本不低于10,000万元人民币(或等值)。
3. 近三年内(从2021年9月1日起至今),须具有银行业向量数据库产品的案例不少于1家。
4. 报名供应商须为产品的制造商(原厂商)或其合法代理商;如为代理商,须提供制造商(原厂商)针对本项目的授权,一家代理商只能代理一个品牌产品,同一品牌只允许一家代理商参与本项目报名,同一品牌的制造商(原厂商)和代理商不得同时参与本项目报名,代理商提供产品厂商(即原厂)对本项目的授权书和有效的代理商符合资格要求的证明材料,授权书应明确原厂对本项目所有报价项的承诺(提供制造商授权书和代理商资格证明)。
5. 具有中国境内的本产品著作权证明。
6. 不接受联合体模式。
(三) 包件三:大模型应用体系建设项目之大模型应用创设平台产品采购
1. 须在中华人民共和国境内(不包括香港、澳门、台湾地区)合法注册,具有独立承担民事责任的能力,持有工商行政管理部门或市场监督管理部门登记的《营业执照》,且《营业执照》经营(许可)范围与本项目相符。
2. 企业注册资本不低于10,000万元人民币(或等值)。
3. 三年内(从2021年9月1日起至今),须具有国内系统重要性银行(中国工商银行、中国银行、中国建设银行、中国农业银行、交通银行、招商银行、兴业银行、中信银行、中国邮政储蓄银行、浦发银行、中国民生银行、中国光大银行、平安银行、华夏银行、宁波银行、广发银行、江苏银行、上海银行、北京银行、南京银行,下同)项目的成功案例。
4. 近三年内(从2021年9月1日起至今),须具有国内系统重要性银行)或其他全国性大型证券、保险机构大语言模型领域实施的成功案例。
5. 报名供应商须为产品的制造商(原厂商)或其合法代理商;如为代理商,须提供制造商(原厂商)针对本项目的授权,一家代理商只能代理一个品牌产品,同一品牌只允许一家代理商参与本项目报名,同一品牌的制造商(原厂商)和代理商不得同时参与本项目报名,代理商提供产品厂商(即原厂)对本项目的授权书和有效的代理商符合资格要求的证明材料,授权书应明确原厂对本项目所有报价项的承诺(提供制造商授权书和代理商资格证明)。
6. 不接受联合体模式。
五、 供应商报名提交资料
1.有效期内的公司营业执照、组织机构代码证、税务登记证(如果已经是三证合一,则只需要提供营业执照);
2.加盖公章的参与本项供应商征集的确认函,并注明报名具体包件名称,(扫描件,确认函模版见附件1);
3、填制供应商信息表(扫描件,模版见附件2);
4.公司简介(包括但不限于公司综合能力、财务能力、服务能力等内容介绍);
5.其他本次项目要求满足度证明材料。
六、 报名资料提交方式
相关材料通过电子邮件发送我行联系人邮箱。
七、 声明
1. 我行接受报名并不表示接受报名供应商参与本项目后续采购等工作;且我行有权对供应商征集审核结果不做任何说明;
2. 供应商须对提供的所有信息的真实性负责;
3. 在审核过程中,我行集中采购部门如认为必要,将安排对供应商进行实地考察、邀请参加POC测试等;
4. 采购人保留要求报名服务供应商补充提交资料的权利;
5. 本次公开征集不收取供应商任何费用。
八、 联系人及联系方式
联系人(一):徐老师(采购部联系人)
电话:021-61618016
邮箱:xuj47@spdb.com.cn
联系人(二):阮老师(采购申请部门联系人)
电话:021-31868138
邮箱:ruanq@spdb.com.cn
上海浦东发展银行股份有限公司
二〇二四年九月二十五日
参与XXXX采购供应商征集的确认函
致:上海浦东发展银行
我公司在此确认,将参加贵行XXXX采购的供应商征集,并同意按照有关供应商征集的要求配合贵行开展工作。
此致
[签署栏]
确认公司(公司名称及公章) |
法定代表人或授权代理人(签字或盖章) |
营业执照编号 住所地 邮编 联系人 |
签字人职务 签署日 电话 传真 |
附件2:
供应商信息表
1、公司名称:
2、法人代表:
3、注册资金:
4、控股股东:
5、成立日期:
6、上一年度营业额:
7、信息获取渠道:招标投标公共服务平台/浦发官网/金采网等
8、联系人姓名:
9、联系人电话:
10、联系人邮箱: