面向端侧大模型的开源鸿蒙机密计算关键技术
技术描述
在现代移动终端、智能家居等领域，如何利用大模型为用户提供更加智能且隐私安全的个性化服务是新一代人工智能应用的重要方向。然而，现有端侧智能服务助手解决方案通常缺乏个性化定制功能和本地化大模型推理能力，同时用户数据上云会带来隐私泄露风险。本技术结合国产开源鸿蒙端侧设备联动、自研端侧大模型高效推理与系统级数据隐私保护等核心能力，打造国产化高安全的终端个性化智能助手解决方案。 本技术主要包含以下几个模块： 1）系统原生多模态数据提取模块，利用终端操作系统能力获取海量多源用户数据，解决现有大模型应用知识库中个人数据语料缺失问题，助力个性化定制服务功能； 2）端侧大模型高效推理框架模块，通过将计算任务自动分配至不同计算资源上执行，实现在端侧设备上的本地极致性能推理，解决现有端侧算力无法支撑大模型推理的困境； 3）端侧OpenTrustee系统安全模块，基于芯片级可信执行环境特性，支持在硬件安全环境中运行本地大模型推理任务，保护个人数据与大模型的存算安全。 4）分布式安全存储与共享模块，利用国产开源鸿蒙的终端设备联动能力，建立分布式向量数据库，减轻终端个人数据存储开销，实现个人多端设备间的算力协同与安全资源共享。
技术优势
核心竞争优势： 首先，本技术基于国产开源鸿蒙操作系统打造的多模态数据提取模块实现了数据由初态向终态的转变，无需依赖以往只能通过互联网厂商提供导出接口的数据获取方式，支持直接从用户终端设备I/O获取，将传统大量异质的结构化数据归一化为同质的非结构化数据，实现个人数据的所得及所见，且可控性强。 其次，本技术自研的端侧大模型高效推理框架模块通过融合个人本地多端设备的计算资源，能够实现在移动终端算力与功耗受限的情况下进行大模型高效推理，同时保证个人数据无需离开本地。本技术模块在单消费级4090 GPU上实现了相较于开源大模型llama框架十倍以上的性能提升。 最后，本技术基于芯片级TEE构建的端侧OpenTrustee系统安全模块，通过极小化可信计算基，实现针对用户数据和模型数据的强隔离，保证数据在存储与计算过程中的隐私安全。同时结合开源鸿蒙分布式软总线，实现了针对分布式设备TEE安全能力的有效整合。 市场竞争预测： 现有同类终端智能服务助手类产品，如Apple Siri、Google Assistant、华为小艺、小米小爱同学等，一方面缺乏定制化服务能力，难以针对用户的个人数据特征提供个性化的智能服务，另一方面其AI能力依赖云上大模型推理计算，而用户数据上云会带来隐私泄露风险。
效果指标
团队拥有深厚的产业化背景以及丰富的经验和渠道。本技术依托领域操作系统教育部工程研究中心（主任为陈海波教授，上海交大特聘教授、华为Fellow、华为操作系统首席科学家、基础软件与系统全国重点实验室主任）、上海交通大学并行与分布式系统研究所（负责人为臧斌宇教授，前上海交通大学软件学院院长）与交大-华为操作系统联合实验室，并且已在智能家居、普惠金融等领域完成了试点应用。团队还牵头成立了全国第一个高校开源鸿蒙俱乐部，在开源社区和产学研用一体化建设方面做出了突出贡献。 目标市场： 消费者市场：包括智能手机、智能家居、智能穿戴设备等。现代消费者对于个性化和高效便捷生活方式的需求推动了智能助手的普及。 行业应用：如医疗健康、教育、金融等行业。个性化智能助手有助于为这些行业提供定制化解决方案，例如在医疗健康领域提供疾病诊断和个性化医疗建议，在教育领域提供智能辅导和个性化学习路径设计等。 市场规模： 智能助手：根据Spherical Insights和GlobeNewswire数据显示，全球智能助手（如Apple Siri、Google Assistant、华为小艺等）2023年市场规模约为38.3亿美元，预计到2033年将增长到548.3亿美元。 行业应用：以医疗健康领域为例，根据Global Market lnsight数据，2020年全球医疗人工智能市场规模为42亿美元，预计到2027年将增至345亿美元，其中，智能助手和大模型解决方案是推动增长的重要因素。 成果的推广情况： 在产品形态方面，本技术已形成基于开源鸿蒙操作系统打造产品原型——AImony终端智能助手，并在OpenHarmony峰会收获多项荣誉，在社区生态中得到广泛推广。 在知识产权及标准认证方面，目前已有4项专利、2项软著、2个安全标准认证（CC EAL5+、ASIL-D）正在申请和推进中。 应用示范情况： 1）和交通银行深度合作，小蒙在用户本地基于日常数据形成精准画像，使得银行可以在无需收集用户数据的前提下完成个人信用评分的生成，服务“普惠”金融。 2）与国家高端智能化家用电器创新中心、海尔集团等行业龙头已形成合作，基于小蒙构建智能家居智能交互与决策解决方案，打造自主智慧家居生态。