京东数科自研联邦学习平台Fedlearn正式推出
FedLearning是一个由自己开发的联邦学习平台,其目标是在满足数据隐私安全和监督要求的前提下,更好地挖掘数据价值,实现多赢机器学习,使人工智能系统更有效、更准确地使用自己的数据。
FedLearning平台有三个主要特点。首先,在数据和模型隐私方面,本地数据和模型参数不是在不同的参与者之间直接交换,而是交换更新参数所需的中间值。同时,为了避免从这些中间值中恢复数据信息,通过增加扰动来保护这些值,以确保数据和模型的隐私和安全性。其次,在通信方面,引入了集中式数据交换的概念,使数据交换与参与者无关。最后,采用异步计算框架,大大提高了模型训练的速度。
FedLearning平台将密码学、机器学习、块链和其他联邦学习算法结合起来,构建了一套安全、智能和高效的链接平台。在各组织的数据不需要向外传输的前提下,结合多方组织数据,实现了联合建设模型等多方数据的联合使用场景,并取得了额外的效果。与传统的数据共享和交换方法相比,FedLearning平台创新性地提出了并行加密算法、异步计算框架、创新的联邦学习等技术框架,在保证数据安全的前提下提高了学习效率,并逐步实现了对1亿级数据的集成能力。
在JD.com数学系开发FedLearning平台的过程中,实现了基于内核的非线性联邦学习算法,在安全性方面,该方法不传输原始样本和梯度信息,充分保护了数据的隐私;在快速性方面,该方法采用了第一次双随机梯度下降,大大提高了计算速度,充分利用了计算资源,并通过增加干扰提高了数据的安全保护,形成了"解决多党垂直联邦学习的安全核心学习算法"((FederatedDoublyStochasticKernelLearningforVerticallyPartitionedData).")。
彭南波,JD 智能模特主管。Com 的数学科学风险管理中心说:"在 JD。COM 的风险控制" 联邦模箱 " 产品业务实践,比传统的联合建模取得了更好的效果。一方面,联邦学习理论上可以得到最优解,即通过梯度降迭代过程可以实现联邦之间的特征组合和交叉建模,从而解决诸如异或等非线性问题。另一方面,由于它可以保护数据的隐私和安全性,不需要限制建模样本的数量,这样联邦学习就可以使用更多的数据建模,在大数据的基础上更有效地发现数据规律,从而提高模型的效果。
目前,京东的金条和白条业务模式已经完全实现了从传统建模到联邦建模的升级,并且在联邦模型下提高了模型的风险识别能力和流量转换率。除了在风险控制方面的应用外,JD.com 开发的联邦学习平台 FedLearning 平台也广泛应用于 Ai+ 智能城市领域。
此外,京东数学部凭借在金融服务、数字营销等领域积累的丰富实践经验,形成多情景解决方案,通过联邦学习可以实现多场景解决方案升级,结合每个客户的情况,提供更高程度的定制服务。目前,已经实施了多种不同类型的合作项目。
从底层代码到算法,再到平台构建,JD。COM 数学系始终坚持自主研发和创新,一路稳健。薄丽峰说:" 我们希望依靠数字科技强大的人工智能技术背景,通过 FedLearning 平台的科技能力帮助用户和行业实现‘连接’,实现各种规模企业的授权和增长,这也是我们作为联邦学习应用程序的领导者的使命。