10ms以内检索数亿,为什么微信速度这么快?

在一些推荐系统、图片检索、文章去重等场景中,对基于特征数据进行 k 近邻检索有着广泛的需求: 支持亿级索引的检索,同时要求非常高的检索性能; 支持索引的批量实时更新; 支持多模型、多版本以灵活开展 ABTest 实验; 支持过滤器、过期删除以排除不符合特

10ms以内检索数亿,为什么微信推荐这么迅速?

在经过调研后,发现已有的解决方案存在以下问题: 在学术界中,已经存在有成熟并开源的 ANN 搜索库,然而这些搜索库仅仅是作为单机引擎存在,而不能作为高性能、可依赖、可拓展的分布式组件为推荐系统提供服务; 在业界中,大多数的组件都是基于 ANN 搜索库