国家统计局总统计师曾玉平在发布会直播中表示,“普查数据质量是普查统计工作的生命线……利用信息化,对普查方式进行创新:首次全面采用电子化,实时及时上报数据;首次实现普查对象通过互联网自主填报;首次利用行政大数据进行比对核查;首次实现利用互联网云计算云服务实时处理工作;首次用信息化系统对700多万普查员进行线上管理。”
腾讯云在背后为第七次全国人口普查保驾护航。据统计,在该项目中,腾讯云数据库支持了十亿级用户数据、七百万个终端和百万级峰值TPS(每秒处理量)。
我国每十年进行一次人口普查:从1953年的算盘,到后续的计算机,数据采集的变迁从未改变纸表录入的形式。而到了第七次全国人口普查,电子化采集全面取代纸表,将数据直接上报到国家统计局。700万普查员、全体中国大陆公民,首次在线上完成人口普查数据采集。
这也意味着,需要开发一套中国首例、同时是触达人群最大的线上系统。你输入的一条条数据,最终汇成统计结果的汪洋大海:这背后的数据采集、流转、脱敏、处理分析过程,难度超出所有人想象。这是一个高并发、极其复杂、在全球历史上都堪称首次的项目。
封闭开发
2020年3月,腾讯正式接到第七次全国人口普查项目,封闭开发启动。接到这个消息时,架构师王飞心里清楚,这意味着要在疫情肆虐之时与他才一个多月的孩子分开。
这个所有普查员同时操作的系统,要保证数据安全和服务稳定,比他以往接触的所有项目对性能的要求都更加苛刻,他必须在架构的设计以及后续的压测运维中全力以赴。整个项目周期的严峻性、交付难度,都需要团队付出更大的心力。
时间紧迫,任务艰巨。700万普查员实际上形成了一个巨大的企业组织,分散流动在全国各处,如何让其保持整齐划一,只能一边不断讨论梳理,一边在摸索中开发产品功能。
第一个任务,是要一款集合了任务分配、数据采集功能的企业微信小程序,需在一个月之后上线。
这背后需要腾讯云数据库极强的负载能力。“大量的数据要收集上来,同时数据的更新和数据的查询是互相交错的,不仅要应对动态的人口流动,比如一个人今天在深圳而明天在北京,同时要准确对应起人和户、人和人之间的关系。”王飞介绍说。
本次全国人口普查项目,腾讯云数据库提供了既具有擅长OLTP场景能力,同时擅长联机分析处理OLAP场景能力引擎的企业级分布式数据库TDSQL,通过“双引擎”设计支撑人口普查工作完成。前者专门用来做前端生产系统的事务处理,其最大的优点是即时地处理输入的数据,并及时响应,实时保持系统数据处于最新状态;后者负责后期数据联机查询分析处理,支持复杂的分析操作。