小红书将业界最大数据湖迁至阿里云
我要评论记者获悉，小红经过一年奋战，书将数据小红书已把业界体量最大的业界数据湖0故障迁上阿里云。据统计，最大至该项目共有1500人参与，湖迁迁移数据500PB。小红
作为中国头部互联网公司之一，书将数据小红书月活已过3亿，业界其数据湖存储了过去11年的最大至所有原始数据，包括结构化、湖迁半结构化和非结构化数据。小红近年来，书将数据随着业务的业界高速增长，小红书在线处理数据的最大至需求不断增加，同时离线处理所积累的湖迁历史问题，也会在未来的切换中带来更多成本与风险。
为此，2023年11月，小红书发起迁云项目——计划一年内，把小红书的数据湖搬上阿里云。
迁移至阿里云上后，数据湖可通过多个OSS Bucket支持纳入统一资源池，实现多个Bucket共享资源池内的OSS吞吐及QPS能力。这样的流控能力在面向小红书复杂业务场景，可灵活调配资源，高效利用吞吐性能，降低不同业务租户间的互相影响。阿里云原生HDFS+DLA元数据可实现无缝对接Hadoop EMR体系，支持元数据线性扩展能力，轻松应对小红书数百PB数据下的元数据线性增长。
较于过往业界体量最大的案例，小红书的本次迁移的数据体量更大。
*注：任务=数据处理过程
（图片来自小红书官方公众号）
据介绍，小红书的迁云项目经历了三个阶段。第一步，项目组首先解决标准问题，然后根据标准进行治理；第二步，完成治理后，项目在2024年5月正式进入双跑阶段。把数据拷贝到阿里云上，两边同时跑数，验证正确性与及时性；第三步，2024年8月，项目结束双跑，进入割接阶段。阿里云团队全程在现场保障，顺利完成了割接。
2024年11月，小红书迁云项目正式宣告结束。在0故障的情况下，迁移数据500PB，任务11万，参与人数1500人，涉及部门40多个。项目涉及产品之多和数据体量之大均创下业界记录。
相关文章
[流言板]高歌猛进！雷霆豪取9连胜高居西部第一，为联盟现存最长连胜
[流言板]高歌猛进！雷霆豪取9连胜高居西部第一，为联盟现存最长连胜由篮球资讯发表在篮球资讯 50212月27日讯 今日NBA常规赛雷霆对阵步行者的比赛已经结束。全场比赛，雷霆120-114战胜步行者。2024-12-29
克劳德在摩天轮中与蒂法亲吻是《最终幻想7：重生》中最令人印象深刻的场景之一。最近游戏总监浜口直树接受媒体采访，解释了设计该吻戏的原因。浜口直树被记者询问，在《最终幻想7：重生》中添加吻戏的意图为何，他2024-12-29
[流言板]发展联盟冬季展览赛最佳阵容：奥卡福、沃伦等人入选由篮球资讯发表在篮球资讯 50212月24日讯 NBA发展联盟更新社媒，公布了NBA发展联盟冬季展览赛的最佳阵容。最佳阵容：克里斯托弗、伦纳德2024-12-29
《拳皇15》DLC麦卓和薇丝宣布12月12日上线 游戏终极版同步推出
12月5日，SNK官方宣布《拳皇15》特别DLC角色“麦卓”和“薇丝”将与12月12日正式发售，定价9.99美元，届时游戏还将进行平衡性更新，对所有角色进行平衡性调整。此外，12月12日，《拳皇15》2024-12-29
12月29日消息，据新华社报道，韩联社29日报道称，韩国务安机场飞机发生坠落，机上载有175名乘客，6名乘务人员。央视新闻报道指出，当地时间12月29日9时7分左右，一架韩国济州航空飞机在全罗南道的务2024-12-29
中新网12月23日电 综合外媒报道，当地时间22日，美国当选总统特朗普表示，可能在自己即将到来的总统任期初期与俄罗斯总统普京会面，以解决乌克兰危机。据报道，特朗普表示，“普京总统说他希望尽快与我会面。2024-12-29
最新评论