若谷学院
互联网公司技术架构分享

标签:开源框架

安全

美团数据仓库-数据脱敏

美团点评阅读(176)评论(0)

背景与目标 在数据仓库建设过程中,数据安全扮演着重要角色,因为隐私或敏感数据的泄露,会对数据主体(客户,员工和公司)的财产、名誉、人身安全、以及合法利益造成严重损害。因此我们需要严格控制对仓库中的数据访问,即什么样的人员或者需求才可以访问到...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...
Hadoop安全实践-若谷技术学院
安全

Hadoop安全实践

美团点评阅读(175)评论(0)

前言 在2014年初,我们将线上使用的 Hadoop 1.0 集群切换到 Hadoop 2.2.0 稳定版, 与此同时部署了 Hadoop 的安全认证。本文主要介绍在 Hadoop 2.2.0 上部署安全认证的方案调研实施以及相应的解决方法...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...
基于Flume的美团日志收集系统(一)架构和设计-若谷技术学院
系统架构

基于Flume的美团日志收集系统(一)架构和设计

美团点评阅读(174)评论(0)

美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。 《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...
基于Flume的美团日志收集系统(二)改进和优化-若谷技术学院
系统架构

基于Flume的美团日志收集系统(二)改进和优化

美团点评阅读(174)评论(0)

在《基于Flume的美团日志收集系统(一)架构和设计》中,我们详述了基于Flume的美团日志收集系统的架构设计,以及为什么做这样的设计。在本节中,我们将会讲述在实际部署和使用过程中遇到的问题,对Flume的功能改进和对系统做的优化。 1 F...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...
实时数据产品实践——美团大交通战场沙盘-若谷技术学院
数据平台

实时数据产品实践——美团大交通战场沙盘

美团点评阅读(384)评论(0)

背景 大数据时代,数据的重要性不言而喻,尤其对于互联网公司,随着业务的快速变化,商业模式的不断创新、用户体验个性化、实时化需求日益突出,海量数据实时处理在商业方面的需求越来越大。如何通过数据快速分析出用户的行为,以便做出准确的决策,越来越体...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...
Spark在美团的实践-若谷技术学院
系统架构

Spark在美团的实践

美团点评阅读(460)评论(0)

本文已发表在《程序员》杂志2016年4月期。 前言 美团是数据驱动的互联网服务,用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志,这些日志数据将被汇总处理、分析、挖掘与学习,为美团的各种推荐、搜索系统甚至公司战略目标制定提供数据...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...
Spark性能优化指南——基础篇-若谷技术学院
数据平台

Spark性能优化指南——基础篇

美团点评阅读(509)评论(0)

前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...
Spark性能优化指南——高级篇-若谷技术学院
数据平台

Spark性能优化指南——高级篇

美团点评阅读(548)评论(0)

前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候,我们可能会遇...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...
HDFS NameNode内存全景-若谷技术学院
系统架构

HDFS NameNode内存全景

美团点评阅读(535)评论(0)

一、概述 从整个HDFS系统架构上看,NameNode是其中最重要、最复杂也是最容易出现问题的地方,而且一旦NameNode出现故障,整个Hadoop集群就将处于不可服务的状态,同时随着数据规模和集群规模地持续增长,很多小量级时被隐藏的问题...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...
Spring MVC注解故障追踪记-若谷技术学院
编程语言

Spring MVC注解故障追踪记

美团点评阅读(598)评论(0)

Spring MVC是美团点评很多团队使用的Web框架。在基于Spring MVC的项目里,注解的使用几乎遍布在项目中的各个模块,有Java提供的注解,如:@Override、@Deprecated等;也有Spring提供的注解,如:@Co...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...

全球互联网技术架构,前沿架构参考

联系我们博客/网站内容提交