若谷学院
互联网公司技术架构分享

标签:开源框架

HDFS NameNode重启优化-若谷技术学院

HDFS NameNode重启优化

美团点评阅读(353)评论(0)

本文已发表于InfoQ,下面的版本又经过少量修订。 一、背景 在Hadoop集群整个生命周期里,由于调整参数、Patch、升级等多种场景需要频繁操作NameNode重启,不论采用何种架构,重启期间集群整体存在可用性和可靠性的风险,所以优化N...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...
美团点评基于Storm的实时数据处理实践-若谷技术学院

美团点评基于Storm的实时数据处理实践

美团点评阅读(338)评论(0)

背景       目前美团点评已累计了丰富的线上交易与用户行为数据,为商家赋能需要我们有更强大的专业化数据加工能力,来帮助商家做出正确的决策从而提高用户体验。目前商家端产品在数据应用上主要基于离线数据加工,数据生产调度以“T+1”为主,伴随...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...
用Vue.js开发微信小程序:开源框架mpvue解析-若谷技术学院

用Vue.js开发微信小程序:开源框架mpvue解析

美团点评阅读(339)评论(0)

前言 mpvue 是一款使用 Vue.js 开发微信小程序的前端框架。使用此框架,开发者将得到完整的 Vue.js 开发体验,同时为 H5 和小程序提供了代码复用的能力。如果想将 H5 项目改造为小程序,或开发小程序后希望将其转换为 H5,...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...
使用TensorFlow训练WDL模型性能问题定位与调优-若谷技术学院

使用TensorFlow训练WDL模型性能问题定位与调优

美团点评阅读(347)评论(0)

简介 TensorFlow是Google研发的第二代人工智能学习系统,能够处理多种深度学习算法模型,以功能强大和高可扩展性而著称。TensorFlow完全开源,所以很多公司都在使用,但是美团点评在使用分布式TensorFlow训练WDL模型...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...
Kafka文件存储机制那些事-若谷技术学院

Kafka文件存储机制那些事

美团点评阅读(1684)评论(0)

Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linke...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...

美团数据仓库-数据脱敏

美团点评阅读(2541)评论(0)

背景与目标 在数据仓库建设过程中,数据安全扮演着重要角色,因为隐私或敏感数据的泄露,会对数据主体(客户,员工和公司)的财产、名誉、人身安全、以及合法利益造成严重损害。因此我们需要严格控制对仓库中的数据访问,即什么样的人员或者需求才可以访问到...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...
Hadoop安全实践-若谷技术学院

Hadoop安全实践

美团点评阅读(2383)评论(0)

前言 在2014年初,我们将线上使用的 Hadoop 1.0 集群切换到 Hadoop 2.2.0 稳定版, 与此同时部署了 Hadoop 的安全认证。本文主要介绍在 Hadoop 2.2.0 上部署安全认证的方案调研实施以及相应的解决方法...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...
基于Flume的美团日志收集系统(一)架构和设计-若谷技术学院

基于Flume的美团日志收集系统(一)架构和设计

美团点评阅读(2389)评论(0)

美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。 《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...
基于Flume的美团日志收集系统(二)改进和优化-若谷技术学院

基于Flume的美团日志收集系统(二)改进和优化

美团点评阅读(2362)评论(0)

在《基于Flume的美团日志收集系统(一)架构和设计》中,我们详述了基于Flume的美团日志收集系统的架构设计,以及为什么做这样的设计。在本节中,我们将会讲述在实际部署和使用过程中遇到的问题,对Flume的功能改进和对系统做的优化。 1 F...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...
实时数据产品实践——美团大交通战场沙盘-若谷技术学院

实时数据产品实践——美团大交通战场沙盘

美团点评阅读(2755)评论(0)

背景 大数据时代,数据的重要性不言而喻,尤其对于互联网公司,随着业务的快速变化,商业模式的不断创新、用户体验个性化、实时化需求日益突出,海量数据实时处理在商业方面的需求越来越大。如何通过数据快速分析出用户的行为,以便做出准确的决策,越来越体...

好烂呀没啥价值凑合看看还不错很精彩 (还没有人评分)
Loading...

全球互联网技术架构,前沿架构参考

联系我们博客/网站内容提交