作者:民工肖某

 

2月份

ü  整理了智能家居的方案和视频,按家庭场景分类,包含智能插座、智能电器、智能影音、电动窗帘、安防监控等。

ü  学习存储基础。对象存储,针对照片、视频等,适合多租户场景,每块数据对应着一个唯一的ID,根据ID直接定位数据位置,每个数据既有元数据又有存储数据,同属对象存储能够自己完成安全性、自恢复、负载均衡等;块存储-SAN,类似一块大磁盘,可以按用户需求格式成对应的文件系统,一般通过iSCSI连接;文件存储-NAS,类似一个共享文件夹,文件系统已存在,NAS以文件为存储协议,开销较大。

ü  参加CSDN在线培训—— 用SQL-on-Hadoop构建互联网数据仓库与商务智能系统。 数据仓库的数据来源主要有:1、通过Apache/Nginx的日志收集到的数据2、一般存储在Oracle/MySQL中的用户和业务数据3、通过ETL工具从其他外部DW数据源里导入的数据等。Hive是目前互联网企业中处理大数据、构建数据仓库最常用的解决方案。 Cloudera在主导Impala项目。以百度为例,百度尝试把MySQL接入Impala的后端作为存储引擎,同时实现相应操作对应的PlanFragment,那么用户来的query还是按照原来的解析方法解析成各种PlanFragment,然后直接调度到对应的节点(HDFS DataNode/HBaseRegionServer/MySQL)上执行。会把某些源数据或者中间数据放到MySQL中,用户的query涉及到使用这部分数据时直接去MySQL里面拿。

ü  参加2014年国际数据产业峰会,里面主要的议题有:

中移动:对内做网络质量优化的集群分析;对外做管理分类/实时交易等大数据分析。比如做Paas-离线分析的数据交易系统,hadoop架构支撑,分析图计算、社交圈,采用SQL接口,做多级索引,复杂查询分析;从经营分析数据,ETL导入,对接各个业务引擎(门户/导航/基地),应用平台的数据展示;

在流计算产品方面,移动布局了大云的开源社区,整合了开发力量、应用渠道、统一版本;由CDH版本进行了定制;

场景1:数据批处理系统(hadoop-汇总-EDW)

场景2:话单查询系统(Hbase-KV)

场景3:分析挖掘(建模/预测)

案例1:全国平台大集中,云化ETL实现,整合67套系统(流程树/并发控制/资源隔离)

案例2:互联网内容分析(网页+日志),分析热点和话题

案例3:去IOE尝试。BOSS/CRM系统,从小机+Orcle,改造为SQL on Hadoop

案例4:新浪微博爬虫与挖掘(图计算引擎)

 

华为:

应用为中心到数据为中心的改变;电信行业的数据分析特点,结构化数据、成本低、数据质量比较好;比如位置数据、社交数据等;对内可以做企业的决策、经营、体验和数据兑现;对外可以做即买即用、渠道营销、智能经营、同质化竞争。一些案例:Verizon利用网格的精准营销,做NBA售票;沃达丰利用用户数据,为广告商、零售商提供服务;

从运营商的数据角度看,只从D/O域分析,数据源片面,只有通过用户数据的融合,才有利于数据开放;目前看,有5大领域的应用:

  1. 企业战略驱动
  1. 增强型的数据分析,从D到O
  2. 业务营销,及内容植入
  3. 网络优化,从O到B
  4. 数据变现

天云:

做云平台的资源管理方案,以往的B-C模式到C-B模式的改变,对应的IT应用模式改变,云IT工厂适应这种趋势。有2点需求,1是all in one的IT架构,从虚拟门户到资源监控,及规模扩展;2是公有云、私有云资源的混合管理

Posted in 未分类

发表评论

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据