-
大数据处理算法一：BitMap算法
所属栏目：[大数据] 日期：2020-12-31 来源：DaWei
腾讯面试题：给20亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中并且所耗内存尽可能的少？ ?解析:bitmap算法就好办多了 ?所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不[详细]
-
大数据处理算法二：Bloom Filter算法
所属栏目：[大数据] 日期：2020-12-31 来源：DaWei
百度面试题：给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ Bloom?Filter 是由 Bloom 在 1970 年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不[详细]
-
数据意识崛起，从企业应用看BI软件的未来发展
所属栏目：[大数据] 日期：2020-12-31 来源：DaWei
前阵子，和一群企业CIO聊天，希望从甲方角度看看对BI产品的看法。在问及一些成熟企业为何不上BI项目时，大家纷纷表示目前还处于观望状态。 提及BI，大家都觉得有些飘忽，和大数据一样，听着高大上，能真正实现落地的并没有多少，性价比甚至不如一个报表工具[详细]
-
宋慧庆|广告系统中的大数据处理
所属栏目：[大数据] 日期：2020-12-31 来源：DaWei
宋慧庆 ，时趣互动 移动广告架构师 十余年互联网老司机，具有多年互联网广告系统研发经验，负责研发个性化动态创意系统，用户画像标签系统以及大数据治理；对编程语言有浓厚的兴趣。 什么是大数据？ 从具备4V（Volume，Velocity，Variety，Value）特征的大量[详细]
-
25、Power Query-日期与时间数据处理
所属栏目：[大数据] 日期：2020-12-31 来源：DaWei
本节知识点：Power Query-日期与时间数据处理 日期与时间数据处理功能位置（同样在“转换”和“添加列”菜单中都存在）： 这里重点讲解一下某些知识点。 比如年限：意思是当前系统日期减去选中列的日期，结果以“天时分秒毫秒”方式显示。 月份下面的“一个[详细]
-
媒体|郑宇：用大数据预测雾霾是如何做到的？
所属栏目：[大数据] 日期：2020-12-31 来源：DaWei
（本文由澎湃新闻授权转载。） ? 全球范围里，有超过半数的人类居住在城市之中，城市化的进程也从未停止过。面对越来越庞大的城市，许多事情已经超出了控制：拥堵的交通，严重的空气污染，让人烦躁的噪音等等。 ? 没有人真正了解城市中到底发生了什么，也没[详细]
-
（26进制大数相加）hdu 2100 Lovekey
所属栏目：[大数据] 日期：2020-12-31 来源：DaWei
Lovekey Problem Description XYZ-26进制数是一个每位都是大写字母的数字。 A、B、C、…、X、Y、Z 分别依次代表一个0 ~ 25 的数字，一个 n 位的26进制数转化成是10进制的规则如下A0A1A2A3…An-1 的每一位代表的数字为a0a1a2a3…an-1 ，则该XYZ-26进制数的10[详细]
-
如何利用图像识别、语音识别、文本挖掘做好鉴黄？
所属栏目：[大数据] 日期：2020-12-31 来源：DaWei
人工智能鉴黄市场竞争愈发激烈，目前图普科技、阿里绿网、腾讯万象优图等团队已占据大量市场份额，在此环境下，不少公司试图通过提供更全面的服务从这片红海中分一杯羹。 那么更全面的定制服务体现在哪些地方？雷锋网(公众号：雷锋网)特地采访了极限元 CEO[详细]
-
URAL - 1153 Supercomputer 大数开方
所属栏目：[大数据] 日期：2020-12-26 来源：DaWei
??????? 题意：给定m，m = n * (n+1) / 2，计算n值。 ????? 思路：n = SQRT(m*2) ???? 注意m很大，需要自己实现大数开方。我用的是自己写的大数模板：大数模板 AC代码 #include cstdio#include cmath#include algorithm#include cstring#include utility#inc[详细]
-
[bigdata-047] 禅道 ubuntu 配置开机自启动服务 开机启动
所属栏目：[大数据] 日期：2020-12-26 来源：DaWei
1. 在/etc/init.d目录下创建chandao文件 内容如下： #!/bin/bash /opt/lampp/lampp restart 然后增加全选 chmod 755 chandao 2. 运行runleve命令，查看现在的run level是多少，通常是2 3. 既然是2,就在/etc/rc2.d目录下，创建一个链接 ln -s /etc/init.d/cha[详细]
-
[bigdata-048] git使用 上
所属栏目：[大数据] 日期：2020-12-26 来源：DaWei
0. 主要参考 http://www.liaoxuefeng.com 1. git是分布式版本管理器，每个人的电脑都是一个完整的版本库。你修改了文件A，你同事修改了文件A，你们可以将各自的修改推给对方，可以互相看到对方的修改。 2. 创建版本库repository ? 2.1 在一个合适的地方，创[详细]
-
商业智能BI和报表的区别？
所属栏目：[大数据] 日期：2020-12-26 来源：DaWei
报表是数据展示工具，商业智能BI是数据分析工具。 报表工具是一类报表制作工具和数据展示工具，用于制作各类数据报表、图形报表。或者制作特定格式的电子发票联、流程单、收据等等。 商业智能的重点在于商业数据的分析，集成了数据统计、数据展示、数据分析[详细]
-
大数运算（大数加法and大数乘法）
所属栏目：[大数据] 日期：2020-12-26 来源：DaWei
大数模板 -- 万进制 为基础的 模板 #include algorithm#include stdlib.h#include cstring#include iostream#include stdio.h#define ll long long#define MAXN 10000#define DELD 4using namespace std;int a[MAXN];int b[MAXN];struct Bignum{ int len; in[详细]
-
如何打造高性能大数据分析平台
所属栏目：[大数据] 日期：2020-12-26 来源：DaWei
原文：Building High Performance Big Data Analytics Systems 作者：Rohit Dhall 译者：袁璞，圣特尔?E店宝大数据架构师，关注高性能或可用架构、大数据技术、机器学习。 转自：CSDN 导读 大数据分析系统作为一个关键性的系统在各个公司迅速崛起，但是这种[详细]
-
nyoj517 最小公倍数 （大数）
所属栏目：[大数据] 日期：2020-12-26 来源：DaWei
描述 为什么1小时有60分钟，而不是100分钟呢？这是历史上的习惯导致。 但也并非纯粹的偶然：60是个优秀的数字，它的因子比较多。 事实上，它是1至6的每个数字的倍数。即1,2,3,4,5,6都是可以除尽60。 我们希望寻找到能除尽1至n的的每个数字的最小整数m. 输入[详细]
-
撇开技术，初识实时数据处理
所属栏目：[大数据] 日期：2020-12-26 来源：DaWei
hello！艾瑞巴蒂！ 今天俺给大家换换心情，撇开技术，聊聊实时数据处理的前世今生。 曾经有那么几年的光阴，整个业界（大数据）言必称Hadoop，撩个妹不懂点Hadoop都被人看不起。 当然，hadoop在海量数据处理上绝对是毫无争辩的霸主： 比如 百度用户短时间对[详细]
-
BigData学习4_内部攻击实验数据集浅析
所属栏目：[大数据] 日期：2020-12-26 来源：DaWei
杨光+吴钰 摘要：获取用户行为数据集是内部威胁研究的前提和基础，该文深度调研了当今公开的内部威胁实验数据集，通过分析KDD99、SEA、WUIL以及CERT-IT四种主流的数据集，提出上述数据集的优缺点，并指出未来数据集构建的研究方向。 关键词：内部威胁；网络[详细]
-
情人节福利！那些“浪(zhuang)漫(bi)”的程序员情书
所属栏目：[大数据] 日期：2020-12-26 来源：DaWei
情人节到来，小编为大家准备了几篇只有程序员才看得懂的情书。小编祝天下有情人终成眷属！ 情书正文 ?do?{?a++;?b++;}?while(a??b); 我和你原本就是两个世界的人，一直都在不停的向前走。 直到有一天在某一刻相遇，我们才在彼此的世界里相拥， 然后追寻着各[详细]
-
大数据处理分析的六大最好工具
所属栏目：[大数据] 日期：2020-12-26 来源：DaWei
我们的数据来自各个方面，在面对庞大而复杂的大数据，选择一个合适的处理工具显得很有必要，工欲善其事，必须利其器，一个好的工具不仅可以使我们的工作事半功倍，也可以让我们在竞争日益激烈的云计算时代，挖掘大数据价值，及时调整战略方向。本文转载自中[详细]
-
![[干货]大规模数据处理的演变(2003-2017)](/uploads/allimg/c201226/160Y593N40330-1O00.gif)
[干货]大规模数据处理的演变(2003-2017)
所属栏目：[大数据] 日期：2020-12-26 来源：DaWei
本PPT介绍了大规模数据处理的演变，从最早的Mapreduce、Hadoop介绍到最新的Beam；并最后得出结论： The future of streaming and batch is Apache Beam。 值得一看。 本PPT由Google的大神泰勒?阿克道（Tyler Akidau）分享，他是谷歌的一名高级软件工程师。是[详细]
-
算法提高 P1001 （大数乘法）
所属栏目：[大数据] 日期：2020-12-26 来源：DaWei
当两个比较大的整数相乘时，可能会出现数据溢出的情形。为避免溢出，可以采用字符串的方法来实现两个大数之间的乘法。具体来说，首先以字符串的形式输入两个整数，每个整数的长度不会超过8位，然后把它们相乘的结果存储在另一个字符串当中（长度不会超过16位[详细]
-
如何进行大数据分析及处理？
所属栏目：[大数据] 日期：2020-12-26 来源：DaWei
大数据的分析 从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大[详细]
-
开源大数据处理工具汇总（下）
所属栏目：[大数据] 日期：2020-12-26 来源：DaWei
第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。 日志收集系统 一、Facebook?Scribe 贡献者 ：Facebook 简介 ：Scribe是Facebook开源的日志收集系统，在Faceboo[详细]
-
开源大数据处理工具汇总（上）
所属栏目：[大数据] 日期：2020-12-26 来源：DaWei
查询引擎 一、Phoenix 贡献者：：Salesforce 简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。 Phoenix查询引擎会将SQL查询转换为一个或多个HBase[详细]
-
推荐大数据分析的八大工具
所属栏目：[大数据] 日期：2020-12-26 来源：DaWei
去年，IBM宣布以17亿美元收购数据分析公司Netezza；EMC继收购数据仓库软件厂商Greenplum后再次收购集群NAS厂商Isilon；Teradata收购了Aster Data 公司；随后，惠普收购实时分析平台Vertica等，这些收购事件指向的是同一个目标市[详细]
