-
基因数据处理52之cs-bwamem集群版运行（1千万条100bp的reads）
所属栏目：[大数据] 日期：2021-03-08 来源：DaWei
1.art生成模拟序列： art_illumina -ss HS20 -i GRCH38BWAindex/GRCH38chr1L3556522 . fna -l 100 -c 10000000 -o g38L100c10000000Nhs20 2.上传到hdfs，制定partition数 spark-submit --class cs .ucla .edu .bwaspark .BWAMEMSpark --master spark://maste[详细]
-
NDK开发 - JNI数组数据处理
所属栏目：[大数据] 日期：2021-03-08 来源：DaWei
很多时候利用 NDK 开发都是为了对数据进行加密操作，因为单纯的 Java 太容易被反编译了，加密算法也就很容易被破解，而利用 C/C++ 开发可以加大破解难度。文件的数据加密就需要通过 byte 数组传给 JNI。 传送门： NDK开发 - JNI数组数据处理 JNI 中的数组分[详细]
-
利用BI搭建零售业数据信息平台
所属栏目：[大数据] 日期：2021-03-08 来源：DaWei
某百货公司是全市规模最大的以零售为主、多元化经营的股份制商业企业。拥有员工数千人，经营国内外品牌2300余种，年商品销售额逾10亿人元。 销售体量如此庞大的企业近几年在IT建设上出现了问题，集团内部的信息化数据有些跟不上业务扩张的步伐。虽然该集团很[详细]
-
基因数据处理70之Picard安装没成功
所属栏目：[大数据] 日期：2021-03-08 来源：DaWei
1.下载： https://github.com/broadinstitute/picard.git 2.安装： hadoop@Master:~/xubo/tools/picard$ ant clone-htsjdkBuildfile: /home/hadoop/xubo/tools/picard/build.xmlclone-htsjdk: [exec] Cloning into 'htsjdk'... [echo] Checking out HTSJDK t[详细]
-
OBIEE RPD开发
所属栏目：[大数据] 日期：2021-03-08 来源：DaWei
A parent-child hierarchy is a hierarchy of members that all have the same type. This contrasts?with level-based hierarchies,where members of the same type occur only at a single level of the?hierarchy. The most common real-life occurrence[详细]
-
Acdream 1210 Chinese Girls#39; Amusement（大数模板运算 + 找
所属栏目：[大数据] 日期：2021-03-08 来源：DaWei
传送门 Chinese Girls’ Amusement Time Limit: 2000/1000MS (Java/Others) Memory Limit: 128000/64000KB (Java/Others) Submit Statistic Next Problem Problem Description You must have heard that the Chinese culture is quite different from that o[详细]
-
Twitter发布新的大数据实时分析系统Heron
所属栏目：[大数据] 日期：2021-03-07 来源：DaWei
Twitter发布新的大数据实时分析系统Heron http://geek.csdn.net/news/detail/33750 Twitter Heron的深入解析(与Storm的比较) http://www.tuicool.com/articles/2mMZver[详细]
-
NMEA-0183之$GPRMC数据处理
所属栏目：[大数据] 日期：2021-03-07 来源：DaWei
NMEA-0183 u?以下为 GPS 芯片串口发出的数据： 201512_15:42:3712,$GPTXT,ANTSTATUS=SHORT*43 201512_15:42:37$GNGGA,074219.000,3021.516740,N,12005.998703,E,1,9,1.09,20.996,M,6.991,*42 201512_15:42:37$GNGLL,A,A*45 201512_15:42:37$GPGSA,3,20,18,25[详细]
-
【工作帮】微盟数据中心招数据分析师，薪资open
所属栏目：[大数据] 日期：2021-03-07 来源：DaWei
坐标：上海 微盟：C轮创业公司，投资方包含腾讯、海航等实力资本，拥有toB和toC的电商业务，广告和理财为蓄力点，发展迅速。 微盟数据中心：承接整个集团的数据，体积大，种类多，想象力丰富 微盟数据中心数据分析师：Growth Hacking的推动者，从数据中发现[详细]
-
使用Zeppelin来实现大数据分析的可视化
所属栏目：[大数据] 日期：2021-03-07 来源：DaWei
Apache Zeppelin是ASF的一个孵化项目，实现了基于web的在线代码编辑与数据可视化。有点类似Spark-Shell的REPL。其结果可以直接用图表来展示，解决了前端白痴的苦逼。 Zeppelin官网 我们可以直接下载 zeppelin-0.5.6-incubating-bin-all.tgz ，然后部署到服务[详细]
-
BZOJ 1670 [Usaco2006 Oct]Building the Moat护城河的挖掘
所属栏目：[大数据] 日期：2021-03-07 来源：DaWei
Description 为了防止口渴的食蚁兽进入他的农场，Farmer John决定在他的农场周围挖一条护城河。农场里一共有N(8=N=5,000)股泉水，并且，护城河总是笔直地连接在河道上的相邻的两股泉水。护城河必须能保护所有的泉水，也就是说，能包围所有的泉水。泉水一定在[详细]
-
初识聚类算法:K均值、凝聚层次聚类和DBSCAN
所属栏目：[大数据] 日期：2021-03-07 来源：DaWei
http://blog.sina.com.cn/s/blog_62186b460101ard2.html 聚类分析就仅根据在数据中发现的描述对象及其关系的信息，将数据对象分组 ( 簇 ) 。其目标是，组内的对象相互之间是相似的，而不同组中的对象是不同的。组内相似性越大，组 间差别越大，聚类就越好。[详细]
-
基于K－Means的文本聚类
所属栏目：[大数据] 日期：2021-03-07 来源：DaWei
http://blog.csdn.net/freesum/article/details/7376006 何为聚类 ? ? ? ? “聚类是把相似的对象通过静态分类的方法分成不同的组别或者更多的子集（subset）,这样让在同一个子集中的成员对象都有相似的一些属性。”?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?[详细]
-
R在文本挖掘与分析的妙用：分词、画词云
所属栏目：[大数据] 日期：2021-03-07 来源：DaWei
报道大数据企业： 大数据产品、大数据方案、 ? 大数据人物 分享大数据干货： 大数据书籍、大数据报告、 大数据视频 本文转自蔡捕头的新浪博客。欢迎更多优质原创文章投稿给大数据人：289585305@qq.com 摘要： 要分析文本内容，最常见的分析方法是提取文本中[详细]
-
10EB量级的基因大数据处理技术
所属栏目：[大数据] 日期：2021-03-07 来源：DaWei
Java学习网（www.javalearns.com）提拱 10EB量级的基因大数据处理技术 很荣幸在这里跟大家分享大家以前很少接触到的领域的大数据情况。其实生命科学的大数据还处在比较初始的阶段，否则国家也不会现在才开始提出精准医学这样的概念。所谓精准医学想通过大数[详细]
-
数据分析与挖掘学习（一）
所属栏目：[大数据] 日期：2021-03-07 来源：DaWei
数据分析与挖掘过程 一. 定义挖掘目标 一般的数据挖掘任务包括： 1. 分类与预测 2. 聚类分析 3. 关联规则 4. 时序模式 5. 偏差检验 6. 智能推荐 二. 数据取样 抽取一个与挖掘目标相关的样本子集，标准是 1. 相关性 2. 可靠性 3. 有效性 而不是选用全部数据做[详细]
-
Micro-targeting：大数据分析在政治领域的应用
所属栏目：[大数据] 日期：2021-03-05 来源：DaWei
（图片来源网络，侵删） 美国总统大选已经进入了白热化阶段，各竞选团队为了给候选人拉票可谓绞尽脑汁，使出浑身解数。今天为大家介绍的这个“micro-targeting”，是数据分析在政治选举中的一个投影，政治家们通过各种途径构建自己的数据库，利用数据分析设[详细]
-
文本特征选择
所属栏目：[大数据] 日期：2021-03-05 来源：DaWei
转载：http://www.cnblogs.com/fengfenggirl/p/text_feature_selection.html 在做文本挖掘，特别是有监督的学习时，常常需要从文本中提取特征，提取出对学习有价值的分类，而不是把所有的词都用上，因此一些词对分类的作用不大，比如“的、是、在、了”等停[详细]
-
我在海外学BI学到了什么? ——从国内外教育差异谈BI与数据分析理
所属栏目：[大数据] 日期：2021-03-05 来源：DaWei
在海外学习BI与数据分析是怎样的体验？有学到放之四海而皆准的理论知识和国际合作经验吗？海归分析师回国创业在工作中会有什么过人之处？又有什么不同之处？ 本次小编邀请永洪科技CRM副总裁，BI与数据分析专家谢玲女士，与大家一起谈谈国内外BI教育的差异，[详细]
-
数据处理---Spring Batch之实践
所属栏目：[大数据] 日期：2021-03-01 来源：DaWei
上面介绍了Spring Batch的基本概念和简单的demo项目，显然这些还是不够实际使用的。下面我们来更多的代码实践。 ? ? ? ? 在上面的基础项目上面，我们来更多的修改： ? ? ? ? 不用项目默认的hsql DB，用mysql,让ItemReader,ItemWriter 支持mysql； ? ? ? ? 支[详细]
-
Pentaho BI Server的启动过程详解（二）
所属栏目：[大数据] 日期：2021-03-01 来源：DaWei
时隔好久现在接着上一篇来继续聊一下Pentaho BI Server的启动过程，今天主要讲的就一个类PentahoSystem。 软件版本 Pentaho BIServer 5.0.1-ce 关于PentahoSystem 在上一篇文章里已经介绍过在SolutionContextListener中当应用启动时分调用PentahoSystem的ini[详细]
-
【最强干货】关于文本挖掘的资料（文献，报告，策略，代码）
所属栏目：[大数据] 日期：2021-03-01 来源：DaWei
查看之前文章请点击右上角 ， 关注 并且 查看历史消息 所有文章全部分类和整理 ， 让您更方便查找阅读。 请在 页面菜单里查找 。 今天没有策略研究推送。 有几篇文章还需再研究一下 好久没有给大家干货啦 今天给大家一些干货福利 文本挖掘方面的资料 文献，[详细]
-
暴力：大数加法
所属栏目：[大数据] 日期：2021-03-01 来源：DaWei
Description The I-number of x is defined to be an integer y,which satisfied the the conditions below: 1. yx; 2. the sum of each digit of y(under base 10) is the multiple of 10; 3. among all integers that satisfy the two conditions above,y[详细]
-
数据处理---Spring Batch之进阶
所属栏目：[大数据] 日期：2021-03-01 来源：DaWei
有了前面两篇的基础之后，我们一起来聊聊更高级的关于Spring Batch的话题。比如Job 配置；自定义各种Listener；控制步骤流程；自定义Reader,Processor,Writer；并行处理。这些东西在Spring Batch的使用中很多可能会需要的，当然还有更多的内容，最好找下文档[详细]
-
什么是BI ? 哪些行业需要用到BI？
所属栏目：[大数据] 日期：2021-03-01 来源：DaWei
什么是BI?哪些行业需要用到BI？ BI——就是分析利用企业已有的各种商用数据来了解企业的经营状况和外部环境，从而为企业的经营决策提供数据支撑。 下面我们来详细分解下： 企业应用BI的目标即是期望通过对来自不同的数据源进行统一处理及管理，把数据变成信[详细]
