[综合] Elasticsearch 在百度 aladdin 日志系统的应用

[复制链接]

电梯直达

楼主

发表于 2018-11-6 08:43:32 | 只看该作者 |只看大图回帖奖励

|倒序浏览 |阅读模式

马上注册，结交更多数据大咖，获取更多知识干货，轻松玩转大数据

您需要登录才可以下载或查看，没有帐号？立即注册

x

王鹏，百度研发工程师，自学校毕业以来就加入百度aladdin搜索团队，至今有三年半，主要从事数据建库，索引存储和数据对外开放等工作。
当然我们有自己的检索系统，思路跟ES也有很多相似之处，17年10月份开始接触ES。

Elasticsearch 在百度 aladdin 日志系统的应用
背景：aladdin建库问题相关的case追查，日志统计分析，问题需要解决。
方案：使用ES（es版本： 6.0.0）做存储和检索系统，日志以json格式，抽取重要字段建索引，每天一个index，index名字包含时间后缀，保存三天内的数据；建库10个模块，每天有100亿条记录，20T左右数据；使用20个容器做集群。
效果：毫秒级返回查询结果，利用kibana实时分析建库情况，同时能方便按需提供数据给业务方。

Elasticsearch 在百度 aladdin 日志系统的应用.pdf (1.45 MB, 下载次数: 0, 售价: 2 金钱)

楼主热帖

分享到: QQ好友和群 QQ空间 腾讯微博 腾讯朋友

收藏0 转播分享 淘帖0 赞0 踩0

168大数据 - 论坛版权1.本主题所有言论和图片纯属网友个人见解，与本站立场无关
2.本站所有主题由网友自行投稿发布。若为首发或独家，该帖子作者与168大数据享有帖子相关版权。
3.其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和168大数据的同意，并添加本文出处。
4.本站所收集的部分公开资料来源于网络，转载目的在于传递价值及用于交流学习，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
5.任何通过此网页连接而得到的资讯、产品及服务，本站概不负责，亦不负任何法律责任。
6.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源，若标注有误或遗漏而侵犯到任何版权问题，请尽快告知，本站将及时删除。
7.168大数据管理员和版主有权不事先通知发贴者而删除本文。

使用道具举报