168大数据

标题: 京东郑志彤:如何利用机器学习优化数亿条商品数据 [打印本页]

作者: 168主编    时间: 2017-9-7 17:15
标题: 京东郑志彤:如何利用机器学习优化数亿条商品数据
作者:谢海平
2017年7月21日-22日,由51CTO主办的以人工智能为主题的WOTI2017全球创新技术峰会在北京富力万丽酒店隆重举行。峰会期间,30+AI明星,数十场围绕人工智能主题的精彩演讲与圆桌论坛缓缓揭开面纱。会后,记者采访了京东商城基础平台部首席研究员郑志彤,他为大家介绍机器学习在电商领域的场景化应用。
京东的数据问题
京东拥有大量商品数据,包括图像、文本、视频和语音。这些数据不仅是多模态的,而且是非结构化的。目前,京东数据主要存在以下两点不足:
机器学习在京东的应用
为了构建良好的商城生态,京东利用机器学习技术从信息合规、商品基本属性优化、电商短文本理解、商品类目的自动识别、多场景信息获取五个方面来逐步优化并解决现阶段存在的问题。
一、电商数据的信息合规
很多信息如果输入不正确,就会违反广告法或者价格法。例如,上图中的“最高质量标准”是违反广告法的,下面的“第一步”虽然没有违反,但”销量第一“的用词是违反的。从这个案例中,郑志彤意识到,信息合规不仅仅要借助关键词,还需考虑上下文的关系。于是,京东商城就做了上下文的文本分类,这使得无效审核下降73%。
价格合规方面,详情页里有价格信息,上图的Banner中还有一个价格,两个价格如果不一致就属于不合规。为了提高审核效率,京东商城借助OCR(Optical Character Recognition)识别技术来实现价格合规。
京东端到端的通用字符串识别系统
如图所示,通过CNN model获得图片的特征与基于大规模语料数据训练循环神经网络(LSTM)的通用语言模型相结合,再通过基于时序分类(CTC)输出。端到端的文本检测与识别算法克服了传统OCR鲁棒性不足的问题,即使对于京东网站上各种压缩失真和版面复杂的图片,也能有很好的文字识别效果。
目前, OCR识别系统每天可以自动识别出数千个价格不一致的信息。同时,图片文字识别出的语句通过文本合规后,能自动发现包含违禁语义的图片。
第二、图文不一致体验
属性间的不一致对上层系统影响巨大,搜索、推荐调用错误数据,结果也会随之错误。例如,一张图片中女Model提着红色手包,穿着白色上衣,蓝色裤子,这种图片直接识别不能分别得到三个主体的颜色分类。
而京东商城则是选用了一些成熟模型,在获取一张图片的属性后,例如颜色、袖长、裙长、图案,通过设定优先识别规则,比如颜色,以此类推,逐渐识别商品的所有颜色分类。郑志彤表示,“我们从图片上抽取商品属性主要覆盖了四个一级品类,准确率能到95%左右,规模大概是累计了两亿条以上的商品属性和一亿多条的SKU(Stock Keeping Unit)。”
第三、电商的短文本理解
京东的商家为了提高商品销量,在商品命名时往往会使用大量无关词语,这不利于商品数据的录入与管理。因此,京东商城必须对商品的标题进行分词和重组。为了从源头上解决词汇堆积问题,据郑志彤介绍,他们主要采用了如标题分词、实体命名识别、短文本理解、标题重组等一系列的机器学习技术。
第四、类目自动识别
商品数量达数亿条,又有近4000多条的三级类目分类,这使京东在早期录入数据时耗费了大量人力。目前,京东商城主要采用了文本分类的方法,即文本被分到一个树状的类别图里。早期,京东商城尝试过基于字母级别的深度卷积神经网络(DCNN)分类,然后又试过Word2vec,即Google开源的一款用于词向量计算的工具、长短期记忆网络(LSTM),通过大量的对比实验,发现效果基本相当。最后,京东商城自己编写了最优文本分类算法(BTC),实现了快速分类的效果,准确率高达99%。
第五、多场景信息获取
为了构建完善的知识图谱,用于搜索、商品控制、列表页推荐、商家管理和对话系统等场景,在实现价格合规、图文属性的校验,电商的短文本识别与类目自动识别后,还需要对多场景信息进行抽取,包括详情页OCR、客服聊天、用户评论等信息。






欢迎光临 168大数据 (http://bi168.cn/) Powered by Discuz! X3.2