人工智能训练数据如何存储？存储数据最大的痛点是什么？

2020-04-30 23:24:15 775 收藏
分类专栏： 技术博客 文章标签： 数据挖掘 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/graviti/article/details/105871757
版权

计算机视觉，或者语音识别都需要用到大量的标注过的非结构化数据，有什么好办法存储和管理这些数据吗？你是怎么存储原始数据和标签数据的呢？如何做可视化？存储过程中的痛点是什么？

已标记关键词 清除标记
表情包
插入表情
还能输入1000个字符
相关推荐
MEETUP预告 | 邀你一起吐槽AI开发那些事，让数据管理更高效
10-27 26
Graviti首次线下meetup，将在11月7日周六下午，于“看见咖啡”（上海市杨浦区政民路198号）召开。欢迎所有AI开发从业者、爱好者的到来!
监督学习—从好的label开始
08-12 242
在大家的算法工作中，会训练各种各样的模型。导致大家模型实际应用效果不够好的原因有很多，一些常见的原因主要是模型结构不合理 、损失函数不合理 、超参数设置不合理，但除了这些原因，我想最核心的一个原因是数据的质量本身。相信每一个自动驾驶行业的开发者对此都是会深有体会的，Lyft 团队在CVPR的presentation上就发出了“High quality labeled data is the key”的感慨。这也是本篇文章想要着重强调的主题。下面通过一个实验来让大家直观感受一下“标注质量对模.
数据集管理的可视化 —— 现在与未来
06-11 1055
随着ADAS、自动驾驶、新零售等领域的快速发展，非结构化数据的体量急剧增加，传统的机器学习算法无法处理复杂多变的数据，而深度学习是基于神经网络的一种算法，更适合被非结构化数据“包围”的今天。其所带来的高度依赖数据集的大规模学习方法，极大增加了对于大规模数据集的需求。深度学习进行模型训练的关键是高质量大规模训练的数据集。当前，市场上大部分的云商公司，对于非结构化处理主要提供存储服务，但没有针对非结构化数据本身提供更多的解决方案。例如，不同行业数据应该如何组织、如何训练、如何形成行业知识库。相应的，这些存储
机器学习算法评估指标——3D语义分割
06-10 359
3D语义分割是在三维点云中对每个点进行分类，属于同一类的点都要被归为一类。 例如如下场景，属于建筑的点都要分成一类，属于植物的点也要分成一类。下面重点介绍3D语义分割算法的评估指标。PA（Point Accuracy）定义：总体的分类准确度，分类正确的点数和点云总点数的比值 范围：0~100% 用途：这是最简单的度量分割准确性的方式MPA（Mean Point Accuracy）定义：平均分类准确度，计算每一类分类正确的点数和该类的所有点数的比值然后求平均 范围：0~100%MIoU（
机器学习算法评估指标——3D目标跟踪
06-08 974
与2D目标跟踪类似，3D目标跟踪可以分为单目标跟踪和多目标跟踪，首先介绍单目标跟踪（SOT）算法的常用评估指标；其次介绍多目标跟踪（MOT）算法的常用评估指标。单目标跟踪传统的评估tracker的方式是：在测试序列上运行一遍该跟踪算法（其中第一帧以ground truth作初始化），然后计算average precision或sucess rate。我们把这种只在测试序列上运行一遍的评估方法叫做one-pass evaluation (OPE)。然而tracker对初始化可能比较敏感，不同的起始帧可
机器学习算法评估指标——3D目标检测
06-01 1125
在真实的三维世界中，物体都是有三维形状的，许多应用都需要有目标物体的长宽高还有偏转角等信息。以自动驾驶为例，在自动驾驶场景下，需要从图像中提供目标物体三维大小及旋转角度等指标，鸟瞰投影的信息对于后续的路径规划和控制具有至关重要的作用。我们将使用RGB图像、RGB-D深度图像和激光点云，输出物体类别及在三维空间中的长宽高、旋转角等信息的检测称为3D目标检测。多类别目标的检测问题可以转换为“某类物体检测正确、检测错误”的二分类问题，从而可以构造混淆矩阵，使用目标分类的一系列指标评估模型精度，例如：使用P..
机器学习算法评估指标——2D语义分割
05-25 320
语义分割有三大评价指标：执行时间、内存占用以及准确度。下面重点介绍语义分割准确度的评估指标。假设一共有k+1类（包括k个目标类和1个背景类），Pij表示本属于i类却预测为j类的像素点总数，具体地，Pii表示true positives，Pij（j≠i）表示false positives，Pji（i≠j）表示false negtivesPA（Pixel Accuracy）定义：分类正确的像素点数和所有的像素点数的比值 计算：范围：0~100% 用途：这是最简单的度量分割准确性的方.
机器学习算法评估指标——2D目标跟踪
05-21 1370
在2D目标跟踪任务中，我们需要从精度、鲁棒性、运行速度等方面对算法进行综合评估。首先介绍单目标跟踪（SOT）算法的常用评估指标；其次介绍多目标跟踪（MOT）算法的常用评估指标。单目标跟踪APE（Average Pixel Error）定义：平均像素误差，一般指中心距离，即预测框与真实框中心位置的像素距离取帧平均 用途：用来判断两个矩形框的靠近程度。该值越大，说明误差越大AOR（Average Overlap Rate）定义：平均重叠率，即两个矩形框交集的面积与并集的面积之比取帧平均
机器学习算法评估指标——2D目标检测
05-18 2236
目标检测是计算机视觉领域的传统任务，需要识别出图像上存在的物体，给出对应的类别，并将该物体的位置通过最小包围框（Bounding box）的方式给出。下面介绍2D目标检测任务的常用评价指标。IoU（Intersection over Union）定义：交并比，两个矩形框交集的面积与并集的面积之比 范围：0~100% 用途：判断两个矩形框的重叠程度，值越高则重叠程度越高，即两个框越靠近 IoU 和Overlap Rate定义是完全相同的，只不过在检测任务中常写作IoU，在跟踪任务中常...
公司组建一支算法团队的隐性成本都有哪些？
04-27 440
多年硅谷的工作经历告诉我们，组建一支算法团队远比认知的“昂贵”得多。比如需要为算法工程师和科学家们配备软件工程师，为他们做工具的支撑，需要采购诸如DGX或者Titan P级别的昂贵GPU和训练机器，可能还需要拥有标注团队和相关的项目经理。想听听AI从业者们如何看待这个问题？你的公司的隐性成本有哪些？...
算法工程师该如何做好时间管理？
04-26 388
多位硅谷算法工程朋友和我们分享过他们的日常，作为一个算法工程，其实有效开发算法的时间很少，很多时间都花在了寻找数据，数据拷贝，数据清洗，数据转换，可视化脚本撰写，安装框架（tensorflow，pytorch）的依赖，和标注团队对需求等等。做这些事情每周可能花费数10小时的时间，最高甚至高达95%。如果你是算法大人，你是怎么分配你的时间的？每样工作每周会花多少时间？或是占据你工作时间的百分比？...
Graviti携手UC Berkeley探索自动驾驶预测模型， INTERACTION预测挑战赛正式开启！
03-24 55
为促进自动驾驶领域的行为预测技术发展，加速预测模型/算法评价的研究，加州大学伯克利分校机械系统控制实验室（MSC Lab）携手AI数据服务平台提供商Graviti（格物钛）、世界领先的云服务商AWS（亚马逊云）举办的“INTERACTION数据集预测挑战赛”正式启动。目前学术界和工业界一致认为，行为预测（Prediction: 如轨迹、动作、意图）是自动驾驶领域最具挑战性的问题之一，它是阻碍全...
数据库版本管理：Flyway探索与实践
03-03 532
引言：如果你是一个独立开发者或者不需要维护多个系统，那么维护数据库版本并不复杂。但是如果你的团队正在快速迭代或者同时开发多个功能，在多个环境版本并行，在多个生产服务器上部署你的服务，那么数据库的管理将变成一件麻烦事。如何更新所有的数据库，并维护好所有的更新记录，把多个人的操作合并起来带来了挑战。​我们团队在开发的过程中也有同样的困扰。这篇文章将介绍我们团队是如何通过Flyway将这些问题逐一解...