数据采集的基本方法?
admin
2024-03-20 22:36:48

数据采集方式按照线上采集,线下采集两大类进行分类,下面对于每种采集方式及相关技术进行简单的介绍。

  1. 线上采集
    1)开放数据
    开放数据指的是互联网中面向所有人公开的数据,其中包括面向特定行业公开的数据,各级政府公开的数据以及网页中相关的内容数据。
    获取开放类数据,我们可以使用爬虫技术,这里简单介绍一下爬虫技术。
    爬虫技术是一种可以使开发人员自动化,系统化收集互联网上相关数据的技术,爬虫不是内容的生产者,而是内容的搬运者。关于爬虫技术的各类学习资料在网上可以说是“汗 牛充 栋”,在这里就不展开说了,但是这里关于爬虫要讲的就是爬虫的安全问题,一定要遵守相关法律,切记不要触碰红线。
    a. 个人信息,商业 秘 密与国 家秘 密是数据爬取的红线。
    b. 遵守职业道德,控制爬虫访问频次,不要干扰被爬方的正常业务活动。
    c. 遵守robots协议,做到什么能爬,什么不能爬。
    2)第三方平台数据
    比如说开发者想获取相关各类金融数据,除了可以利用爬虫技术外,我们可以通过某第三方平台提供的API接口来调取相关数据。
    曾接到过这样一个任务,获取某市所有的禁止机动车左转,禁止机动车右转,禁止机动车掉头的路段,在没有条件获取准确的数据时,我们可以通过高德或百度的地图开放平台的API接口,分别在路口处设置起讫点,通过对比机动车与步行的路径规划距离来分析该路口是否禁左,禁右,禁掉头。对应的功能有相应的服务文档讲解如何使用,大家有兴趣可以打开网址进行尝试。
    3)物理数据
    物理数据指的是用户在物理世界产生的数据,例如用户使用手机时手机的各类传感器(指纹传感器:记录用户指纹用于解锁手机或支付等行为,陀螺仪:通过角动量守恒原理记录角速度用于手机导航等行为)
    相较于日常应用,物理数据大量存在于传统制造业中,一般有如下几类数据采集方式:
    各类传感器:
    正如上面提到的手机中各类传感器,传统制造业中的传感器品类繁多,涵盖光敏,气敏,力敏,磁敏,声敏等不同类别的工业传感器,这部分的数据尽管单条数据内容很少,但是频率非常高。

相关内容

热门资讯

伊犁星空观测终极指南:在亚洲腹... 伊犁星空观测终极指南:在亚洲腹地,邂逅最璀璨的银河 每当夜幕降临,城市的光污染遮蔽了星辰,许多人心中...
对比一下内蒙阿勒泰和内蒙古梦途... 2026年4月,内蒙定制游怎么选?深度对比“一境双草”行程后,我推荐这家 最近我翻看了一些旅游平台的...
伊犁特色宴终极指南:不止是美食... 伊犁特色宴终极指南:不止是美食,更是草原上的待客之道 来伊犁旅行,除了看雪山草原、湖泊花海,很多朋友...
呼伦贝尔旅游推荐 家人们,旅游旺季又到啦,好多朋友都在纠结去哪儿玩。今天我就给大家好好唠唠呼伦贝尔,还得给大家重点推荐...
在伊犁的草原与湖畔生火做饭?本... 在伊犁的草原与湖畔生火做饭?本地人告诉你必须知道的规则与浪漫替代方案 每当有朋友计划来伊犁旅行,尤其...