• 交换机
  • 2024-03-28 13:12:33
  • 0

南通智能交换机,南通智能交换机厂家

大家好,今天小编关注到一个比较有意思的话题,就是关于南通智能交换机的问题,于是小编就整理了1个相关介绍南通智能交换机的解答,让我们一起看看吧。

每天产生这么多的视频,头条的存储服务器得多大空间?会不会有存储极限?

说到云服务器最早是亚马逊为了应对全球的业务,采购了大量的云服务器基本上不是所有的服务器都能满负荷的运转,于是亚马逊就产生了如何剩余的机器以及机器运行负荷不是很高的情况下获取一定的利益,这是最初云服务器最原始的需求,现在的云计算已经成为了一种核心技术,由于亚马逊这个事情做的比较早,所以在这个行业的积累最长,从全球云计算的市场份额就可以看出来,亚马逊几乎是压倒性的优势占据着市场的主导地位。

南通智能交换机,南通智能交换机厂家

微软自从盖茨离开之后一直处于不温不火的状态,自从涉足了云计算的业务直接把这个老牌企业拉到市值第一的位置,可见云计算在未来全球科技中占据多么重要的作用,谷歌也在云计算领域投入了大量的资源,国内的阿里云依靠亚太市场整体的市场份额已经能够占据到全球前三的位置,而且排名在前三的云计算都是使用的完全自主研发的技术,所以跟进速度特别的快。

回到头条的存储服务器,可能和真正的云计算服务器还是存在一定的差距,依据头条的实力未来也不排除在这方面发力,头条的存储服务器在2018年的时候已经达到了17万台,听起来就是一个非常恐怖的数字,而且这个数字还在一直增长,随着头条业务不断的拓展未来在云上一定储备一定的技术,未来的头条的设想不但但是信息流以及短视频这么简单的事情,而且未来还将成为腾讯公司最大的竞争对手,目前的腾讯公司是国内的最大的流量企业毕竟像QQ和微信用户使用量极其的巨大。

当然在实际存储过程中还会采用分布式的技术,因为不可能把所有的数据都集中在一个服务器,想要配套相应的备份服务器,虽然服务器的数量已经非常巨大,但是也需要大量的备份服务器,一个地方的服务器数据丢失了,还能继续使用别的区域的服务器,早期的头条公司经常出现服务器宕机的情况,其中很大一个原因是服务器数量不够,很快就达到负载极限,加上早期头条公司研发能力不像现在这么强大,也代表一个企业在飞速的发展。

一般配置的服务器都是超标配置,如果因为数据空间不足,影响到用户的体验就会显得特别被动,所以头条在经历了快速发展期之后就开始大规模的部署服务器,当然也包括很多存储服务器,而且很多存储服务器部署在分布式已经被分割起来,最终哪天头条搞出来头条云也不要太过于惊讶,毕竟如此巨量的服务器一直放在那边,可以资源最大化的利用这应该是头条未来的一个重要的一个战略点,目前主要精力在于在全球范围内推广自己的头条产品矩阵,而且抖音的出海非常成功,未来科技企业战略点还是在于核心技术的积累,头条未来想要发展壮大必然也要走上这条道路,希望能帮到你。

    淘宝、今日头条等这些互联网公司,大部分采用了分布式存储方案,存储空间可以弹性增加,自由扩展,可以说没有存储的极限。在介绍分布式存储之前,首先说一说集中存储。

    集中存储

    一个中小型公司,大部分采用了集中存储方式,也就是整个存储集中到一个系统中,为了增加系统的可靠性,可能采用了两地三中心的备份方案。集中存储并不是一个独立的设备,而是集中到一套系统中的多个设备。

    集中存储的架构

    集中存储包含了很多组件,比如控制器、磁盘阵列、交换机等,还有管理设备等辅助设备,下图显示了一个集中式存储的基本逻辑图。

    集中存储的核心部件是机头,包含了两个控制器,互为备份,避免硬件故障导致整个存储系统不可用。控制器分为前端端口和后端端口,前端端口为服务器提供存储服务,后端端口用户扩充存储容量,后端端口连接存储设备,形成一个非常大的存储资源池。

    简单来说,集中式存储最大的特点就是有一个统一的入口,所有的数据都要经过整个入口,对应存储系统的机头。

    分布式存储

    分布式存储最早由谷歌提出,目的是通过廉价的服务器提供大规模、高并发场景下的应用。下图显示了谷歌分布式存储的简化模型,整个系统将服务器分为两种类型:namenode存储管理数据(元数据),datanode负责实际数据的存储。

    读取过程为,首先从namenode中获取该文件的位置,然后从datanode中获取具体数据。通过横向扩展datanode的数量,就可以增加承载容量,实现了动态横向扩展的能力。

    无中心架构的分布式存储

    谷歌的分布式存储架构,仍然有中心节点,即负责管理元数据的namenode节点。

    Ceph存储架构的分布式存储,完全没有中心节点,客户端通过一个设备映射关系计算写入数据的位置,客户端直接与存储节点通信。Ceph存储架构如下图所示。

    在Ceph存储架构中,有Mon服务、OSD服务、MDS服务等。客户端访问存储设备的流程为:首先从Mon服务中读取存储资源布局信息,然后计算出期望的数据位置,包括物理服务器信息和磁盘信息,然后直接通信,读取或者写入数据。


    以上就是集中式存储和分布式存储的区别,大型的互联网公司通常采用了去中心化的分布式存储技术,对存储容量可以横向扩展,技术上来说“永远存不满”。

如果觉得对你有帮助,可以多多点赞哦,也可以随手点个关注哦,谢谢。

很多朋友可能对于像阿里巴巴,腾讯,百度以及字节跳动这样的公司,这些公司每天存储的数据量非常庞大,可以达到TB级别。但是他们给我们的感觉是,无论我们在这些平台中产生什么样的内容,多大的数据量,他们都能够装得进去,好像他们的服务器容量是无限的。这是为什么呢?

其实对于技术感兴趣的朋友可能会了解到,像这些公司他们一定使用的是一种叫做分布式存储的技术方案。

分布式存储

分布式存储的技术思想其实在10多年前就已经有了,这是因为当时的谷歌也面临着存储海量网页的问题,当时他们在内部试行了一套系统,后来被证实是可用的。于是他们在2010年,公开发表了三篇论文,分别是Google big table、Google file system以及Google mapreduce。那么这其中的Google file system就是现如今各种分布式存储方案的核心思想。

这张图就展示了HDFS的一个版本,它就是一个分布式的文件存储系统。我们可以看到,中间的每个namenode都有三个箭头指向最下一层的datanode,这是什么意思呢?NameNode其实并不直接存储数据,直接存储数据的是下面的三个datenote,也就是数据分片。而且我们要查询数据的时候,也是从这些数据分片上把数据提取出来,然后进行整合反馈给我们这些用户,就这样形成了一个闭环。

简单来说就是在存储数据的时候,不管是视频、图片还是文本内容等等这些数据,我们都可以把这些海量的数据,将其进行切分,然后放在不同的服务器中去存储。因为每一个datenode就代表一台服务器,而且因为整个分布式的架构又是高可用的,它可以横向的无限拓展,那么也就意味着datanote可以拓展无限个。就这样,通过分布式的一个思想,我们从技术层面解决了海量数据的存储问题。

字节跳动海量数据的存储

字节跳动这家公司,其实在18年,它的服务器数量已经达到了17万台,这些服务器可能分布在全国各个地方。那么发展到现在,我估计至少也有20多万台,正是由于这20对万台服务器的不断拓展,才支撑起今日头条、抖音、西瓜视频、火山小视频、悟空问答等流行社交媒体产品线上的海量数据存储。而对于我们用户来说,我们每天发视频,每天写文章上传到字节跳动的服务器,我们并没有什么感觉,原因就在这儿。

所以,只要服务器能够不断的横向拓展,理论上来说,存储是可以没有上限的。


赠人点赞,手留余香。我是小强Talk,欢迎大家关注我,和我一起共同成长进步!

到此,以上就是小编对于南通智能交换机的问题就介绍到这了,希望介绍关于南通智能交换机的1点解答对大家有用。

相关推荐