博客
关于我
架构的演变和为什么要使用NoSQL
阅读量:354 次
发布时间:2019-03-04

本文共 1639 字,大约阅读时间需要 5 分钟。

单机MySQL的美好年代

当一个网站的访问量不大,使用单个数据库完全可以轻松应付。这时候,更多的是静态网页,动态交互类型的网站较少。然而,随着访问量的增加,单机架构逐渐暴露出瓶颈。这些瓶颈主要体现在以下几个方面:数据量的总大小,一个机器放不下;数据的索引,一个机器的内存放不下;以及访问量,一个实例不可以承受。

在满足不了上述瓶颈的情况下,我们需要进行架构的演变。随着访问量的上升,大部分使用MySQL架构的网站都开始出现性能问题。web程序不仅专注于功能上,还在追求性能。于是,程序员们开始大量使用缓存技术来缓解数据库的压力,优化数据库的结构和索引。最初流行的是通过文件缓存来缓解数据库压力,但随着访问量的继续增加,多台web机器通过文件缓存无法共享,大量的小文件缓存也带来了较高的IO压力。这时,Memcached成为了一个非常时尚的技术产品。

由于数据库的写入压力增加,Memcached只能缓解数据库的读取压力。读写集中在一个数据库上让数据库不堪重负,所以我们继续进行架构演变。为了提高读写性能和读库的可扩展性,大部分网站开始使用主从复制技术,实现了读写分离。Mysql的master-slave模式成为了这个时候的网站标配。

由于Memcached的高速缓存,MySQL的主从复制,读写分离的基础之上,这时MySQL主库的写压力开始出现瓶颈。数据量的持续增长,由于MyISAM使用表锁,在高并发下会出现严重的锁问题。因此,越来越多的高并发MySQL应用开始使用InnoDB引擎代替MyISAM。

接下来,我们开始使用分表分库来缓解写压力和数据增长的扩展问题。分表分库成为了一个热门技术。此时,MySQL推出了表分区,给技术实力一般的公司带来了希望。虽然MySQL推出了MySQL Cluster集群,但其性能并不能很好地满足互联网网的要求,只是在高可靠性上提供了非常大的保证。

然而,MySQL数据库也经常存储一些大文本字段,导致数据库表非常大,恢复速度非常慢。例如,1000万4KB大小的文本就接近40GB的大小。如果能把这些数据从MySQL中省去,MySQL将变得非常的小。MySQL的扩展性差(需要复杂的技术来实现),大数据下IO压力大,表结构更改困难,这些都是当前使用MySQL的开发人员面临的问题。

今天的架构已经发生了很大变化。为了应对大规模数据集合和多重数据种类带来的挑战,非关系型数据库(NoSQL)逐渐崛起。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题。

NoSQL是一种“不仅仅是SQL”的数据库,泛指非关系型数据库。随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题。非关系型数据库由于其本身的特点得到了非常迅速的发展。

NoSQL数据库的四大分类主要包括以下几种:Key-Value键值数据库,文档型数据库,列存储数据库,图关系数据库。Key-Value数据库如Redis和Tair;文档型数据库如CouchDB和MongoDB;列存储数据库如Cassandra和HBase;图关系数据库如Neo4J和InfoGrid。

在选择NoSQL数据库时,我们需要考虑其特点。Key-Value数据库适合键值存储,且支持高并发操作;文档型数据库适合结构灵活、支持嵌套文档的应用;列存储数据库适合多维度数据分析和实时查询;图关系数据库则专注于构建关系图谱,适用于社交网络和推荐系统等场景。不同类型的NoSQL数据库各有优势,选择时需要根据具体业务需求来决定。

今天的架构已经变得更加高效和灵活。通过合理的数据库选择和架构设计,我们可以更好地应对大规模数据的存储和处理需求。无论是高性能的键值存储,还是灵活的文档型数据库,亦或是支持复杂关系的图数据库,都能为现代应用提供强有力的支持。

转载地址:http://eqqq.baihongyu.com/

你可能感兴趣的文章
Plotly 域变量解释(多图)
查看>>
Plotly 绘制表面 3D 未显示
查看>>
Plotly-Dash 存在未知问题并创建“加载依赖项时出错“;通过使用 Python-pandas.date_range
查看>>
Plotly-Dash:如何过滤具有多个数据框列的仪表板?
查看>>
Plotly:如何为 x 轴上的时间序列设置主要刻度线/网格线的值?
查看>>
Plotly:如何从 x 轴删除空日期?
查看>>
Plotly:如何从单条迹线制作堆积条形图?
查看>>
Plotly:如何以 Root 样式绘制直方图,仅显示直方图的轮廓?
查看>>
Plotly:如何使用 Plotly Express 组合散点图和线图?
查看>>
Plotly:如何使用 plotly.graph_objects 和 plotly.express 定义图形中的颜色?
查看>>
Plotly:如何使用 Python 对绘图对象条形图进行颜色编码?
查看>>
Plotly:如何使用 updatemenus 更新一个特定的跟踪?
查看>>
Plotly:如何使用长格式或宽格式的 pandas 数据框制作线图?
查看>>
Plotly:如何向烛台图添加交易量
查看>>
Plotly:如何在 plotly express 中找到趋势线的系数?
查看>>
Plotly:如何在桑基图中设置节点位置?
查看>>
Plotly:如何处理重叠的颜色条和图例?
查看>>
Plotly:如何手动设置 plotly express 散点图中点的颜色?
查看>>
Plotly:如何结合 make_subplots() 和 ff.create_distplot()?
查看>>
Plotly:如何绘制累积的“步骤“;直方图?
查看>>