并行计算,什么是并行计算？

并行计算（parallel

computing）是指同时使用多种计算资源解决计算问题的过程。为执行并行计算，计算资源应包括一台配有多处理机（并行处理）的计算机、一个与网络相连的计算机专有编号，或者两者结合使用。并行计算的主要目的是快速解决大型且复杂的计算问题。此外还包括：利用非本地资源，节约成本

―

使用多个“廉价”计算资源取代大型计算机，同时克服单个计算机上存在的存储器限制。

　【并行计算】

　　并行计算（Parallel Computing）是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理器来协同求解同一问题，即将被求解的问题分解成若干个部分，各部分均由一个独立的处理机来并行计算。并行计算系统既可以是专门设计的、含有多个处理器的超级计算机，也可以是以某种方式互连的若干台的独立计算机构成的集群。通过并行计算集群完成数据的处理，再将处理的结果返回给用户。

　　并行计算可分为时间上的并行和空间上的并行。

　　时间上的并行：是指流水线技术，比如说工厂生产食品的时候步骤分为：

　　1． 清洗：将食品冲洗干净。

　　2． 消毒：将食品进行消毒处理。

　　3． 切割：将食品切成小块。

　　4． 包装：将食品装入包装袋。

　　如果不采用流水线，一个食品完成上述四个步骤后，下一个食品才进行处理，耗时且影响效率。但是采用流水线技术，就可以同时处理四个食品。这就是并行算法中的时间并行，在同一时间启动两个或两个以上的操作，大大提高计算性能。

　　l 空间上的并行：是指多个处理机并发的执行计算，即通过网络将两个以上的处理机连接起来，达到同时计算同一个任务的不同部分，或者单个处理机无法解决的大型问题。

　　【分布式计算】

　　所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。 最近的分布式计算项目已经被用于使用世界各地成千上万位志愿者的计算机的闲置计算能力，通过因特网，您可以分析来自外太空的电讯号，寻找隐蔽的黑洞，并探索可能存在的外星智慧生命；您可以寻找超过1000万位数字的梅森质数；您也可以寻找并发现对抗艾滋病病毒的更为有效的药物。这些项目都很庞大，需要惊人的计算量，仅仅由单个的电脑或是个人在一个能让人接受的时间内计算完成是决不可能的。

　　中国科学院的定义

　　分布式计算是一种新的计算方式。所谓分布式计算就是在两个或多个软件互相共享信息，这些软件既可以在同一台计算机上运行，也可以在通过网络连接起来的多台计算机上运行。分布式计算比起其它算法具有以下几个优点：

　　1、稀有资源可以共享。

　　2、通过分布式计算可以在多台计算机上平衡计算负载。

　　3、可以把程序放在最适合运行它的计算机上。

　　其中，共享稀有资源和平衡负载是计算机分布式计算的核心思想之一。

白话文解释分布式计算和并行计算:

分布式计算:比如你有100块砖头，需要分给10个人十次搬，第一次10个人搬完了才能进行第二次搬，依次类推，等第十次都搬完了再将10次结果串起来然后返回结果，这种方式的瓶颈是IO和节点之间的网络传输；

并行计算:是把100块砖头分给10个人搬，10个人同时搬完并返回结果；

两者区别:并行计算在效率上要优于分布式计算，因为并行计算不需要像分布式计算那样一个节点上计算完了才能开始下一节点计算，返回过程中也不需要对计算结果进行串行之后再返回