祖冲之在数学方面最主要的成就，首推圆周率的计算。他应用刘徽的割圆术，在刘徽的基础上继续推算，求出了精确到第七位有效数字的圆周率。史载“祖冲之更开密法，以圆径一亿为一丈，圆周盈数三丈一尺四寸一分五厘九毫二秒七忽，朒数三丈一尺四寸一分五厘九毫二秒六忽，正数在盈朒二限之间”[2]。这相当于算得了圆周率在3.1415926和3.1415927之间。在公元5世纪时就取得如此成就，是很了不起的。用这个数值计算直径为一千米的大圆周长时产生的误差不超过1厘米。在国外，直到1427年，阿拉伯数学家阿尔·卡西才求出更精确的数值，把圆周率推算到第17位有效数字，但这已经是祖冲之逝世之后近1000年的事了。
为了计算的方便，祖冲之还求出用分数表示的两个圆周率数值，一个是355／113，称密率，一个是22／7，称约率。其中密率是表示圆周率的最佳渐近分数。在欧洲直到1573年，德国数学家鄂图才得到了这一数值。约率虽仅精确到第3位有效数字，但因数目简约，实际生产生活中使用起来很方便。
关于球体的体积计算，是祖冲之在数学领域做出的另一杰出贡献。古代的数学著作如《九章算术》，是按外切圆柱体与球体体积之比，等于正方形与其内切圆面积之比进行计算的。刘徽首先指出这种计算方法是错误的，他正确地提出“牟合方盖”（垂直相交二圆柱体的共同部分）与球体体积之比，才等于正方形与其内切圆面积之比。但是，刘徽没能求出“牟合方盖”的体积公式。此问题被祖冲之天才地解决了。祖氏巧妙地应用“等高处横截面面积常相等的两个立体，它们的体积必定相等”这一原理，根据实际模型，算出“牟合方盖”的体积等于2／3D3（D为球体直径），从而求出球体体积公式为V=π／6D3。这一公式被当作是其子祖暅的成果而记载于李淳风《九章算术》注中，我们可以把这一成就看成是祖氏父子共同的贡献，习惯上称之为“祖暅公理”。在西欧直到17世纪才由意大利数学家卡瓦列利推导出来。