计算器一般由运算器、控制器、存储器、键盘、显示器、电源和一些可选外围设备及电子配件，通过人工或机器设备组成。低档计算器的运算器、控制器由数字逻辑电路实现简单的串行运算，其随机存储器只有一、二个单元，供累加存储用。计算器由微处理器和只读存储器实现各种复杂的运算程序，有较多的随机存储单元以存放输入程序和数据。键盘是计算器的输入部件，一般采用接触式或传感式。为减小计算器的尺寸，一键常常有多种功能。显示器是计算器的输出部件，有发光二极管显示器或液晶显示器等。除显示计算结果外，还常有溢出指示、错误指示等。计算器电源采用交流转换器或电池，电池可用交流转换器或太阳能转换器再充电。为节省电能，计算器都采用CMOS工艺制作的大规模集成电路（见互补金属-氧化物-半导体集成电路），并在内部装有定时不操作自动断电电路。计算器可选用的外围设备有微型打印机、盒式磁带机和磁卡机等。

从某种角度而言，广义的“计算机”是包括“电子计算器”的。电子计算器中也有集成电路，但计算器的功能简便，价格更加便宜，利于携带与稳定性好。

在过去，诸如算盘、纳皮尔骨头、数学表书籍、工程计算尺或机械加法机（adding machine）在数值计算上扮演辅助角色。计算器这词原本指的是以纸笔运行数学计算的职业人士，这样的半手动计算工作既繁重又易出错。