セキュリティグループ毎の上限値を超えることは稀なことなのですが、
VPC内のセキュリティグループにルール追加した際に、以下のようなエラーになりました。

The maximum number of rules per security group has been reached.

上記の内容からすると、セキュリティグループに追加できるルールの上限を超えてしまったようです。
VPC内の1セキュリティグループのルールの数は、デフォルトは50個で申請することで増やせるようです。

Amazon VPC 制限増加申請

VPCの各種制限値は、下記で確認できます。

Appendix B: Limits

また、VPC用ではないセキュリティグループは上限が100となっているようです。

Security Group Concepts

<

blockquote>「Note You can create up to 500 EC2 security groups, with up to 100 rules per group」