Оба этих слова используются для утвердительного ответа на общий вопрос, но есть особенность.
بَلَى — является утвердительным ответом только на вопрос в котором ,есть отрицание( в самом вопросе).
Например, аят:
أَلَسْتُ بِرَبِّكُمْ ۖ قَالُوا بَلَىٰ
Не Я ли ваш Господь? Они сказали : Да
(сура Аль-А´араф ,172)
نَعَم — является ответом на вопрос в котором нет отрицания, например, аят:
فَهَلْ وَجَدتُّم مَّا وَعَدَ رَبُّكُمْ حَقًّا ۖ قَالُوا نَعَمْ
Нашли ли вы истиной то что обещал ваш Господь? Они сказали : да
(сура Аль А`араф ,44)