酸性雨の原因は化石燃料の燃焼や火山活動などにより発生する硫黄酸化物(SOx)や窒素酸化物(NOx)、塩化水素(HCl)などである。これらが大気中の水や酸素と反応することによって硫酸や硝酸、塩酸などの強酸が生じ、雨を通常よりも強い酸性にする。大気中に放出されるアンモニアについては、人間の活動や家畜糞尿に起因するものが問題視されている。ただし、酸性雨の問題は、産業革命以降急激に進んでいることから、人間の活動による大気汚染との因果関係は強いと考えられる。
なお、日本における原因物質の発生源としては、産業活動に伴うものだけでなく火山活動（三宅島、桜島）等も考えられている。また、東アジアから、偏西風に乗ってかなり広域に拡散・移動してくるものもあり、特に日本海側では観測される。
国立環境研究所の調査では日本で観測されるSOｘのうち49％が中国起源のものとされ、続いて日本21％、火山13％、朝鮮12％とされている。