普陀山原名梅岑山,因西汉末年梅福在此修道而得名。唐咸通四年(863年),日本高僧慧锷从五台山请得观音神像回国,途经莲花洋遇风涛,以为观音不肯去日本,便留下神像,称不肯去观音。五代梁朝贞明二年(916年)建不肯去观音院。
宋元丰三年(1080年)朝廷赐银,改建为宝陀观音寺,从此香火兴盛。南宋嘉定七年(1214年),钦定为观音道场,并根据佛经补怛洛迦,更山名为普陀洛迦山,亦称补陀洛迦山。明朝时,把莲花洋南的一小岛称洛迦山,就有了普陀山和洛迦山两个山名。
观音在古天竺就称南海观音,相传是因为:一、观音出在古天竺(今印度),而古天竺属南亚,加上观音所在的补怛洛迦山在南海,故称南海观音;二、南海与南无相似。唐代著名文学家王勃的《观音大士赞》曰:“南海海深幽绝处,碧绀嵯峨连水府,号名七宝洛迦山,自在观音于彼住。”王勃卒于676年,就算此《赞》作于676年,亦比不肯去观音到普陀山早187年。可见,不是因为有了南海普陀山才称南海观音的,恰好相反,是因为南海观音,才把普陀山改称为南海普陀山的。