维也纳爱乐的民主结构与卡拉扬的专横无法相容。他与大众化的萨尔茨堡音乐艺术节决裂，始于他执意把票价提高到“百万富翁俱乐部”水平。
富特文格勒去世后，从1956年开始，卡拉扬被任命为音乐节艺术总监。由于与维也纳关系日益紧张，他开始更多利用萨尔茨堡为自己服务。他任命效忠于自己的人出任总监，以主席委员会成员身份遥控之。他禁止在音乐节演出现代作品；他着迷于技术和音响；比拜罗伊特更加平民化的萨尔茨堡音乐节，正变成超级富翁俱乐部；卡拉扬提出放弃对普通旅游者的照顾，取缔普通人可以支付的单一门票，萨尔茨堡音乐节的中层，开始对此进行抵制。
卡拉扬已经不需要他们了——他建立了自己的萨尔茨堡复活节音乐会。1973年又创办圣灵降临节音乐节，他以一名董事长的精明和外交家的才能，亲自控制面向精英的门票——而他已经生活在别处。卡拉扬早在1955年就接掌了柏林爱乐，但他没有时间与柏林爱乐合作。他在奥地利到处挂职，参加欧洲各地音乐节，带领维也纳爱乐全球巡演。此时合同上明确规定，一年中卡拉扬要有7个月在维也纳指挥，另外2个月在萨尔茨堡。卡拉扬喜欢四海为家，偏偏在柏林不置办固定住所，每次只在酒店过夜。秘书马通尼说，当时的柏林是卡拉扬的“休养地”。
随着同维也纳、萨尔茨堡决裂，卡拉扬才关注起曾经梦寐以求的乐队，给柏林爱乐投入更多时间排练。一系列优秀录音，如西贝柳斯后4首交响曲（1964年至1967年），理查·施特劳斯《堂吉诃德》（1965年，大提琴富尼埃），穆索尔斯基《图画展览会》（1966年），海顿《创世记》和贝多芬《莱奥诺拉》系列序曲，就是出自这一时期。
与奥地利的氛围不同，卡拉扬在柏林乃至德国音乐界的绝对权力，只有另外一个奥地利人能与之相提并论，那就是希特勒。“卡拉扬粉”可能痛恨将二人相提并论，但卡拉扬本人一生都同情希特勒的遭遇。在给予希特勒深沉的同情上，卡拉扬不伪善。这位倔强的马其顿后裔，比那些忙着为他道德搓澡的人更值得敬重。