Он был возмущен тем, что никак не мог повлиять на решение Международного олимпийского комитета, который решил не допускать Германию до участия в Олимпийских играх 1924 года, которые проходили в Париже. С другой стороны, он отказывался от членства в МОК, которое ему мог обеспечить Пьер де Кубертен. Реакция Карла Дима была настолько бурной, что на некоторое время он вновь дистанцировался от международного олимпийского движения. В некоторых из своих выпадов в адрес МОК он даже позволял себе расистские пассажи: «Даже Олимпийские игры в 1924 году решено провести во Франции, в стране, которая захлебывается в приступах враждебной ненависти… Ни один немец не появится на так называемом празднике мира в Париже до тех пор, пока негры во французской военной униформе топчут берега немецкого Рейна![4] Для нас полновесной заменой должны стать наши собственные состязания». Впрочем, скрытый расизм был присущ Карлу Диму почти всегда. Еще в годы Первой мировой войны он не раз рассуждал в своих статьях о «непобедимости германской расы». Но нельзя не отметить, что Дим никогда не был расистом в национал-социалистическом смысле этого слова.
Но, несмотря на эти размолвки, сближение немецкого спорта и международного олимпийского движения было неизбежным. Эта тенденция стала вполне отчетливой, когда в 1924 году в состав Международного олимпийского комитета были введены президент имперского комитета физической культуры Теодор Левальд и Оскар Раперти, являвшийся главой Немецкого союза весельного спорта. После этого Карл Дим был просто-напросто вынужден вновь искать контактов с олимпийцами. В 1925 году Левальд, Дим и еще пять немецких спортивных функционеров официально принимали участие в VIII Олимпийском конгрессе, который проходил в Праге. На этот раз немцы не только были полноправными участниками мероприятия, но даже сыграли на нем важную роль. Когда Германия в 1926 году вступила в Лигу Наций, то постепенно нормализовались международные и внешнеполитические отношения. После этого Карл Дим вновь стал верить в то, что было возможно возвращение к изначальным идеям олимпийского движения. Впрочем, эти события встретили понимание далеко не у всех. С протестами выступали многие националистические спортивные объединения, к числу которых можно отнести «Немецкий турнершафт». Они пытались организовать бойкот Олимпийским играм, которые в 1928 году проходили в Амстердаме. Спортсмены-националисты считали невозможным состязаться с представителями стран, с которыми Германия воевала в Первой мировой войне. Это считалось «национальным позором». Но, вопреки этому сопротивлению, Германия все-таки приняла участие в этой Олимпиаде.
Однако конфликт на этом не был исчерпан. В знак протеста «Немецкий турнершафт» вышел из состава Немецкого имперского комитета физической культуры. Вернуть организацию в комитет удалось не сразу. Карлу Диму пришлось приложить для этого немало усилий. Однако итогом этих нелицеприятных переговоров стало создание Немецкого