Erst einmal vielen Dank an alle. Die Größe des Popup-Links kann man also in der config/config.php ändern. Das funktioniert auch, ist aber nicht dynamisch.
Letztendlich hat mir der Tipp von Hanspeter geholfen.
Die Thickbox habe ich jetzt durch folgende Änderung responsiv gemacht.
Im css/thickbox.css die Zeile
#TB_window{font:12px Arial, Helvetica, sans-serif;font-weight:bold;position:fixed;background:#ffffff;z-index:102;color:#333333;display:none;border:4px solid #525252;text-align:left;top:50%;left:50%;}
durch folgendes ersetzen
@media only screen and (min-width : 680px) {#TB_window{font:12px Arial, Helvetica, sans-serif;font-weight:bold;position:fixed;background:#ffffff;z-index:102;color:#333333;display:none;border:4px solid #525252;text-align:left;top:50%;left:50%;}}
@media only screen and (max-width : 679px) {#TB_window{font:12px Arial, Helvetica, sans-serif;font-weight:bold;position:fixed;background:#ffffff;z-index:102;color:#333333;display:none;border:4px solid #525252;text-align:left;top:1%;width:90% !important;margin-left:5% !important;margin-right:5% !important;margin-top:10% !important;}#TB_window iframe{max-width:100%;}}