<ImageButton
android:id="@+id/button_hoge_hoge"
android:layout_width="wrap_content"
android:layout_height="50dp"
android:background="@null"
android:scaleType="fitXY"
android:adjustViewBounds="true"
android:src="@drawable/hoge_hoge"
/>
上記の設定で height に合わせた高さにしてくれる。
まちがって background に画像を設定してはまった (^^)