In der Entstehungszeit des Museums unter Großherzog Ludewig I., gehörten zunächst keine Elfenbeinstücke zur Sammlung. Diese wurde 1805 durch die Übernahme der Sammlung des Kölner Barons von Hüpsch mit ihren mittelalterlichen liturgischen Gegenständen aus Elfenbein und Edelmetall ergänzt. Die Werke umfassen spätantike, romanische und auch gotische Elfenbeine, die aus Kirchen oder Klöstern stammen. Die Elfenbeinsammlung umfasst auch Objekte die aus den Beinmaterialien des Narwals, des Walrosses, des Nilpferds und des Pottwals sowie aus den Knochen von Nutztieren (Rind, Pferd) gefertigt sind.

Im klassischen Altertum war der Werkstoff Elfenbein sehr geschätzt und wurde häufig mit edlen Materialien ergänzt. Die schon im Altertum beliebten Dosen (Pyxiden) werden auch in der frühchristlichen Kunst zur Aufbewahrung von Schmuck verwendet bis sich der Gebrauch wandelt hin zur Aufbewahrung von Weihrauch, Reliquien und anderen kultischen Gegenständen. Auch Diptychen und Buchdeckel wurden aus Elfenbein hergestellt. Bei den wertvollen sakralen Objekten handelt es sich häufig um Stiftungen, von denen sich der Stifter einen Beitrag für das eigene Seelenheil versprach. Hierbei sind oft Edelsteine mit ihrem Symbolcharakter eingebunden: Diese verweisen auf das himmlische Jerusalem, wie es in der Offenbarung beschrieben wird. Auch Reliquien von Heiligen können Teil dieser Stiftungen sein, womit sich der Stifter die Fürbitte durch den jeweiligen Heiligen erbat.

Die Versatzstücke von Elfenbein- und Goldschmiedearbeiten wurden häufig seriell produziert und im Anschluss in Werkstätten zusammengesetzt, wie bei dem Großen Turmreliquiar aus Köln (4. Viertel 12. Jh.). Auch spätantike Elfenbeinarbeiten wurden in späteren Epochen wiederverwendet und tauchen des Öfteren als Buchdeckel-Schmuck auf, wie in dem sogenannten »Asturius-Buchdeckel«: Die Elfenbeintafel entstand 449 in Arles als Teil eines Konsulardiptychons, wohingegen die Buchdeckelrahmung des Lektionars um 1270 in Lüttich hergestellt wurde. Auch die Einbeziehung von Email ist üblich, das ursprünglich im byzantinischen Raum genutzt wurde und dessen Verwendung im Maasland einen Höhepunkt fand; ein schönes Beispiel stellt der Deckel des Sibillenevangeliars (3. Viertel 12. Jh.) dar. Weitere Bildhandschriften aus dem 9. bis 13. Jahrhundert vervollständigen diese Sammlung mittelalterlichen Kunsthandwerks, die zu den wichtigsten in Deutschland zählt.