في مبدأ المعلومات، فإن إنتروبيا المتغير العشوائي هي المقياس المتوسط للمعلومات أو المفاجأة أو عدم اليقين الأساس في النتائج المتوقعة للمتغير.
ما هي الإنتروبيا ويرل الكمومية
بالنظر إلى متغير عشوائي منفصل 
![{\ displaystyle p: {\ mathcal {X}} \ to [0،1]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f219961c04ea0285eff7416f743c7684e0da25fa)
![{\ displaystyle \ mathrm {H} (X): = - \ sum _ {x \ in {\ mathcal {X}}} p (x) \ log p (x) = \ mathbb {E} [- \ log p (X)] ،}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5a9e707eb6c54290db4ee6be05582944e34e30c8)
حيث ان 
تم تقديم مصطلح إنتروبيا المعلومات بواسطة كلود شانون في بحثه عام 1948 على هيئة نظرية الاتصال الرياضية، ويقال عنه أيضا بإنتروبيا شانون.
تعين نظرية شانون نظام اتصال بيانات يتكون من ثلاثة عناصر، أصل البيانات وقناة اتصال وجهاز استقبال، وتتشكل مشكلة الاتصال الأساسية كما عبرت عنها شانون في أن يتمكن المستقبِل من تحديد البيانات التي تم إنشاؤها بواسطة المصدر، بناءً على الإشارة التي يتلقاها عبر القناة.
نظر شانون في طرق عديدة ومتنوعة لتشفير وضغط ونقل الرسائل من مكان جلب البيانات، وبين في النظرية ترميز المصدر الشهيرة أن الانتروبيا تشكل حدًا رياضيًا مطلقًا لمدى جودة ضغط البيانات من المصدر بلا ضياع على قناة بلا ضوضاء تمامًا، وشدد شانون على هذه النتيجة بشكل كبير للقنوات الصاخبة في نظرية تشفير القناة الصاخبة.
إن الانتروبيا في نظرية المعلومات تبين تقريبا انها كانتروبيا الديناميكا الحرارية الإحصائية، وينتج القياس عندما تعين قيم المتغير العشوائي طاقات ميكروستات، لذا فإن شكل جيبس للإنتروبيا تناسب رسميًا لصيغة شانون.
الانتروبيا لها علاقة بمجالات الرياضيات الأخرى مثل التوافقية والتعلم الآلي، ويمكن تأكيد التعريف من مجموعة من البديهيات التي تبين أن الانتروبيا يجب أن تكون مقياسًا لمقدار دهشة متوسط نتيجة المتغير، وبالنسبة للمتغير العشوائي المستمر، فإن الانتروبيا التفاضلية هي مشاية كثيرا للإنتروبيا العادية.
