🔬

তথ্য তত্ত্ব

Explore Shannon's entropy, channel capacity, and the mathematics that powers all digital communication

🔬 এখনই চেষ্টা করুন

What Is Information Theory?

Information theory, founded by Claude Shannon in 1948, is the mathematical study of quantifying, storing, and communicating information. It defines entropy as the measure of uncertainty in a message — the more surprising an outcome, the more information it carries. Shannon proved that every communication channel has a maximum capacity, and that reliable transmission is possible at any rate below this limit using clever encoding.

Why does this matter? Every text message, phone call, streaming video, and Wi-Fi connection relies on Shannon's theorems. Compression algorithms (ZIP, MP3, JPEG) exploit entropy to shrink data. Error-correcting codes (used in satellites, QR codes, 5G) add strategic redundancy so data survives noise. Information theory even connects to thermodynamics, machine learning, and the fundamental limits of computation.

📖 গভীরভাবে জানুন

উপমা 1

কল্পনা করুন আপনি 20টি প্রশ্ন খেলছেন। যদি কেউ একটি প্রাণীর কথা ভাবে, আপনার সেরা কৌশল হল এমন প্রশ্ন জিজ্ঞাসা করা যা প্রতিবার সম্ভাবনাগুলিকে অর্ধেক ভাগ করে দেয় — 'এটি কি স্তন্যপায়ী?' অর্ধেক অপশন বাদ দেয়। তথ্য তত্ত্ব পরিমাপ করে ঠিক কতটি হ্যাঁ/না প্রশ্ন আপনার প্রয়োজন। একটি ন্যায্য মুদ্রা উল্টানো প্রয়োজন 1 প্রশ্ন (1 বিট)। একটি ডাইস রোলের জন্য প্রায় 2.6টি প্রশ্ন (2.6 বিট) প্রয়োজন। ফলাফল যত বেশি বিস্ময়কর, তত বেশি তথ্য বহন করে।

উপমা 2

একটি গোলমাল ফোন কল চিন্তা করুন. আপনি একটি উচ্চস্বরে রেস্টুরেন্টে আপনার বন্ধুর কথা শোনার চেষ্টা করছেন। শ্যানন দেখিয়েছেন যে একটি গাণিতিক গতির সীমা রয়েছে - চ্যানেলের ক্ষমতা - আপনি কত দ্রুত কথা বলতে পারেন এবং এখনও বোঝা যায়। সেই সীমার নীচে, চতুর এনকোডিং (যেমন ধীরে ধীরে কথা বলা এবং মূল শব্দগুলি পুনরাবৃত্তি করা) আপনার বার্তাটি নিখুঁতভাবে পেতে দেয়। এর উপরে, আপনি যাই করুন না কেন ত্রুটিগুলি অনিবার্য। প্রতিটি Wi-Fi রাউটার, 5G টাওয়ার এবং স্ট্রিমিং পরিষেবা এই আইন মেনে চলে৷

🎯 সিমুলেটর টিপস

শিক্ষানবিস

একটি সাধারণ বার্তা পাঠান এবং দেখুন কিভাবে এনট্রপি তথ্য বিষয়বস্তুকে পরিমাপ করে — আরও বিস্ময় মানে আরও বিট।

মধ্যবর্তী

চ্যানেলে শব্দ যোগ করুন এবং ত্রুটি সংশোধন কোডগুলি কীভাবে বার্তার অখণ্ডতা বজায় রাখে তা পর্যবেক্ষণ করুন।

বিশেষজ্ঞ

শ্যানন সীমার দিকে ট্রান্সমিশন হার ঠেলে এবং ক্ষমতা বনাম ত্রুটি ট্রেড-অফ অন্বেষণ করুন।

📚 শব্দকোষ

Entropy
একটি বার্তায় অনিশ্চয়তা বা তথ্য সামগ্রীর পরিমাপ। উচ্চতর এনট্রপি = প্রতীক প্রতি আরও তথ্য।
Bit
বাইনারি ডিজিট - তথ্যের মৌলিক একক, একটি বাইনারি পছন্দ প্রতিনিধিত্ব করে (0 বা 1)।
Shannon's Channel Capacity
সর্বাধিক হারে যে তথ্য একটি শব্দযুক্ত যোগাযোগ চ্যানেলের মাধ্যমে নির্ভরযোগ্যভাবে প্রেরণ করা যেতে পারে।
Compression
অপ্রয়োজনীয়তা কাজে লাগিয়ে ডেটার আকার হ্রাস করা। ক্ষতিহীন (ZIP) সমস্ত তথ্য সংরক্ষণ করে; ক্ষতিকর (JPEG) কিছু বাতিল করে।
Redundancy
ন্যূনতম প্রয়োজনের বাইরে অতিরিক্ত তথ্য, ত্রুটি সনাক্তকরণ/সংশোধন সক্ষম করে কিন্তু দক্ষতা হ্রাস করে।
Mutual Information
দুটি ভেরিয়েবলের মধ্যে ভাগ করা তথ্যের পরিমাপ - একটি কতটা জানা অন্যটি সম্পর্কে বলে।
Kullback-Leibler Divergence
একটি সম্ভাব্যতা বন্টন একটি রেফারেন্স বন্টন থেকে কিভাবে আলাদা তা পরিমাপ করুন। ML-এ মৌলিক।
Error Correction
ট্রান্সমিশন ত্রুটি সনাক্ত এবং ঠিক করতে অপ্রয়োজনীয় বিট যোগ করা (হ্যামিং কোড, রিড-সলোমন, LDPC)।
Source Coding Theorem
শ্যাননের উপপাদ্য: ডেটাকে তার এনট্রপি হারে সংকুচিত করা যেতে পারে তবে তথ্যের ক্ষতি ছাড়া নীচে নয়।
Noisy Channel Theorem
শ্যাননের উপপাদ্য: চ্যানেলের ক্ষমতার কম হারে নির্ভরযোগ্য যোগাযোগ সম্ভব।

🏆 মূল ব্যক্তিত্ব

Claude Shannon (1948)

এনট্রপি এবং চ্যানেলের ক্ষমতা সংজ্ঞায়িত করে 'একটি গাণিতিক থিওরি অফ কমিউনিকেশন' সহ তথ্য তত্ত্ব প্রতিষ্ঠিত

Richard Hamming (1950)

ডিজিটাল যোগাযোগের ভিত্তিগত ত্রুটি সনাক্তকরণ/সংশোধনের জন্য হ্যামিং কোড তৈরি করা হয়েছে

Solomon Kullback (1951)

সহ-উন্নত কেএল ডাইভারজেন্স, একটি মৌলিক পরিমাপ যা মেশিন লার্নিংয়ে ব্যাপকভাবে ব্যবহৃত হয়

Abraham Lempel & Jacob Ziv (1977)

জিপ, জিআইএফ, পিএনজি ফর্ম্যাটের অন্তর্নিহিত এলজেড কম্প্রেশন অ্যালগরিদম (এলজেড77, এলজেড78) উদ্ভাবিত

David Huffman (1952)

এমআইটি ছাত্র হিসাবে সর্বোত্তম উপসর্গ-মুক্ত কোডিং (হাফম্যান কোডিং) আবিষ্কার করেছেন

🎓 শিক্ষার উৎস

💬 শিক্ষার্থীদের বার্তা

তথ্য তত্ত্ব ভিজ্যুয়ালাইজারের চিত্তাকর্ষক বিশ্বের অন্বেষণ. প্রতিটি আবিষ্কার কৌতূহল দিয়ে শুরু হয়!

শুরু করুন

বিনামূল্যে, সাইনআপ নেই

শুরু করুন →