A entropia (do grego εντροπία, entropía), unidade [J/K] (joules por kelvin), é uma grandeza termodinâmica que mensura o grau de irreversibilidade de um sistema, encontrando-se geralmente associada ao que se denomina por "desordem" (não em senso comum)[Nota 1]de um sistema termodinâmico. Em acordo com a segunda lei da termodinâmica, trabalho pode ser completamente convertido em calor, e por tal em energia térmica, mas energia térmica não pode ser completamente convertida em trabalho. Com a entropia procura-se mensurar a parcela de energia que não pode mais ser transformada em trabalho em transformações termodinâmicas à dada temperatura.

A parcela de energia interna de um sistema em seu equilíbrio termodinâmico que não pode mais ser convertida em trabalho à temperatura de equilíbrio pode ser determinada pelo produto da entropia S pela temperatura absoluta T do sistema no respectivo estado, encontrando-se disponível à execução de trabalho por tal apenas a parcela {\displaystyle F=U-TS} da energia interna U em consideração. A parcela de energia interna F que pode ser convertida em trabalho, assim como a entropia, é uma função de estado do sistema, e por tal dá origem a um potencial termodinâmico: a energia livre de Helmholtz do sistema em consideração.

A entropia não é uma grandeza que busca mensurar a energia ou a matéria totais encerradas pelas fronteiras do sistema termodinâmico, mas sim como esta matéria e esta energia encontram-se armazenadas e distribuídas no sistema definido por tais fronteiras. Assim, embora uma grandeza bem distinta das grandezas massa, energia interna e quantidade de matéria, a entropia de um sistema encontra-se certamente relacionada às grandezas citadas, sendo, da mesma forma que as anteriores, uma propriedade do sistema. A fim de definir-se um sistema simples especificam-se a energia interna U, a massa m - especificamente a quantidade de matéria N e a natureza das partículas que integram o sistema - e o seu volume V, e ao fazê-lo determina-se também, de forma automática, o valor da entropia S do sistema - uma grandeza escalar - no estado final a ser atingido uma vez dado tempo suficiente para que todos os processos necessários aconteçam. Assim a entropia S nos estados de equilíbrio termodinâmico é uma função das grandezas antes citadas: {\displaystyle S=S_{(U,V,N)}}.

Ver-se-á que os processos que levam o sistema do estado inicial logo após ter sido isolado até o estado de final - o estado de equilíbrio termodinâmico - ocorrem sempre de forma a provocarem aumentos - ou no limite a manutenção - do valor da entropia do sistema. Não ocorrem processos que impliquem a diminuição da entropia total de um sistema isolado. A entropia é, pois, uma função de estado que obedece a um princípio de maximização, o "princípio da máxima entropia": a entropia em um estado de equilíbrio termodinâmico - satisfeitas as restrições impostas ao sistema - é sempre a máxima possível.

A entropia é uma função de estado cujo valor sempre cresce durante processos naturais em sistemas isolados; e quando escrita em função das grandezas extensivas energia interna U, volume V e número de elementos N - no caso dos sistemas termodinâmicos mais simples - a entropia {\displaystyle S=S_{(U,V,N)}} é, assim como as respectivas Transformadas de Legendre, uma equação fundamental para o sistema termodinâmico em questão. É, então, possível, a partir desta e de todo o formalismo termodinâmico, obter-se qualquer informação física relevante para o sistema em estudo.[1]

Se expressa em função de uma ou mais grandezas que não as citadas - cônjugas a si - a expressão para a entropia S reduz-se a uma mera equação de estado. As equações de estado, embora relacionem valores de grandezas termodinâmicas nos estados de equilíbrio, não retêm em si, individualmente, todas as informações acerca do sistema. É necessário o conhecimento de todas as equações de estado para recuperar-se a completeza acerca das informações - para a partir delas se estabelecer uma equação fundamental - e via transformada de Legendre, se estabelecer qualquer das demais equações fundamentais - se desejada.

​

​

​

Entropia, quando relacionada à termodinâmica, é a medida do grau de irreversibilidade de um determinado sistema. Então, quanto menor a chance do sistema voltar ao seu estado original, maior será o grau de entropia. É considerada por Einstein como a primeira lei de todas a ciências.

Para a área de Teoria da Informação, a entropia é definida como sendo uma forma de medir o grau médio de incerteza a respeito de fontes de informação, o que consequentemente permite a quantificação da informação presente que flui no sistema. Em termos simples, o conceito de entropia se associa à idéia de que, quanto mais incerto é o resultado de um experimento aleatório, maior é a informação que se obtém ao observar a sua ocorrência.

​

Contexto Histórico[editar | editar código-fonte]

O engenheiro e matemático Claude Shannon é considerado o pai da teoria da informação. Americano, atuou nas áreas de engenharia elétrica, comunicações, criptografia e xadrez computacional, instalando bases tanto para a indústria de computadores quanto para a de telecomunicações. Shannon introduziu, em 1948, no trabalho A Mathematical Theory of Communication[1], publicado na revista Bell System Technical Journal, conceitos primordiais que deram origem à teoria da informação, entre eles a entropia da informação e a capacidade de canal.

Nesse trabalho, Shannon desenvolve um modelo teórico para o problema da comunicação envolvendo a transmissão de mensagens digitais. Ele parte do pressuposto de que uma mensagem transmitida para um receptor é invariavelmente recebida com ruídos, isto é, quando uma informação passa por um canal de comunicação ela sofre distorções e chega ao receptor precisando ser submetida a um processo de decodificação.

Shannon então demonstrou matematicamente que, se por exemplo consideramos a transmissão de um sinal ruidoso como uma conversa barulhenta, este pode ser recuperado no transmissor sem distorção, respeitadas características como a capacidade de transmissão daquele meio (canal). Basta nesse sentido empregar um código corretor de erros adequado, de modo que os sinais serão recebidos com probabilidade de erro arbitrariamente pequena.

Norbert Wiener, na mesma época, associou entropia ao processo de comunicação/informação, afirmando que, nos processos onde há perda de informação, há uma situação igual aos processos que ganham entropia. Segundo Wiener, a soma de informação em um sistema é a medida de seu grau de organização e, ao mesmo tempo, de seu grau de desorganização, sendo assim, um é o negativo do outro.

As definições de Shannon tiveram impacto direto no desenvolvimento das comunicações, da criptografia, da computação digital, da codificação de sinais (vídeo, imagem, texto), assim como em problemas da linguística, psicologia e fonética. A linguagem, por exemplo, é um mecanismo de comunicação que tem um código de correção de erros embutido nas suas regras de sintaxe, ortografia e semântica.

Aplicações diversas da Entropia[editar | editar código-fonte]

Nos anos seguintes a criação do conceito, outros pesquisadores o modificaram e generalizaram, criando outras formas de entropia. Logo, o conceito da entropia de informação foi aplicado nas mais diversas áreas de conhecimento, como por exemplo Ciência da Informação, biologia, medicina, ecologia, economia e linguística, assim se tornando cada vez mais um método interdisciplinar.

Um dos exemplos da consequência de entropia é o primeiro experimento relacionado à química que demonstra uma auto-organização de partículas duras, não-biológicas, sem ajuda de interações atrativas, como ligações químicas. Cristais complexos foram criados sem a ajuda de interações, como por exemplo os tetraedros se organizaram espontaneamente em um quasicristal, este, por vez, terá suas propriedades diferentes de um cristal ou de um sólido comum, ele poderá ter propriedade ópticas únicas.

Na termodinâmica, a entropia tem um papel fundamental, pois é com não-conservação da entropia, ou seja, com a variação de desordem do sistema que máquinas térmicas funcionam. A compreensão do funcionamento dessas máquinas leva ao conceito da entropia do sistema.

Entropia e Informação[editar | editar código-fonte]

Informação, de acordo com diferentes autores, é um termo que vem sendo usado mais a partir da década de 1950. É usado para significar mensagens, notícias, novidades, dados, conhecimento, literatura, símbolos, signos e, até mesmo, "dicas" e sugestões. Pode até parecer um termo vago, sendo necessário um contexto em que é empregada. Georges Ifrah apresenta pelo menos 26 diferentes conceitos de informação

Diferentemente da energia, a informação é algo que se cria e que existe cada vez mais em maior quantidade no nosso Universo. Segundo Zdenek Zeman, "a expressão da informação de um sistema tem por base, como se sabe, a fórmula matemática da entropia negativa". Partido dessa ideia, informação, isto é, de entropia negativa, pode exprimir, também, a medida da ordem de um sistema nervoso ou de um sistema social. A entropia negativa é atingida quando a probabilidade de ocorrer todos os símbolos é igual, ou seja, é equiprovável e não há a tendência de ocorrer determinado grupo de símbolos.

Shannon abordou, também o conceito de redundância é relacionado à entropia no sentido de que a redundância é tudo o que não é fundamental para ser entendido em uma determinada mensagem, ou seja, é entendida como algo complementar. Então é a medida de entropia para que a mensagem atinja a entropia máxima.

No trabalho desenvolvido por ele em A Teoria Matemática da Comunicação onde é abordada a relação entre a entropia e a informação, Shannon faz a afirmação que a informação contida em uma mensagem pode ser medida pela quantidade de entropia que, por sua vez, é relacionada à frequência dos grupo de símbolos que são transmitidos.

A teoria da informação afirma que quanto menos informações sobre um sistema, maior será sua entropia. A quantidade de informação de uma mensagem é entendida na teoria da informação como sendo o menor número de bits, unidade de informação, necessários para conter todos os valores ou significados desta mensagem. Por exemplo, se quisermos transmitir ou armazenar os números dos meses do ano, serão necessários, no mínimo, 4 bits para representar esta informação. Portanto, a quantidade de informação de uma mensagem é medida pela entropia da mensagem, a qual mede, também a sua incerteza, que é expressa pelo número de bits que precisam ser recuperados quando a mensagem está cifrada para obter novamente um texto claro.

Entropia como conceito da Teoria da Informação[editar | editar código-fonte]

A Teoria da Informação teve inicialmente como destaque as questões técnicas, sendo uma das primeiras teorias a separar com nitidez a informação da significação. A Teoria da Informação está situada dentro da cibernética, onde a informação se mostra como uma medida probabilística. Esta teoria tem um grande interesse pelo funcionamento dos sinais, pelas transformações energéticas mediante a codificação da mensagem e sua de

codificação. Ela opera com os seguintes conceitos:

1. ruído;

2. redundância

3. entropia;

4. imprevisibilidade.

Em fontes contínuas, a codificação da informação gera ruído na mensagem, isso se dá pelo fato de que a fonte contínua precisaria de um vasto repertório de símbolos e que, como consequência, necessitaria uma capacidade de transmissão grande e, como é sabido, não existe um canal livre de ruído.

Shannon abordou, também o conceito de redundância é relacionado à entropia no sentido de que a redundância é tudo o que não é fundamental para ser entendido em uma determinada mensagem, ou seja, é entendida como algo complementar. Então é a medida de entropia para que a mensagem atinja a entropia máxima.

A entropia desejada de uma informação é a máxima que é dada pelas probabilidades equivalentes de ocorrer todos os símbolos.

A teoria da informação não estuda uma língua pelo número de símbolos alfabéticos que a compõem, mas sim pela análise à redundância na língua, considerando que o inverso da entropia é a redundância, ou seja, a organização do sistema em questão. Uma língua entrópica dispõe de um vocabulário rico, com palavras diferenciadas, que mostram o poder das combinatórias; uma língua pouco entrópica é pobre e repetitiva.

Em relação a imprevisibilidade, quanto maior for, será menor a chance de apreensão por parte do receptor, pois o receptor depende da ordem em que as mensagens são transmitidas. A imprevisibilidade total é correspondente à informação nula, ou seja, não há informação.

A medida da informação pode ser calculada a partir da fórmula de Hartley (1928):

​

​