This is no trivial read. I'm convinced I'll give this book five stars after reading it again. ( )

If I wasn't depressed enough after reading James Barrat's "Our Final Invention," this book nailed it. Sooner or later artificial superintelligence -- ie computers that can build and improve their own software faster than you blink an eye -- will reign supreme. They will be able to re-purpose the molecules that make up your body and possibly commandeer the resources of the universe. And this will all happen well before our sun flames out. That they can be built by ordinary human beings seems astonishing. That they can be built before our computer scientists figure out what value systems these machines will embody is deeply worrying. And there will be a race to gain first advantage in this field, a race something like the arms race a few short decades ago. Honestly, I didn't understand a lot of the philosophical discussions about learning systems in this book, and that makes me even more worried because it will take eggheads to sort out this mess before it's too late. You and I use software every day. WE know how dumb it can be doing simple tasks. This book takes the issue of buggy software into a whole different realm. ( )

O cérebro humano possui algumas aptidões ausentes nos cérebros dos demais seres vivos. Nossa posição dominante no planeta se deve a estas particulares habilidades. Outros animais possuem músculos mais robustos ou mandíbulas mais afiadas, mas nós temos cérebros mais sofisticados. Se algum dia os cérebros artificiais superarem a inteligência dos cérebros humanos, então esta nova superinteligência pode se tornar muito poderosa. Assim com o destino dos gorilas hoje depende mais dos humanos do que dos próprios símios, o destino da nossa espécie também se tornaria dependente das ações destas máquinas superinteligentes. Mas nós temos uma vantagem: começamos a dar o primeiro passo. Será possível construir uma inteligência artificial ou projetar condições iniciais para que possamos gerar uma explosão de inteligência sustentável, que não implique no fim da nossa espécie? Como poderíamos alcançar uma expansão controlada desta inteligência?
Profundamente ambicioso e original, Superinteligência: Caminhos, Perigos, Estratégias avança cuidadosamente por um amplo e árduo terreno intelectual, porém, com uma escrita tão perspicaz e clara que faz com que tudo pareça simples. Através de uma jornada completamente envolvente que nos conduz às fronteiras do pensamento sobre a condição humana e o futuro da vida inteligente, a obra do filósofo Nick Bostrom redefine o desafio essencial de nosso tempo.
Superinteligência, de Nick Bostrom - professor na faculdade de Filosofia na Universidade de Oxford -, tem sido aclamado e recomendado por nomes como Bill Gates e Elon Musk. Traduzido em mais de uma dezena de países, o livro alcançou a lista de mais vendidos do New York Times e o autor foi incluído pela revista Foreign Policy entre os "Top 100 Global Thinkers" de 2015. A obra integra a linha editorial Crânio, da DarkSide Books, que tem o compromisso de publicar material minuciosamente selecionado. Obras assinadas por especialistas, acadêmicos e pensadores em diversas áreas, dispostos a dividir experiências e pontos de vista transformadores que nos ajudem a entender melhor esse estranho e admirável mundo novo.

"Superintelligenza: Tendenze, pericoli, strategie" è un libro scritto dal filosofo Nick Bostrom, direttore dell'Istituto per il Futuro dell'Umanità dell'Università di Oxford. Il libro esplora la possibilità di creare intelligenza artificiale che superi l'intelligenza umana e le conseguenze potenziali di un tale sviluppo.

Bostrom sostiene che la creazione di macchine superintelligenti potrebbe essere sia la cosa migliore che potrebbe accadere all'umanità, sia la peggiore, a seconda di come gestiamo lo sviluppo di questa tecnologia. Da un lato, la superintelligenza potrebbe aiutarci a risolvere alcuni dei problemi più urgenti del mondo, come malattie, povertà e cambiamento climatico. D'altra parte, se non adottiamo le precauzioni appropriate, le macchine superintelligenti potrebbero rappresentare una minaccia esistenziale per l'umanità, potenzialmente portando alla nostra estinzione.

Il libro delinea diversi scenari per come la superintelligenza potrebbe emergere, tra cui lo sviluppo di sistemi avanzati di intelligenza artificiale attraverso miglioramenti iterativi delle tecnologie esistenti, nonché la possibilità di creare una macchina superintelligente attraverso una singola svolta trasformativa.

Per evitare i potenziali rischi associati alla superintelligenza, Bostrom propone diverse strategie, tra cui:

"Controllo delle capacità" - limitare le capacità delle macchine superintelligenti per impedire loro di intraprendere azioni che potrebbero essere dannose per l'umanità.
"Controllo motivazionale" - garantire che gli obiettivi delle macchine superintelligenti siano allineati con i valori e gli interessi umani.
"Intelligenza artificiale oracolare" - creare una macchina che possa fornire consigli preziosi agli esseri umani, senza avere la capacità di intraprendere azioni da sola.
Il libro di Bostrom è stato ampiamente influente nelle discussioni sul futuro dell'intelligenza artificiale e sui potenziali rischi e benefici associati alla superintelligenza. Ha contribuito a suscitare una conversazione più ampia sulla necessità di uno sviluppo etico e responsabile dell'intelligenza artificiale e ha portato a una maggiore ricerca e finanziamento in questo campo.

Il libro di Bostrom, "Superintelligenza: Tendenze, pericoli, strategie", ha suscitato una serie di critiche e dibattiti da parte di altri studiosi e professionisti del settore dell'intelligenza artificiale. Alcune delle principali critiche al libro sono le seguenti:

Sovrastima della possibilità di creare una superintelligenza. Alcuni esperti sostengono che il libro di Bostrom sovrastima la probabilità che si possa creare una superintelligenza nell'arco dei prossimi decenni o secoli. Sostengono che la creazione di una superintelligenza richiederebbe una serie di progressi tecnologici che al momento non sembrano essere alla portata dell'umanità.

Sottostima delle potenzialità positive dell'intelligenza artificiale. Alcuni studiosi ritengono che il libro di Bostrom si concentri eccessivamente sui rischi e pericoli associati alla superintelligenza, trascurando le potenzialità positive dell'intelligenza artificiale per migliorare la qualità della vita e risolvere i problemi globali.

Mancanza di concretezza nelle proposte di soluzione. Alcuni critici sostengono che il libro di Bostrom manchi di concretezza nelle proposte di soluzione per gestire i rischi della superintelligenza, suggerendo solo alcune direzioni generiche come il controllo delle capacità, il controllo motivazionale e l'intelligenza artificiale oracolare.

Mancanza di considerazioni sociali e politiche. Alcuni critici sostengono che il libro di Bostrom non affronti a sufficienza le questioni sociali e politiche legate alla gestione della superintelligenza, come la distribuzione delle risorse, la giustizia sociale e la partecipazione democratica nella scelta delle politiche di sviluppo dell'intelligenza artificiale.

In generale, il libro di Bostrom ha suscitato un dibattito importante sul futuro dell'intelligenza artificiale e sulla necessità di gestire in modo responsabile lo sviluppo di questa tecnologia emergente. Tuttavia, le critiche e i dibattiti che hanno suscitato indicano che ci sono ancora molte questioni da affrontare e risolvere per garantire un futuro sostenibile e sicuro per l'umanità.

Bostrom concentra la sua analisi principalmente sui potenziali rischi e pericoli associati alla creazione di una superintelligenza artificiale e alle sue possibili conseguenze per l'umanità, come l'estinzione umana e la perdita di controllo sulle macchine. Tuttavia, ci sono anche molte potenzialità positive associate all'intelligenza artificiale che Bostrom trascura o affronta solo marginalmente nel suo libro, tra cui:

Miglioramento della salute e del benessere umano: l'intelligenza artificiale può aiutare a migliorare la diagnosi e il trattamento delle malattie, nonché a prevenire malattie e lesioni.

Aumento dell'efficienza nella produzione e distribuzione di beni e servizi: l'intelligenza artificiale può aiutare a ottimizzare la produzione e la distribuzione di beni e servizi, riducendo i costi e migliorando l'efficienza.

Avanzamento della ricerca scientifica: l'intelligenza artificiale può aiutare a elaborare e analizzare grandi quantità di dati scientifici, accelerando la ricerca e consentendo di fare scoperte scientifiche importanti.

Miglioramento della qualità dell'istruzione: l'intelligenza artificiale può aiutare a personalizzare l'istruzione in base alle esigenze individuali degli studenti, migliorando la qualità dell'apprendimento.

Sostenibilità ambientale: l'intelligenza artificiale può aiutare a trovare soluzioni innovative per la gestione delle risorse naturali e per la riduzione dell'impatto ambientale dell'attività umana.

Miglioramento della sicurezza pubblica: l'intelligenza artificiale può aiutare a prevenire il crimine e migliorare la sicurezza pubblica attraverso la sorveglianza e la prevenzione delle attività criminali.

In sintesi, sebbene sia importante considerare i rischi e i pericoli associati all'intelligenza artificiale, è altrettanto importante riconoscere le sue potenzialità positive e lavorare per massimizzarle, allo stesso tempo cercando di affrontare le sfide e i problemi che possono emergere. ( )

Longer review coming.

In a nutshell, the first half of this book will make you seriously consider becoming a Luddite. The second half is more optimistic. It is a nice summary of the issues around the various possibilities for super-smart things (be they computers, people, a mix of the two, etc.), but it gets pedantic in places and does not present much of anything new for those who keep more or less current on the topic. ( )